Modelizacin del Pasaje del Esquema Conceptual al Esquema

Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de Data Warehouses Verónika Peralta Junio 2001 Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 1

Contenido T T T Verónika Peralta Introducción. Definiciones. Reglas. Método. Conclusiones. Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 2

Introducción Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 3

Motivación Pasaje EC EL esquema conceptual u Diferencias esquema lógico esquema físico con BD tradicionales: – Prioridad: » Performance vs. redundancia. – Elementos importantes: » Esquema conceptual. » Bases de datos fuentes. » Correspondencias entre ellos. Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 4

Objetivo u Definir un método (¿o metodología? ) – De pasaje entre el esquema conceptual y el esquema lógico de un DW. – Debe permitir: » Que el diseñador aplique cualquier estrategia de diseño. » Transformar los esquemas y las instancias. » Dar facilidades para la posterior carga de los datos. – Se quiere un procedimiento semi-automático. u Prototipar Verónika Peralta una herramienta CASE. Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 5

Proceso Global de Diseño estrategias esq. conceptual multidimensional mapeos generador plan diseño bases de datos fuente traza de transf. generador carga estrategias de actualización Verónika Peralta generador esquema esq. lógico del DW relacional procesos de carga control de calidad Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 7

Proceso de Diseño Lógico Conceptual Level LOGICAL DESIGN PROCESS strategies conceptual schema intermediate schema mappings Logical Level rules transformations integrated source schema Verónika Peralta transformed source schema DW schema Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 8

Definiciones Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 9

Esquema Conceptual – Se usa CMDM: » Niveles, jerarquías, dimensiones, relaciones dimensionales, medidas. » Restricciones. Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 10

Esquema Conceptual u CMDM es “general”: – Al pensar el esquema lógico debe sacrificarse la generalidad. » Se restringe CMDM. u Restricciones a CMDM: – Restricciones de Integridad: » Lenguaje de restricciones muy expresivo. » Difícil parsear todas las restricciones posibles. » Se usan algunas restricciones “frecuentes”. u Verónika Peralta Ej: Claves, Restricciones de instancias (edad > 18). Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 11

Esquema Conceptual u Restricciones a CMDM: – Tipos de los niveles: » Restringimos a producto cartesiano de tipos simples. u Item: componente de un nivel. – Jerarquías de niveles: » Exigimos que haya un único nivel inferior. – Claves de niveles: » CMDM permite: Claves que lo identifican en toda la dimensión. u Claves que lo identifican respecto al padre (débil). u Eventualmente sin clave. u » Exigimos la existencia de claves. Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 12

Esquema Conceptual u Funciones: – Definimos algunas funciones: » Clave de un nivel: id nivel más id niveles superiores. » Nivel más bajo. » Niveles inferiores. Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 13

Esquema Conceptual Items { <Item. Name, Type>/ Item. Name Strings Type simpletypes} Conceptual. Schema <Sch. Items, Sch. Levels, Sch. Dimensions, Sch. Relations> Sch. Items Sch. Levels { <Level. Name, Is, Consts > / Level. Name Strings Is Sch. Items Consts form} Sch. Dimensions { <Dim. Name, Ls, Po, Consts > / Dim. Name Strings Ls Sch. Levels Po Partial. Orders(Ls) Consts form } Sch. Relations { <Rel. Name, Ds, Consts > / Rel. Name Strings Ds Sch. Dimensions Consts form } Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 14

Estrategias (ex Lineamientos) u Información adicional al esquema conceptual – Lo complementan conceptos de diseño lógico. u Objetivos: – Elegir el estilo de diseño: snowflake, estrella, etc. – Indicar requerimientos de performance y almacenamiento. – Indicar estrategias: mantener versiones, temporalizar. Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 15

Estrategias u Materialización de Relaciones: – Cubos: son restricciones a las relaciones. » Se puede indicar la “intención” de tener algún cubo. » Se puede sólo indicar: cosas que no se quieren (¬), u cosas que se deben cumplir siempre ( ) u o alguna vez ( ). u » Puede no indicarse nada. – En el diseño lógico tiene que hacerse explícito. » Se debe especificar que cubos existirán. Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 16

Estrategias u Materialización de Relaciones: – Qué cubos se van a implementar. » Qué niveles y que medidas se eligen. Sch. Cubes { <Cube. Name, R, Ls, Measure> / Cube. Name Strings R Sch. Relations Ls R. Ds Ls Measure (Ls )} Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 17

Estrategias u Particiones de Dimensiones: – Qué niveles se almacenan juntos. » Son particiones de las dimensiones. » Normalizar, denormalizar, estrategia intermedia. Sch. Dimension. Partition {D / D Sch. Dimensions} Level. Parts(D) Level. Parts (D) {Ps / Ps Linked. Levels (D. Ls) Ps Disjunt. Partition (D. Ls) } Linked. Levels (D) {Ls / Ls D. Ls A, B Ls ( (<A, B> D. PO C D. Ls / C Ls <A, C> D. PO <C, B> D. PO) (<B, A> D. PO C D. Ls / C Ls <B, C> D. PO <C, A> D. PO) )} Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 18

Estrategias u Particiones de Dimensiones: clientes zona departamento id departamento rubro id rubro clasificación ciudad id ciudad cliente id cliente Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 19

Estrategias u Particiones de Cubos: – Cómo particionar cubos. » Particiones horizontales. Sch. Cube. Partition {C / C Sch. Cubes} Band. Sets(C) } Band. Sets(C) {Bands / Bands Conditions (C. Ls Is) OR(Bands) = TRUE} Ejemplo fecha ‘ 01 -01 -2000’ fecha < ‘ 01 -01 -2000’ Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 20

Estrategias u Conservación de la Historia: – Combinación de diferentes estrategias: » Agregar dígitos de versión a items. » Agregar items de marcas de tiempo. » Agregar items a la clave del nivel. Sch. Historization <Dig. Items, Time. ITems, New. Items, Key. Items> / Dig. Items Levs Set(Items) Time. Items Levs Set(Items) New. Items Levs Set(Items) Key. Items Levs Set(Items) Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 21

Esquema Intermedio u Se extiende el modelo conceptual agregando: – Nuevos items para mantener la historia. – Cubos que materialicen las relaciones. – Particiones en las dimensiones. – Particiones en los cubos. Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 22

Esquema Intermedio Intermediate. Schema < Sch. Items, Sch. Levels, Sch. Dimensions, Sch. Cubes, Sch. Dimension. Partition, Sch. Cube. Partitions, Sch. Historization, Consts > Sch. Items = Sch. Items Hist. Items (Sch. Levels) Sch. Levels = Sch. Levels Update. Level(L) = <L. Level. Name, L. Is Hist. Items ({L}), L. Const> Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 23

Esquema Intermedio Object. Items: (Sch. Items Sch. Levels Sch. Dimensions Sch. Cubes) Sch. Items -Dado I Sch. Items, Object. Items (I)= {I} -Dado L Sch. Levels, Object. Items (L)= L. Is -Dado D Sch. Dimensions, Object. Items (D)= D. Ls Is -Dado C Sch. Cubes, Object. Items (C)= C. Ls Is Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 24

Base Fuente u Se trabaja con una única fuente: – Base relacional. – Integrada. u Interesan: – Atributos. – Tablas. – Claves primarias. – Links. Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 25

Base Fuente Source. Schema <Sch. Attributes, Sch. Tables, Sch. Links > Sch. Attributes { <Att. Name, Type > / Att. Name Strings Type SIMPLETYPES } Sch. Tables { <Tab. Name, As, PK > / Tab. Name Strings As Sch. Attributes PK As } Sch. Links {T 1/ T 1 Sch. Tables} x {T 2 / T 2 Sch. Tables} Conditions (T 1. As T 2. As) Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 26

Mapeos – Correspondencias entre items del esquema intermedio y las fuentes. clientes rubro id rubro cliente id cliente Verónika Peralta Mapeo dimensión ididcliente nombre cliente dirección teléfono ciudad departamento id rubro categoría fecha alta id rubrorubro nom Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 27

Mapeos clientes rubro id rubro cliente id cliente Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 28

Mapeos u Son funciones entre los items del esquema intermedio y la fuente: – A un item le asocia una expresión de mapeo. u Expresiones de mapeos: – Puede ser: » Un atributo de la fuente: Direct. ME. » Un cálculo sobre algunos atributos: 1 calc. ME. » Una totalización sobre algunos atributos: Ncalc. ME. » Una constante: Constant. ME. Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 29

Mapeos Mappings (Its) { f / f Its Map. Exprs I Its. (I. Type = exprtype(f(I))) } Sch. Dimension. Mappings {D / D Sch. Dimensions} Mappings (D. Ls Is) Sch. Cube. Mappings {C / C Sch. Cubes} ( Mappings (C. Ls Is) Sch. Cubes ) Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 30

Mapeos Dimensiones vendedores especialidad antigüedad vendedor id vendedor Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 31

Mapeos Dimensiones clientes zona clasificación departamento id departamento ciudad id ciudad rubro id rubro cliente id cliente Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 32

Mapeos Dimensiones fechas año mes Verónika Peralta Año year(Facturas. Fecha) Mes month(Facturas. Fecha) Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 33

Mapeos Cubos mes artículo venta-1 cliente cantidades vendedor Mes month(Facturas. Fecha) Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 34

Reglas Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 35

Reglas u Son reglas de transformación. u Se aplican a objetos del ECS. – Que cumplen determinadas condiciones. u Estados: – Tablas del esquema. – Funciones de mapeo. u Cada regla transformará el estado. – Estado inicial. (input) – Estado final. (result) – Transformación. Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 36

Reglas intermedio Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 37

Rule 1: Join u Motivación – Se definieron estrategias: » Particiones de Dimensiones: u Indica que niveles se desean almacenar juntos. » Cubos: u Indica que cruzamientos se desean almacenar juntos. – Se definieron mapeos. » Pueden referenciar a varias tablas. – Se quiere construir una tabla: » que contenga todos los items involucrados, » exceptuando a los agregados. Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 38

Rule 1: Join clientes zona clasificación departamento id departamento ciudad id ciudad rubro id rubro cliente id cliente Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 39

Rule 1: Join clientes zona clasificación departamento id departamento ciudad id ciudad rubro id rubro cliente id cliente Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 40

Rule 1: Join Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 41

Rule 1: Join Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 42

Rule 2: Rename u Motivación – En las bases fuentes se puede haber utilizado cualquier nomenclatura para los atributos. – En el esquema conceptual se le asignaron nombres adecuados a los items. – Se quiere renombrar los atributos de las fuentes con los nombres de los items. » Se utilizarán los mapeos direct. ME. u Problema: – Un atributo mapea con varios items. – Solución: Un mapeo direct. ME, los otros 1 calc. ME. Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 43

Rule 2: Rename clientes zona clasificación departamento id departamento ciudad id ciudad rubro id rubro cliente id cliente Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 44

Rule 2: Rename clientes zona clasificación departamento id departamento ciudad id ciudad rubro id rubro cliente id cliente Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 45

Rule 2: Rename Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 46

Rule 2: Rename Verónika Peralta Modelización del Pasaje del Esquema Conceptual al Esquema Lógico de DW 47