Brug af struktureret BI metadata Common Warehouse Metamodel

Brug af struktureret BI metadata Common Warehouse Metamodel (CWM) Torben Bach Pedersen Nykredit Center for Databaseforskning Aalborg Universitet www. cs. auc. dk/NDB BIT netværksmøde 13. januar 2003

Indhold • Struktureret versus ustruktureret metadata • Motivation af fælles standard for DW metadata • Common Warehouse Metamodel (CWM) n n Intro Layers XMI (meta data udveksling) API • Fokus på muligheder fremfor detaljer n 10 kms perspektiv • Tak til Dan Chang og Doug Tolbert for lån af slides BIT netværksmøde 13. januar 2003 2

Struktureret vs. ustruktureret • Ustruktureret metadata (= dokumentation) n Fordele u u n Nemt at forstå og tilgå for mennesker Nemt at gå til og komme i gang med Ulemper u u Kan ikke læses af systemer => metadata gemmes flere steder Ikke synkroniseret med systemer => bliver ofte ikke vedligeholdt • Struktureret metadata n Fordele u u n Kan læses af systemer => metadata kan deles Kan synkroniseres med systemer => bedre kvalitet over tid Ulemper u Sværere at gå til og komme i gang med BIT netværksmøde 13. januar 2003 3

Information Supply Chain (ISC) Data Source Data Mart Operational Data Store ETL Data Warehouse Data Mart OLAP Data Mining Reporting Data Source BIT netværksmøde 13. januar 2003 Data Mart Visualization 4

Metadata Integration • Metadata integration is a key prerequisite to ensuring the effectiveness of the data flow in an IFC. • Achieving metadata integration between various software tools and products comprising an ISC is a difficult and costly undertaking. BIT netværksmøde 13. januar 2003 5

Metadata Integration Using Bridges • • [n*(n-1)/2] udvekslinger (uden struktureret metadata skal det gøres i hånden) Samme argument for data ved DMs uden centralt DW Operational Data Store ETL Data Warehouse Data Mart OLAP ODS Metadata ETL Metadata DW Metadata DM Metadata OLAP Metadata BIT netværksmøde 13. januar 2003 6

Metadata Integration: Solution • Solving the metadata integration problem requires the use of metadata standards that consist of: n n n Common metamodels Common interchange formats Common access APIs BIT netværksmøde 13. januar 2003 7

Metadata Integration Using CWM Adapters • Kun n udvekslinger • Som for data med centralt DW Operational Data Store ETL Data Warehouse Data Mart OLAP ODS Metadata ETL Metadata DW Metadata DM Metadata OLAP Metadata CWM (common metamodels, interchange formats, and APIs) BIT netværksmøde 13. januar 2003 8

CWM Enablement Showcase BIT netværksmøde 13. januar 2003 9

CWM (Common Warehouse Metamodel) • An OMG standard for metadata interchange in the data warehousing and business intelligence domain. n n n Provides a common language (metamodel) for describing metadata. Provides an XML-based facility for interchanging metadata. Provides APIs for accessing metadata. • Extends the OMG’s metamodeling architecture to include data warehousing and business intelligence domain concepts. • Supports the OMG’s model-driven approach to software specification and system integration BIT netværksmøde 13. januar 2003 10

OMG Metamodeling Architecture Meta-level OMG terms Examples M 3 Meta-metamodel MOF Model (UML) M 2 Metamodel, meta-metadata UML Metamodel, CWM Metamodel M 1 Model, metadata UML models, Warehouse/BI metadata M 0 Object, data Modeled systems, Warehouse data BIT netværksmøde 13. januar 2003 11

CWM facts • CWM stiftet i n IBM, Oracle, Unisys, Hyperion, Genesis, NCR, … • Initiel konkurrent: Meta Data Coalition (MDC) n n BMC, Informatica, CA, NCR, Microsoft, SAS, … Open Information Model (OIM) Fusionerer med CWM i september 2000 Men hvor er MS nu? ? • Version 1. 0 n n Februar 2001 (nyeste) De fleste store leverandører (vil i hvert fald gerne…) 528 sider basisstandard 218 sider udvidelser (IMS, COBOL, Express, Essbase, …) BIT netværksmøde 13. januar 2003 12

CWM Layered Package Architecture Warehouse Process Management Analysis Resource Foundation Object Model BIT netværksmøde 13. januar 2003 Transformation Object (Core+Behavioral+ Relationships) Business Information Core Warehouse Operation OLAP Data Mining Relational Data Types Record Expressions Behavioral Information Visualization Keys Index Business Nomenclature Multi. Dimensional Type Mapping Relationships XML Software Deployment Instance 13

Table, Column and View (Rltnl) BIT netværksmøde 13. januar 2003 14

XMI Overview • XML Metadata Interchange • An XML vocabulary for interchanging metadata in software systems • Specify a precise MOF to XML mapping n Enables automatic generation of XML documents that can be validated with generated DTDs n Allows interchange of any MOF based metamodel and corresponding models/metadata u CWM metamodel u CWM based metadata n BIT netværksmøde 13. januar 2003 15

XMI Example: UML Model Car. Model. xml <Class name="Car"> <Class. owned. Elements> <Attribute name="make"/> <Attribute name="model"/> <Operation name="drive"/> </Class. owned. Elements> </Class> BIT netværksmøde 13. januar 2003 Car make model owns owner Person drive() Convertible 16

API • MOF to IDL Mapping n n The standard mechanism for accessing metadata in CORBA Access with C, C++, COBOL, PL/1, … • MOF to Java Mapping (JMI) n The standard mechanism for accessing metadata through Java BIT netværksmøde 13. januar 2003 17

Resume • Struktureret versus ustruktureret metadata • Motivation af fælles standard for DW metadata • Common Warehouse Metamodel (CWM) n n Intro Layers XMI (meta data udveksling) API • Bruger nogen CWM nu ? ? ? • Hvilken gavn kunne CWM være for jer ? ? ? BIT netværksmøde 13. januar 2003 18