Adattrhz rendszerek ttekints Sidl Csaba scscs elte hu

Adattárház rendszerek Áttekintés Sidló Csaba scs@cs. elte. hu

Tartalom 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Bevezetés, fogalmak, definíciók Új követelmények: OLAP rendszerek Adattárház architektúra Adattárházra épülő elemző módszerek Adattárház komponensek Adatmodellezés, adatmodellek MOLAP architektúrák ROLAP architektúrák Az adattárház projekt Kurrens kutatási területek, trendek Példák adattárház rendszerekre Irodalom

Bevezetés n n Vállalati környezet – a táptalaj Vállalat vezetése: döntések sorozata gyors, jó minőségű döntések eredményesség n n Tézis: a döntések minősége nagyban függ a döntéshozók informáltságától, a rendelkezésre álló adatok, információk minőségétől A döntések megfelelő támogatására jelenthet megoldást az adattárház technológia

Vállalati adathalmazok n n n Adott vállalat működése során rengeteg adat halmozódhat fel Elektronikus formában, papíron, gyakran sokféle, inkonzisztens tárolási módszernek megfelelően tárolva Nagy, kevés gyakorlati hasznot jelentő vállalati adathalmazok fenntartása szükséges, de haszontalan költséget jelent (Data puddle – adattemető)

Vállalati információszükségleti hierarchia (Moslow nyomán)

Adattárház definíció Bill Inmon: "A data warehouse is a subject oriented, integrated, nonvolatile, and time variant collection of data in support of management's decisions. "

Adattárház definíció 2. 1. Subject oriented (tárgy- v. témaorientált) ¨ ¨ hagyományosan: üzleti folyamatoknak megfelelő nézőpont most: elemzési területeknek megfelelő nézőpont, adatok az elemzés kulcsfontosságú fogalmai köré csoportosítva (Pl. vevő -lemorzsolódás, raktárkészlet alakulása, stb. ) 2. Integrated (integrált) ¨ ¨ több adatforrásból, egy helyen központosuló adatgyűjtés egységesített, szabványos formában kezelt adatok

Adattárház definíció 3. 3. Nonvolatile (tartós) ¨ ¨ 4. Változatlan adatok Alapvetően nem törlődő adatok Time variant (időfüggő) ¨ ¨ Forrásrendszerek: adott (érvényes) állapotot leíró fadatok Adattárházak: történeti, historikus, időfüggő adatok időfüggő elemzések, összehasonlítások, változási trendek elemzése

Data Warehousing "Data Warehousing is the process, whereby organizations extract value from their informational assets through the use of special stores called data warehouses. " Három kulcsmozzanat: n Adatkinyerés a tranzakciós (vagy más vállalatműködtetési) forrásrendszerekből n A kinyert adatok átformálása riport (beszámoló) készítés számára n A riportok, beszámolók elérhetővé tétele a döntéshozók számára.

Business Intelligence (BI, üzleti intelligencia) fogalma: „Olyan módszerek, fogalmak halmaza, melyek a döntéshozás folyamatát javítják ún. tényalapú rendszerek használatával. ” (Howard Dresdner, 1989) Tényalapú rendszerek: n Vezetői információs rendszerek (EIS, Executive Information System) n Döntéstámogató rendszerek (DSS, Decision Support System) n Vállalati információs rendszerek (Enterprise Information System) n On Line Analytical Processing (OLAP) n Adat- és szövegbányászat n Adatvizualizáció n Geográfiai Információs rendszerek (GIS) Ezek egy szeletét fedik le az adattárház megoldások.

Business Intelligence Platform Olyan platform, amely támogatja a következő technológiákat: Adattárház jellegű adattárolás n OLAP n Adatbányászat n Nyílt interface-ek (OLAP, adatbányász, stb. ) n Ezeket támogató, megvalósító komponensek, eszközök Pl. : Oracle 9 i, IBM DB 2, MSSQL n

Tartalom 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Bevezetés, fogalmak, definíciók Új követelmények: OLAP rendszerek Adattárház architektúra Adattárházra épülő elemző módszerek Adattárház komponensek Adatmodellezés, adatmodellek MOLAP architektúrák ROLAP architektúrák Az adattárház projekt Kurrens kutatási területek, trendek Példák adattárház rendszerekre Irodalom

OLTP - OLAP rendszerek OLTP: On Line Transaction Processing n Hagyományos adatbázis alkalmazások, nyilvántartások, vállalatok produktív rendszerei n ERP rendszerek: Enterprise Resource Planning n Pl. : SAP R/3, Oracle Financials, Libra, stb. OLAP: On Line Analytical Processing n Elemzési célú rendszerek elterjedt követelményrendszere

OLAP követelményrendszer E. F. Codd, 1992: 12 pontos követelményrendszer, (a fontosabbak): n n n Multidimenzionális adatnézet Általános dimenzió-fogalom, korlátlan dimenziószám Transzparencia: technikai részletek ismerete nélküli könnyű elérhetőség Kliens-szerver architektúra Több konkurens felhasználó támogatása

OLTP – OLAP tulajdonságok Tulajdonság OLTP OLAP Orientáció Tranzakciók hatékony tárolása, végrehajtása Adatanalízis Felhasználó Vállalati adminsztrátorok Döntéshozók Feladat Napi folyamatok követése Döntéstámogatás, információszolgáltatás Adatok Aktuális, up-to-date Történeti, archív adatok Összegzett adatok Nem jellmező, részletes Összegzett, egyesített adatok Adatok nézete Relációs multidimenzionális Felhasználói hozzáférés Olvasás / írás Jellemzően olvasás Hangsúly Adatbevitelen Információ- (tudás-) kinyerésen Feldolgozandó adat Alkalmanként tizes nagyságrendű Egyszerre akár milliós rekordszám Felhasználók száma Viszonylag sok Néhány, közép- és felsővezetők Prioritás Állandó rendelkezésre állás, megbízhatóság Rugalmasság, felhasználói önállóság

Tartalom 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Bevezetés, fogalmak, definíciók Új követelmények: OLAP rendszerek Adattárház architektúra Adattárházra épülő elemző módszerek Adattárház komponensek Adatmodellezés, adatmodellek MOLAP architektúrák ROLAP architektúrák Az adattárház projekt Kurrens kutatási területek Példák adattárház rendszerekre Irodalom

Speciális adattárház típusok Jól skálázható technológia: n Data Mart (adatpiac) n Operational Data Store (ODS) n Extraprise Data Warehouse n Virtuális adattárház lokális, szűk felhasználói kör, konkrét feladatok, kis adatfeldolgozó és analizáló egység adattárház funkciókkal Adatok tisztítására, gyűjtésére használt egység, teljes részletezettéségű operációs adatokkal Helyi megkötés nélkül összefutnak benne B 2 B és B 2 C adatok, elemzési céllal Nem épül külön rendszer az adattárház adatainak számára, azt az OLTP rendszer keretein belül valósítják meg

Az adat útjának fő állomásai n n n Forrásrendszerek Adattárház Elemző frontend alkalmazások

Architektúra változatok (kliens-szerver modellek)

Tartalom 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Bevezetés, fogalmak, definíciók Új követelmények: OLAP rendszerek Adattárház architektúra Adattárházra épülő elemző módszerek Adattárház komponensek Adatmodellezés, adatmodellek MOLAP architektúrák ROLAP architektúrák Az adattárház projekt Kurrens kutatási területek Példák adattárház rendszerekre Irodalom

OLAP elemzések n Multidimenzionális adatnézet n Intuitív kezelőfelület, rugalmas lekérdezések n On-line, válaszidő orientált szolgáltatás n Közép-felsővezetők n Lehetőség összetett elemzésekre, látványos, jól használható vizualizációra

Adattárházak - adatbányászat Adatbányászat: „Hasznos, látens információ kinyerése adatbázisokból. ” n OLAP korlátok: adatmennyiség, lekérdező nyelv n

Tudáskinyerés folyamata 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. Alkalmazási terület felmérése, előzetes ismeretek rendszerezése Céladatbázis kiválasztása, létrehozása Adattisztítás, előfeldolgozás Adatintegráció Adattér csökkentés: cél szempontjából fontos attribútumok kiemelése Adatbányászati algoritmusok kiválasztása (klaszterezés, mintakeresés, osztályozás) Adatbányászati algoritmus, paraméterek előállítása Algoritmus alkalmazása Kinyert információ értelmezése, finomítások A megszerzett tudás megerősítése, összevetése az elvárásokkal, dokumentálás

Tudáskinyerés folyamata 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. Alkalmazási terület felmérése, előzetes ismeretek kinyerése Céladatbázis kiválasztása, létrehozása Adattisztítás, előfeldolgozás Adatintegráció Adattér csökkentés: cél szempontjából fontos attribútumok kiemelése Adatbányászati algoritmusok kiválasztása (klaszterezés, mintakeresés, osztályozás) Adatbányászati algoritmus, paraméterek előállítása Algoritmus alkalmazása Kinyert információ értelmezése, finomítások A megszerzett tudás megerősítése, összevetése az elvárásokkal, dokumentálás

Adattárházak - adatbányászat n n n Az adattárházak megfelelő alapot biztosíthatnak adatbányász módszerek alkalmazásához Részben hasonló célok OLAP elemzések – adatbányász elemzések: jól kiegészíthetik egymást Probléma: OLAP jellegű és adatbányász rendszerek hatékony, rugalmas illesztése Megoldást jelentheti: ¨ ¨ Következtetési szabályok a DW-ben (induktív adatbázisok) Megfelelő adatbányász interface alkalmazása (még nincs elfogadott szabvány)

Tartalom 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Bevezetés, fogalmak, definíciók Új követelmények: OLAP rendszerek Adattárház architektúra Adattárházra épülő elemző módszerek Adattárház komponensek Adatmodellezés, adatmodellek MOLAP architektúrák ROLAP architektúrák Az adattárház projekt Kurrens kutatási területek, trendek Példák adattárház rendszerekre Irodalom

Komponensek

Komponens csoportok ETL: Extraction Transformation and Load n n Adatkinyerés az operatív rendszerekből (extraction) Adattranszformáció (különböző adatformátumok, mértékegységek, nyelvek stb. ) Adatminőség ellenőrzése, adattisztítás (cleaning) Adatbetöltés az adattárház struktúráiba (loading)

Komponens csoportok 2. OLAP Tools: OLAP lekérdezéseket lehetővé tévő komponensek (OLAP szerver, interfaceek) n Felügyelet, adminisztráció adattárház működtetése, felügyelete n

Metaadat kezelés Metaadat: „adat az adatokról” n n Az adattárház szerkezetét, a bent lévő adatok jellemzőit tároló szerkezet Fontos: adatintegrációhoz szabványos adatkezelés A megfelelő metaadat kezelési stratégiát gyakran említik mint az adattárház projekt kulcskérdését Példa: adatkockáink leírása, az adattöltéseink eredményei, az adatforrások mezőinek jelentése, stb.

Komponens csoportok 3. n n Frontend adatelemző alkalmazások OLAP elemzők, adatbányász eszközök, vizualizáció, egyéb kliens alkalmazások Adatbázis komponensek ¨ ROLAP: relációs OLAP – relációs adatbáziskezelő ¨ MOLAP: multidimenzionális OLAP, közvetelen multidimenzionális adattárolás ¨ HOLAP: hibrid OLAP - keverék

Tartalom 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Bevezetés, fogalmak, definíciók Új követelmények: OLAP rendszerek Adattárház architektúra Adattárházra épülő elemző módszerek Adattárház komponensek Adatmodellezés, adatmodellek MOLAP architektúrák ROLAP architektúrák Az adattárház projekt Kurrens kutatási területek, trendek Példák adattárház rendszerekre Irodalom

Adatmodellezés (koncepcionális, logikai, fizikai)

OLTP adatmodellek Hagyományos, kiforrott módszerek n Relációs adatmodell n Relációs algebra alapú lekérdezőnyelvek, SQL n Egyed/Kapcsolat Modell (E/R M), UML n

OLAP multidimenzionális adatfogalma (szemantikai) Fogalmak: n Tényadatok (mutatószámok) n Dimenziók (jellemzők) n Dimenzió-hierarchiák n N-dimenziós adatkocka

Adatkocka példa: nemzetközi kereskedelmi cég értékesítési adatainak multidimenzionális nézete

Analízisoperátorok Műveletek: adatkocka n Aggregáció (roll up) dimenzió elhagyása v. lépés hierarchiában felfelé n Lefúrás (drill down) áttérés nagyobb részletezettségre n Pivoting adatkocka elforgatása n Szelekció (selection, filtering) konkrét jellemzők kiválasztása n Szeletelés (slicing and dicing) adatkocka szeletének kiválasztása, részkocka kiválasztása

Példa hagyományos OLAP elemzőfelületre – SAP BEx Analyser

Oracle Discoverer frontend

Szemantikai réteg formális adatmodelljei ME/R modell: E/R modell multidimenzionális bővítése n Nested Multidimensional Model (Lehner) n Dimensional Fact Model (Golfarelli, Maio, Rizzi) n Stb. n

ME/R Modell - példa

Tartalom 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Bevezetés, fogalmak, definíciók Új követelmények: OLAP rendszerek Adattárház architektúra Adattárházra épülő elemző módszerek Adattárház komponensek Adatmodellezés, adatmodellek MOLAP architektúrák ROLAP architektúrák Az adattárház projekt Kurrens kutatási területek Példák adattárház rendszerekre Irodalom

MOLAP technológia n n Közvetlen támogatása a szemantikai multidimenzionális adatmodellnek Tényadatok / dimenziók szétválasztása Fizikai tároláskor figyelembe vesszük az adatok multidimenzionális szerkezetét Többdimenzionális tömb tárolás: az adatkocka adatainak rendezése után azokat fix helyen tároljuk, így nem kell őket indexelni; a kocka minden mezőjének (a tartalmától függetlenül) lefoglalunk egy fix tárhelyet!

Háromdimenziós kocka elemeinek egy rendezése

Háromdimenziós MOLAP dimenzióhierarchia példa

MOLAP Ritka mátrix kezelés: a mátrix üres részeinek felderítése, majd a fizikai tárolás megvalósítása ezen mezők kihagyásával helytakarékosság Korlátok: n Nagy dimenzió-elemszámok esetén n Ritka mátrix kezelés gyakran nehézkes n Nincs elfogadott szabvány n Strukturális változtatások rendkívül költségesek

MOLAP termékek Asztalitól kezdve „high end” alkalmazásokig, n Cognos: Power. Play n Business Objects: Mercury n Oracle Express n Holostic Systems: Holos Adatbázis motorok: n Arbor: Essbase n Sinper: TM/1

Tartalom 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Bevezetés, fogalmak, definíciók Új követelmények: OLAP rendszerek Adattárház architektúra Adattárházra épülő elemző módszerek Adattárház komponensek Adatmodellezés, adatmodellek MOLAP architektúrák ROLAP architektúrák Az adattárház projekt Kurrens kutatási területek, trendek Példák adattárház rendszerekre Irodalom

Relációs adatbázis sémák n n Relációs adatbázis: a relációs adatmodellt támogató adatbázis – kiforrott módszerek, technológiák Táblák (relációk) Constraint-ek (megszorítások) Relációs séma: az adatbázisban tárolt adatokat leíró adatbázis-terv (reláció-előfordulásoktól, vagyis a konkrét adatoktól független)

ROLAP séma tervezésének 4 lépéses folyamata Kimball módszertana 1. Modellezendő üzleti folyamat kiválasztása pl. : raktárkészlet nyilvántartások 2. Felbontás (granularity) meghatározása pl. : raktárkészlet alakulása naponként, termékenként, raktárhelységenként, szállítónként, stb. 3. Dimenziók kidolgozása pl. : termék dimenzió: név, ID, súly, beszerzési ár, stb. 4. Tényadatok meghatározása pl. : mennyiség, súly, érték, minőségi mutatók, stb.

Csillagséma n n Cél: multidimenzionális elvi modell megvalósítása relációs adatmodellben Eszköz: speciális relációséma kialakítása Központi „tény-tábla” a tényadatok számára Hozzá idegen kulcsokkal kapcsolódnak a dimenzióelemeket tartalmazó „dimenzió-táblák”

Dimenziótáblák n n n Ténytáblához képest általában kis adatmennyiség Célszerű minél több, könnyen értelmezhető és beszédes leíró jellegű atribútumot felvenni rugalmas, felhasználóbarát elemzések lehetősége Pl. : dátum dimenzió létjogosultsága Denormalizált szerkezet – redundancia (gyors lekérdezhetőség elsődleges szerepe) Generált, adatbáziskezelő által támogatott kulcsok Változó dimenziók kezelésére megfelelő stratégia kidolgozása (slowly changing dimensions)

Termék dimenzió

Ténytábla Dimenziótáblákhoz képest nagy méretű n Attribútumai mutatószámok, valamint a mutatószámokat jellemző dimenzióértékekre mutató idegen kulcsok n Általában nem tartalmaznak dimenzióértékeket, csak kulcsokat n

„Napi eladások” adatkocka csillagsémája

Csillagséma tulajdonságai Előnyök: n Egyszerű, intuitív adatmodell n Kevés join művelet lekérdezésekhez n Kevés tábla olvasása n Könnyű megvalósíthatóság, a modell leíró adatai egyszerűek Hátrányok: n Nehézkes aggregátum (összeg) képzés n Nagy dimenziótáblák esetén a hierarchiák kezelése nagyban lassítja a lekérdezéseket n Dimenzióelemek tárolása redundáns, denormalizált (vagyis tárhhely-pazarló)

Egyéb csillagséma variánsok n Hópehely séma normalizált dimenziótáblák (pl. hierarchiaszerkezetek kialakítása, stb. – hagyományos normalizálás folyamata) n Konszolidált csillagséma aggregált adatok tárolása a ténytáblában n „Terraced” séma – a szélsőséges eset egyetlen, elfajult ténytáblából álló séma n Galaxis séma több adatkocka megvalósítása külön ténytáblákkal, de közösen használt dimenziótáblákkal n „Fact consellation schema” hierarchikus kapcsolatban álló ténytáblák

Példa: az SAP BW hópehelysémája Master Text Hierarch. SID Table Hierarchies Hierarch. SID Table Master Dimension table Text Master Text Hierarch. SID Table Dimension table FACT Hierarch. Dimension table SID Table Dimension table Master Text Hierarch. SID Table Master Hierarch. SID Table Text Master Text

ROLAP teljesítény javítása - módszerek n Kritikus tulajdonság a válaszidő (elvárás: 4 másodpercnél nem hosszabb lekérdezések!) Módszerek: n Denormaizáció (redundancia bevezetése) n Aggregált adatok tárolása (szintén redundáns adattároláshoz vezet) n Particionálás: tábla (pl. napi szinten), valamint osztott adatbázisok

Aggregáció n n Cél: elemzés során gyakran előforduló felbontással összegek, mutatószámok fizikai tárolásával a válaszidő csökkentése Fontos a tárolt aggregátumok megfelelő választása túl sok nagy adatbázis, aggregátumok karbantartása költséges túl kevés lassú lekérdezések n Gyakran az adattárház rendszer az előforduló lekérdezések mért statisztikái alapján, dinamikusan dönt a létrehozandó aggregátumokról

Aggregációs rács – „n-cuboid”-ok (megfelelő tárolt aggregátumok kiválasztásához)

OLAP támogatás relációs adatbáziskezelőkben (Oracle 9 i példákkal) n Tábla particionálás – párhuzamos végrehajtás Range particionálás: attribútum értékek intervallumfelosztása alapján, pl. napi adatok ¨ Hash particionálás: attribútumértékekből számolt hash-függvény használata ¨ List particionálás: adott értéklisták alapján ¨ create table partitioned_t ( … date_stamp date not null ) partition by range (date_stamp) ( partition part_1 values less than (TO_DATE(‘ 1970. 01’)) tablespace ts 1, … partition part_5 values less than (TO_DATE(‘ 2003. 9. 28’)) tablespace ts 5 )

OLAP támogatás 2. n Materializált nézetek (aggregáció) ¨ Fizikailag tárolt nézetek ¨ Automatikus frissítés, query kiszolgálása szintén automatikusan történik a nézetből, ha célszerű create materialized view mat_example build immediate refresh force enable query rewrite as select id, sum(amount) from sales s, customers c where s. cust_id = c. cust_id group by c. cust_id ;

OLAP támogatás 3. n Bitmap indexelés: ¨ hagyományos indexek (B-fa): attribútum értékek alapján meghatározza a konkrét rekord helyét ¨ Bitmap: rekordazonosító (rowid) helyett azok egy bitsorozatos reprezentációját használjuk ¨ Rugalmas attribútumkezelés ( rugalmasabb OLAP lekérdezések), helytakarékosság

OLAP támogatás 4. n n Külső táblák ETL folyamat integrálása adatbázison belülre külső file-ok, adatforrások hagyományos táblaként kezelhetőek OLAP query optimalizáció OLAP bővítményeket tartalmazó SQL-eken és szabványos OLAP interface-eken (Pl. Java OLAP API) keresztül történő lekérdezések optimalizációja

OLAP támogatás 5. n Tábla tömörítés Nagy adatmennyiség esetében a tábla adatait tömöríthetjük hatékonyabb helykihasználás, gyorsabb válaszidők, de cserébe költségesebb módosító műveletek n Dimenzió, hierarchia, adatkocka fogalmának bevezetése Multidimenzionális adatmodell támogatása

OLAP támogatás 6. n SQL bővítések ¨ Group by kiegészítői: ROLLUP, CUBE operátorok select channel_desc, calendar_month_desc, country_id, to_char(sum(amount_sold), '9, 999, 999') SALES$ from sales, customers, times, channels where sales. time_id=times. time_id and sales. cust_id=customers. cust_i and sales. channel_id= channels. channel_id and channels. channel_desc IN ('Direct Sales', 'Internet') and times. calendar_month_desc IN ('2002 -09', '2002 -10') and country_id IN ('CA', 'US') group by cube (channel_desc, calendar_month_desc, country_id);

CHANNEL_DESC ----------Direct Sales Direct Sales Direct Sales Internet Internet Internet -------2002 -09 2002 -10 CALENDAR -CA US CO -----1, 378, 126 2, 835, 557 4, 213, 683 1, 388, 051 2, 908, 706 4, 296, 757 2, 766, 177 5, 744, 263 SALES$ BY Channel and Month BY Channel and Country 8, 510, 440 2002 -09 2002 -09 2002 -10 2002 -10 CA US CA US 911, 739 1, 732, 240 2, 643, 979 876, 571 1, 893, 753 2, 770, 324 1, 788, 310 3, 625, 993 5, 414, 303 2, 289, 865 4, 567, 797 6, 857, 662 2, 264, 622 4, 802, 459 7, 067, 081 4, 554, 487 9, 370, 256 13, 924, 743 BY Channel and Month BY Channel and Country BY Channel BY Month and Country BY Month Everything

HOLAP architektúrák n n n Relációs és multidimenzionális megvalósítást egyszerre támogató rendszerek Trend: multidimenzionális tárolás lehetőségének bevonása relációs adatbáziskezelőkbe, a szabványos kereteken belül Pl. : Oracle – Analytic Workspaces MSSQL, IBM DB 2

MOLAP – ROLAP eszközök skálázhatósága

Tartalom 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Bevezetés, fogalmak, definíciók Új követelmények: OLAP rendszerek Adattárház architektúra Adattárházra épülő elemző módszerek Adattárház komponensek Adatmodellezés, adatmodellek MOLAP architektúrák ROLAP architektúrák Az adattárház projekt Kurrens kutatási területek, trendek Példák adattárház rendszerekre Irodalom

Adattárház projekt Adattárházak bevezetése beruházási projektek keretében n Hagyományos IT projektektől némileg eltérő felépítés n Tervezés: felhasználói igények – rendelkezésre álló adatok nyújtotta lehetőségek n

Fentről lefelé ill. lentről felfelé tervezés

Iteratív adattárház-építési folyamat

Tartalom 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Bevezetés, fogalmak, definíciók Új követelmények: OLAP rendszerek Adattárház architektúra Adattárházra épülő elemző módszerek Adattárház komponensek Adatmodellezés, adatmodellek MOLAP architektúrák ROLAP architektúrák Az adattárház projekt Kurrens kutatási területek, trendek Példák adattárház rendszerekre Irodalom

Kurrens kutatási területek (a teljesség igénye nélkül) n n Aggregátumképzés módszerei, modelljei, megfelelő aggregátumok kiválasztása, kezelése Indexek Induktív adatbázisok az adatok mellett következtetési sémákat, szabályokat is tárolunk adatbányászat Query optimalizálás OLAP jellegű lekérdezések ekvivalens átalakításaival

Kurrens kutatási területek 2. SQL bővítések, OLAP lekérdező nyelvek n Formális adatmodellek n Elosztott adattárházak sok, független adatpiac n Metaadat kezelés: szabványosítás n

Trendek, fejlesztési irányvonalak n n Business Intelligence Platform – adatbáziskezelők egyre szélesebb körű szolgáltatással ROLAP-MOLAP egybeolvadás Tisztám MOLAP termékek háttérbe szorulása Adatbányász eszközök integrálása az adattárház ill. az adatbázis keretein belülre

Tartalom 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Bevezetés, fogalmak, definíciók Új követelmények: OLAP rendszerek Adattárház architektúra Adattárházra épülő elemző módszerek Adattárház komponensek Adatmodellezés, adatmodellek MOLAP architektúrák ROLAP architektúrák Az adattárház projekt Kurrens kutatási területek, trendek Példák adattárház rendszerekre Irodalom

Példák adattárház rendszerekre n SAP BW ¨ Robosztus, „faltól falig” megoldás ¨ Üzleti tudás beépítése n Oracle, IBM DB 2 ¨ Könnyen skálázható ¨ Rugalmasan alkalmazható komponensek, nyitottság más komponensek irányában ¨ Adatbázis szerver business intelligence platform

Clickstream adattárház n n n Clickstream: webszerveren halmozódó logokban tárolt, a felhasználók lekéréseit tartalmazó adathalmaz Kihívás: nagy adatmennyiségek pl. [origo] portál: napi kb. 20 millió log-sor – 6 GB Cél: felhasználási szokások, trendek felismerése, alapstatisztikák nyilvántartása, a portál karbantartása, kialakítása a felhasználói igényekhez mérten Személyre szabott, célzott tartalom Adatbányász módszerek: klaszterezés, szekvenciakeresés

Tartalom 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Bevezetés, fogalmak, definíciók Új követelmények: OLAP rendszerek Adattárház architektúra Adattárházra épülő elemző módszerek Adattárház komponensek Adatmodellezés, adatmodellek MOLAP architektúrák ROLAP architektúrák Az adattárház projekt Kurrens kutatási területek, trendek Példák adattárház rendszerekre Irodalom

Irodalom n n W. H. Inmon: Building the Data Warehouse Second Edition Ralph Kimball, Margy Ross: The Data Warehouse Toolkit - Second Edition. John Wiley & Sons, Inc. , 2002 Oracle 9 i Data Warehousing Guide. Oracle Corporation. Business Information Warehouse Online Help