Az adattrhz tervezse Az adattrhz tervezse Ktfle mdszer

Az adattárház tervezése

Az adattárház tervezése Kétféle módszer: Ø Inkrementális: egy-egy adatpiacot hozunk létre egymás után Ø „Big bang”: az összes releváns adat tárolására hozzuk létre az adattárházat DM DM DM 2. DM DM DM 3. 1. DS DWH 2. DS 3. DS 1. DS DWH DS DS

Az adattárház tervezése Mindkét módszer az alábbi alapvető lépésekből áll: 1. Üzleti igények feltérképezése Üzleti specifikáció 2. Logikai és fizikai rendszerterv elkészítése Funkcionális specifikáció 3. Fizikai megvalósítás Rendelkezésre álló adatpiac(ok)

Az adattárház tervezése Az inkrementális módszer előnyei: Ø gyorsabb és olcsóbb a tervezés Ø gyorsabb és olcsóbb a megvalósítás Ø az esetleges alapvető, koncepcionális hibák már korán megjelennek, javításuk egyszerűbb A „Big bang” módszer előnyei: Ø a további adatpiacok kiépítése jelentősen kisebb ráfordítást igényelnek Ø a különböző üzleti területek számára már rendelkezésre áll az adatmodell, aminek az alapján eldönthetik, hogy igénybe veszik-e, és ha igen, milyen mértékben a rendelkezésre álló adatokat Ø az adattárház kezdeti hibái (gyerekbetegségei) mát megoldottak a továbbfejlesztés kezdetekor Ø a további ősfeltöltések nem jelentenek többletráfordítást

Az adattárház tervezése 1. Üzleti igények feltérképezése: A tudásmunkásoknak meg kell adniuk, hogy milyen mérőszámokat, és azokat milyen dimenziókra értelmezve szeretnék látni (pl. : üzleti terület: termék értékesítés; mérőszámok: értékesítések darabszáma, értékesítések összege; dimenziók: időszak, régió, hiteltípus)

Az adattárház tervezése Ezzel egyidejűleg specifikálni kell a dimenziók hierarchiáit illetve az egyes hierarchiák szintjeit (pl. : időszak: év – negyedév – hónap terület: régió – megye – város – fiók hiteltípus: felhasználás jellege: szabad, lakásvásárlási futamidő: éven belüli, éven túli – féléves, egyéves; 18 -24 -36 -4860 -stb. hónapos)

Az adattárház tervezése A leendő felhasználóknak a fejlesztőkkel együttműködve meg kell határozniuk, hogy melyik és milyen adatforrásokból szeretnék az információkat kinyerni, illetve hogy milyen eszközzel szeretnék megjeleníttetni az információkat (pl. : adatforrás: Oracle, MS Access megjelenítés: Cognos, Excel)

Az adattárház tervezése 2. Logikai és fizikai rendszerterv elkészítése A rendszerterv része a logikai adatmodell és a fejlesztés átadásnál mellékelni kell a Felhasználói kézikönyvet. A felhasználók munkáját és a továbbfejlesztést azonban nagyban segítheti valamilyen metaadat-kezelő alkalmazás használata. Ez egy olyan eszköz, amelynek a segítségével könnyen feltérképezhető az egyes adatok pontos jelentése (azaz a forrásrendszerben mit reprezentálnak) illetve, hogy milyen logika mentén történik az adatok transzformálása és/vagy szűrése.

Az adattárház tervezése Ø Ø Ø A modellezés során az adattárház struktúráján kívül részletesen ki kell térni (többek között) az alábbiakra: Az adatok kinyerésének módja (pl. : DB-linkek, ODBC, Excel táblázat mentése szöveges állományként) Az adatok betöltésének módja (pl. : DB-linkek, ODBC, csatolt forrásállományok) Az adatok tisztításának mikéntje (pl. : null értékek helyettesítése 0 -val, szélső értékek helyettesítése átlagértékekkel) Az adatok szűrésének mikéntje (milyen attribútumokra van szükség illetve valamely attribútum mely értékeinek a fennállása esetén van szükség egy rekordra) Az adatok integritásának biztosítása (keresztellenőrzések, egyediség ellenőrzése)

Az adattárház tervezése Az adattárház egy lehetséges felépítése vázlatosan: Információs rendszerek Metaadat-kezelő rendszer n IS 1 IS 2 IS 3 IS 4 … Információ kinyerése, kocka generálás, adatpiacosítás ISn Historikus adatok (ROLAP struktúrában) Szűkebb értelemben vett adattárház Delta képzés (historizálás) Integrált adott napi adatok (ROLAP struktúrában) Struktúra váltás, tisztítás, transzformálás Forrásrendszerek adott napi lenyomata (OLTP struktúrában) Forrásrendszerek DS 1 DS 2 DS 3 DS 4 … DSn Szűrés, közös platformra hozás

Az adattárház tervezése A tervezés egyes lépései (a nyilak mentén): 1. Ø Az adatok kinyerésének meghatározása (pl. : DB-linkek, ODBC, Excel táblázat mentése szöveges állományként) Ø Az adatok betöltésének meghatározása (pl. : DB-linkek, ODBC, csatolt forrásállományok) Ø A közös platform kiválasztása (adatbázis típusa: pl. : Oracle, Microsoft; szerver operációs rendszere: Windows, Unix) Ø Az adatok szűrésének mikéntje (milyen attribútumokra van szükség illetve valamely attribútum mely értékeinek a fennállása esetén van szükség egy rekordra)

Az adattárház tervezése A tervezés egyes lépései (a nyilak mentén): 2. Ø Struktúra váltás OLTP-ről ROLAP-ra: elemzésre optimalizált témakörökre alapított adathalmazok objektumainak definiálása Ø Az adatok tisztításának mikéntjének meghatározása (pl. : null értékek helyettesítése 0 -val, szélső értékek helyettesítése átlagértékekkel) Ø Adatok transzformálása (pl. : beépített szabályok szerint a program kódjában, változtatható szabályok szerint mapping táblával)

Az adattárház tervezése A tervezés egyes lépései (a nyilak mentén): 3. Ø Historikus adatok képzése: Ø Ø Állományi adatoknál csak változás esetén kerül be új rekord RUN_DATE CUST_ID CUST_NAME 2009. 07. 08. C 012105 KOVÁCS TAMÁS 2009. 25. C 012105 KOVÁCS TAMÁS … … … ADDR_POSTAL_CODE 1072 2000 Tranzakciós adatoknál minden tranzakcióra bekerül egy rekord

Az adattárház tervezése A tervezés egyes lépései (a nyilak mentén): 4. Ø Célrendszerek (Döntéstámogató Rendszerek, Vezetői Információs Rendszerek, Adatbányászati alkalmazások, Jelentéskészítő rendszerek, stb. ) Ø Célrendszerek típusa: Ø Ø multidimenzionális relációs irodai alkalmazás (pl. : Excel) Információ kinyerésének módja (pl. : adatbázis-linkek, felhasználói szerepkörök az adattárházban, ODBC kapcsolat)

Az adattárház tervezése n Metaadat-kezelés: A felhasználók, a fejlesztők és az üzemeltetők munkáját támogatandó nyilvántartásba veszik a forrásadatok és a kinyert információk közötti összefüggéseket: szűrés DS Ø Ø transzf. DWH Üzleti metaadatok (az adatok szemantikája) Technikai metaadatok (az adatok szintaktikája) IS

Köszönöm a figyelmet!