Adatminsg Elad Angyal Gergely 2012 02 22 Bemutatkozs

Adatminőség Előadó: Angyal Gergely 2012. 02. 22.

Bemutatkozás § Iskolák, szakképesítések: okleveles mérnökinformatikus, bankinformatikus szakmérnök, vezetőképzés, Certified Information System Auditor (ISACA), Certified Tester (ISTQB) § Szakmai tevékenység: szoftverfejlesztés (VB, C#, SQL), IT audit, tesztelés, IT minőségbiztosítás, csoportvezetés, projektvezetés § Motiváció: komplex informatikai problémák megoldásában való közreműködés 2012. 02. 22. Előadó: Angyal Gergely 2

Tematika § Teória § definíciók § keretrendszer (BI, DWH) az adatminőség értelmezéséhez § ellenőrzéstípusok (Pre. De. Co) § Praktikus szempontból § adatminőség anomáliák • mező: név, cím, okmányok • rekord: duplikátum § általánosság 2012. 02. 22. Előadó: Angyal Gergely 3

Bevezetés § § § Minőség Adatminőség Elvárások Kit érint az adatminőség Ki tehet az adatminőségért? 2012. 02. 22. Előadó: Angyal Gergely 4

Definíciók § minőség: az a szint, amikor a komponens, rendszer vagy folyamat megfelel a meghatározott követelményeknek és/vagy a felhasználó/ügyfél igényeinek és elvárásainak. [IEEE 610 / 24765 -2010] § szoftverminőség: a szoftvertermék funkcionalitásainak és jellemzőinek az összessége, amelyek az explicit és implicit módon megadott szükségleteket elégítik ki. [ISO 9126] 2012. 02. 22. Előadó: Angyal Gergely 5

Definíciók § transzcendencia-alapú minőség: a minőség azon formája, amit nem lehet egyértelműen meghatározni, mégis tudjuk, ha látjuk, vagy érzékeljük a hiányát, ha az nem megfelelő. A minőség az egyén, vagy egyének csoportjának érzékelésén és szubjektív érzésein múlik [Garvin] § data quality: fit for their intended uses in operations, decision making and planning [J. M. Juran, wikipedia / en] 2012. 02. 22. Előadó: Angyal Gergely 6

Keretrendszer § BI: „adatok, információ és tudás hozzáférhetősége” § Hozzáférhetőség minőségi aspektusa: nem megfelelő minőségűek az adatok, akkor sem az adat, sem az információ nem – teljeskörűen – hozzáférhető § DWH: betöltés „elhasal”: a forrásrendszerek adatminőségi problémájára először az aznapi töltés derít fényt 2012. 02. 22. Előadó: Angyal Gergely 7

Ellenőrzéstípusok § Preventív ellenőrzés adatbevitelkor § megelőzés: a minőség romlását megelőzzük § megfelelő adatmodellezéssel § adatvalidátorok alkalmazásával § Detektív és korrektív ellenőrzés § felderítés: a minőségi problémát felderítjük § nem megfelelő értékek megkeresése egyedileg (GUI) § nem megfelelő értékek tömeges megkeresése (SELECT), és javítása (INSERT/UPDATE) 2012. 02. 22. Előadó: Angyal Gergely 8

Mező szintű anomáliák § Szkóp § § attribútum adatmező, adatelem oszlop az entitás leíró adatára vonatkozó minőségi kritéria § Szerkezet § az adat önállóan, egymagában értelmezett minősége • megfelelő formátumban tárolt adat • Értékkészletnek megfelelő adat § adatelemek közötti összefüggés • konzisztencia 2012. 02. 22. Előadó: Angyal Gergely 9

Mező szintű anomáliák § Adathiány, hiányzó adat, nem töltött érték § lakcímkártyaszám mező: üres § Formátumnak nem megfelelő érték § lakcímkártyaszám mezőben: AAA-999 (rendszám) § Értékkészletnek nem megfelelő érték § neme mezőben: Z (pl. F/N helyett) § Más típusú érték § születési név mezőben: 1989 2012. 02. 22. Előadó: Angyal Gergely 10

Formátum § Név? § Természetes személy § Jogi személy § Természetes személy Magyarországon használatos § § § születési név házassági név megkülönböztető betűjel titulusok utónevek § Természetes személy külföldi nevek § speciális ékezetek, írásjelek (cirill, kínai) § más formátumlogikát követ 2012. 02. 22. Előadó: Angyal Gergely 11

Formátum § Név § Bastiano Coimbra de la Coronilla y Azevedo § Antonio Coimbra de la Coronilla y Azevedo 2012. 02. 22. Előadó: Angyal Gergely 12

Formátum § Születési név Magyarországon § Egytagú családnév egy utónévvel § Kéttagú családnév egy utónévvel § Egytagú családnév két utónévvel § Kéttagú családnév két utónévvel 2012. 02. 22. Előadó: Angyal Gergely 13

Formátum § Házassági név § A feleség a házasságkötés után választása szerint: • kizárólag a maga teljes nevét viseli • a férje teljes nevét viseli a házasságra utaló toldással, amelyhez a maga teljes nevét hozzákapcsolhatja • a férje családi nevét viseli a házasságra utaló toldással és ehhez a maga teljes nevét hozzákapcsolja • férje családi nevéhez hozzákapcsolja a saját utónevét 2012. 02. 22. Előadó: Angyal Gergely 14

Formátum § Házassági név 2 § A férj a házasságkötés után: • kizárólag a maga teljes nevét viseli • a felesége családi nevéhez hozzákapcsolja a saját utónevét § A férj, illetve a feleség a házasságkötés után házassági névként családi nevüket is összekapcsolhatják, hozzáfűzve a saját utónevüket 2012. 02. 22. Előadó: Angyal Gergely 15

Formátum § Titulusok § § dr. ifj. id. özv. § Titulusok § dipl. Ing § med. § Prof. § Dr. med. habil. Xxxx Yyyyyy Ph. D. , D. Sc. 2012. 02. 22. Előadó: Angyal Gergely 16

Formátum § Cím § Postai küldemény – postaláda fellelhetősége § Elérhetőség – ajtó, helyiség fellelhetősége 2012. 02. 22. Előadó: Angyal Gergely 17

Formátum § Okmányok § Személyi igazolvány § Lakcímkártya § Egyéb okmányok • Útlevél • Születési anyakönyvi kivonat • Vezetői engedély 2012. 02. 22. Előadó: Angyal Gergely 18

Formátum § Reguláris kifejezések Oracle-ben (10 g) § § REGEXP_INSTR REGEXP_SUBSTR REGEXP_REPLACE REGEXP_LIKE § Lakcímkártya-szám § REGEXP_INSTR(fieldname, [: digit: ]{6}[: alpha: ]{2}) 2012. 02. 22. Előadó: Angyal Gergely 19

Értékkészlet § Osztályokra bontás, klasszifikálás § GROUP BY § Név referencia adatbázisok § Név-adatszolgáltatás § Utónévtörzs § Cím referencia ? § Közterülettörzs 2012. 02. 22. Előadó: Angyal Gergely 20

Rekord szintű anomáliák § Tárolás struktúrája § nem felel meg az adat jellegéből adódó alkalmas struktúrának (pl. névadat egy VARCHAR mezőben) § Duplikátum § ugyanazon entitás többszörözött tárolása § keresése § kezelése • Korrekciója (logikai fizikai összevonás) 2012. 02. 22. Előadó: Angyal Gergely 21

Összefoglalás § Definíciók § minőség, adatminőség § Keretrendszer § Ellenőrzéstípusok § Mező szintű anomáliák § formátum § értékkészlet § Rekord szintű anomáliák § duplikáció 2012. 02. 22. Előadó: Angyal Gergely 22

Kérdések 2012. 02. 22. Előadó: Angyal Gergely 23

Köszönöm a figyelmet! Angyal Gergely gergely. angyal@gmail. com +36 20 492 5885 2012. 02. 22. Előadó: Angyal Gergely 24