Adatbziskezels nagy adatbzisok Big Data adatbnyszat Csicsman Jzsef
Adatbázis-kezelés: nagy adatbázisok, Big Data, adatbányászat Csicsman József csicsman@calculus. hu
Általános információk l l www. inf. u-szeged. hu/~csicsman, www. math. bme. hu/~csicsman angol nyelvű oldal https: //www. kevinsheppard. com/images/0/09/Pyt hon_introduction. pdf www. pyton. org E-könyv: http: //etananyag. ttk. elte. hu/Fi. Le. S/downloads/ 14_KOVACS_E_Tobbvalt_adatelemzes. pdf
Egy mai hír a Linked-ről
Egy korábbi hír a Linked-ről, Hétköznapok az adatiparban: adatelőkészítés Adatelemzőnek lenni menő dolog. Egy rövid bemutatkozásból persze nem derül ki, hogy ebben az első hallásra is vonzónak tűnő munkakörben a feladatok jelentős részét „favágó munka”, az adatok előkészítése teszi ki. Márton Zimmer Ahogy egy, a Forbes-ban megjelent felmérés is mutatja, a „data scientist”-ek 76%-a legkevésbé ezeket a feladatokat szeretik a munkájukban, mégis idejük a 80%-át töltik ezzel. Érdekes, hogy ez az arány tíz éve is hasonló volt, ahogy például ezt egy akkoriban megjelent könyvünkben is írtuk. Creating Value from Data @ Hiflylabs Különös, egyedi kifejezéseket fejlesztettünk ki erre, ha már ennyit foglalkozunk vele: adatot túrunk, masszírozunk, gyurmázunk, kopasztunk… Mégis kevés olyan "pályaelhagyót" ismerek, aki emiatt megunta vagy megutálta volna az adatokkal való foglalkozást. Szeretünk főzni, és ha az kell hozzá, hát elvégezzük a zöldségpucolást is. Ráadásul nem mindegy hogy az adatelőkészítést milyen minőségben végezzük el. Sokszor itt dől el, hogy milyen minőségű lesz a végeredmény – a fonnyadt részeket ki kell vágni, de az ízes falatokat fel kell dolgozni. Az adatelemzési technológia persze mindeközben szédítő ütemben fejlődik. Sok olyan fejlesztés van, ami éppen az adatelőkészítés megkönnyítését célozza meg azt ígérve, hogy a szakértők végre az idejük nagyobb részét tölthetik igazi elemzéssel. Ömlik a kockázati tőke a Big Data feldolgozását megkönnyítő startupokba és persze az adatipar szoftveróriásai is fejlesztik a saját megoldásaikat. 2016. ősz Kovács Erzsébet - Csicsman József 4
Zimmer Márton: Hétköznapok az adatiparban: adatelőkészítés Akkor reménykedhetünk benne, hogy a múlté lesz a „ 80% adatelőkészítés – 20 % elemzés, modellezés” munkaidő arány" szabálya? Ebben nem számítok a következő években nagy változásra. Az egyre fejlettebb eszközök ugyan valóban egyre ügyesebben fogják támogatni ezt a tevékenységet. De ennek inkább lesz az az eredménye, hogy olyan adatforrásokat is szeretnénk majd kiaknázni, amiről ma eszünkbe se jut, hogy hozzányúlhatunk. A gyorsabb közlekedési eszközök sem eredményezték azt, hogy az emberek kevesebbet töltenek utazással. Inkább az lett az eredmény, hogy messzebbi úti célokat is elérhetőnek tartunk. Van még egy terület, amelytől sokan az adatelőkészítési munka elvégzését várják: léteznek mesterséges intelligencia alapú kezdeményezések is az adatok értelmezésére. A mesterséges intelligencia persze egyre több helyre „beteszi a lábát”, így például néhány évtized múlva valószínűleg sokkal kevesebb sofőrre lesz szükség. Séfek azonban akkor is lesznek, legfeljebb olyan szerencsések lesznek, hogy a zöldségtisztítást gép segíti. Ahogy lesz adatelemző is, akinek a munkáját is jóval több hasznos eszköz könnyíti majd. 2015. ősz Kovács Erzsébet - Csicsman József 5
Egy szokásos e-mai üzenet l l l l There are several postdoctoral and Ph. D positions open at the University of Edinburgh in the “Big Data Optimization" Lab of Peter Richtarik: http: //www. maths. ed. ac. uk/~prichtar/ The positions start in Fall 2016. 1) Postdoctoral Research Associate position in Big Data Optimization Duration: 3 years More information and online application form: https: //www. vacancies. ed. ac. uk/pls/corehrrecruit/erq_jobspec_version_4. jobspec? p_id=034907 Funded through EPSRC grant: "Randomized Algorithms for Extreme Convex Optimization”. … 3) Ph. D position in Big Data Optimization Duration: 3. 5 years Apply here: http: //www. maths. ed. ac. uk/studying-here/pgr/phd-application/apply (Choose "OR and Optimization") Funded by the School of Mathematics, University of Edinburgh. The post is associated with the EPSRC grant: "Randomized Algorithms for Extreme Convex Optimization”. 4) Ten Ph. D positions in Data Science http: //datascience. inf. ed. ac. uk/apply/ Duration: 4 years We have funding for 10 Ph. D students in virtually all areas of Data Science, including optimization. I’ll be happy to supervise successful applicants wishing to work in areas such as big data optimization, randomized algorithms for numerical linear algebra or optimization, and scalable machine learning. Többváltozós Statisztikai Modellezés Csicsman J. : Adattárházak-adatelemzés 6
Ki az a Data Scientist? Többváltozós Statisztikai Modellezés Csicsman J. : Adattárházak-adatelemzés 7
Who am I? Kapcsolatom az informatikával Programozó (C++, Java, R, SAS BASE. . . ) Végfelhasználói alkalmazásfejlesztő (PHP, Java, . NET, SAS App Dev Stúdió, …) Felhasználó 1. (Korábban kifejlesztett alkalmazások kezelője, pl. : SAP, Oracle finantial, App-ok, . . . ) Felhasználó 2. adatelemző, (SAS, SPSS, elemzési eszközök önálló használata és az eredmények értékelése)
A szoftverek áttekintése Operációs rendszerek OS, Unix, Linux, IOS, Android, … Programozási nyelvek Assembler, Cobol, Fortran, …, BASIC, C#, PHP, JAVA, … Adatbáziskezelők Dbase, My. SQL, MSQL, ORACLE, … Nagy rendszereket kiegészítő szoftverek pl. ORACLE Finantial, Statisztikai szoftverek, végfelhasználói alkalmazások BMDP, SPSS, SAS, …, ERP alkalmazások: Pl. SAP 9
Adatbázis-kezelés l l Az „adatbázis”, napjaink legjobban félreértett kifejezése A filekezelő rendszerektől a Dashboard technikákig Az adatbáziskezelő rendszerek alapvető funkciói Az SQL, mint az adatbázis-kezelés alapvető lekérdező rendszere
Az „adatbázis”, napjaink legjobban félreértett kifejezése l l Mi is az adatbázis? A Statisztikai Adatbázis az, amit a KSH elnöke elrendel l l Adatgyűjtés Adatellenőrzés, adat editálás, Adattárolás és dokumentálás, Metainformációs rendszerek, Adatkezelés, tranzakciók, Adatlekérdezés, SQL
A filekezelő rendszerektől a Dashboard technikákig l l l KSH MARK IV filekezelő rendszere, Flat file-ok Adabas szabványok és adatbázisok Relációs adatbázisok, tranzakciós rendszerek Post relációs adatbázisok, Cache Hadoop, a Big Data osztott adattárolására
Az SQL, mint az adatbáziskezelés alapvető lekérdező rendszere l l Standard Query Language Adatmódosítás, szelekció Aggregálás Párosítás Left Joint l Right Joint l Inner Joint Egy SAS mintapélda bemutatása l
Az adatbáziskezelő rendszerek alapvető funkciói l l l Mit biztosít az adatbázis-kezelő rendszer? Adatok szabványos tárolása Adatok dokumentált módosíthatósága Adatok archíválása és mentése Adatok dokumentálása, Adatszótár vagy Metainformációs rendszer, Adat az adatról Adatok lekérdezhetősége: Előredefiniált és ad-hoc lekérdezések
A kvantitatív módszerek alkalmazási területei Hagyományos alkalmazási területek l l Államigazgatás Pénzintézeti szektor Telekommunikációs cégek Vállalatok A leginkább fejlődő területek l l l Egészségügy Élettudományok Közösségi alkalmazások
Kvantitativ módszerek alkalmazásai a KSH-ban l l l l Adatfelvételek Felvételek hibáinak kijavítása (Adateditálás) Statisztikai táblázás AKM modellek Fogyasztói árstatisztika Háztartásstatisztika, és a Munkaerőfelvétel a Mikrocenzus és a Próbanépszámlálás Népszámlálás
Adat előkészítő és adatelemző szoftverek a KSH-ban l l l l Kérdőív szerkesztés (Word, Excel, Corel) Nyomtatás, megszemélyesítés (Openpage) Adateditáló rendszerek: BLAISE, Oracle és SAS Adattárolás eszköze az Oracle A nyomdakész „táblagyártás” TPL-lel, SAS-sal Az adatelemzés eszközei nagygépes környezetben (SPSS, SAS) Napjaink adatelőkészítő és elemző rendszerei (ORACLE, SAS és az SPSS)
Alkalmazások a NAV-nál l l l Megyei bevallás-feldolgozó rendszerek Folyószámlakezelés VIR Társasági adó becslése Központi bevallásfeldolgozás META Futtatórendszer Lekérdező Adat és alkalmazásvédelem
SAS az adófeldolgozásban l l VIR Társasági adó becslése l A Monitorozó rendszer 1996 -ban A korrigált becslési algoritmus 1997 -ben Az eredmények és a hibák, a jó becslés feltételrendszere l Központi bevallásfeldolgozás l l META Futtatórendszer Lekérdező l Adat és alkalmazásvédelem Többváltozós Statisztikai Modellezés Csicsman J. : Adattárházak-adatelemzés 19
Az általánosított központi bevallásfeldolgozó rendszer • • • A Társasági Adó feldolgozásánál szerzett tapasztalatok alkalmazása a többi adóbevallásra is A központi bevallásfeldolgozó rendszerek migrálása A META információs rendszer A Futtató rendszer funkciói • az aktuális időszakhoz tartozó feladatok • az általánosított adatkezelés lehetőségei • az általános párosító Adat és alkalmazásvédelem Demonstráció Többváltozós Statisztikai Modellezés Csicsman J. : Adattárházak-adatelemzés 20
21 Többváltozós Statisztikai Modellezés Csicsman J. : Adattárházak-adatelemzés
Hogyan védjük meg alkalmazásainkat az illetéktelen használattól, a véletlen és a szándékos károkozástól • Az adatvédelem és a jogosultságkezelés • • problémái Feladatok a fejlesztés időszakában A már kész alkalmazások jogosultságvédelme és követése Többváltozós Statisztikai Modellezés Csicsman J. : Adattárházak-adatelemzés 22
Pénzintézeti alkalmazások l l l A legfejlettebb adatbázis, adattárház alk. Hiányzó adatok pótlása Üzleti termékek eredményének előrejelzése A Credit Scoring elemzések támogatása A stresszteszt vizsgálatok elkészítése (hirtelen árfolyamváltozás, munkanélküliség növekedés, …)
Adatkezelés a telekommunikációban l l l Automatikus adatbázis feltöltések Felesleges, hiányzó és hibás adatok kezelése Marketing felmérések adatainak korrigálása A lemorzsolódások elkerülésére kidolgozandó marketingstratégiák hatásának előrejelzése A csalók felderítésének támogatása
Vállalati Információs Rendszerek döntések támogatására Technológia Munkatársak ADAT Üzleti célok Többváltozós Statisztikai Modellezés Csicsman J. : Adattárházak-adatelemzés Üzleti információk 25
Adatraktár technológiák l A döntéshozók környezete Napjainkban a döntéshozók olyan problémákkal néznek szembe, mint például : l l l növekvő komplexitás kevesebb rendelkezésre álló idő növekvő kockázat INFORMÁCIÓIGÉNY
A vállalati döntéshozók információ igénye laktuális, pontos és teljes információk laz üzleti változásokat figyelembe vevő adatok lúj üzleti lehetőségekbe betekintés lehetősége la vállalati stratégiákhoz történő alakíthatóság A vállalati információs rendszerek piramis ábrája l VIR, vagy MIS Adatbányászati eszközök Statisztikai szoftverek Meta információs rendszer Adattárházak, Tranzakciós rendszerek
The Process of Operating the Business l l Operational Function Definition Sub-Departmentalize Specialize Optimize / Improve “Operating the Business is different than Strategy for the Business” Michael Porter Harvard Business School
Információ tárház (Data Warehouse) “Témaorientált, integrált, nem változó, idővariáns adatoknak olyan szervezett gyűjteménye, amely a vezetés igényeit támogatja” (William H. Inmon definíciója) l l tárgyorientált integrált időtengelye van csak bővíteni lehet
Az információ- (tudás) kinyerés folyamata Tranzakciós A D A T O K Minőség Kockázat RDBMS Fogyasztó “Régi” Adatkezelés Szervezés Kiaknázás Termék SAS Piac Jövő Külső Információ-tárház I N F O R M Á C I Ó
Adatelemzés és adattárház építés az egészségügyben Fizioszenzoros mintaalkalmazás Vezeték nélküli kommunikáció HTTPS Viselhető szenzorok bluetooth kommunikációval Adatgyűjtő és továbbító egység (mobil) TCP/IP Központi feldolgozó, vezérlő szerver –háttérben adatbázis, megjelenítés terminálon Többváltozós Statisztikai Modellezés Csicsman J. : Adattárházak-adatelemzés Adatelemzést végző SAS szerver 31
Adatfeldolgozás DB/2 és SAS között Többváltozós Statisztikai Modellezés Csicsman J. : Adattárházak-adatelemzés 32
Az eredmények prezentálása az orvosok számára l graph_emg. sas l graph_intergralt_amplitudo. sas l graph_atlag_amplitudo. sas l graph_integralt_amp_egysegenkent. sas Többváltozós Statisztikai Modellezés Csicsman J. : Adattárházak-adatelemzés 33
Az adatokról Csicsman József-Sipos Szabó Eszter Az adatbányászati technikákhoz szükséges matematikai alapok
Néhány szó az adatokról l Nomenklatúrák és értékeik: l l l CITY – települések CMCL – ügyfélosztály CMGR – ügyfélcsoport CNGR – bekötéscsoport TLST – vonalstátusz Mutatók: l l l Számlaadatok Vonaladatok Szolgáltatás 35
Az adatok főbb jellemzői l Mérési skála (transzformálható!) l l Nominális, csak megkülönböztet (nem, lakóhely, állampolgárság) Ordinális (iskolai végzettség, beosztás) Intervallum vagy magasabb: (belépési életkor, jövedelem, tartam, hitel összege) Leíró, feltáró elemzés
Leíró, feltáró elemzés Az átlagos, tipikus értékek meghatározása (központi tendencia mutatószámai) l A változékonyság mérése (szórás, a minta homogenitása) l Eloszlás jellemzése (ferdeség, csúcsosság mérése, grafikus ábrák) l Statisztikai táblák, táblázatok (A mértékek között a mérési skála alapján döntünk!) l
21 Statisztikai leírás alapjai l l A statisztikai leírás célja, módszerei Statisztikai leírás mutatói · · · l l l Középértékek Ingadozásmutatók Egyéb mutatók Grafikus képek Statisztikai táblák Többváltozós elemzések
25 Adatok rendezése, ábrázolása l l l l Osztályba sorolás Gyakoriságok (fi) megállapítása Relatív gyakoriság (gi) megállapítása Összegzett (kumulált) gyakoriságok ill. relatív gyakoriságok Gyakorisági táblázat Grafikus ábrázolás Statisztikai táblák és többváltozós elemzések
Feladat - 1 25 Egy folyamatos üzemben …. Gyakorisági táblázat készítése - Legkisebb és legnagyobb értékek megkeresése - Gyakoriságok meghatározása 0 1 :
25 Feladat - 1 A gyakorisági táblázat:
26 Feladat - 1 Adatok ábrázolása:
26 Feladat - 1 A gyakorisági táblázat folytatása:
26 Feladat - 1 Kumulált relatív gyakoriság ábrázolása: leállások száma
Feladat - 2 Műszeralkatrészek átmérőjét …. Gyakorisági táblázat készítése: - Minimum és maximum értékek keresése - Terjedelem meghatározása: R = 8, 50 - 8, 13 = 0, 37 - Osztályok számának meghatározás - Osztályhatárok, -közepek számolása 8, 13 8, 50 - Gyakoriságok meghatározása - Táblázat és a hisztogram elkészítése
Gyakorisági hisztogram
Kumulált relatív gyakoriság Osztályközök [mm]
29 -31 Középértékmutatók Módusz Medián Számtani átlag Harmonikus átlag Mértani átlag Négyzetes átlag 25 33 73 25 87 38 99 Mo Kvantilisek
32 Ingadozás mérőszámai Terjedelem Átlagos abszolút eltérés Tapasztalati szórás n v. n-1 ? ! Korrigált tapasztalati szórás Relatív szórás R
A statisztikai sokaság változói és objektumai Feladatunk a mátrix formájú adatszerkezettől kezdődik objektumok Var 1 O 2 O n Var 2 Vark
Adatok előkészítése l l l Objektumazonosítók egységesítése Adathiányok kezelése l Intervallum, arány típusú változónál: átlag vagy medián. l Sorrendi skálán: medián. l Véletlenszerűen. l Egy korreláló másik változó segítségével becsüljük. l Változó értékét ismeretlenre állítjuk. l (Követhetőség miatt meg kell jelölni, hogy mi töltöttük ki. ) Adatok transzformációja
Adatok transzformációja l Eloszlás átalakítása l l Új változók képzése l l Outlier értékek kezelése (levágása vagy megkeresése) Normalizálás Adott részhalmaz kivágása (pl. alvó cégek) Arányokkal, különbségekkel, deriváltakkal Folytonos változók diszkretizálása
Mérés és mérték problémája Távolságmetrikát kell definiálni l Pl. az embereket „termet” szerint szeretnénk szegmentálni, akkor a súly és magasság dimenziókat összemérhetővé kell tenni: megadhatjuk, hogy 1 kg súlyeltérés 2 cm magasságkülönbségnek feleljen meg. l A kvalitatív és a kvantitatív változók kezelésének problémáí
Metaváltozók használata l l Hiányosság: tulajdonságok független kezelése. Megoldás: metaváltozók használata több változó összevonásából
Az adatok grafikus ábrázolása l Egy változós grafikák Oszlopdiagramok, pont és folytonos vonalak, kördiagramok két és három dimenzióban l Több változó ábrázolása egy ábrán Különböző mértékegységű változók kezelése, normalizálás
A statisztikai táblázási feladatok l l l Mutatók és nomenklatúrák szerepe a statisztikai táblázási feladatnál A tábla szerkezetének definiálása Számított mutatók a táblában Új kategóriák definiálási lehetőségei l A százalékos táblák l A tábla formázási lehetőségei A TPL Tables szoftver bemutatása a weblapon l
Az adatelemzés folyamata l Adatfeltárás l adateditálás adattisztítás Adatkezelés Elemi statisztikák, és grafikonok l Többváltozós adatelemzés l l l Statisztikai táblák A változók vizsgálata - korrelációszámítás, regresszió számítás, varianciaanalízis, credit scoring, neurális hálók, asszociációs elemzés, … Az objektumok vizsgálata - klaszteranalízis, bineáris fák, …
A Magyarországon elérhető statisztikai szoftverek SAS Institute (magyarországi képviselet: SAS Institute Kft. ) www. sas. com Statistica Stat. Soft Inc. (magyarországi képviselet: Stat. Soft Hungary) www. statsoft. com SPSS Inc. (magyarországi képviselet: SPSS Hunhary) www. spss. com R Az S szoftver továbbfejlesztése, szabadon elérhető www. rstudio. com, www. r-project. org Pyton Interaktív általános célú eszköz, szabadon elérhető, www. pyton. org blog. molnardenes. hu/python-programozas-kezdoknek/ https: //www. kevinsheppard. com/images/0/09/Python_introduction. pdf 58
A adatbányászati szoftverek 1995 -től l l l Intelligent Miner DBMiner Mine. Set Clementine Enterprise Miner Statistica Data–mining 59
Az adatbányászati szoftverek összehasonlítása l l l l Milyen számítógép architektúrákon fut? A szoftver biztosítja-e az összes adatbányászati módszertant? Ha nem, hogyan bővíthető? A bővíthető-e a saját programozási nyelvén? , Milyen adat-vizualizációs lehetőségekkel rendelkezik? Milyen outputformákkal rendelkezik és azok másolhatóke szövegszerkesztőkbe? Jól kezeli-e a nagy adatállományokat? Elterjedt-e használata, könnyen megoszthatók-e az adatokat és programok? Megfizethető-e a termék a felhasználó számára?
Tudományos adatok felhasználását elemző szoftverek összehasonlítása
Előrejelzés az első négy adatelemző szoftver tudományos használatáról 2013 és 2017 között
Az adatelemzési versenyeken használt szoftverek 2011 -ben
Köszönöm a figyelmet!
- Slides: 64