OLAP kocke i primena data mining algoritama Prof

OLAP kocke i primena data mining algoritama Prof. dr Angelina Njeguš Redovni profesor na Univerzitetu Singidunum anjegus@singidunum. ac. rs Beograd, 2019/2020.

OLAP kocke § OLAP sistemi § OLAP arhitektura § OLAP interfejsi § Studija slučaja

Šta je OLAP kocka? § OLAP (On-line Analytical Processing) kocka je višedimenzionalni niz podataka § Reč „kocka“ ukazuje na višedimenzionalni set podataka. § OLAP kocke omogućavaju korisnicima brz i fleksibilan pristup kombinovanim višedimenzionalnim podacima izvučenih iz skladišta podataka § OLAP kocke su upiti (queries) nad skladištem podataka, koji pored SQL-a koriste i MDX za izvlačenje podataka. MDX (Multi. Dimensional e. Xpressions) je visoko funkionalna sintaksa za postavljanje upita nad multidimenzionalnim podacima

SQL vs MDX

OLAP arhitektura

OLAP: Troslojni sistem

Cubing servisi – OLAP analitika

Virtuelne kocke

Različite perspektive kocke kroz studiju slučaja Dimenzija Tržište Beograd Novi Sad oi zv od i Niš Veš mašine Frižideri Klima Televizori Q 2 Q 3 Q 4 Dimenzija Vreme Di Q 1 m en zij e Pr Skoplje

Beograd Fakti o prodaji Q 1 Q 2 Q 3 Dimenzija Vreme Q 4 m oi zv od Pr Skoplje en zij Veš mašine Frižideri Klime Televizori a Niš i Novi Sad Di Dimenzija Tržište Pravljenje upita nad kockom

Beograd Novi Sad Pr o Skoplje izv od Veš mašine Frižideri Klime Televizori i Niš zij a Q 4 en Q 1 Q 2 Q 3 Dimenzija Vreme Di m Dimenzija Tržište Definisanje “kriške” (engl. slice) ili podskupa kocke

Izveštaj za studiju slučaja Grad Proizvod Vreme Broj prodatih artikala Prihod u hiljadama din. Svi Sve 113 251. 26 Novi Sad Svi Sve 64 146. 07 Novi Sad Whirlpool veš mašina Sve 38 98. 49 Novi Sad Whirlpool veš mašina Sve 13 32. 24 Novi Sad Whirlpool veš mašina Kvartal 1 3 7. 44 Novi Sad Whirlpool veš mašina Mart 3 7. 44 12

Star šema u kocki podataka

Primer

Različiti pogledi na iste podatke Mesec P r Grad o i z v od Svi gradovi i meseci za jedan proizvod Svi proizvodi i meseci za jedan grad Svi proizvodi i gradovi za jedan mesec

Operacije nad OLAP kockom

Prikaz OLAP-a

Rad sa dimenzijama i hijerarhijama § Dimenzije vam dozvoljavaju Slice Dice Hijerarhije vam dozvoljavaju l n l l Drill Down Drill Up

Interfejsi OLAP kocke § Upiti (Query) – mogućnost kreiranja sopstvenih izveštaja § Izveštavanje i dashboard (kontrolna tabla) – prikaz bilo kog predefinisanog izveštaja i ključnih org. podataka u realnom vremenu koji omogućavaju drill down i druge OLAP opcije § Analize – mogućnost višedimenzionalne analize, poređenja. . . § Scorecarding – metrike ključnih poslovnih indikatora, pomaže korisnicima da shvate šta se dešava, ko je odgovoran i ko preduzima akciju. . . § Upravljanje događajima (Event management)

OLAP arhitekture MOLAP ROLAP Kombinovana arhitektura

HOLAP – Hibridni OLAP

Otkrivanje znanja i data mining v Data mining i otkrivanje znanja v Tradicionalni vs evolutivni pristup v Data mining proces v Data mining modeli

Data mining i otkrivanje znanja § Data mining je proces otkrivanja skrivenih veza između vrednosti atributa i pronalaženja obrazaca (šablona) ponašanja iz ogromnih količina podataka § Proces otkrivanja znanja (Knowledge Discovery in Databases - KDD) uzima sirove rezultate iz data mining-a i transformiše ih u korisne i razumljive informacije

Data mining kao podskup algoritama mašinskog učenja § Mašinsko učenje je kolekcija algoritama i tehnika koji omogućavaju pametnim aplikacijama da uče bez eksplicitnog programiranja (Samuel, 1959). Umesto programskog koda, potrebno je samo ubaciti podatke u algoritam i on će napraviti svoju logiku. Algoritmi mogu da generalizuju znanja na osnovu prethodnog iskustva (podataka o pojavama/entitetima koji su predmet učenja) • Dobijeno znanje koristi se kako bi se dali odgovori na pitanja za entitete/pojave koji nisu ranije viđeni • Na primer, jedna vrsta ovakvih algoritama je klasifikacioni algoritam. On može da smesti podatke u različite grupe. Isti klasifikacioni algoritam koji se koristi da prepozna rukom napisane brojeve mogao bi da se koristi za klasifikaciju mejlova u “spam” i “nije spam”, bez promene i jedne jedine linije koda. To je isti algoritam, ali su u njega uneti različiti trening podaci, pa on smišlja različitu logiku za klasifikaciju.

Tipovi ML algoritama

Nadgledano (supervised) učenje § Supervised learning (nadgledano učenje) predstavlja oblik mašinskog učenja na osnovu obeleženog skupa podataka za treniranje. Obeležen primer iz skupa podataka za treniranje, sastoji se od ulaznih podataka, tipično predstavljenih nizom realnih brojeva, kao i željene očekivane izlazne vrednosti. § Ovi algoritmi, jednom trenirani sa obeleženim skupom podataka, kao svrhu imaju da izračunaju rezultat, za neobeležen skup podataka.

Nenadgledano (unsupervised) učenje § Kod nenadgledanog učenja (unsupervised learning) treniranje algoritama obavlja na osnovu neobeleženog skupa podataka. § Neobeležen podatak iz skupa podataka za treniranje sastoji se samo iz ulaznih podataka, tipično predstavljenih nizom realnih brojeva. § Zadatak algoritama koji spadaju u ovu grupu, jeste da otkriju zakonitosti u podacima. § Nakon što je zakonitost u podacima pronađena, svrha ovih algoritama je da za novi skup podataka (takođe neobeležen) izračunaju neki zaključak koji zavisi od samog algoritma

Pojačano (Reinforcement) učenje § Pojačano učenje je bliže nadgledanom učenju, s tim da povratna informacija nije ispravka, već obaveštenje da je došlo do greške. § Kroz pokušaj i pogrešku nastoji da dostigne najvišu nagradu u sistemu, čak i ako se to ne desi odmah. § Radi se o rešavanju problema i pronalasku najefikasnijeg rešenja.

Tipičan proces mašinskog učenja

Primer

Primeri ML algoritama

Šta je data mining? § Data mining - Analiza podataka primenom različitih algoritama koji implementiraju razne matematičke i statističke modele primenjivih u poslovne svrhe § Šta je cilj? Pronalaženje šablona tj. obrazaca ponašanja otkrivanjem skrivenih veza između vrednosti podataka

Tradicionalni pristup

Data mining – evolutivni pristup

Data mining proces

Primene Data mininga § Reklamiranje na Internetu § Klasifikovanje grupa klijenata sa sličnim informacijama Praćenje kretanja klijenata na Internetu i otkrivanje njihovih želja Pretraživanja istih obrazaca klijenata na Internetu: “Ukoliko vam se dopada knjiga x, proverite i sledeće ponuđene knjige”. Upravljanje kreditnim rizikom Predviđanje da li je klijent dobar ili rizičan za davanje kredita

Položaj data mininga

Koraci data mining -a

Data mining algoritmi § Nekoliko tehnika data mininga omogućava identifikovanje obrazaca u ogromnom broju podataka § Neki modeli su: Drvo odlučivanja Pravila asocijacije Naivni Bajes (Naive Bayes) Klastering Vremenske serije Neuronske mreže Text Mining Linearne regresije

Pravila asocijacije § Pravila asocijacije (Association Rules) – pomaže u identifikovanju relacija između različitih elemenata grupiše po sličnosti, odnosno koristi se za pronalaženje grupe artikala koji se najčešće zajedno događaju u jednoj transakciji Koji zapisi se podudaraju sa datim pravilom? (ciljani marketing) Koja pravila se poklapaju sa istim zapisom? (Amazon ponuda)

Naive Bayes § Naive Bayes – ovaj algoritam se zasniva na Bayes-ovoj teoremi koji računa uslovnu verovatnoću između ulaznih i predvidljivih promenljivih i pretpostavlja da su promenljive nezavisne. Pogodna je za otkrivanje relacija između ulaznih promenljivih i predvidljivih promenljivih. Na primer, marketing odelenje je odlučilo da targetira potencijalne klijente slanjem flajera poštom. Žele da pošalju flajere samo onim klijentima koji će najverovatnije odreagovati. Upoređuju potencijalne klijente sa klijentima koji imaju slične karakteristike, a koji su kupili u prethodnom periodu. Naïve Bayes

Klastering § Sequence Clustering – grupiše zapise podataka koji su slični na osnovu sekvenci prethodnih događaja Kom klasteru/segmentu pripada dati zapis? Npr. , segmentacija klijenata po sličnim karakteristikama kako se kreću kroz veb stranice jednog sajta. Ovaj algoritam može da grupiše klijente prema njihovom redosledu otvaranja stranica na sajtu kako bi pomogli u analizi korisnika i u određivanju koje su putanje profitabilnije od drugih. Ovaj algoritam se takođe može koristiti u predviđanju koju će sledeću stranicu korisnik posetiti.

Vremenske serije § Vremenske serije (Time Series) – ovaj algoritam se koristi za analizu i predviđanje vremenskih trendova Npr. , određuje procente saobraćajnih nesreća tokom praznika na osnovu broja nesreća koje su se dogodile tokom istog perioda u protekloj godini.

Neuronske mreže § Neuronske mreže (Neural Nets) – kao što čovek uči na osnovu iskustva tako može i računar. Neuronske mreže modeluju neuronske veze u ljudskom mozgu i na taj način simuliraju učenje. Ukoliko sastavljate podatke gde su ulazne i izlazne činjenice poznate, računar može da nauči iz tih obrazaca i postavi pravila i matematičke faktore kako bi npr. , pomogao izračunavanje ili predvideo izlaznu vrednost. Pretpostavimo da želite da prodate kola, nekoliko faktora utiče na prodajnu cenu kao što su godine, stanje, proizvođač, model itd. Analizirajući cene kola, neuronske mreže mogu da kreiraju seriju ulaznih i izlaznih faktora kako bi predvideli cenu prodaje. Neural Net

Text Mining § Text Mining – analizira nestruktuirane tekstualne podatke § Veliki broj nestruktuiranih informacija (text) čini 80% informacija kompanije § Beleške call centara Izveštaji o problemima Izveštaji o popravkama Potraživanja od osiguranja E-mailovi sa klijentima Komentari proizvoda. . . Text mining pretvara nestruktuirane informacije u struktuirane koje se mogu analizirati zajedno sa struktuiranim § Npr. , kompanije mogu da analiziraju nestruktuirani podatak kao što je deo za komentare gde klijenti unose svoje utiske, zadovoljstvo o proizvodu i druge komentare

Linearna regresija § Regresija koristi postojeće vrednosti varijabli da bi se na bazi njih predvidele vrednosti ostalih varijabli. Npr. , prema istorijskim podacima klijenata, predviđaju se klijenti koji će biti najprofitabilniji u budućnosti U ERP sistemima predviđaju se prodaja i prihodi, potreba za zalihama. . . U realnim situacijama, često ne postoji linearna međuzavisnost sadašnjih i budućih podataka. Recimo, vrednosti akcija na berzi je jako teško predvideti jer one zavise od složenih interakcija velikog broja varijabli. U tom slučaju, koriste se složene tehnike, kao što su logistička regresija, stabla odlučivanja ili neuronske mreže

Koncept modela predviđanja

Neki algoritmi Data Mining -a Decision Trees Sequence Clustering Association Linear Regression Time Series Neural Net Text Mining Naïve Bayes Logistic Regression

Info. Sphere Warehouse rešenje za poslovnu analitiku 50

Studija slučaja: Text mining § Lanac restorana od svojih klijenata traži povratne informacije koristeći sledeću formu:

Studija slučaja § Podaci će biti uskladišteni u tabelu nad kojom će se postavljati upiti koji će odrediti: Koja lokacija je naprofitabilnija? Prosečan broj godina klijenata po lokaciji. . . Međutim, šta da se radi sa kolonom komentari?

UIMA: Standard za obradu i analizu sadržaja § UIMA – Unstructured Information Management Architecture

Studija slučaja § Može se kreirati rečnik koji se zasniva na ključnim rečima

Studija slučaja § Kreira se nova kolona koja će pamtiti komentare klijenata § Sada se može kreirati upit zajedno sa drugim dimenzijama

Studija slučaja § Mogu se ekstrakovati i poštanski brojevi klijenata kako bi se uporedile adrese klijenata sa lokacijama restorana

Studija slučaja 2: primena stabla odlučivanja • Koji je ključni atribut za predviđanje da li će svršeni srednjoškolci upisati fakultet ili ne? • Postavljana su im sledeća pitanja: Kog su pola? Koliki je prihod njihovih roditelja? Koliki im je IQ? Da li ih roditelji ohrabruju da nastave studiranje ili ne? • Da li planiraju da upišu fakultet? • • • Da bi na osnovu prikupljenih podataka utvrdili koliko studenata će nastaviti školovanje, neophodno je da se postavi upit koji broji zapise studenata koji žele i onih koji ne žele da nastave školovanje.

Studija slučaja § Pretpostavimo da ste zainteresovani da odredite koji atribut ili kombinacija atributa imaju najveći uticaj da predvidi verovatnoću studenata koji će upisati fakultet. Ovo je složeniji upit i zahteva korišćenje tehnika data mininga. § Primenjujući algoritam drveta odlučivanja otkrivene su sledeće relacije: Najuticajniji atribut je ohrabrivanje njihovih roditelja da upišu fakultet. Oni studenti koje roditelji ohrabruju da upišu fakultet, 60 % planira da upiše fakultet i to uglavnom oni sa visokim IQ.

Drvo odlučivanja Svi studenti Upisaće fakultet: 33% Da 67% Ne Ohrabrenje roditelja = Da Podsticaj od strane roditelja ? Ohrabrenje roditelja = Ne Upisaće fakultet: 57% Da 43% Ne IQ Upisaće fakultet: 6% Da 94% Ne Visok IQ Upisaće fakultet: 18% Da 82% Ne Visok IQ Nizak IQ Upisaće fakultet: 74% Da 29% Da 26% Ne 71% Ne Srednji IQ Upisaće fakultet: 9% Da 91% Ne IQ Nizak IQ Upisaće fakultet: 4% Da 96% Ne

Uvod u scenario Platne kartice § Direktor marketinga želi da oceni trenutni program platnih kartica. Da bi zadržao postojeće klijente i ispunio njihova očekivanja, želi da identifikuje mogućnosti kako bi povećao nivo usluga kod svih kartica: zlatna, srebrna, bronzana i obična § Raspoložive informacije od klijenata su pol, bračni status, godišnji prihodi, nivo obrazovanja § Da bi predvideli faktore koji utiču na izbor odgovarajuće kartice koristićemo Data mining: Koristićemo tehniku drveta odlučivanja da bi pronašli obrazac za izbor platne kartice. Odabraćemo Klijente kao dimenziju slučaja (case dimension). Odabraćemo Platnu karticu kao informaciju koju će koristiti algoritam DM da bi identifikovao obrasce. Iskoristiće se raspoložive informacije o klijentima kako bi se pronašao obrazac. Ispitati drvo odlučivanja.

Izbor tehnike Data Mininga

Izbor slučaja (case)

Selektovanje entiteta za predviđanje

Selektovanje podataka za analizu (training data)

Kreiranje dimenzije i virtuelne kocke

Ispitivanje zavisnosti mreže

Data mining § Tipična pitanja koja se postavljaju sistemu: Kakav je profil mojih klijenata? Na koje klijente treba da ciljam u promociji? Koje proizvode/usluge treba da promovišem? Ko će se od mojih klijenata sigurno odazvati promociji? Kako da poboljšam lojalnost kupaca? Koji artikal će kupci najverovatnije kupiti? Kako mogu da otkrijem potencijalne prevare? . . .

Primene Data mininga § Reklamiranje na Internetu Klasifikovanje grupa klijenata sa sličnim informacijama Praćenje kretanja klijenata na Internetu i otkrivanje njihovih želja Pretraživanja istih obrazaca klijenata na Internetu: “Ukoliko vam se dopada knjiga x, proverite i sledeće ponuđene knjige”. § Upravljanje kreditnim rizikom Predviđanje da li je klijent dobar ili rizičan za davanje kredita

Napredno mašinsko učenje – Deep learning § Primena algoritama dubinskog učenja (Deep learning), sistema za obradu prirodnih jezika i dr. , omogućavaju da napredni sistemi razumeju, uče, predviđaju, prilagođavaju se i samostalno funkcionišu.

Šta je neuronska mreža? § Neuron ili nervna c elija predstavlja osnovnu funkcionalnu jedinicu nervnog sistema i prisutne su u mozgu i drugim delovima ljudskog ili životinjskog tela. § Tipična nervna c elija ljudskog mozga sastoji se od četiri dela:

Delovi neurona § Dendriti – prihata signale sa drugih neurona. § Soma (telo nerne ćelije) – Zbraja sve dolazne signale da bi generisao ulaz. § Akson - Kada zbir svih dolaznih signala dostigne graničnu vrednost, neuroni se spaljuju i signal putuje niz akson do drugih neurona. § Sinapsi Tačka interkonekcije jednog neurona sa drugim neuronima. Količina emitovanog signala zavisi od snage (sinaptičke težine) veza. -

Poređenje veštačke neuronske mreže sa biološkom neuronskom mrežom

Postupak primene neuronskih mreža

Primene neuronskih mreža § § § § Prepoznavanje glasa Prepoznavanje karaktera (kucanih ili pisanih rukom) Prepoznavanje slika Kontrola robota ECG obrasci radi predviđanja bolesti Primene u bankarskoj industriji radi upravljanja rizicima. . .

Business intelligence (BI) sistemi v Šta je BI? v Kome je BI namenjen? v BI alati na tržištu v Zanimanje: BI konsultant

BI sistemi § Inteligentni poslovni sistemi (Business Intelligence – BI) je arhitektura koja predstavlja zbirni naziv za: kolekciju integrisanih alata, aplikacija i baza podataka koje obezbeđuju organizaciji: efikasan i lak pristup poslovnim podacima analizu i međusobno deljenje informacija u cilju donošenja kvalitetnijih, brzih i relevantnijih odluka i poboljšanja sveukupne poslovne efektivnosti

BI daje odgovor na pet pitanja • • • Data Šta se desilo? Šta se dešava? Prošlost Sadašnjost Zašto se to desilo? Šta će se desiti? Šta ja želim da se dogodi? ERP CRM SCM Budućnost 3 Pty Doc

Frontend alati 78

Kome je BI namenjen

BI alati na tržištu § § § § Oracle - Siebel Business Analytics Applications SAS - Business Intelligence SAP - Business. Objects XI IBM - Cognos 8 BI Oracle - Hyperion System 9 BI+ Microsoft - Analysis Services Micro. Strategy - Dynamic Enterprise Dashboards Pentaho - Open BI Suite Information Builders - Web. FOCUS Business Intelligence Qlik. Tech – Qlik. View TIBCO Spotfire - Enterprise Analytics Sybase – Info. Maker KXEN – IOLAP SPSS - Show. Case

Zanimanje: BI developer: § Razvija DW § Razvija OLAP kocke § Dizajnira, razvija i implementira dashboards, izveštaje i druge interfejse § Poznaje metodologije razvoja BI sistema § Koristi data mining algoritme radi kreiranja izveštaja … BI analitičar/konsultant

Konkursi na tržištu § BI Developer § BI Reporting Analyst § BI Architect § BI Specialist § BI Expert § BI Consultant § …

Sticanje znanja i veština na Univerzitetu Singidunum § § Univerzitet je član IBM Akademske Inicijative IBM Kurs: “Info. Sphere Warehouse (DM 032)” sa modulima (tabela) Dostupna virtuelna mašina sa materijalima za vežbu Dostupnost materijala sa kurseva i određenih alata: https: //www. ibm. com/developerworks/university/academicini tiative/ Univerzitet je član Microsoft IT Academy Microsoft kurs: “Introducing Business Intelligence in Microsoft SQL Server 2008 R 2” Deo kursa “Implementing and Maintaining Business Intelligence in Microsoft SQL Server 2008: Integration Services, Reporting Services and Analysis Services” Pristup e-learning kursevima SQL Server 2008 R 2 Business Intelligence Training Course: http: //msdn. microsoft. com/en-us/gg 618026

Besplatna e-knjiga § Naziv: Introducing Microsoft SQL Server 2008 R 2 § Autori: Ross Mistry and Stacia Misner § Izdavač: Microsoft § Godina izdanja: 2010 § Struktura knjige: PART I Database Administration CHAPTER 1 SQL Server 2008 R 2 Editions and Enhancements CHAPTER 2 Multi-Server Administration CHAPTER 3 Data-Tier Applications CHAPTER 4 High Availability and Virtualization Enhancements CHAPTER 5 Consolidation and Monitoring PART II Business Intelligence Development CHAPTER 6 Scalable Data Warehousing CHAPTER 7 Master Data Services CHAPTER 8 Complex Event Processing with Stream. Insight CHAPTER 9 Reporting Services Enhancements CHAPTER 10 Self-Service Analysis with Power. Pivot