Informacioni sistemi Prof dr Angelina Njegu Upravljanje podacima

Informacioni sistemi Prof. dr Angelina Njeguš Upravljanje podacima i MDM v Data governance v Data management v Data master management Beograd, 2016/2017.

Informacioni sistemi Prof. dr Angelina Njeguš Da li je potrebno upravljanje podacima? § Povećan obim, kompleksnost poslovanja § Više različitih poslovnih sistema § Različito viđenje istih podataka u različitim sistemima/odelenjima § Postoji više verzija istine, nekonzistentnost podataka § Podaci su često netačni, postoje preklapanja, nedokumentovane zavisnosti … § Nije definisana odgovornost za podatke § Korišćenje različitih alata za upravljanje podacima u različitim poslovnim sistemima § Nesinhronizovanost različitih poslovnih rešenja …

Informacioni sistemi Prof. dr Angelina Njeguš Prepreke upravljanja podacima § Industrije moraju da se pridržavaju strogih regulativa i osiguraju bezbednost specifičnih podataka ú Finansijske ustanove (Basel I, Basel II, SOX) ú Zdravstvene ustanove (HIPAA) ú Farmaceutske kompanije (21 CFR Part 11) ú Telekomunikacione kompanije ú Javna uprava …

Informacioni sistemi Prof. dr Angelina Njeguš Zašto upravljati podacima? § Ko može da menja podatke o klijentima? § Kako se netačan podatak koriguje? § Kako se rešavaju konflikti i kome se preusmeravaju? § Kako se promene u podacima identifikuju i rešavaju? § Koja zainteresovana strana (Stakeholder) donosi odluke? § …

Informacioni sistemi Prof. dr Angelina Njeguš Data Governance § Glavni fokus upravljanja podacima je promena shvatanja ljudi da je i informacija korporativni resurs i da mu treba posvetiti posebnu pažnju! § Novi organizacioni sektor: Information Center of Excellence (ICE)

Informacioni sistemi Prof. dr Angelina Njeguš Smernice za Data Governance § Disciplina koja objedinjuje: ú kvalitet podataka (data quality) ú upravljanje podacima (data management) ú politike podataka (data policies) ú bezbednost podataka (data security) ú upravljanje poslovnim procesima (business process management) i ú upravljanje rizicima (risk management) u cilju jedinstvenog upravljanja poslovnim podacima

Informacioni sistemi Prof. dr Angelina Njeguš Nove uloge/role § Vlasnici podataka ú Organizacione jedinice u kojima nastaje, ažurira se i prati kvalitet konkretne grupe master podataka § Čuvari podataka ú Osobe na konkretnim radnim mestima unutar organizacionih jedinica vlasnika podataka koje unose, edituju i prate kvalitet konkretne grupe master podataka § IT čuvari podataka ú Osobe koje modeliraju meta strukture master podataka u skladu sa poslovnim zahtevima i zahtevima vlasnika podataka

Informacioni sistemi Prof. dr Angelina Njeguš Uloga čuvara podataka (Data Stewards) § Najvažnija uloga u Data Governance § Specijalista koji razume i prati poreklo, značenje, relevantnost i upotrebu podataka

Informacioni sistemi Prof. dr Angelina Njeguš Upravljanje master podacima (Master Data Management) § Skup disciplina, rešenja i tehnologija koja se koriste za kreiranje i održavanje kvalitetnih ključnih (glavnih) poslovnih podataka za sve zainteresovane strane § Uključuje: ü ljude/organizaciju ü procese ü tehnologije

Informacioni sistemi Prof. dr Angelina Njeguš Oblici podataka § Nestruktuirani podaci (Unstructured data) – email-ovi, documenta, spreadsheet datoteke. . . § Polustruktuirani podaci (Semistructured data) - XML files … § Transakcioni podaci (Transactional data) – orders, purchases, sales … § Referentni podaci (Reference data) - customers, products, suppliers … § Metapodaci (Metadata) – čuvaju podatke o drugim podacima, npr. lista atributa koja se čuva za proizvod MDM rade sa referentnim podacima!

Informacioni sistemi Prof. dr Angelina Njeguš Položaj master podataka (tzv. Šifarnici)

Informacioni sistemi Prof. dr Angelina Njeguš Definicija Master podataka § Ključne činjenice koje opisuju glavne objekte poslovanja § Visoko vredne informacije koje imaju uticaja na najvažnije poslovne procese § Uključene su u više procesa, aplikacija i baza podataka § Koriste ih više učesnika § Podaci koji se relativno sporo menjaju § Imenice poslovanja 12/27

Informacioni sistemi Prof. dr Angelina Njeguš Ciljevi MDM § Kvalitet podataka i kvalitet upotrebe: ú Povećanje tačnosti, konzistentnosti i sigurnosti prilikom donošenja odluka ú Smanjenje rizika od regulatornih kazni ú Povećanje bezbednosti podataka ú Poboljšanje poslovnog rezultata ú Definisanje odgovornosti za kvalitet podataka

Informacioni sistemi Prof. dr Angelina Njeguš Pravci MDM strategije § Princip jedinstvenosti: ú jedinstven sistem zapisa za svaki podatak objekta ú jedinstveno vlasništvo podataka za svaki podatak objekta ú jedinstvena šifra za svaku instancu objekta ú jedinstveni sistem referenciranja koji obezbeđuje jedinstveni pogled na instance podataka ú jedinstvena definicija podataka – vrednosti podataka imaju isto značenje kroz sve sisteme i fajlove ú jedinstveni format podataka (data standard) za svaki podatak objekta ú jedinstveni pravci tokova podataka, od izvora podataka do sistema referenciranja

Informacioni sistemi Prof. dr Angelina Njeguš Pravci MDM strategije (nastavak) § Princip konzistentnosti: ú Konzistentni alati (održavanje, distribucija, replikacija, čišćenje) ú Konzistentni procesi (održavanje, distribucija, replikacija praćenje, upravljanje) ú Konzistentnost operacija (najbolje prakse) ú Konzistentnost sadržaja podataka kroz entitete, poslovne procese, aplikacije, instance, klijente, kompanije, partnere, fabrike i sl.

Informacioni sistemi Prof. dr Angelina Njeguš Zašto mi je potrebno MDM rešenje kad ja mogu da: § Napravim jednostavnu aplikaciju - skupo za održavanje i nepotpuno § Dobavljam podatke ETL-om - da li je workflow dobar? § Povučem podatke iz Data Warehouse - kako su podaci dospeli tamo? § Imam izvor iz ERP-a ili CRM-a - da li je sve tu i treba li da bude? § Direktno editujem dimenzije - da li je ovo skalabilno i deljivo?

Informacioni sistemi Prof. dr Angelina Njeguš Bez MDM-a • AP – Aplikacioni sistemi • S – Staging – baze podataka • BI – Business Intelligence sistem • DW – Data Warehouse sistem • Reporing - Izveštavanje

Informacioni sistemi Prof. dr Angelina Njeguš Sa MDM-om • AP – Aplikacioni sistemi • S – Staging – baze podataka • BI – Business Intelligence sistem • DW – Data Warehouse sistem • Reporing - Izveštavanje

Informacioni sistemi Prof. dr Angelina Njeguš Arhitekture upravljanja master podacima Ljudi su se dovijali na razne načine kako da reše svoje probleme i vremenom su se izdvojile četiri tehnike implementacije MDM koje se razlikuju po stepenu kontrole nad Master podacima kojima se upravlja: Registar master podataka (Master Data Registry) Agregacija podataka (Data aggregation solutions) Implementacija sistema zapisa (System-of-record-only implementations, Hub) Kompletna MDM implementacija (Complete enterprise MDM implementations)

Informacioni sistemi Prof. dr Angelina Njeguš Pojmovi:

Informacioni sistemi Prof. dr Angelina Njeguš Registar master podataka Master Data Registry § Svi master podaci se mapiraju u registar (Registry) namenski modeliranu strukturu podataka. § Mapiranja između surogat ključeva definišu odnose između podataka koji nastaju u različitim sistemima, izvorima podataka - te veze mogu biti jedan na jedan ili jedan na više § Svaki sistem zadržava kontrolu nad svojim podacima § Bilo koji novi pojam u bilo kom sistemu će dovesti do nekonzistentnosti podataka unutar rešenja što zahteva veoma kompleksno upravljanje podacima

Informacioni sistemi Prof. dr Angelina Njeguš Agregacija podataka Data aggregation solutions § § § Veoma je uobičajeno da se za inicijalne implementacije MDM uvodi ovaj tip Glavni faktor koji nedostaje ovoj implementacionoj tehnici je kontrola Veoma je teško da se ubede svi koji poseduju informacije da se odmah odreknu ili ustupe kontrolu nad svojim podacima u korist novog rešenja Drugi sistem, obično aplikacija za najkritičnije biznis transakcije (ERP) ostaje sistem zapisa (SOR) i sistem unosa (SOE). Integracioni procesi prebacuju podatke iz ovog inicijalnog izvora u MDM rešenje.

Informacioni sistemi Prof. dr Angelina Njeguš Implementacija sistema zapisa System-of-record-only implementations, Hub § Obezbeđuje kompletnu kontrolu nad Master podacima MDM sistemu § Drugi sistemi obezbeđuju inicijalne podatke koji se importuju u MDM sistem, ali za razliku od Data Aggragation rešenja, tok podataka iz ovog SOE je dvosmeran § Novi zapisi se prebacuju u MDM sistem radi integracije § MDM je sistem zapisa (SOR) § Ovaj način zahteva veći stepen integracije podataka i povremeno čišćenje

Informacioni sistemi Prof. dr Angelina Njeguš Kompletna MDM implementacija Complete enterprise MDM implementations § Kompletna MDM rešenja zahtevaju da ceo životni ciklus master podataka bude na strani MDM rešenja da bi se adekvatno njima upravljalo § Kontrolisanje unosa master podataka obezbeđuje MDM sistemu da proaktivno upravlja kvalitetom podataka § Iako će kompletna implementacija biti i sistem unosa (SOE) i sistem zapisa (SOR) za sve master podatke, još uvek će se zahtevati i mapiranje podataka za druge aplikacije.

Informacioni sistemi Prof. dr Angelina Njeguš Servisi upravljanja kvalitetom § MDM sistemi koriste usluge (servise) kvaliteta podataka § Kvalitet podataka (Data Quality, DQ) se odnosi na procese i alate koji dovode do stvaranja tačnih, potpunih i validnih podataka usklađenih prema zahtevima § Aspekti kvaliteta podataka su prikazani na slici

Informacioni sistemi Prof. dr Angelina Njeguš Uobičajeni problemi sa kvalitetom podataka Kvalitet podataka Problem Primer problema sa podacima Standardizacija Jesu li elementi podataka precizno definisani i razumljivi? Pol = M, Ž, N je jedan sistem and Pol = 0, 1, 2 je drugi sistem Kompletnost Da li su prisutni svi potrebni podaci? 20% kupaca za prezime ima blank, 50% poštanskih brojeva je 99999 Tačnost Da li podaci tačno predstavljaju realnost i da li su poverljiv izvor? Isporučioc ima status Aktivan ali nije u poslednjih 6 godina Validnost Da li je vrednost podataka unutar prihvatljivog opsega? Vrednost zarade treba da bude između 60, 000 -120, 000 Jedinstvenost Podaci će se pojaviti više puta U sistemu se pojavljuju Milena Zlatković i Milena Pavlović, a to je jedna ista osoba

Informacioni sistemi Prof. dr Angelina Njeguš Servisi kvaliteta podataka § Čišćenje podataka (Data Cleansing) - modifikovanje, otklanjanje ili obogaćivanje netačnih ili nepotpunih podataka § Uparivanje ili spajanje (Matching) – identifikovanje semantičkih duplih zapisa, povezivanje i spajanje srodnih podataka u grupe podataka § Profilisanje (Profiling) – analiza izvora podataka kako bi se omogućio uvid u kvalitet podataka na svim nivoima procesa otkrivanja znanja, upravljanja domenom, spajanja i čišćenja podataka – sa ciljem identifikacije problema sa kvalitetom podataka § Nadgledanje ili praćenje (Monitoring) – praćenje i određivanje stanja aktivnosti kontrole kvaliteta. Monitoring omogućava verifikovanje da servisi kvaliteta podataka rade ono za šta su projektovani § Baza znanja (Knowledge Base) – analizira podatke u odnosu na izgrađeno znanje o tim podacima. Proces kreiranja kvaliteta podataka kontinualno povećava znanje o podacima i na taj način poboljšava kvalitet § Servisi referentnih podataka (Reference Data Services) – provera kvalitet podataka koristeći servise provajdera (npr. Windows Azure Marketplace Data. Market čisti, proverava, spaja i obogaćuje podatke)

Informacioni sistemi Prof. dr Angelina Njeguš Zahtevi za Data Quality rešenja Monitoring Praćenje i monitoring stanja aktivnosti na kvalitetu podataka i samog kvaliteta podataka. Profilisanje Analiza izvora podataka da bi se pružio uvid u kvalitet podataka i pružila pomoć u identifikaciji problema sa kvalitetom podataka Monitoring Cleansing Profiling Matching Čišćenje Izmena, uklanjanje ili obogaćivanje podataka koji su netačni ili nepotpuni. Ovo uključuje ispravku, standardizaciju i obogaćivanje. Spajanje Identifikovanje, povezivanje ili spajanje srodnih podataka u grupe podataka.

Informacioni sistemi Prof. dr Angelina Njeguš Rešavanje problema obrade duplih zapisa podataka § Proces određuje i rukuje višestrukim zapisima koji bi mogli da predstavljaju isti entitet

Informacioni sistemi Prof. dr Angelina Njeguš Zašto se obrađuju dupli zapisi? § Dupli zapisi podataka utiču na redundantnost podataka, lošu sinhronizaciju podataka, nekonzistentnost podataka itd.

Informacioni sistemi Prof. dr Angelina Njeguš Kada se obrađuju dupli zapisi? § Dodavanje zapisa (zapis bi mogao već da postoji) § Ažuriranje (nova ažurirana informacija bi mogla da pomogne u identifikovanju duplikata)

Informacioni sistemi Prof. dr Angelina Njeguš Proces obrade duplih zapisa

Informacioni sistemi Prof. dr Angelina Njeguš Proces uparivanja - Match § Rezultati uparivanja se dodaju u ADDACTIONTYPE tabelu

Informacioni sistemi Prof. dr Angelina Njeguš Obrada duplih zapisa

Informacioni sistemi Prof. dr Angelina Njeguš Kako se konsoliduju podaci?

Informacioni sistemi Prof. dr Angelina Njeguš Kreiranje MDM modela § MDM osnovni koncepti ú Model - Kontejner za sve ostale MDM objekte - šema ú Entity - Grupa podataka sličnog tipa - tabela ú Member - Individualni podatak - red ú Attributes - Opis podatka - kolona ú Hierarchy - sadrži implicitne ili eksplicitne veze između podataka ú Rule - Deklarativni uslov ili akcija nad podatkom

Informacioni sistemi Prof. dr Angelina Njeguš

Informacioni sistemi Prof. dr Angelina Njeguš Studija slučaja: SQL Server – Master Data Services § Postoji četiri ključna aspekta SQL Servera MDS kao platforme: ú Master Data Hub ú Master Data Platform ú Master Data Portal ú Stewardship Process

Informacioni sistemi Prof. dr Angelina Njeguš Master Data Hub § Odgovoran za skladištenje i integraciju master podataka § Skladišti entitete, atribute i hijerarhije

Informacioni sistemi Prof. dr Angelina Njeguš Master Data Platform § SQL Server Master Data Services je platforma za izgradnju MDM rešenja

Informacioni sistemi Prof. dr Angelina Njeguš Master Data Manager Portal § Omogućava kreiranje novih modela podataka § Kreiranje novih entiteta, atributa i hijerarhija § Editovanje master podataka § Kretanje entiteta do/od hijerarhija § Dokumentovanje modela …

Informacioni sistemi Prof. dr Angelina Njeguš Stewardship proces § SQL Server Master Data Services podržava proces čuvara podataka § Podaci se mogu upoređivati korišćenjem T-SQL iskaza …

Informacioni sistemi Prof. dr Angelina Njeguš Web aplikacija

Informacioni sistemi Prof. dr Angelina Njeguš Održavanje entiteta (objekata)

Informacioni sistemi Prof. dr Angelina Njeguš Atributi

Informacioni sistemi Prof. dr Angelina Njeguš Hijerarhije § Izvedene (Derived) hijerarhije – npr. Kategorija proizvoda, Podkategorija proizvoda, Proizvod § Eksplicitne hijerarhije – npr. hijerarhija Geografija može da se sastoji od Regiona, Države, Grada…

Informacioni sistemi Prof. dr Angelina Njeguš Oracle MDM data hub

Informacioni sistemi Prof. dr Angelina Njeguš Oracle MDM Solutions

Informacioni sistemi Prof. dr Angelina Njeguš Infosphere Master Content

Informacioni sistemi Prof. dr Angelina Njeguš Sticanje znanja i veština na Univerzitetu Singidunum § Univerzitet je član Microsoft IT Academy ú E-learning materijali za MDM: Clinic 10331: Introduction to Microsoft SQL Server 2008 R 2 Master Data Services § Univerzitet je član IBM Akademske inicijative ú Na raspolaganju su virtulni imidži sa lab materijalima za IBM® Info. Sphere™ Master Data Management Server § Dodatni linkovi: ú http: //sqlblog. com/blogs/mds_team/ ú http: //msdn. microsoft. com/en-us/library/ee 633 ú http: //msdn. microsoft. com/en-us/library/bb 190163. aspx 763. aspx

Openness and Interoperability @Microsoft Informacioni sistemi Prof. dr Angelina Njeguš Microsoft and Open Source gateway for deeper exploration of open source engagements http: //www. microsoft. co m/openness Interoperability Bridges technical collaborative works http: //www. interoperabil itybridges. com Port 25 Codeplex blogs from the platform community and the OSS Lab teams resources for developers and consumers of open source projects http: //Port 25. technet. co m http: //www. codeplex. co m Open Up Shared Source cross-Industry Interoperability and Standards activities portal for programmatically sharing code http: //www. microsoft. co m/interop/openup http: //www. microsoft. co m/sharedsource OData Open Spec Biz. Spark open source starter kit for Internet publishing of Government datasets using the Open Data protocols, file formats, standards, technical specifications Program for Start-Up companies from both commercial and open source backgrounds http: //www. microsoft. co m/openspecifications http: //www. microsoft. co m/bizspark http: //ogdisdk. cloudapp. n et How can I receive up-to-date Openness announcements from Microsoft? In addition to the websites above, you can receive regular updates to Microsoft’s openness, interoperability and standards efforts via the following channels: • http: //blogs. technet. com/b/openness/ • http: //blogs. msdn. com/b/interoperability/ • http: //twitter. com/Open. At. Microsoft • http: //port 25. technet. com • http: //channel 9. msdn. com/Blogs/Interoperability