Masivni podatki Toma Smrekar SURS Agenda Kaj so

Masivni podatki Tomaž Smrekar SURS

Agenda • • Kaj so masivni podatki? Kaj omogočajo na področju statistike? Izzivi pri uporabi v državni statistiki Razprava

Ocena proizvodnje digitalnih podatkov, ZDA Vir: US Census Bureau

Kaj so masivni podatki? • Natančna definicija (še) ne obstaja • 4 V : Obseg, Hitrost, Raznolikost, Spremenljivost. • kompleksnost (zahteva po čiščenju, povezovanju, enoličnem določanju. . . )

Viri masivnih podatkov • • Družbena omrežja, komentarji Spletni iskalniki, spletne strani Nadzor prometa, Zdravstvene evidence, zavarovalniške evidence, • Uporaba mobilnih naprav, kartične transakcije • Podobnost z administrativnimi viri

Aktivnosti privatnega sektorja • Goggle: GPI, Google trends, Public data explorer, • Pricestat. com, • Statistični podatki v realnem času, filtriranje namesto zbiranja podatkov • Uradne statistične metode temeljijo na teoriji verjetnosti in zbiranju podatkov • Privatni sektor se zaveda vrednosti podatkov, povezovanje podatkov?

Primer iz uradne statistike (CBS) zaupanje potrošnikov vzorec promet migracije ljudi vzorec - twitter mobilni telefoni

IZZIVI PRI UPORABI MASIVNIH PODATKOV V DRŽAVNI STATISTIKI (1) • Zakonske osnove za dostop do podatkovnih baz • Varovanje informacijske zasebnosti/statistične zaupnosti • Finančni – gledati v povezavi z: – zmanjševanjem obsega poročanja podjetij in posameznikov, – večje kakovosti podatkov (ustreznost, natančnost, pravočasnost),

IZZIVI PRI UPORABI MASIVNIH PODATKOV V DRŽAVNI STATISTIKI (2) • Organizacijski – proces in standardi, – pridobivanje in izobraževanje zaposlenih, • Metodološki – definiranje vzorčne populacije (tradicionalno: postaviš vzorec in ga napolniš s podatki, masivni podatki: obratno), – vizualizacija in rudarjenje – naredi masivne podatke „majhne“

SURS - projekti • Mobilnost prebivalstva • Prosta delovna mesta • Baze podjetij

Od zbiranja do filtriranja podatkov - tehnološki izzivi