Suurandmed statistikas Maiki Ilves Metoodika ja analsi osakond

Suurandmed statistikas Maiki Ilves Metoodika ja analüüsi osakond 02. 12. 2016

Andmeallikad statistika tegemiseks Traditsioonilised allikad: n küsitlusuuringud n administratiivandmekogud Alternatiivsed allikad (sh suurandmed): n veeb n automaatselt genereeritud andmed 02. 12. 2016 Maiki Ilves

Suurandmete omadused – 4 V n n Andmete maht (volume) Andmete tekkimise kiirus (velocity) Andmestruktuuride mitmekesisus (variety) Andmete keerukus (veracity) – mittejuhuslik valik objekte, andmete tekkimise mehhanism ei ole lihtsalt kirjeldatav, andmetes palju müra, ajaline järjepidevus ebakindel 02. 12. 2016 Maiki Ilves

Näiteid suurandmeallikatest n Inimeste tekitatud andmed: facebook, twitter, google otsingud, ettevõtete veebilehed n Automaatselt salvestavad andmed: liiklusloendurid, liikluskaamerad, ilmakaamerad, satelliitpildid, mobiiltelefonide mastiandmed n Tehingute andmed: maksekaartide andmed, kaupluste skännerite andmed, erinevad logifailid 02. 12. 2016 Maiki Ilves

Oodatav kasu n Kui andmed on juba olemas, miks küsida vastajatelt uuesti? - vastamiskoormuse vähendamine n Efektiivsem ja odavam statistika tegemine n Parem kvaliteet – kiiremad tulemused, täpsemad hinnangud, väikeste gruppide kohta hinnangud n Säilib riikliku statistika tegija väärtus ja roll andmekasutaja jaoks. 02. 12. 2016 Maiki Ilves

Initsiatiivid Euroopas ja maailmas n UN Global Working Group on Big Data for Official Statistics (http: //unstats. un. org/bigdata/) n UNECE High-Level Group for the Modernisation of Official Statistics Big Data projektid + Big Data Inventory + Sandbox (http: //www 1. unece. org/stat/platform/display/bigdata/Big+Data+in+Official +Statistics) n ESS Vision 2020 programmis teema: uued andmeallikad n ESS Big Data töögrupp n ESSNet Big Data 02. 12. 2016 Maiki Ilves

Suurandmete edulood n Liiklussensorite andmetel liiklusintensiivsuse statistika (Holland) - https: //www. cbs. nl/en-gb/background/2015/31/a 13 -busiest-nationalmotorway-in-the-netherlands n Kaupluste skännerite andmed hinnastatistika kokkupanemiseks (Belgia, Suurbritannia) n Väliskülastajate statistika mobiiliandmete pealt (Eesti) - http: //statistika. eestipank. ee/? lng=en#tree. Menu/MAKSEBIL_JA_INVPOS/1410 02. 12. 2016 Maiki Ilves

Projektid Statistikaametis n “Feasibility study on the use of mobile positioning data for tourism statistics” n ESSnet Big Data: elektritarbimise tunniandmete pilootprojekt n Testid veebikammimise teel andmete saamiseks 02. 12. 2016 Maiki Ilves

Mobiiliandmete koostööprojekt n Osalejad: 6 partnerit 4 riigist (2013 -2014) n Eesmärk: anda hinnang mobiiliandmete kasutamise võimalikkusele turismi statistika tegemiseks n Näide andmetest 02. 12. 2016 Maiki Ilves

Mobiiliandmete plussid ja miinused n n Paraneb ajakohasus n Automaatne andmetöötlus Kulude kokkuhoid? Pendelrände, rahvastiku liikumise n n trendide analüüs n Potentsiaali turismitrendide ja n kiirhinnangute arvutamiseks http: //mobfs. positium. ee/ - 6 raportit 02. 12. 2016 Andmetele juurdepääs raske/kallis/ebakindel Ala-ja ülekaetuse probleemid Tulemuste üldkogumile laiendamine väga keeruline Ei sisalda infot reisi eesmärgi, kulutuste, reisija demograafiliste näitajate kohta. n Ei oska hinnata arvutatud turismistatistika hinnangute usaldusväärsust. Maiki Ilves

ESSnet Big Data projekt n Projektis osaleb 22 organisatsiooni 20 riigist. n 5 pilootprojekti perioodil 2016 -2018 1. Web scraping of job portals 2. Web scraping of businesses’ websites 3. Smart meters 4. Automatic Identification System data (maritime traffic) 5. Mobile phone data https: //webgate. ec. europa. eu/fpfis/mwikis/essnetbigdata/index. php/Main_Page 02. 12. 2016 Maiki Ilves

Kaugloendur n Kaugloendur on elektrooniline seade, mis mõõdab ja salvestab elektritarbimist teatud ajavahemiku tagant. n Kõikide elektritarbimise info jõuab Eestis Eleringi andmebaasi. n 2016 aasta lõpuks peaks kõik elektrimõõtjad olema kaugloetavad. n Eesti ja Taani on hetkel ainsad riigid Euroopas, kus on olemas keskne elektritarbimise andmeladu. 02. 12. 2016 Maiki Ilves

Projekti eesmärgid n Arvutada statistika koos kvaliteedihinnangutega: n leibkondade elektritarbimise kohta (leibkonna tüübi ja elukoha näitajate kaupa) – uus väljund n Ettevõtete elektritarbimine tegevusalati – hetkel uuringuandmetel põhinev väljund n Eluruumide kasutatavuse hindamine (tühi, periooditi tühi, kasutusel) – uus väljund, sisend põhieluruumi määramiseks 02. 12. 2016 Maiki Ilves

Esialgsed tulemused – leibkondade elektritarbimine January 02. 12. 2016 July Maiki Ilves

Näide eluruumide kasutatavusest 02. 12. 2016 Maiki Ilves

Andmeallika plussid n Saab linkida teiste andmeallikatega ning seeläbi luua uut infot/teadmist n Saab kasutada olemasoleva statistika kvaliteedi parandamiseks/valideerimiseks n Ettevõtete andmeesitamiskoormuse vähenemine n Ajakohasem statistika 02. 12. 2016 Maiki Ilves

Andmeallika miinused n Andmete kirjeldus puudulik n Korteriühistute korral ei saa eristada üksikute leibkondade tarbimist n Aadressid vabatekstina, üks-ühene linkimine teiste allikatega õnnestub ainult osaliselt n Rentnikud – ei ole elektrilepingu omanikud, nende tarbimine omistatakse omanikule, mitte neile endile n Oma tarbeks toodetud elekter ei ole andmestikus, tuleb hinnata. 02. 12. 2016 Maiki Ilves

Õppetunnid n Olemasolevad IT lahendused ei sobi, kuid uued lahendused nõuavad kompetentse, mida meie IT teenuse pakkujal ja Statistikaametil ei ole. n Teist moodi mõtlemine: teistsugused meetodid -> täpsushinnangute arvutamise asemel valideerimine -> kohandatud kvaliteedikriteeriumid n Koostöö teiste organisatsioonidega kogemuste jagamise eesmärgil hädavajalik. 02. 12. 2016 Maiki Ilves

Tänan! Maiki. ilves@stat. ee 02. 12. 2016 Maiki Ilves