Nadaljevanje modernizacije statistike cen spletno strganje podatkov Tina

Nadaljevanje modernizacije statistike cen spletno strganje podatkov Tina Vratanar Oddelek za statistiko cen Sosvet za statistiko cen, 30. 5. 2019

Vsebina predstavitve • Spletno strganje (web scraping) • Razvoj strganja po letu 2016 • Projekt spletnega strganja cen • Prihodnost uporabe strganih podatkov Sosvet za statistiko cen, 30. 5. 2019 2

Spletno strganje (web scraping) • Samodejno pridobivanje vsebine s spletnih strani (WS). • Prehod iz ročnega zbiranja podatkov z interneta (copypaste) na avtomatsko zbiranje. Sosvet za statistiko cen, 30. 5. 2019 3

Razvoj strganja po letu 2016 – I. • Začetek s projektom Modernizacija statistike cen (računalniška oprema) Leto Št. trgovcev Orodje Naziv izdelka Cena Tehnična specifikacija izdelkov 2016 7 Import. io x 13 Agenty (ex Data Scraping Studio) x SURS orodja 2017 -2018 2019 12 Sosvet za statistiko cen, 30. 5. 2019 4

Razvoj strganja po letu 2016 – II. • Uporaba podatkov v produkciji (računalniška oprema) Ročno zbiranje (do 2018) Spletno strganje (v 2018 in 2019) Internet 1 x mesečno Vsak torek v mesecu 10 -12 h do 4 h okoli 122 okoli 55. 000 Št. uporabljenih cen 122 do 127 + morebitne menjave Nadzor nad podatki popoln manjši zaradi velikega števila podatkov Vir Časovni zajem Trajanje zbiranja in urejanja podatkov Št. zbranih cen Sosvet za statistiko cen, 30. 5. 2019 5

Projekt spletnega strganja cen 2018 • Dva cilja: – nadgradnja metodologije (viri, orodja, metode) za izračun gibanja cen računalniške opreme, – zamenjava ročnega zbiranja podatkov o cenah letalskih prevozov in počitniških paketov. • Pričakovani rezultati: – – – razvoj lastnih SURS orodij za strganje podatkov, orodje za klasifikacijo izdelkov računalniške opreme v ECOICOP, krajši čas zbiranja podatkov, razširjen zajem podatkov, boljša kakovost indeksa, uporaba rezultatov na drugih področjih statistike cen (PKM, Indeks cen storitev pri proizvajalcih). Sosvet za statistiko cen, 30. 5. 2019 6

Cilj 1: računalniška oprema Glavne aktivnosti: • razviti SURS orodja za spletno strganje • v razvoju orodje za klasifikacijo izdelkov v pripadajoče ECOICOP podrazrede (elementarne agregate - EA) in homogene skupine proizvodov (podnivoji EA) • testiranje uporabe drugih QA metod (MARS-QU) ter multilateralnih (ML) metod računanja indeksov pri računalniški opremi Sosvet za statistiko cen, 30. 5. 2019 7

Cilj 2: letalski prevozi in počitniški paketi Glavne aktivnosti: • nabor potrebnih podatkov in spletnih strani • razviti SURS orodja za spletno strganje • ocena uporabnosti orodja za strganje podatkov letalskih prevozov in počitniških paketov ter ocena možnosti uporabe WS podatkov na različnih področjih statistike cen • Presoja uporabe WS podatkov v rednem produkcijskem procesu: NE/DA (navodila za obdelavo in vpeljava v redni produkcijski proces) Sosvet za statistiko cen, 30. 5. 2019 8

Prihodnost uporabe strganih podatkov • Področje spletnega strganja podatkov je še mlado in v razvoju • Dinamičnost spletnih podatkov • Potrebne prilagoditve metodologije izračuna ICŽP in HICŽP ter metodologije prilagajanja kvalitete (QA) • Uvedba novih metodologij na podlagi rezultatov raziskovanj (grantov) – le priporočila, ki pa niso zavezujoča Sosvet za statistiko cen, 30. 5. 2019 9

Hvala za pozornost! Sosvet za statistiko cen, 30. 5. 2019 10