Zopr minulch experimentov Jakub imko jakub simkostuba sk
Zopár minulých experimentov Jakub Šimko jakub. simko@stuba. sk
Case #1 Pex. Ace Účel: získať tagy k obrázkom 107 hráčov, 814 hier, 2 792 obrázkov 22 176 annotations, 5 723 tags Corel 5 K dataset 2
Case #2 City Lights Účel: zvalidovať existujúce tagy k hudbe 875 hier, 4933 otázok, 1492 tagov Last. FM data 3
Case #3: Little Search Game Účel: získať prepojenia medzi pojmami 300 hráčov, 3 800 hier, 27 200 dopytov 3 200 slov použitých hráčmi, 40 úloh 400 pojmov, 560 vzťahov Vlastný dataset 4
Case #4 Otázkovač v ALEFe Účel: zisk správnosti odpovedí (+vzdelávanie) 200 otázok (každá 20 odpovedí) 142 študentov, 10 000 získaných ohodnotení, 465 vyhodnotených otázok Vlastný dataset 5
Ku každej metóde existuje vždy viac hľadísk kvality a teda aj viac hypotéz (analógia s hľadiskami kvality softvéru) 6
Pri získavaní metadát naše experimenty zahŕňajú predovšetkým overenie ich kvality Otázka znie: ako je tá kvalita definovaná? Je tag (vzťah, koncept) správny? Nesprávny? Trochu správny? Zlatý štandard (Pex. Ace), a posteriori (City. Lights) Je tag špecifický? Akej je kategórie? Pex. Ace pre osobné metadáta Je zistená hodnota dostatočne blízko správnej? Otázkovač (použitie „pásma tolerancie“) 7
Pex. Ace personal: skúmali sme špecifickosť a typ tagov Aware (253 tags) Corr. Spec. Und. Portraits 0. 98 0. 61 0. 71 Groups 0. 97 0. 57 0. 74 Situations 0. 92 0. 41 0. 77 Other 0. 98 0. 18 0. 82 Average 0. 96 0. 44 0. 76 Unaware (108 tags) Corr. Spec. Und. 0. 77 0. 53 0. 87 0. 76 0. 45 1. 00 0. 93 0. 19 1. 00 0. 88 0. 15 1. 00 0. 84 0. 33 0. 97 Other (11%) Places (15%) Events (21%) 8 Persons (53%)
Musí nás tiež zaujímať, koľko metadát sme schopní získať (kvantita) a za akú cenu City. Lights sa ukázala byť viac náročná (bolo potrebných viac akcií hráčov na potvrdenie jedného tagu), podobne Little Search Game. Pex. Ace naopak, bola efektívna (často stačila jediná akcia na vytvorenie hneď niekoľkých tagov) 9
Mali by nás zaujímať doménové obmedzenia Ak sme chceli metadáta pre rock, museli sme zohnať hráčov čo rock počúvajú (City. Lights) 10
Ak naša metóda zahŕňa ľudskú prácu, musí nás zaujímať aj User Experience hľadisko Nastupujú úplne iné metódy. . . Dotazníky (Otázkovač, LSG) Rozhovory (Otázkovač) Analýza implicitnej spätnej väzby (všetky) 11
Treba si dobre vybrať, čo overovať Kvalitu metadát? (a v rámci nej čo presne? ) Kvantitu metadát? Cenu a kvalitu procesu? A určiť hranice Rozumne si premyslieť, ako veľmi všeobecná (špecifická) vaša metóda je 12
- Slides: 12