Obsah Prprava testovacch dt Vyhodnotenie klasifiktora Bonus 28

Obsah: • Príprava testovacích dát • Vyhodnotenie klasifikátora + Bonus 28. 10. 2009

1. Československá republika 2/7

Klasifikátor subjektivity otázok • Motivácia: Automatické odpovedanie – Objektívne otázky. . . odpovede z databázy – Subjektívne otázky. . . odpovede z diskusií • Subjektívne otázky (názory, skúsenosti) What’s an example of ignorance in our society? I’ve gotta write a paper on this and I need more examples! Otázka 3/7

Príprava testovacích dát 1. Nájdem korpus na Internete – Neexistuje. 2. Vytvorím si korpus sám – Namáhavé. 3. Delegujem vytvorenie korpusu – Zorganizujem vlastnú skupinu Každý anotuje časť dát – Mechanickí Turci (http: //www. mturk. com/) Každú otázku anotuje napr. 5 Turkov, hlasovanie 4/7

5/7

Overenie kvality anotácie dát 1. Keď si korpus vytvorím sám, dáta sú kvalitné. môžu byť nekvalitné. . . 2. Úroveň zhody medzi dvoma anotátormi Cohen kappa: Pozorovaná zhoda Pravdepodobnosť náhody Zhoda: κ = 0. 0 – žiadna 0. 2, 0. 4, 0. 6, 0. 8 κ = 1. 0 – úplná Príklad: Áno Nie Áno 20 5 Nie 10 15 P(zhoda) = (20+15) / 50 = 0. 7 P(náhoda) = P(obaja-áno) + P(obaja-nie) = oda) = (25/50)*(30/50) + (25/50)*(20/50) = oda) = 0. 5*0. 6 + 0. 5*0. 4 = 0. 3 + 0. 2 = 0. 5 6/7

Klasifikačný algoritmus – subjektivita otázok Otázka áno Metóda nie Príklad: Dátová vzorka otázok N=500 (300 subj. / 200 obj. ) Typ Odp otáz ove ky ď Subjektívne Objektívne Subjektívna 220 40 Objetívna 80 160 Recall: 220 / (220+80) = 0. 73 Precision: 220 / (220+40) = 0. 85 7/7

Porovnanie – jednotná miera kvality • Dva rôzne metre. . . • F-measure: • • recall = 0. 73, precision = 0. 85 F = (2*0. 85*0. 73)/(0. 85+0. 73) = 1. 241 / 1. 58 = 0. 79 • Hotovo! Aké je recall a precision pre objektívne otázky? Iné!! Recall (obj. otázky): 160 / (40+160) = 0. 8 Precision (obj. otázky): 160 / (80+160) = 0. 66 F = (2*0. 66*0. 8)/(0. 66+0. 8) = 1. 056 / 1. 46 = 0. 72 Macro-averaged F-measure: (0. 79+0. 72)/2 = 0. 755 8/7 Micro-averaged F-measure: . . . = 0. 76

Ako nato? Overenie klasifikátora textu 1. Pripraviť testovacie dáta – Overiť kvalitu Podiel / Cohen kappa / Fleiss kappa 2. Vytvoriť klasifikátor 3. Overiť krížovou validáciou – Recall, precision 4. Porovnať si inými – F-measure, (macro/micro)-averaged F-measure 9/7

Analýza dátovej vzorky • Dáta nemusia byť len „osamotené“ príklady – Aké sú následnosti jednotlivých kategorií. . . HMM: niečo Kategórie 10 / 7

11 / 7

12 / 7