Slovak University of Technology in Bratislava Faculty of
Slovak University of Technology in Bratislava, Faculty of Informatics and Information Technologies, Institute of Informatics and Software Engineering Kvalitatívny výskum Jakub Šimko @ Ontožúr 23. 10. 2011 jsimko@fiit. stuba. sk
Čo je kvalitatívny výskum „Výskum nevyužívajúci štatistické metódy“ „Ako jednotlivci či skupiny chápu a interpretujú svet“ White Box Menšie množstvo do hĺbky analyzovaných prípadov „Ak to platí pre tri prípady, platí to už pre všetky, však? “ (L. Satko)
Príklady použitia Nemáme presnú metriku (fitness) Nemáme dostatok prípadov Nedokážeme informácie získať automaticky Zisťovanie potrieb používateľov Zisťovanie použiteľnosti GUI Zisťovanie pridanej hodnoty aplikácií pre používateľa
Metódy Interaktívne (s ďalšími účastníkmi) ◦ Prieskum alebo experiment ◦ Dotazník alebo interview Bez interakcie ◦ Analýza dokumentov ◦ Analýza rozhrania aplikácie ◦ Statická analýza algoritmov ◦. . .
Nebezpečenstvo manipulácie Väčšie ako pri kvantitatívnych metódach Nevedomé ◦ Zle položené otázky ◦ Zanedbanie skutočností Vedomé ◦ „Come on data! Support my hypothesis!“ ◦ (Nasleduje vykonštruovaná ukážka )
Hodnovernosť a správnosť kvalitatívneho experimentu? Najskôr hypotéza Potom pravidlá experimentu . . . a až potom experimentujte. . . . a vyhodnocujte podľa vopred stanovených pravidiel Platí pre všetky druhy vyhodnocovania
Interaktívne prístupy Otázky, odpovede, činnosť človeka Dôležitosť postupnosti akcií ◦ Všetko v rámci interakcie ovplyvňuje účastníka ◦ Treba sa vyvarovať skreslenia a voliť správne poradie otázok a akcií Treba vedieť o kontexte účastníka Odporúča sa overovať odpovede redundantnými a inak položenými otázkami
CS: mobile multimedia metadata Prieskum s pomocou interview (Paper) User needs for metadata management in mobile multimedia content services Cieľ: Odhaliť návyky a potreby používateľov v súvislosti s organizáciou obsahu (a metadát) tvorenom mobilnými zariadeniami 22 účastníkov v „laboratórnych podmienkach“ 4 účastníci v nákupnom centre Interview s presne definovanou sekvenciou otázok s možnosťou voľnej odpovede
CS: Otázky interview v poradí 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. Opíšte čo vidíte na týchto obrázkoch. . . Aké máte problémy s manažovaním vášho MMM obsahu? Aké sú charakteristiky vašich fotografií? Ako by ste chceli vo vašich fotkách najradšej vyhľadávať? Aké informácie navyše by ste k vašim fotkám chceli? Ohodnoťte podľa dôležitosti nasledujúce atribúty. . . Privacy of metadata – s kým a čo zdieľate? Aké sú vaše súčasné praktiky vo vytváraní metadát? Čo by podľa vás mohli zariadenia zbierať automaticky a čo by mali zadávať ľudia? Ako často metadáta upravujete či inak udržiavate?
CS: efekty poradia otázok Postupné vysvetlenie konceptu metadát Zo začiatku nepoučený účastník odpovedá „od srdca“, neskôr už odpovedá inak Stimulus material - zlomový moment: ◦ Účastníkovi ukážeme fotografie aby ich opísal, zároveň si však pri nich uvedomí aké rôzne charakteristiky môžu mať ◦ Účastníkovi ukážeme zoznam atribútov, ktorý ho ovplyvní na zvyšok rozhovoru
Analýza odpovedí Môžeme zobrať odpovede ako sú ◦ To však spôsobí prílišnú heterogenitu Odpovede možno kategorizovať ◦ Vopred pripravené kategórie ◦ Vopred pripravené pravidlá kategorizácie ◦ Kategorizácii možno pomôcť aj počas interview položením dodatočnej otázky – aj to však musí byť v pravidlách Jedna odpoveď môže byť zdrojom aj pre viacero otázok resp. hypotéz
CS: príklad analýzy odpovedí Otázka: ◦ ◦ opíšte obrázky Je odpoveď kategorická alebo topická Opisuje náladu? Farby? Opisuje ako prvé prostredie? Postavy? Vyjadruje sa obdobiam? Udalostiam? Otázka: Aké máte problémy s manažmentom MMM ◦ Odpoveď skrýva aj spôsob používania Otázka: Aké informácie by ste k svojim fotkám chceli? ◦ Pri vymenovaní atribútov iba sledujeme, ktoré nami vopred definované skupiny používateľ postihol ◦ Prípadné vytvorenie nového atribútu musí vyplynúť opať z formálnych pravidiel experimentu
Dotazník Odlišnosti od interview ◦ Časovo menej náročná metóda (viac možných účastníkov) ◦ Ľahšie využiteľná v reálnom prostredí ◦ Menej obsahu v odpovediach Písať odpovede je menej pohodlné Uniká možnosť sledovať mimiku a iné správanie ◦ Menej flexibility ◦ Striktné poradie otázok je ohrozené
Riadený experiment s aplikáciou Odlišnosti od prieskumu ◦ V rámci experimentu pracujú účastníci s aplikáciou, ktorú nepriamo skúmame Dávame účastníkom úlohy Pozorujeme účastníkov Nechávame ich komentovať svoju činnosť Častá forma: porovnanie aplikácií ◦ Dve a viac skupín účastníkov Každá pracuje s jednou z aplikácií, alebo Každý účastník pracuje so všetkými aplikáciami
Zhrnutie 1. 2. 3. 4. 5. 6. Čo chcete ukázať? Čo môžete ukázať? Sformulujte hypotézy. Stanovte pravidlá. Stanovte dopredu scenár analýzy Uskutočnite experiment, zaznamenajte jeho priebeh Na základe záznamu vyhodnoťte hypotézy podľa pravidiel Skôr ako výsledok, presviedča kvalitný návrh experimentu
Zdroje Silverman, D. , Doing Qualitative reserch. Second edition. Sage Publications, Great Britain (scany slovenskej verzie v Pe. We úložisku) Vainio, T. , Väänänen-Vainio-Mattila, K. , Kaakinen, A. , Kärkkäinen, T. , and Lehikoinen, J. User needs for metadata management in mobile multimedia content services. Proceedings of the 6 th International Conference on Mobile Technology, Application & Systems - Mobility ’ 09, (2009), 1 -8. http: //dl. acm. org/citation. cfm? id=1710086
- Slides: 16