Kvantitativn metody vzkumu v praxi 3 st ZS

Kvantitativní metody výzkumu v praxi 3. část ZS 2008 (2/11/08) Jiří Šafr jiri. safr@seznam. cz KMVP část 3 1

Obsah • Problém zkreslení • Vlastnosti kvality dat (proměnných) • Validita, Reliabilita KMVP část 3 2

Problém zkreslení KMVP část 3 3

otázka → odpověď • odpovídat na otázku představuje celou řadu transformací: může tak vzniknout zkreslení KMVP část 3 4

Typy zkreslení • 1. respondent musí otázce porozumět → srovnatelnost dat Příklad: zamyslete se Jaký je nyní Váš příjem? KMVP část 3 5

Typy zkreslení 2. ochota na otázky vůbec odpovědět (nepříjemné, nevhodné otázky) 3. pravdivost odpovědi – zná respondent vůbec pravdivou odpověď? KMVP část 3 6

Typy zkreslení 4. může být nepříjemné vyslovit určitou alternativu 5. záznam odpovědi KMVP část 3 7

Riziko zkreslení • Nejkritičtější operace ve výzkumu - nalezení spolehlivého indikátoru. • Pokud dojde k chybě v této fázi, pak následující operace budou neplatné. • Nezachycené omyly při konstrukci indikátoru jsou fatální. KMVP část 3 8

Interference se zkoumaným systémem - zkreslení vyvolané výzkumnými stimuly KMVP část 3 9

Zkreslení vyvolané výzkumnými stimuly 1. Efekt morčete 2. Výběr role 3. Měření jako zdroj změny 4. Stereotyp ve volbě odpovědí (response sets) „Přitakání“ volba střední (neutrální) kategorie KMVP část 3 10

Problémy při měření postojů pomocí dotazníků : • otázka v dotazníku = odpověď na standardizovaný podnět → není to spontánní projev v přirozené interakci! • Nikdy neznáme „skutečné“ postoje, ale pouze odpovědi v dotaznících nebo výsledky experimentů. • Berou respondenti výzkum vážně? →Neodpovídají na otázky náhodně? • Nelze se spoléhat na to, že respondenti chápou naše otázky stejně jako výzkumník [Vávra 2006] KMVP část 3 11

Vlastnosti kvality dat (proměnných) Informace o vlastnostech vzniká ve třech rovinách: 1. Konstrukce znaku 2. Sběru dat – konkrétního měření 3. Zpracování dat – interpretace KMVP část 3 12

Vlastnosti kvality dat: Validita & reliabilita Validita = obsahová platnost → Validní je takové měření, které skutečně měří to, co jsme zamýšleli měřit. Reliabilita = spolehlivost měření → Reliabilní je takové měření, které nám při opakované aplikaci dává shodné výsledky, pokud se stav pozorovaného objektu nemění. KMVP část 3 13

Kvalita dat: Proměnná je … • validní, když při měření nedojde k systematickému zkreslení obsahu způsobeného např. chybnou formulací otázky, jiným chápáním pojmu u respondentů výzkumníka, chybnými instrukcemi, systematickou chybou v kódování. • reliabilní, pokud se při nezávislém opakovaném měření (nezmění-li se vlastnost a za stejných podmínek) hodnota nezmění. V dotazníku bývá nespolehlivost způsobena nevhodným předpisem možných odpovědí – jsou neurčité, příliš obecné, obsahují respondentům neznámá slova, jsou významově příliš příbuzné. Taktéž ji způsobuje nekonkrétnost otázek, když otázky nemají k respondentovi vztah, ptají se na postoje, které respondent/ka sám/a nevytváří. [Řehák, Řeháková 1986: 38] KMVP část 3 14

Příklady • příklad narušené validity s kobercem v muzeu [Disman 1993: 62] • příklad narušené reliability Chodíte do kina – často, - ne tak často, - občas, - zřídka, - vůbec ne [Disman 1993: 63] KMVP část 3 15

Vztah reliability a validity • Může nereliabilní měření být validní? Ne • Může nevalidní měření být reliabilní? Ano KMVP část 3 16

Validita & reliabilita [Babbie 1995: 128] KMVP část 3 17

Techniky kontroly validity, testování validity 1. Založená na členství ve známé skupině → zkusit na skupině, která vlastnost má a porovnat s vzorkem obecné populace 2. Kriteriální validita: a. Prediktivní – porovnání se skutečnými výsledky (např. úspěšnost v testech ve škole dalšího stupně) b. Souběžná – měříme více způsoby a porovnáme 4. Konstruovaná/ konstruktová validita → pokud je v datech zjištěn vztah mezi indikátorem a dalšími (jinými) znaky, jaký bychom a priori očekávali na základě teorie ↑ 1, 2, 3, 4 objektivně měřitelné přístupy k validitě 5. Na mínění skupiny soudců – experti z oblasti (nezávisle na sobě!) 6. Obsahová - testovaná výčtem obsahu → úplnost významové domény jevu, který zkoumáme (7. ) Zjevná → Intuitivní předpoklad, že výsledek měření skutečně odráží náš koncept. → v podstatě eufemismus pro neprovedené ověření validity ↑ 5, 6, 7 pouze odkaz na existující literaturu, teorii jevu, KMVP část 3 předchozí empirický výzkum a mínění expertů. 18

Validita, reliabilita = kvalita dat • neexistuje universálně validní měření určitého konceptu, validita prokázaná v určitém kontextu je nepřenositelná(!). • validita jednoho měření prokázaná v jednom sociálním prostředí může být nevalidní na jiné populaci. • Kontrola kvality dat patří k analýze dat v každé její fázi! KMVP část 3 19

Přesnost měření • Systematické vychýlení: výpadek v procesu výběru, ve výběrovém souboru je výrazně podhodnocena či vynechána důležitá část populace • Výběrový soubor je reprezentativní, když se svou strukturou dobře shoduje se strukturou cílové populace. Závěry na výběrovém souboru můžeme zobecnit na cílovou populaci. KMVP část 3 20

Přesnost měření je funkcí celkové chyby měření = jak se rozchází naměřené a skutečné výsledky, má dvě složky a) Nevýběrová chyba (nonsampling error) faktory uvnitř i vně metodiky výzkumu obtížně zjistitelné: chybně formulované otázky, nezastihneme všechny vybrané respondenty doma, lidé nechtějí odpovídat, neříkají pravdu, …. b) Výběrová chyba (sampling error) výsledky ve vzorku se lišší od cílové populace, lze statisticky vyčíslit Tolerance chyb (margin of error) suma všech možných výběrových chyb, která kvantifikuje nejistotu výsledků měření → pravděpodobnostní interval -/+ (např. 95% interval spolehlivosti určuje rozpětí kolem naměřené hodnoty) ovlivněno: velikostí výběru, metoda výběru, velikost populace KMVP část 3 21

Literatura • Babbie, E. (1995). The Practice of social Research. 7 th Edition. Belmont: Wadsworth • Disman, M. (1993): Jak se vyrábí sociologická znalost. Praha: Karolinum • Jeřábek, H. (1993): Úvod do sociologického výzkumu. Praha: Karolinum • Kreidl, M. (2004). „Přehled základních přístupů k empirickému hodnocení kvality měření v sociálních vědách. “ Pp. 87 - 96 in: Krejčí, J. (ed. ) Kvalita výzkumů volebních preferencí. Praha: SoÚ AV ČR. • Řehák, J. Řeháková, B. (1986). Analýza kategorizovaných dat v sociologii. Praha: Academia. • Vávra M. (2006). Nesnáze s měřením postojů. SDA Info, Vol. 8. No. 1. : 9 -12. KMVP část 3 22