Kvantitativn metody vod Pojet kvantitativnho vs kvalitativnho vzkumu

Kvantitativní metody – úvod Pojetí kvantitativního (vs. ? ) kvalitativního výzkumu, kroky výzkumu, formulování vědeckého problému, a/případně hypotéz, vyhledávání a studium literatury (včetně vyhledávání v on-line databázích) David Greger david. greger@pedf. cuni. cz 221 900 528 (M 208)

Výzkum kvantitativní vs. kvalitativní Kvantitativní Kvalitativní Filozofická východiska Pozitivismus Hermeneutika a fenomenologie Hlavní cíl Popis a vysvětlení Porozumění, nalezení smyslu Důraz na Zobecnění Jedinečnost Způsob výběru vzorku Náhodný, reprezentativní Záměrně vybraný Použití Stěžejní statistických metod Hlavní forma Čísla, tabulky, sdělení grafy © Martin Chvál Doplňkové Text

Výzkum kvantitativní vs. Kvalitativní (pokračování) Kvantitativní Číselné hodnoty Kvanlitativní Nečíselné, narativní, příp. vizuální data Výzkumný problém Hypotézy a výzkumné procedury jsou zřejmé již na počátku studie Možnost manipulovat kontext ANO Výzkumný problém a metody se upřesňují při hlubším poznávání tématu (fenoménu) v průběhu výzkumu NE Typ sebraných dat

Výzkum kvantitativní vs. Kvalitativní (pokračování) Rozsah (velikost) vzorku Zpracování dat Kvantitativní Kvalitativní větší menší Založené na Založeno na inferenční statistice kategorizování a organizaci dat , narativní syntéze Interakce s minimální účastníky výzkumu značná

Výzkumný design: quan. vs. qual. (1) Výzkumný design Kvantitativní Kvalitativní Experimentální Typický. Většina experimentů je založena na kvantitativním srovnání výsledků experimentální a kontrolní skupiny ve vztahu k závisle proměnné Nevyskytuje se, resp. Průřezový (crosssectional) zcela výjimečně (ukázka kvalitativní studie založené na experimentálním designu viz Bryman (1988). Typický: dotazníkové Typický: kvalitativní šetření nebo pozorování rozhovory nebo vzorku v daném čase ohniskové skupiny v jednom čase

Výzkumný design: quan. vs. qual. (2) Výzkumný design Kvantitativní Longitudinální Typický: panelové studie, sledování osob v čase kvantitativními metodami Případová studie (case study) Kvalitativní Typický: etnografický výzkum po dlouhou dobu, opakované rozhovory s respondenty. Typický: Dotazníkové Typický: intensivní šetření na jednom etnografická studie případu (lokalitě). Např. věnovaná jednomu Goldthorpe et al (1968) případu (případně si vybral město Luton více). Případem může pro své analýzy. být organizace (škola), třída, jednotlivci (učitel, žáka)

Výzkumný design: quan. vs. qual. (3) Výzkumný design Kvantitativní Kvalitativní Srovnávací Typický: Dotazníkové šetření nebo testování ve vícero zemích Etnografické nebo kvalitativní rozhovory na dvou a více případech

Dvě metody poznání Dedukce: teorie → hypotézy → sběr dat → analýza dat → potvrzení nebo zamítnutí hypotézy → revize teorie Indukce: pozorování → nalezené pravidelnosti → předběžné závěry → teorie KMVP část 1 8

Kroky (fáze) výzkumu (1) Kvantitativní Deskriptivní a orientovaný na vysvětlení Významná role: obhájení smyslu výzkumného problému a důvodu studie, formulování hypotéz k ověření Specifický a úzce vymezený Kroky výzkumu 1. Identifikace výzkumného problému Kvalitativní 2. Studium literatury Minoritní role Obhájení smyslu výzkumného problému Explorativní a orientovaný na porozumění 3. Výběr vzorku Obecný a široký, (účastníků založený na výzkumu) zkušenostech respon.

Kroky (fáze) výzkumu (2) Kvantitativní Předem připravené nástroje Číselná data Velké vzorky Kroky výzkumu 4. Sběr dat Kvalitativní Vyjevující se protokoly (předpřipravené, ale neuzavřené) Textová nebo obrazová data Malé vzorky

Kroky (fáze) výzkumu (3) Kvantitativní Statistická analýza Popis trendů, srovnání skupin, vztahy mezi proměnnými Srovnání zjištění výzkumu s dříve zveřejněnými výsledky Kroky výzkumu 5. Analýza a interpretace dat Kvalitativní Analýza textu Popis, analýza a tematické uspořádání Zjištění prezentována ve větší hloubce

Kroky (fáze) výzkumu (4) Kvantitativní Kroky výzkumu Kvalitativní Standardizovaná forma Objektivní a nezaujatý popis 6. Prezentace výsledků výzkumu Flexibilní, důraz na originalitu jazyka Reflexivní a ne nutně s odstupem

Smíření obou přístupů? • Smíšený výzkumný design (mixed-method research)? • Různé kombinace quan-qual přístupů • Ale velmi náročné na zvládnutí kvalitně obou metodologií, spíše pro výzkumné týmy než pro jednotlivce.

chronologický vs. kontextuální model výzkumného designu

Výzkumné problémy 1. Identifikace výzkumného problému • Deskriptivní VP – jaké to je? nemusíme formulovat hypotézy, pouze otázky, na které chceme odpovědět. • Relační VP – dávají do vztahu jevy nebo činitele • Kauzální VP – zjišťuje kauzální (příčinné) vztahy Gavora (viz Moodle) Jaké jsou postoje rodičů propadajících žáků k učiteli a vedení školy? Jaká je souvislost (pozor ne závislost) mezi výsledkem přijímací zkoušky a úspěšností studia na vysoké škole. Jaká je účinnost (efekt) tzv. klinického semestru na vysoké škole ve srovnání s tradičním semestrem?

Příklad: Výzkum čtenářství u dětí H(čtenářství): zájem o čtení knih klesá s věkem dětí/žáků. proměnné: věk, čtenářství. H (Gender): existuje vztah/souvislost mezi genderovou identitou dítěte a jeho motivací (Mc. Geow&Warhurst 2019) H (Mindset): Oceňování studentů za píli/pracovitost (effort) má pozitivnější efekt na jejich výsledky a motivaci než, když oceňujeme jejich inteligenci. (Glerum et al. 2019) Jak to můžeme zjišťovat, jakým statistickým testem pak data vyhodnotíme? 17

Hypotéza. zájem o čtení knih klesá s věkem dětí/žáků. (proměnné: věk a čtenářství) 1. Existuje vztah mezi proměnnými věk a čtenářstvím? ANO 2. Lze proměnné zjišťovat, měřit? ANO věk , čtenářství = počet přečtených knih měsíčně? 3. Lze vztah ověřit? ANO – tabulkou závislostí KMVP část 1 18

Sarah P. Mc. Geown & Amy Warhurst (2019): Sex differencesin education: exploring children’s gender identity, Educational Psychology, DOI: 10. 1080/01443410. 2019. 1640349 Abstract: Gender stereotypes associate mathematics and sciences with boys, whereas reading and writing are typically associated with girls. This study investigated sex differences in primary school children’s motivation (confidence and value) across four academic subjects (maths, science, reading and writing) and examined how their identification with stereotypical masculine and feminine traits related to their motivation in these subjects. Five hundred and thirty-two children (aged 9– 11, 52% boys), from five UK schools participated. Sex differences in reading and writing motivation were wider than sex differences found in maths and science motivation. Interestingly, the extent to which children identified with feminine traits was a stronger predictor of their reading and writing motivation than their sex. Gender identity provides an innovative approach to the study of sex differences; it challenges the dichotomy inherent within sex differences research and can lead to a more critical and nuanced understanding of sex differences in education.

Sarah P. Mc. Geown & Amy Warhurst (2019): Sex differencesin education: exploring children’s gender identity, Educational Psychology, DOI: 10. 1080/01443410. 2019. 1640349 Rationale and hypotheses: • …while there is a considerable body of research which has explored sex differences in children’s motivation, research exploring the relationship between children’s gender identity and their motivation is still in its infancy… • However, there is good reason to predict that a child’s gender identity (i. e. the extent to which they identify with stereotypical masculine and feminine traits) will relate to their reported value and confidence across a number of academic subjects traditionally viewed as more masculine (maths, science) or more feminine (reading, writing). • Based on previous literature, it was expected that large sex differences would be found in children’s reading and writing expectancy and confidence (favouring girls), with smaller sex differences in maths confidence (favouring boys) and negligible sex differences in maths value, science confidence and science value.

Sarah P. Mc. Geown & Amy Warhurst (2019): Sex differencesin education: exploring children’s gender identity, Educational Psychology, DOI: 10. 1080/01443410. 2019. 1640349 Limitations: • Bylo by lepší mít taky data o školní úspešnosti ve předmětech, ale ty školy odmítly poskytnout. • Bude užitečné do budoucna zopakovat i na starší kohortě. Ale hlavně: • Finally, longitudinal research studies would further our understanding of the direction of causality regarding gender identity, gender stereotypes, attainment and motivation. • Za mě (autoři neuvádějí) je i značným limitem výběrový soubor/vzorek (ale o tom jindy)

Jaap Glerum, Sofie M. M. Loyens, Lisette Wijnia & Remy M. J. P. Rikers (2019): The effects of praise for effort versus praise for intelligence on vocational educationstudents, Educational Psychology, DOI: 10. 1080/01443410. 2019. 1625306 Abstract: The present study investigates the effects of different kinds of praise on 108 students in vocational education, using a similar design as the original mindset studies. Students worked on a set of Raven’s Standard Progressive Matrices and either received praise for effort, received praise for intelligence, or were in the control group. Results were not in line with mindset theory. We expected differences in goal choice and performance after experiencing setbacks between students who were praised for effort or who were praised for intelligence, but both groups reacted in the same way. Our results are in line with previous studies that also did not succeed in finding a relation between mindset and academic performance. This study shows that even when the original procedure used in Mueller and Dweck’s experiments was followed, vocational education students were not influenced by the type of praise (i. e. mindset) to which they were exposed.

Jaap Glerum, Sofie M. M. Loyens, Lisette Wijnia & Remy M. J. P. Rikers (2019): The effects of praise for effort versus praise for intelligence on vocational educationstudents, Educational Psychology, DOI: 10. 1080/01443410. 2019. 1625306 • Our main hypothesis is similar to that in the original experiments by Dweck and Mueller: praise for intelligence has more negative consequences for students’ motivation and achievement compared with praise for effort. We expect that students who get praised for intelligence will prefer to choose tasks that ensure good performance and will, therefore, choose performance goal tasks, while students who get praised for effort will see their hard work as an opportunity to learn and will, therefore, choose learning goal tasks (Hypothesis 1).

Jaap Glerum, Sofie M. M. Loyens, Lisette Wijnia & Remy M. J. P. Rikers (2019): The effects of praise for effort versus praise for intelligence on vocational educationstudents, Educational Psychology, DOI: 10. 1080/01443410. 2019. 1625306 • Students who are praised for their intelligence will attribute failure to (lack of) ability, whereas students who are praised for their effort, will attribute failure to (lack of) effort (Hypothesis 2). • Furthermore, we expect that students who are praised for their intelligence will have more negative responses such as less persistence, less perceived enjoyment, lower perceived performance, and higher perceptions of complexity after setbacks (Hypothesis 3). • Finally, we expect that students who are praised for their intelligence will have worse performance after setbacks, compared with students who are praised for their effort (Hypothesis 4). • We also included a control group in this study to check the manipulation. These students received no additional praise. Because their reactions will not be influenced by praise for intelligence or praise for effort, we expect that their results will fall between those of both groups described above.

Kritéria dobrých hypotéz Ptáme se: 1. Existuje vztah mezi proměnnými? ANO - NE 2. Lze proměnné zjišťovat, měřit? ANO - NE 3. Lze vztah ověřit? ANO - NE KMVP část 1 25

Hypotéza. zájem o čtení knih klesá s věkem dětí/žáků. (proměnné: věk a čtenářství) 1. Existuje vztah mezi proměnnými věk a čtenářstvím? ANO 2. Lze proměnné zjišťovat, měřit? ANO věk , čtenářství = počet přečtených knih měsíčně? 3. Lze vztah ověřit? ANO – tabulkou závislostí KMVP část 1 26

Příklad: Výzkum čtenářství u dětí H: zájem o čtení knih klesá s věkem dětí/žáků. proměnné: věk, čtenářství. Jak to můžeme zjišťovat, jakým statistickým testem pak data vyhodnotíme? KMVP část 1 27

Kritika testování hypotéz a inferenční statistiky Por kritiku viz texty Ropovik a Soukup v Moodlu • Rozlišování mez statistickou významností a věcnou významností. • NHST Null/nill Hypothesis Significance Testing, nehovoří nic o naší hypotéze. • Jde o podmíněnou pravděpodobnost získání dat s testovou statistikou stejnou, jako je naše, nebo „horší“ při platnosti nulové hypotézy v základním souboru (P(D/H 0) a nikoliv o pravděpodobnost platnosti nulové hypotézy při existenci našich dat P(H 0/D). (Cohen 1994 in Soukup 2017) • Radikální odmítnutí zcela reportovat p hodnoty (některé časopisy a autority v psyhcologie, ale i véce smířlivá řešení). Proti tomu tvrzení, že koncept je nosný, ale je nadužíván či nevhodně užíván.

Řešení nedostatečnosti-Doporučení (Ropovik s. 512) 1. P-hodnota nevyjadřuje pravděpodobnost platnosti testované, ale pravděpodobnost výskytu dat (výsledku), pokud je H 0 pravdivá a všechny další předpoklady testu splněné. Simulační studie ukazují, že p=0, 05 odpovídá šanci 1: 19 (1: 25 -1: 50), že pozorovaný efekt je dílem náhody. Podobně u p=0, 01 to není 1: 99, ale přibližně 1: 12 -1: 20. Tedy je třeba upozornit čitatele a nezaměňovat statistickou významnost za věcnou významnost.

Řešení nedostatečnosti-Doporučení (Ropovik s. 512) 2. Doprovázet výsledky statistické významnosti vždy velikostí efektů/účinků (mírou věcné významnosti (např. Cohenovo d, r, éta 2), což vyžadují i standardy APA. 3. Odhadovat statistickou sílu (1 -Beta) viz slide 6 O tom více přio výběrových souborech 4. Uvádět konkrétní p-hodnotu a nikoliv p<0, 05. 5. Pravděpodobnost reprodukovatelnosti zjištění (efektu) je empirickou otázkou a nelze je nahradit p-hodnotou. 6. Alternativou k p-hodnotám (frekvenční statistice) je Bayesův faktor, který je možno intuitivně a přímočaře interpretovat jako relativní věrohodnost pozorovaných dat v případě dvou soupeřících hypotéz H 0 a H 1, přičemž na rozdíl od p-hodnot indikuje míru empirických důkazů ve prospěch H 1 vs. H 0.

2. Přehled literatury – Jak Vám může pomoci Váš/e vedoucí BP? ü Dá vám (počáteční) seznam základní literatury k pročtení; ü Uvede jména nejvýznamnějších odborníků k tématu práce a jejich základní práce; ü Představí Vám základní (zahraniční) časopisy, které jsou prestižní/uznávané a k tématu relevantní; ü A také, když s Vámi bude rozebírat vlastní výzkumy k tématu práce a jejich motivaci

Vyhledávání v online databázích na UK • Přehled databází: http: //pez. cuni. cz • Doporučené databáze k vyhledávání: EBSCO, (Psyc. INFO, Education Research Complete), Proquest 5000, Science. Direct – Freedom collection, Wiley Online Library – Ejournals • Dříve než začnete vyhledávat je dobré získat informace od školitele a z prvních přečtených základních textů (viz předchozí dva snímky)

Domácí úkol • Vyhledej v databázi relevantní články k tématu své práce. Do příští hodiny přines kopii jednoho teoretického článku (přehled literatury, apod. ) a 1 -2 empirického článku (prezentace výzkumných zjištění, ideálně jeden s daty z kvantitativního a druhý z kvalitativního výzkumu)