Luento 3 Varianssianalyysi Petri Nokelainen petri nokelainenuta fi

Luento 3: Varianssianalyysi Petri Nokelainen petri. nokelainen@uta. fi http: //www. uta. fi/~petri. nokelainen Kasvatustieteiden yksikkö Tampereen yliopisto

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki (Two-Way ANOVA) 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

1. General Linear Model (GLM) • Opintojaksolla on jo aiemmin esitelty malli, jonka perusteella tilastolliset analyysimenetelmät voidaan jakaa neljään pääryhmään sen mukaan, millaisen tutkimustehtävän ratkaisuun ne soveltuvat.

(Nokelainen, 2008. )

1. General Linear Model (GLM) • Edellä kuvattuja parametrisia tilastollisia menetelmiä voidaan tarkastella myös yleistetyn lineaarisen mallin (GLM) erityistapauksina. – General Linear Model (GLM) viitekehystä ei pidä sekoittaa Generalized Linear Model (GLZ) viitekehykseen. – GLZ on GLM: n yleinen muoto joka mahdollistaa • muiden kuin normaalijakautuneiden ja jatkuvien riippuvien muuttujien käytön • epälineaaristen vaikutussuhteiden tarkastelun

1. General Linear Model (GLM) • GLM perustuu lineaarisuuden (linearity) ja yhteenlaskettavuuden (additivity) käsitteille: – Muuttujaparien oletetaan olevan lineaarisessa vaikutussuhteessa keskenään, ts. muuttujien välisiä suhteita voidaan kuvata suoralla viivalla. – Ennustemallissa olevat muuttujat (IV, X) lasketaan painokertoimineen yhteen, olettaen että kukin muuttuja tuo edelliseen/edellisiin nähden lisää ennustusvoimaa malliin ja siten parantaa kiinnostuksen kohteena olevan selitettävän muuttujan (DV, Y) arvojen ennustamista.

1. General Linear Model (GLM) • Koska GLM perustuu ennustamiseen (prediction, regression), regressioyhtälö esittää DV –muuttujan arvon yhden tai useamman IV –muuttujan yhdistelmänä (lisättynä ennustevirheellä). • Yksinkertaisin tapaus on kahden muuttujan välinen regressioyhtälö (bivariate regression): (3. 1) B = X –muuttujassa tapahtuvan yhden yksikön muutoksen vaikutus Y: n arvoon. A = Vakio joka kuvaa Y: n odotettua arvoa kun X saa arvon 0. e = Yhtälöön sisältyvä ennustevirhe (error of prediction).

1. General Linear Model (GLM) • Jos X ja Y standardoidaan (z score), uusilla zx ja zy –muuttujilla on sama mitta-asteikko ja niiden arvot kohtaavat pisteessä jossa molemmat saavat arvon 0. – Standardoinnissa muuttujan keskiarvoksi tulee 0 ja keskihajonnaksi 1: z= Standardoitu muuttujan arvo (keskiarvo = 0, keskihajonta = 1). X = Standardoitava muuttuja. M = Standardoitavan muuttujan keskiarvo. SD = Standardoitavan muuttujan keskihajonta.

1. General Linear Model (GLM)

1. General Linear Model (GLM) • Jos X ja Y standardoidaan (z score), uusilla zx ja zy –muuttujilla on sama mitta-asteikko ja niiden arvot kohtaavat pisteessä jossa molemmat saavat arvon 0. – Vakio A poistuu kaavasta 3. 1, koska kun zy on 0, myös zx on silloin 0. (3. 2) = Standardoiduilla X –muuttujilla vastaa Pearsonin tulomomenttikorrelaatiokerrointa. e = Yhtälöön sisältyvä ennustevirhe (error of prediction).

1. General Linear Model (GLM) • Kahden muuttujan regressioyhtälöstä päästään useamman muuttujan väliseen regressioyhtälöön (multivariate regression), jolloin yhden Y- muuttujan arvoja ennustetaan kahden tai useamman X –muuttujan painotetulla summalla: (3. 3) = Standardoitujen X –muuttujien painokertoimet – eivät ole enää korrelaatioita! e = Yhtälöön sisältyvä ennustevirhe (error of prediction).

1. General Linear Model (GLM) • Kertauksena edelliseen kaavaan liittyen summamerkintä ( ), joka on taloudellinen tapa ilmoittaa useiden yhteenlaskettavien lukujen jono:

1. General Linear Model (GLM) • Kun regressioyhtälöön sisällytetään useampi kuin yksi Y – muuttuja, päästään sen täydelliseen monimuuttujamuotoon: (3. 4) = Standardoitujen Y –muuttujien painokertoimet. = Standardoitujen X –muuttujien painokertoimet. e = Yhtälöön sisältyvä ennustevirhe (error of prediction). m = k tai p (kumpi on pienempi). • Mallissa on yhtälöitä niin monta (m) kuin on X tai Y – muuttujien lukumäärä (lasketaan sen mukaan kumman muuttujan lukumäärä on pienempi).

1 Multivariate = useita riippuvia (DV) muuttujia, eri asia kuin ”multiple”! 1. General Linear Model (GLM) X (IV) Y (DV) 1, jatkuva n, epäjatkuva n, jatkuva 1, dikotominen (3. 2) Pearsonin tulomomenttikorrelaatiokerroin (r) (3. 3) Regressioanalyysi (Multiple RA) Varianssianalyysi (n-way ANOVA) Kahden ryhmän erotteluanalyysi (Two-group LDA) (3. 4) Monimuuttujaregressioanalyysi (Multivariate RA) Monimuuttujavarianssianalyysi (MANOVA)1 jatkuva Erotteluanalyysi (LDA) Faktorianalyysi (EFA) Pääkomponenttianalyysi (PCA) n, jatkuva n, latentti n, jatkuva n, epäjatkuva n, jatkuva

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

2. Varianssianalyysi • ANOVA = Analysis of Variance • Testaa ryhmien keskiarvojen välisiä eroja. – Muuttujien arvojen vaihtelua (keskiarvon keskivirhe) arvioidaan variansseilla (keskihajontojen neliöillä). – Analyysi perustuu ryhmien välisen ja ryhmien sisäisen vaihtelun vertaamiseen. – Analyysissa on yksi tai useampia riippuvia muuttujia (DV) joiden arvojen vaihtelusta ollaan kiinnostuneita riippumattoman (IV, ns. ryhmittelevä muuttuja) muuttujan suhteen.

2. Varianssianalyysi • Yksisuuntaisessa varianssianalyysissa (One-way ANOVA) on yksi riippumaton/selittävä X –muuttuja (IV), kaksisuuntaisessa (Two-way ANOVA) on kaksi, jne. • On myös olemassa monimuuttujavarianssianalyysi (MANOVA), jossa voi olla erotuksena edellisiin useita riippuvia/selitettäviä Y –muuttujia (DV).

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

(Nokelainen, 2008. )

DV 1 jatkuva IV 1 diskr. Kovariaatit Analyysi Ei Yksis. ANOVA t-testi Joitakin Ei Fakt. ANOVA Joitakin Fakt. ANCOVA Yksis. ANCOVA n diskr. Ryhmien välisten erojen merkitsevyys n jatkuvaa 1 diskr. Ei Yksis. MANOVA Hottelling´s T Joitakin Ei Yksis. MANCOVA Fakt. MANOVA Joitakin Fakt. MANCOVA n diskr.

General Linear Model (GLM) X (IV) Y (DV) 1, jatkuva n, epäjatkuva n, jatkuva 1, dikotominen n, jatkuva n, epäjatkuva n, latentti n, jatkuva n, epäjatkuva n, jatkuva (3. 2) Pearsonin tulomomenttikorrelaatiokerroin (r) (3. 3) Regressioanalyysi (Multiple RA) Varianssianalyysi (n-way ANOVA) Kahden ryhmän erotteluanalyysi (Two-group LDA) (3. 4) Monimuuttujaregressioanalyysi (Multivariate RA) Monimuuttujavarianssianalyysi (MANOVA) Erotteluanalyysi (LDA) Faktorianalyysi (EFA) Pääkomponenttianalyysi (PCA)

2. 1 Yksisuuntainen ANOVA • Varianssianalyysin edellytykset: – Riippumaton X –muuttuja (IV) on mitattu laatueroasteikolla (nominaaliasteikko). • Ryhmien lukumäärä kolme tai enemmän. • Jokaisen vertailtavan ryhmän koko > 20 ja ryhmät (suunnilleen) samankokoisia. – Riippuva Y –muuttuja (DV) on mitattu vähintään välimatkaasteikolla. • Muuttujan arvojen tulee olla normaalisti jakautuneita kaikilla IV –muuttujan ryhmillä. • Muuttujan varianssien on oltava IV –muuttujan ryhmissä yhtäsuuret.

2. 1 Yksisuuntainen ANOVA • Varianssia tarkastellaan ryhmien sisäisenä (within groups) ja niiden välisenä (between groups) vaihteluna. • Ryhmien sisäinen vaihtelu on analyysin kannalta harmillista satunnaista vaihtelua. – SSwithin= (Yij-Yj)2 • Ryhmien välinen vaihtelu on mielenkiintoista systemaattista vaihtelua. – SSbetween=n (Yj- Grand Mean)2 • Kokonaisneliösumma – SStotal= SSbetween + SSwithin

2. 1 Yksisuuntainen ANOVA • F-testi kertoo jääkö H 0 voimaan (vertailtavien ryhmien keskiarvojen välillä ei ole eroja). – H 0 hylätään, jos p –arvo (SPSS merkitsee “Sig. ”) on pienempi kuin. 05, tällöin keskiarvot eroavat toisistaan tilastollisesti merkisevästi. k = ryhmien lukumäärä N = otoskoko

2. 1 Yksisuuntainen ANOVA • Etan neliö ( 2, eta squared) kuvaa vaikutuksen suuruutta, ts. kuinka monta prosenttia riippuvan muuttujan (DV) arvoista selittyy ryhmittelevillä muuttujilla (IV). Cohen (1988): . 01 = small effect. 06 = medium effect. 14 = large effect

2. 1 Yksisuuntainen ANOVA • On syytä huomata, että SPSS –ohjelman laskema 1 ositettu etan neliö ( p 2, partial eta squared) ei kaikissa tapauksissa ole verrannollinen em. tunnusluvun kanssa, koska se voi saada ykköstä suurempia arvoja (Pierce, Block & Aguinis, 2004). • Koska p 2 saa suurempia arvoja kuin 2, se antaa optimistisemman kuvan vaikutuksen voimakkuudesta eikä sitä voi tulkita Cohenin (1988) antamien raja-arvojen puitteissa. 1 SPSS: GLM->Univariate->Options->Estimates of effect size.

2. 1 Yksisuuntainen ANOVA • Varianssianalyysin jatkotestit (post hoc) kertovat tarkemmin mitkä ryhmät poikkesivat keskiarvojen suhteen toisistaan. • Seuraavat kolme ovat suositeltavia, koska ottavat huomioon Tyypin I virheen riskin kasvun: – Varianssit eri ryhmissä samansuuruiset: • Bonferroni • Scheffé – Varianssit eri ryhmissä erisuuruiset: • Tamhane’s T 2

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

2. 1. 1 Yksisuuntainen ANOVA Esimerkki • Tutkitaan kolmen matemaattisesti lahjakkaan opiskelijan ryhmän käsityksiä itsestä (Saa. S, Self. Confidence Attribute Attitude Scale): – SAAS_2 You can be successful in anything if you work hard enough at it. – SAAS_5 Being smart is more important than working hard. • Analyysin voi suorittaa SPSS –ohjelmassa kahdella eri tavalla, joista vain toinen tulostaa efektikoon (ositetun etan neliön, p 2).

2. 1. 1 Yksisuuntainen ANOVA Esimerkki • Analyysin ensimmäinen vaihe – VAIHTOEHTO 1: Analyze – Compare Means – One-Way ANOVA • Dependent List: SAAS_2 (Success due effort), jatkuva, välimatka-asteikollinen (kahden 5 portaisen muuttujan keskiarvo). • Factor: Group (1=Olympians, 2=Prefinalists, 3=Polytechnics), epäjatkuva, nominaaliasteikollinen. • Options: Descriptive, Homogeneity of variance test. • Post Hoc: Ei valita mitään 1. analyysikerralla! • Contrasts: Ei valita mitään. – VAIHTOEHTO 2: Analyze – General Linear Model – Univariate • Dependent Variable: SAAS_2 (Success due effort), jatkuva, välimatka-asteikollinen (kahden 5 portaisen muuttujan keskiarvo). • Fixed Factor(s): Group (1=Olympians, 2=Prefinalists, 3=Polytechnics), epäjatkuva, nominaaliasteikollinen. • Model: Full factorial. • Contrasts: None. • Plots: Ei valita mitään. • Post Hoc: Ei valita mitään 1. analyysikerralla! • Options: Descriptive statistics, Estimates for effect size, Homogeneity tests.

2. 1. 1 Yksisuuntainen ANOVA Esimerkki ! Ryhmien variansseissa on tilastollisesti merkitseviä eroja (Sig. >. 05), joten jos saadaan seuraavassa kohdassa lupa, käytetään ”Equal Variances Not Assumed” post hoc testiä: Tamhane’s T 2 ! Ryhmien keskiarvojen välinen ero on tilastollisesti merkitsevä, joten voidaan edetä post hoc testiin.

2. 1. 1 Yksisuuntainen ANOVA Esimerkki ! Ryhmien variansseissa on tilastollisesti merkitseviä eroja (Sig. <. 05), joten jos saadaan seuraavassa kohdassa lupa, käytetään ”Equal Variances Not Assumed” post hoc testiä: Tamhane’s T 2 ! Ryhmien keskiarvojen välinen ero on tilastollisesti merkitsevä (p<. 001), joten voidaan edetä post hoc testiin.

2. 1. 1 Yksisuuntainen ANOVA Esimerkki • Analyysin toinen vaihe – VAIHTOEHTO 1: Analyze – Compare Means – One-Way ANOVA • Dependent List: SAAS_2 (Success due effort), jatkuva, välimatka-asteikollinen (kahden 5 portaisen muuttujan keskiarvo). • Factor: Group (1=Olympians, 2=Prefinalists, 3=Polytechnics), epäjatkuva, nominaaliasteikollinen. • Options: Descriptive, Homogeneity of variance test. • Post Hoc: Tamhane’s T 2, Significance level: . 05 • Contrasts: Ei valita mitään. – VAIHTOEHTO 2: Analyze – General Linear Model – Univariate • Dependent Variable: SAAS_2 (Success due effort), jatkuva, välimatka-asteikollinen (kahden 5 portaisen muuttujan keskiarvo). • Fixed Factor(s): Group (1=Olympians, 2=Prefinalists, 3=Polytechnics), epäjatkuva, nominaaliasteikollinen. • Model: Full factorial. • Contrasts: None. • Plots: Ei valita mitään. • Post Hoc: Siirrä IV –muuttuja ”Factor(s)” –kentästä ”Post. Hoc Tests for: ” –kenttään ja valitse ”Tamhane’s T 2”. • Options: Descriptive statistics, Estimates for effect size, Homogeneity tests.

2. 1. 1 Yksisuuntainen ANOVA Esimerkki • Jälkitestinä käytetään Tamhane’s T 2 –testiä, koska se soveltuu eri suuruisten varianssien analysoimiseen ja on konservatiivinen, ts. Tyypin I virheen riski (ns. ”alpha virhe”) pienenee. • ”One-Way ANOVA” ja ”GLM Univariate” –tulosteet ovat ”Multiple Comparisons” –taulukon suhteen identtiset. • Taulukosta näemme, että ”Olympians” –ryhmän vastaukset SAAS_2 – väittämään poikkesivat tilastollisesti merkitsevästi kahden muun ryhmän vastauksista.

2. 1. 1 Yksisuuntainen ANOVA Esimerkki • Koska jälkitestikin osoitti ryhmien välisen tilastollisesti merkitsevän eron olemassaolon, tuloksen aukikirjoittamiseen tarvitaan enää efektikoon tarkastelu. • Etan neliö lasketaan ”käsin” seuraavien taulukkojen avulla: One-Way ANOVA GLM Univariate Cohen (1988): . 01 = small effect. 06 = medium effect. 14 = large effect

2. 1. 1 Yksisuuntainen ANOVA Esimerkki • Ositettu etan neliö on valmiiksi laskettuna GLM Univariate –tulosteessa, mutta lasketaan se vielä varmuudeksi käsinkin: One-Way ANOVA GLM Univariate

2. 1. 1 Yksisuuntainen ANOVA Esimerkki • Yksisuuntaisen varianssianalyysin avulla tutkittiin kolmen matemaattisesti lahjakkaista opiskelijoista koostuvan ryhmän käsityksiä mahdollisuuksistaan vaikuttaa omaan menestymiseen. • Ryhmät erosivat toisistaan tilastollisesti merkitsevästi väittämän SAAS_2 ”Voit menestyä missä tahansa jos yrität tarpeeksi kovasti” suhteen, F(2, 198)=9. 802, p<. 001, 2=. 09. Tulosta voidaan Cohenin (1988) mukaan pitää tieteelliseltä merkitykseltään keskimääräisenä. • Tarkempi tarkastelu osoitti, että matematiikan olympiakilpailuihin osallistuneet (M=3. 24, SD=1. 23) muodostivat oman ryhmänsä ja toisen muodostivat ammattikorkeakoulun matematiikkalinjalaiset (M=3. 99, SD=. 852) ja matematiikan olympialaisiin valmentautuvat nuoret (M=3. 78, SD=1. 03). • Tulosta voi tulkita siten, että olympiakilpailuiden kovan tason omakohtaisesti todenneet eivät enää elä siinä uskossa että ”mistä tahansa” eteen tulevasta matemaattisesta tehtävästä voisi selvitä – vaikka sen pohtimiseen käyttäisi lopun ikänsä!

2. 1. 1 Yksisuuntainen ANOVA Esimerkki F(2, 198)=9. 802, p<. 001, 2=. 09 VAPAUSASTEET F-ARVO (df) F(k-1, n-1)=[ k = IV –muuttujan ryhmien lukumäärä. Esimerkissä k=3, jolloin vapausasteet (df) ovat 3 -1=2. n = otoskoko. Esimerkissä n=199, jolloin vapausasteet (df) ovat 199 -1=198. TILASTOLLINEN EFEKTIKOKO MERKITSEVYYS (Sig. ) (Eta squared) ], p<. 001, 2=. 09 0 1 2 3 95% 5% F –jakauman odotusarvo on yksi (jolloin nollahypoteesi on voimassa), sitä suuremmat arvot ovat harvinaisia ja viittaavat ryhmien keskiarvojen eroihin.

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

(Nokelainen, 2008. )

2. 2 Kruskal-Wallisin H testi • Kruskal-Wallis H test • Epäparametrinen vastine yksisuuntaiselle varianssianalyysille. • Voidaan käyttää jos varianssianalyysin oletukset eivät toteudu tai jos IV -muuttujat on mitattu järjestysasteikolla. • Testi perustuu järjestyslukujakaumien mediaanien eron vertailuun, H 0 = eroa ei ole. • SPSS –ohjelmassa ei ole valmiina jälkitestejä, suositus on suorittaa ne erikseen Mann-Whitneyn U –testeinä kullekin muuttujaparille.

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

2. 2. 1 Kruskal-Wallisin H testi Esimerkki • Esimerkin vuoksi ajamme edellisen ajon uudestaan epäparametrisella menetelmällä, vaikka riippuva muuttuja ei olekaan mittaustasoltaan järjestysasteikollinen, vaan korkeamman mittaustason välimatka-asteikollinen. • Analyysin suoritus – Analyze – Nonparametric Tests – K Independent Samples • Test Variable List: SAAS_2 (Success due effort), jatkuva, välimatka-asteikollinen (kahden 5 portaisen muuttujan keskiarvo). • Grouping Variable: Group (1=Olympians, 2=Prefinalists, 3=Polytechnics), epäjatkuva, nominaaliasteikollinen. • Test Type: Kruskal-Wallis H • Options: Descriptive. • Exact: Monte Carlo (CL 99%, N of samples 10000).

2. 2. 1 Kruskal-Wallisin H testi Esimerkki ! Järjestyslukujen keskiarvot (Rj) saadaan jakamalla jokaisen ryhmän järjestyslukujen summa ryhmän koolla. Esim. Olympians – ryhmän kohdalla järjestyslukujen summa on pienin, 6011 (74 * 81. 23), ja näin R 1 on myös pienin. ! Otoksesta ei aina ole mielekästä laskea asymptoottista merkitsevyyttä jos otos ei ole suuri (n>150) ja täytä normaalijakauman ehtoa. ”Monte Carlo” merkitsevyys antaa hyvin tarkan arvion pienemmänkin otoksen (jos on satunnainen) perusteella tilastollisesta merkitsevyydestä. ”Exact” merkitsevyys on tarkin, mutta laskenta vie aikaa. . eikä annetussa ajassa aina päästä lopputulokseen!

2. 2. 1 Kruskal-Wallisin H testi Esimerkki Khiin neliötaulukosta näemme, että vapausasteilla 2 tilastollinen merkitsevyys. 05 tasolla saavutetaan arvolla 5. 9915. Koska 13. 43 > 5. 99, voimme todeta että tulos on tilastollisesti merkitsevä. 05 riskitasolla.

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

DV 1 jatkuva IV 1 diskr. Kovariaatit Analyysi Ei Yksis. ANOVA t-testi Joitakin Ei Fakt. ANOVA Joitakin Fakt. ANCOVA Yksis. ANCOVA n diskr. Ryhmien välisten erojen merkitsevyys n jatkuvaa 1 diskr. Ei Yksis. MANOVA Hottelling´s T Joitakin Ei Yksis. MANCOVA Fakt. MANOVA Joitakin Fakt. MANCOVA n diskr.

General Linear Model (GLM) X (IV) Y (DV) 1, jatkuva n, epäjatkuva n, jatkuva 1, dikotominen n, jatkuva n, epäjatkuva n, latentti n, jatkuva n, epäjatkuva n, jatkuva (3. 2) Pearsonin tulomomenttikorrelaatiokerroin (r) (3. 3) Regressioanalyysi (Multiple RA) Varianssianalyysi (n-way ANOVA) Kahden ryhmän erotteluanalyysi (Two-group LDA) (3. 4) Monimuuttujaregressioanalyysi (Multivariate RA) Monimuuttujavarianssianalyysi (MANOVA) Erotteluanalyysi (LDA) Faktorianalyysi (EFA) Pääkomponenttianalyysi (PCA)

2. 3 Useampisuuntainen ANOVA • Two-Way ANOVA, Three-Way ANOVA, . . • Voidaan tarkastella kahden tai useamman IV muuttujan (”faktorin”) vaikutuksia riippuvaan muuttujaan (DV). • Samat oletukset ovat voimassa kuin yksisuuntaisessa varianssianalyysissa – Ryhmien lukumäärä kolme tai enemmän. – Jokaisen vertailtavan ryhmän koko > 20 ja ryhmät (suunnilleen) samankokoisia. – Muuttujan arvojen tulee olla normaalisti jakautuneita kaikilla IV – muuttujan ryhmillä. – Muuttujan varianssien on oltava IV –muuttujan ryhmissä yhtäsuuret.

2. 3 Useampisuuntainen ANOVA • Erotuksena yksisuuntaiseen varianssianalyysiin, useampisuuntaisessa voidaan erotella IV –muuttujien yksittäinen (päävaikutus, main effect) ja yhteinen (yhdysvaikutus, interaction effect) vaikutus DV – muuttujaan. – Yleensä toivotaan voimakkaita päävaikutuksia ja heikkoja yhdysvaikutuksia.

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

2. 3. 1 Kaksisuuntainen ANOVA Esimerkki • Seuraavaksi ajetaan aiempi yksisuuntainen varianssianalyysi uudestaan kaksisuuntaisena siten, että toiseksi IV –muuttujaksi lisätään sukupuoli. • Kyseessä on nyt 3 x 2 asetelma, ns. faktoriaalinen ANOVA. – Luvut 3 ja 2 kuvaavat IV muuttujien luokkien lukumääriä (kolme matematiikkaryhmää, kaksi sukupuolta). • Haluamme tutkia mikä vaikutus sukupuolella on matemaattisen lahjakkuuden lisäksi attribuutiouskomuksiin. – Yleensä tällainen asetelma tähtää siihen, että pyritään osoittamaan päävaikutus yhdysvaikutuksista riippumattomaksi, ts. halutaan sanoa että matemaattisen osaamisen taso liittyy sukupuolesta riippumatta siihen, miten tärkeänä henkilö pitää ponnistelujen roolia menestymiselle.

2. 3. 1 Kaksisuuntainen ANOVA Esimerkki • Tutkimuskysymykset voidaan ilmaista tarkemmin: – Päävaikutukset • Vaihteleeko käsitys ponnisteluista menestymisen selittäjänä eri matematiikkaryhmissä? • Vaihteleeko käsitys ponnisteluista menestymisen selittäjänä sukupuolen mukaan? – Yhdysvaikutus • Vaihteleeko miesten ja naisten käsitykset ponnisteluista menestymisen selittäjänä sen mukaan mihin matematiikkaryhmään he kuuluvat?

2. 3. 1 Kaksisuuntainen ANOVA Esimerkki • Analyysin ensimmäinen vaihe – Analyze – General Linear Model – Univariate • Dependent Variable: SAAS_2 (Success due effort), jatkuva, välimatka-asteikollinen (kahden 5 portaisen muuttujan keskiarvo). • Fixed Factor(s): Group (1=Olympians, 2=Prefinalists, 3=Polytechnics), epäjatkuva, nominaaliasteikollinen; Gender (1=Male, 2=Female), epäjatkuva, nominaaliasteikollinen. • Model: Full factorial. Sum of squares: Type III • Contrasts: None. • Plots: Group*Gender. • Post Hoc: Ei valita mitään 1. analyysikerralla! • Options: Descriptive statistics, Estimates for effect size, Homogeneity tests.

2. 3. 1 Kaksisuuntainen ANOVA Esimerkki ! Ryhmien variansseissa on tilastollisesti merkitseviä eroja (Sig. <. 05), joten jos saadaan seuraavassa kohdassa lupa, käytetään ”Equal Variances Not Assumed” post hoc testiä: Tamhane’s T 2 ! Ryhmien keskiarvojen välinen ero on tilastollisesti merkitsevä (p=. 012), joten voidaan edetä post hoc testiin. Sukupuolen suhteen ei pää- eikä yhdysvaikutuksia ole.

2. 3. 1 Kaksisuuntainen ANOVA Esimerkki • Ryhmäjäsenyyden (Group) ja sukupuolen (Gender) välillä ei ole yhdysvaikutusta, mikä on nähtävissä oheisesta ”Plots” – komennolla tulostetusta kuviostakin. – Naiset tosin ovat aliedustettuina kahdessa ensimmäisessä ryhmässä!

2. 3. 1 Kaksisuuntainen ANOVA Esimerkki • Analyysin toinen vaihe – Analyze – General Linear Model – Univariate • Dependent Variable: SAAS_2 (Success due effort), jatkuva, välimatka-asteikollinen (kahden 5 portaisen muuttujan keskiarvo). • Fixed Factor(s): Group (1=Olympians, 2=Prefinalists, 3=Polytechnics), epäjatkuva, nominaaliasteikollinen; Gender (1=Male, 2=Female), epäjatkuva, nominaaliasteikollinen. • Model: Full factorial. Sum of squares: Type III • Contrasts: None. • Plots: Group*Gender. • Post Hoc: Siirrä Gender –muuttuja ”Factor(s)” –kentästä ”Post. Hoc Tests for: ” –kenttään ja valitse ”Tamhane’s T 2”. • Options: Descriptive statistics, Estimates for effect size, Homogeneity tests.

2. 3. 1 Kaksisuuntainen ANOVA Esimerkki • Jälkitestinä käytetään Tamhane’s T 2 –testiä, koska se soveltuu eri suuruisten varianssien analysoimiseen ja on konservatiivinen, ts. Tyypin I virheen riski (ns. ”alpha virhe”) pienenee. • Taulukosta näemme, että ”Olympians” –ryhmän vastaukset SAAS_2 – väittämään poikkesivat tilastollisesti merkitsevästi kahden muun ryhmän vastauksista.

2. 3. 1 Kaksisuuntainen ANOVA Esimerkki • Koska jälkitestikin osoitti ryhmien välisen tilastollisesti merkitsevän eron olemassaolon, tuloksen raportointi edellyttää vielä vaikutuksen voimakkuuden tarkastelua.

2. 3. 1 Kaksisuuntainen ANOVA Esimerkki • • • Kaksisuuntaisen 3 x 2 varianssianalyysin avulla tutkittiin kolmen matemaattisesti lahjakkaista opiskelijoista koostuvan ryhmän ja sukupuolen vaikutusta vastaajien käsityksiin mahdollisuudestaan vaikuttaa ponnistelujen kautta menestymiseen. Analyysi paljasti tilastollisesti merkitsevän päävaikutuksen matematiikkaryhmien ja attribuutiouskomusten (SAAS_2 ”Voit menestyä missä tahansa jos yrität tarpeeksi kovasti”) välillä, F(2, 198)=4. 565, p=. 012, 2=. 04. Tulosta voidaan Cohenin (1988) mukaan pitää tieteelliseltä merkitykseltään vähäisenä. Tarkempi tarkastelu osoitti, että matematiikan olympiakilpailuihin osallistuneet (M=3. 24, SD=1. 23) muodostivat oman ryhmänsä ja toisen muodostivat ammattikorkeakoulun matematiikkalinjalaiset (M=3. 99, SD=. 852) ja matematiikan olympialaisiin valmentautuvat nuoret (M=3. 78, SD=1. 03). Tulosta voi tulkita siten, että olympiakilpailuiden kovan tason omakohtaisesti todenneet eivät enää elä siinä uskossa että ”mistä tahansa” eteen tulevasta matemaattisesta tehtävästä voisi selvitä – vaikka sen pohtimiseen käyttäisi lopun ikänsä! Sukupuolen ja attribuutiouskomusten välillä ei havaittu päävaikutusta, eikä sukupuolen ja ryhmän välillä yhdysvaikutusta.

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

DV 1 jatkuva IV 1 diskr. Kovariaatit Analyysi Ei Yksis. ANOVA t-testi Joitakin Ei Fakt. ANOVA Joitakin Fakt. ANCOVA Yksis. ANCOVA n diskr. Ryhmien välisten erojen merkitsevyys n jatkuvaa 1 diskr. Ei Yksis. MANOVA Hottelling´s T Joitakin Ei Yksis. MANCOVA Fakt. MANOVA Joitakin Fakt. MANCOVA n diskr.

3. 1 ANCOVA • Analysis of covariance. • Varianssianalyysin laajennus • Satunnaista vaihtelua rajoitetaan jonkin DV muuttujaan korreloivan tekijän (covariate) suhteen. • Vastaa samaan kysymykseen kuin ANOVA: Onko ryhmien keskiarvoissa tilastollisesti merkitsevää eroa? , mutta tarkennettuna: – Onko koe- ja kontrolliryhmien jälkitestin keskiarvoissa (DV) eroa, kun niitä on korjattu esitestin (covariate) arvojen perusteella?

3. 1 ANCOVA • Kovarianssianalyysilla on kolme pääasiallista käyttötarkoitusta: – Testin herkkyyden kasvattaminen virhetermin pienentämisen avulla. – DV –muuttujien keskiarvojen erojen tasoittaminen kovariaatin informaation perusteella.

3. 1 ANCOVA • Ensimmäisessä sovelluksessa kontrolloidaan eitoivottua kohinaa DV –muuttujassa. – Yksilölliset erot esitestissä kun mitataan kokeilun vaikutuksia jälkitestissä.

3. 1 ANCOVA • Toisessa sovelluksessa poistetaan DV –muuttujaan vaikuttavien kovariaattien keskiarvoerot. – Miesten ja naisten tuloero kun halutaan keskittyä mittaamaan käsityksiä esimiehen johtamistaidosta. – Sosioekonomisen statuksen ja iän vaikutus kun tutkitaan alueellisesti eri puolueiden kannatusta.

3. 1 ANCOVA • Kolmannessa sovelluksessa testataan eri DV – muuttujia yksitellen, kun toisten DV –muuttujien (kovariaatit) vaikutus on poistettu.

3. 1 ANCOVA • Rajoitukset käytölle ovat samat kuin varianssianalyysissa ja regressioanalyysissa (GLM). • Yksisuuntainen ANOVA: – Keskiarvomalli (Means Model) – yij= i + ij , jossa i = i: nnen ryhmän keskiarvo ja ij = satunnaisvirhe • F-testillä testataan H 0: 1 = 2 = … = i – Efektimalli (Effects Model) – yij= + ij , jossa = ryhmän omavaikutus (main effect) • F-testillä testataan H 0: 1 = 0

3. 1 ANCOVA • Kaksisuuntainen ANOVA: – Y = + (k) + (m) + (km) + jkm • • • = yleiskeskiarvo (k) = muuttujaan X 1 liittyvä omavaikutus ryhmässä k (m) = muuttujaan X 2 liittyvä omavaikutus ryhmässä m (km) = muuttujien X 1 ja X 2 yhdysvaikutusparametreja (interaction) jkm = jäännösvirheet (residuaalit) F-testillä testataan H 0: (km) = 0

3. 1 ANCOVA • Rajoituksia: – – Havainnot ovat toisistaan riippumattomia. Ryhmien populaatiot ovat normaalisti jakautuneita. Ryhmien varianssit ovat yhtä suuria. Residuaalit (ennustetun ja havaitun arvon välinen erotus) ovat normaalisti jakautuneita, riippumattomia, ja niiden hajonnat ovat homoskedastisia (tasaisia).

3. 1 ANCOVA Ryhmä 1 Ryhmä 2 DV(Y) Ryhmä 1 Ryhmä 2 Ryhmä 3 Covariate (X)

3. 1 ANCOVA • Oletuksia: – Kovariaatin ja DV -muuttujan välillä tulee olla lineaarinen yhteys. – Em. yhteyden tulee olla samansuuruinen kaikissa ryhmissä. – Usean kovariaatin tapauksessa ne eivät saisi korreloida keskenään (multikollineaarisuus, singulaarisuus). – Kokeellisessa asetelmassa kovariaatin tulee olla riippumaton koevaikutuksesta.

3. 1 ANCOVA • Yksisuuntainen ANOVA Y = + + = yleiskeskiarvo = ryhmän X vaikutus = mittausvirhe • ANCOVAn perusyhtälö Y - (c-c+) = + + (c-c+) = regressiotermi viittaa kovariaatin tuomaan lisäinformaatioon Y - (c-c+) = kovariaatilla korjattu Y: n arvo c = yksittäisen kovariaatin arvo c+ = kovariaatin yleiskeskiarvo

3. 1 ANCOVA • ANOVA SSwithin= (Yij-Yj)2 SSbetween= n (Yj- Grand Mean)2 SStotal= SSbetween + SSwithin • ANCOVAssa – Kovarianssimuuttujan neliösumma (sum of squares, SS, x 2) SStotal(c) = SSbetween(c) + SSwithin(c) – Y –muuttujan ja kovariaatin C välinen tulosumma (sum of products, SP, xy) SPtotal = SPbetween + SPwithin

3. 1 ANCOVA • Em. termien avulla voidaan laskea korjattu neliösumma ryhmien väliselle (between groups) ja sisäiselle (within groups) vaihtelulle: SS´between = SSbetween – (SPtotal / SStotal(c) – (SPwithin)2 / SSwithin(c)) SS´within = SSwithin – (SPwithin)2 / SSwithin(c)

3. 1 ANCOVA • F-testi kertoo jääkö H 0 voimaan. – H 0 hylätään, jos Sig. <. 05, tällöin keskiarvot eroavat toisistaan tilastollisesti merkittävästi. SS´between / (k-1) F= k = ryhmien lukumäärä SS´within / (N-k-c) N = otoskoko c = kovarianssien lukumäärä

3. 1 ANCOVA • Eta: n neliö ( 2) kuvaa vaikutuksen suuruutta. – Kuinka monta prosenttia riippuvan (DV) muuttujan arvoista selittyy ryhmittelevillä (IV) muuttujilla. SS´between 2 = SS´total Cohen (1988): . 01 = small effect. 06 = medium effect. 14 = large effect

3. 1 ANCOVA • Post hoc -testit kertovat tarkemmin mitkä ryhmät poikkesivat keskiarvojen suhteen toisistaan. – – Tukey (suuremmille aineistoille) Bonferroni (pienemmille aineistoille) Scheffé (hyvin konservatiivinen) Tamhanen T 2 (jos ryhmien variansseissa on eroa)

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

DV 1 jatkuva IV 1 diskr. Kovariaatit Analyysi Ei Yksis. ANOVA t-testi Joitakin Ei Fakt. ANOVA Joitakin Fakt. ANCOVA Yksis. ANCOVA n diskr. Ryhmien välisten erojen merkitsevyys n jatkuvaa 1 diskr. Ei Yksis. MANOVA Hottelling´s T Joitakin Ei Yksis. MANCOVA Fakt. MANOVA Joitakin Fakt. MANCOVA n diskr.

General Linear Model (GLM) X (IV) Y (DV) 1, jatkuva n, epäjatkuva n, jatkuva 1, dikotominen n, jatkuva n, epäjatkuva n, latentti n, jatkuva n, epäjatkuva n, jatkuva (3. 2) Pearsonin tulomomenttikorrelaatiokerroin (r) (3. 3) Regressioanalyysi (Multiple RA) Varianssianalyysi (n-way ANOVA) Kahden ryhmän erotteluanalyysi (Two-group LDA) (3. 4) Monimuuttujaregressioanalyysi (Multivariate RA) Monimuuttujavarianssianalyysi (MANOVA) Erotteluanalyysi (LDA) Faktorianalyysi (EFA) Pääkomponenttianalyysi (PCA)

3. 2 MANOVA • Multivariate analysis of variance – Aito monimuuttujamenetelmä. – Vastaa teknisesti eroteluanalyysia (LDA). • Selvitetään yhden tai useamman yhtäaikaisen ryhmittelevän (IV) tekijän vaikutusta useampaan kuin yhteen selitettävään (DV) muuttujaan.

3. 2 MANOVA • Vastaa esim. seuraavaan tutkimusongelmaan: Y 2 – Kuinka ryhmäjäsenyys (ryhmä 1 ja 2) ja sukupuoli selittävät koehermostuneisuutta (test anxiety). Y 1

3. 2 MANOVA • Rajoitukset – – – DV –muuttujien taustalla normaalijakautuneet populaatiot. Aineisto on satunnainen otos populaatiosta. Jokaisen solun varianssi-kovarianssimatriisit ovat samat. Residuaalit ovat normaalisia ja homoskedastisia. Ryhmien otoskoot ovat yhtäsuuret.

3. 2 MANOVA • SPSS –ohjelmisto laskee MANOVAn regressioanalyysin avulla. – F –testi varsinaisille vaikutuksille, koko mallille ja oletetulle vakiotermille. – R 2 –kerroin kuvaa muuttujien yhteisvaihtelun voimakkuutta.

3. 2 MANOVA • Useiden selitettävien (DV) tekijöiden tapauksessa tehdään korjauksia merkitsevyystestauksissa. – Pillai´s Trace, Wilk´s Lambda ja Hottelling´s Trace perustuvat ristitulomatriisin D(*) determinantteihin (matriisin varianssin mitta). – Testisuureille ilmoitettu F-arvo arvioi matriisien varianssin yhtäsuuruutta. • H 0: ei vaikutusta (Sig. >. 05).

3. 2 MANOVA • Post hoc -testit kertovat tarkemmin mitkä ryhmät poikkesivat keskiarvojen suhteen toisistaan. – – Tukey (suuremmille aineistoille) Bonferroni (pienemmille aineistoille) Scheffé (hyvin konservatiivinen) Tamhanen T 2 (jos ryhmien variansseissa on eroa)

3. 2 MANOVA • MANOVA vs. ANOVA – MANOVA toimii • paremmin kohtuullisesti korreloivilla DV –muuttujilla • huonommin korreloimattomilla tai voimakkaasti korrelloivilla DV -muuttujilla • huonommin voimakkaasti korreloivilla IV –muuttujilla – MANOVA on analyysimäärittelyiltä ja tulosten tulkinnalta huomattavasti haastavampi kuin yksi- ja useampisuuntaiset varianssianalyysit.

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

DV 1 jatkuva IV 1 diskr. Kovariaatit Analyysi Ei Yksis. ANOVA t-testi Joitakin Ei Fakt. ANOVA Joitakin Fakt. ANCOVA Yksis. ANCOVA n diskr. Ryhmien välisten erojen merkitsevyys n jatkuvaa 1 diskr. Ei Yksis. MANOVA Hottelling´s T Joitakin Ei Yksis. MANCOVA Fakt. MANOVA Joitakin Fakt. MANCOVA n diskr.

3. 3 MANCOVA • Multivariate analysis of covariance – Vastaa ANCOVAa (kovariaattien selitys), mutta mallissa on (kuten MANOVAssa) useita DV –muuttujia.

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

3. 4 Profiilianalyysi • MANOVAn erikoissovellus jossa on useita samalla asteikolla mitattuja DV –muuttujia. – Kahden ammattiryhmän (yliopisto-opettaja, psykologi) eroja halutaan tutkia persoonallisuusprofiilien (minäkäsitys, ryhmätyötaidot) osalta. – Tilastotieteen sovellustaitoja mittaava koe toistetaan alkutestauksen jälkeen (a) perinteisen luokkahuoneopetusjakson ja (b) tietokoneavusteisen opetusjakson jälkeen yliopisto-opiskelijoille.

3. 4 Profiilianalyysi Psykologi Lehtori 5 4 3 2 1 Minäkäsitys Ryhmätyötaidot

3. 4 Profiilianalyysi • Analyysia voidaan laajentaa – ryhmien sukupuolten välisten erojen testaukseen, – erottelemaan kasvatustieteen / aikuiskasvatuksen opiskelijoiden saama hyöty/haitta tietokoneavusteisesta opiskelusta.

3. 4 Profiilianalyysi • DV –muuttujat kannattaa normittaa (z score) muissa kuin toistokokeissa -> mittayksiköiden yhdenmukaisuus. • Kontrastit ovat profiilianalyysin ”post hoc” testejä.

Sisältö 1. General Linear Model (GLM) 2. Varianssianalyysi (ANOVA) 2. 1 Yksisuuntainen ANOVA 2. 1. 1 Esimerkki 2. 2 Kruskal-Wallisin H testi 2. 2. 1 Esimerkki 2. 3 Useampisuuntainen ANOVA 2. 3. 1 Esimerkki 3. Lisälukemistoa ryhmien vertailutekniikoista 3. 1 ANCOVA 3. 2 MANOVA 3. 3 MANCOVA 3. 4 Profiilianalyysi Lähteet

Lähteet Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Erlbaum. Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297 -334. Gulliksen, H. (1950). Theory of Mental Tests. New York: John Wiley & Sons. Howell, D. (1997). Statistical Methods for Psychology. Belmont, CA: Wadsworth Publishing Company.

Lähteet Kuder, G. F. , & Richardson, M. W. (1937). The theory of the estimation of test reliability. Psychometrika, 2, 151 -160. Metsämuuronen, J. (2003). Tutkimuksen tekemisen perusteet ihmistieteissä. Helsinki: International Methelp Ky. Nummenmaa, L. (2009). Käyttäytymistieteiden tilastolliset menetelmät. Ensimmäinen painos, uudistettu laitos. Helsinki: Tammi. Pierce, C. A. , Block, R. , & Aguinis, H. (2004). Cautionary note on reporting Etasquared values from multifactor ANOVA designs. Educational and Psychological Measurement, 64(6), 916 -924. Tabachnick, B. , & Fidell, L. (1996). Using Multivariate Statistics. Third Edition. New York: Harper. Collins.