Luento 1 Tilastollisen tutkimuksen suunnittelu perusksitteet ja menetelmt

Luento 1: Tilastollisen tutkimuksen suunnittelu, peruskäsitteet ja menetelmät Petri Nokelainen petri. nokelainen@uta. fi http: //www. uta. fi/~petri. nokelainen Kasvatustieteiden yksikkö Tampereen yliopisto

Sisältö 1. 2. 3. Kasvatustieteellinen tutkimus Tutkimuksen suunnittelu 2. 1 Mihin kysymyksiin tutkimus vastaa? 2. 2 Mikä tutkimusasetelma vastaa tutkimuskysymyksiin parhaiten? 2. 3 Millaisilla menetelmillä kysymyksiin etsitään vastauksia? 2. 4 Mitkä ovat muuttujien roolit ja mitta-asteikot? 2. 5 Miten tutkimuskysymykset operationalisoidaan? 2. 6 Käytetäänkö parametrisia vai epäparametrisia testejä? Kymmenen kysymystä tutkimuksesta

1. Kasvatustieteellinen tutkimus Teoreettinen lähestymistapa T 1: Perustuu aiempaan teoriaan ja tai sitä ja T 2: Perustuu tutkijan omiin ajatuksiin Empiirinen lähestymistapa E 1: Perustuu numeeriseen aineistoon ja/tai E 2: Perustuu tekstiaineistoon (Töttö, 2004. )

1. Kasvatustieteellinen tutkimus L: {T 1, T 2, E 2} {T 1, T 2} M: {E 1} ! A: {T 1, T 2} B: {T 1, T 2, E 1} C: {T 1, T 2, E 2} D: {T 1, T 2, E 1, E 2} Teoreettinen tutkimus Empiirinen tutkimus

1. Kasvatustieteellinen tutkimus B: {T 1, T 2, E 2} - mitä henkilö/ryhmä S tarkoittaa merkillä, teolla, teoksella, … - miten S kokee, näkee, … k: n - mitä S aikoo, haluaa, … k: n suhteen - mitä S uskoo, luulee, tietää … k: sta Tutkimusongelma C: {T 1, T 2, E 1} - miten paljon joukossa P esiintyy olioita, tapauksia tai alkioita, joilla on ominaisuus x - miten paljon joukossa P esiintyy ominaisuutta y - onko joukossa P ominaisuuksien x ja y välillä riippuvuutta - millainen on x: n ja y: n välinen riippuvuus joukossa P - onko x: n ja y: n suhde aidosti kausaalinen - millainen kausaalinen mekanismi yhdistää x: n ja y: n

1. Kasvatustieteellinen tutkimus 1. Tutkimusidean kehittely, kirjallisuuteen tutustuminen 2. Tutkimuskysymysten laadinta 3. Tutkimuksen asetelman (design) laadinta 4. Tutkimusmenetelmien valinta 5. Tutkimuksen toteutus 6. Aineiston analysointi 7. Tulosten raportointi => Tieteellinen kirjoittaminen

Sisältö 1. 2. 3. Kasvatustieteellinen tutkimus Tutkimuksen suunnittelu 2. 1 Mihin kysymyksiin tutkimus vastaa? 2. 2 Mikä tutkimusasetelma vastaa tutkimuskysymyksiin parhaiten? 2. 3 Millaisilla menetelmillä kysymyksiin etsitään vastauksia? 2. 4 Mitkä ovat muuttujien roolit ja mitta-asteikot? 2. 5 Miten tutkimuskysymykset operationalisoidaan? 2. 6 Käytetäänkö parametrisia vai epäparametrisia testejä? Kymmenen kysymystä tutkimuksesta

2. Tutkimuksen suunnittelu 1. Mihin kysymyksiin tutkimus vastaa? 2. Mikä tutkimusasetelma vastaa tutkimuskysymyksiin parhaiten? 3. Millaisilla menetelmillä kysymyksiin etsitään vastauksia? 4. Mitkä ovat muuttujien roolit ja mitta-asteikot? 5. Miten tutkimuskysymykset operationalisoidaan? 6. Käytetäänkö parametrisia vai epäparametrisia testejä?

Sisältö 1. 2. 3. Kasvatustieteellinen tutkimus Tutkimuksen suunnittelu 2. 1 Mihin kysymyksiin tutkimus vastaa? 2. 2 Mikä tutkimusasetelma vastaa tutkimuskysymyksiin parhaiten? 2. 3 Millaisilla menetelmillä kysymyksiin etsitään vastauksia? 2. 4 Mitkä ovat muuttujien roolit ja mitta-asteikot? 2. 5 Miten tutkimuskysymykset operationalisoidaan? 2. 6 Käytetäänkö parametrisia vai epäparametrisia testejä? Kymmenen kysymystä tutkimuksesta

2. Tutkimuksen suunnittelu 2. 1 Mihin kysymyksiin tutkimus vastaa? • • Onko iän ja työhön sitoutumisen välillä riippuvuussuhde? Sitoutuvatko vanhemmat ihmiset työhön nuoria enemmän? Mitkä asiat erottavat ja/tai yhdistävät työhön sitoutuvia ihmisiä? Mitkä asiat ennustavat parhaiten työhön sitoutumista?

2. Tutkimuksen suunnittelu 2. 1 Mihin kysymyksiin tutkimus vastaa? • • Onko iän ja työhön sitoutumisen välillä riippuvuussuhde? (Esim. Khiin neliötesti, korrelaatio) Sitoutuvatko vanhemmat ihmiset työhön nuoria enemmän? (Esim. t-testi/M-W U, varianssianalyysi/K-W H) Mitkä asiat erottavat ja/tai yhdistävät työhön sitoutuvia ihmisiä? (Esim. erotteluanalyysi, ryhmittelyanalyysi) Mitkä asiat ennustavat parhaiten työhön sitoutumista? (Esim. regressioanalyysi)

Sisältö 1. 2. 3. Kasvatustieteellinen tutkimus Tutkimuksen suunnittelu 2. 1 Mihin kysymyksiin tutkimus vastaa? 2. 2 Mikä tutkimusasetelma vastaa tutkimuskysymyksiin parhaiten? 2. 3 Millaisilla menetelmillä kysymyksiin etsitään vastauksia? 2. 4 Mitkä ovat muuttujien roolit ja mitta-asteikot? 2. 5 Miten tutkimuskysymykset operationalisoidaan? 2. 6 Käytetäänkö parametrisia vai epäparametrisia testejä? Kymmenen kysymystä tutkimuksesta

2. Tutkimuksen suunnittelu 2. 2 Mikä tutkimusasetelma vastaa tutkimuskysymyksiin parhaiten? Kokeellinen tutkimus (experimental study) pyrkii tutkimaan tiettyä asiaa (riippumaton muuttuja) mahdollisimman tarkasti kontrolloitavissa (riippuva muuttuja) olevissa olosuhteissa. Korrelatiivisessa eli havainnointitutkimuksessa (observational study) pyritään selvittämään miten jokin tietty asia tai ominaisuus voisi vaikuttaa jonkin toisen asian tai ominaisuuden ilmenemiseen (esim. kyselylomaketutkimus).

2. Tutkimuksen suunnittelu RANDOM SELECTION RANDOM SAMPLING PRETEST-POSTTEST RANDOMIZED EXPERIMENT TEST RS CONTROL Pre I Post Pre - Post NON-EQUIVALENT GROUPS DESIGN TEST RS CONTROL Pre I Post Pre - Post I Post CORRELATIONAL DESIGN CS TEST Pre

• Tapaustutkimus (case study design) – – – Pyritään kontekstuaalisen informaation keräämiseen yhdestä tai useammasta tapauksesta. Tapauksia voivat olla esim. ihminen, ihmisten välinen keskustelu, yksilön kokemus (esim. Kauhajoen koulusurma), jne. Tavoitteena tapausten tutkiminen, kuvailu ja selittäminen miten- ja miksi–kysymysten avulla.

• Pitkittäistutkimus (longitudinal design) – Yksi aineisto joka pysyy (mahdollisimman) samana läpi tutkimuksen. Ryhmien muodostus Esitesti Interventio Jälkitesti Satunnainen (yksi ryhmä) Mittaus (X) Käsittely Mittaus (Y)

• Poikittaistutkimus (cross-sectional design) – Mittaus suoritetaan kerran, tai useita kertoja vaihtuvalla aineistolla (esim. organisaation kasvuorientaation mittaus vuoden välein). Ryhmien muodostus Esitesti Interventio Jälkitesti Ei-satunnainen Käsittely Mittaus (Y) Ei-satunnainen Ei käsittelyä Mittaus (Y)

Sisältö 1. 2. 3. Kasvatustieteellinen tutkimus Tutkimuksen suunnittelu 2. 1 Mihin kysymyksiin tutkimus vastaa? 2. 2 Mikä tutkimusasetelma vastaa tutkimuskysymyksiin parhaiten? 2. 3 Millaisilla menetelmillä kysymyksiin etsitään vastauksia? 2. 4 Mitkä ovat muuttujien roolit ja mitta-asteikot? 2. 5 Miten tutkimuskysymykset operationalisoidaan? 2. 6 Käytetäänkö parametrisia vai epäparametrisia testejä? Kymmenen kysymystä tutkimuksesta

2. Tutkimuksen suunnittelu 2. 3 Millaisilla menetelmillä kysymyksiin etsitään vastauksia? • Mitä menetelmää on aiemmin käytetty vastaavantyyppisen ongelman analysoinnissa? – • Kerlinger (1986, 495), “. . one should first ask the question: Is there a better way to measure my variables? ” Reliabiliteetti (satunnaisvirheettömyys): • • Uusintatestaus (test-retest) samoilla vastaajilla, odotetaan korkeaa korrelaatiota vastausten välillä. Sisäinen pysyvyys (internal consistency), mittaavatko muuttujat samaa asiaa? – Cronbach´s (1951) Alpha ( >. 8 tai inter-item. 2 -. 4). – Tarkkonen reliability (Vehkalahti, 2000).

2. Tutkimuksen suunnittelu • Validiteetti (pätevyys) – Sisäinen validiteetti (Internal validity) • Tutkimuksen tulosten tulee kuvata tutkittavaa ilmiötä. – – Luotettava mittari, aiemman tutkimuksen meta-analyysi, triangulaatio. Ulkoinen validiteetti (External validity) • Tulosten yleistettävyys. – Satunnaisotos, toisistaan riippuvat kontrolloidut muuttujat. (Cohen, Manion & Morrison, 2000. )

2. Tutkimuksen suunnittelu • Validiteetti (pätevyys) – Sisällön validiteetti (Content validity) • – Mittarin tulee operationalisoida tutkittava ilmiö kattavasti. – Tutkimuskirjallisuuteen perehtyminen, käsiteanalyysi. Käsitevaliditeetti (Construct validity) • Tutkimuksessa käytetyt käsitteet ovat yleisesti hyväksyttävissä (tutkija on samaa mieltä muiden tutkijoiden kanssa siitä mitä esim. ”sisäinen tavoiteorientaatio tarkoittaa”). – Tutkimuskirjallisuuteen perehtyminen, käsiteanalyysi. (Cohen, Manion & Morrison, 2000. )

Otoskoon arviointi • N – Population size. • n – Estimated sample size. • Sampling error (e) – Difference between the true (unknown) value and observed values, if the survey were repeated (=sample collected) numerous times. • Confidence interval – Spread of the observed values that would be seen if the survey were repeated numerous times. • Confidence level – How often the observed values would be within sampling error of the true value if the survey were repeated numerous times. (Murphy & Myors, 1998. )

Sisältö 1. 2. 3. Kasvatustieteellinen tutkimus Tutkimuksen suunnittelu 2. 1 Mihin kysymyksiin tutkimus vastaa? 2. 2 Mikä tutkimusasetelma vastaa tutkimuskysymyksiin parhaiten? 2. 3 Millaisilla menetelmillä kysymyksiin etsitään vastauksia? 2. 4 Mitkä ovat muuttujien roolit ja mitta-asteikot? 2. 5 Miten tutkimuskysymykset operationalisoidaan? 2. 6 Käytetäänkö parametrisia vai epäparametrisia testejä? Kymmenen kysymystä tutkimuksesta

2. Tutkimuksen suunnittelu 2. 4 Muuttujien luonteen ja mittaustason tunnistaminen • Riippuvien (DV, Dependent Variable) ja riippumattomien (IV, Independent Variable) muuttujien määrittely • • • Tutkija voi manipuloida IV –muuttujia (esim. sähköiskun voimakkuus) DV –muuttujat (reaktiot) mitataan koehenkilöiltä Ei tarvitse määritellä kaikissa analyyseissa (esim. r)

2. Tutkimuksen suunnittelu 2. 4 Muuttujien luonteen ja mittaustason tunnistaminen • Kvalitatiivisten ja kvantitatiivisten muuttujien määrittely • Laadullinen aineisto, ei aseteta järjestykseen (esim. sukupuoli) – Laatueroasteikko (nominal scale) • Epäjatkuva (discrete) muuttuja (esim. kengän numero “ 43”) – Järjestysasteikko (ordinal scale) • Jatkuva (continuous) muuttuja (esim. jalan pituus “ 29, 3 cm”) – Välimatka- ja suhteellinen asteikko (interval or continuous scale)

2. Tutkimuksen suunnittelu Muuttujat Kvalitat. Kvantitat. Diskreetti Nominaali Jatkuva Järjestys Välimatka Suhde ? Ryhmittely Epäparametriset testit Parametriset testit (Nummenmaa, 2009. )

ILMIÖ Diskreetti (discrete) 0 1 2, . . Ammattinimikkeen voidaan ajatella olevan epäjatkuva (diskreetti) ilmiö, jolloin sitä on mielekästä mitata epäjatkuvalla menetelmällä 0 1 2, . . Ammattinimike 1 = Rehtori 2 = Opettaja 3 = Tukihenkilöstö MITTAUS Diskreetti (discrete)

ILMIÖ Jatkuva (continuous) 0 ∞ Ikä on ilmiönä jatkuva, mutta sitä voidaan mitata diskreetillä tai jatkuvalla menetelmällä. MITTAUS Diskreetti (discrete) Ikä 1 = alle 18 vuotiaat 2 = 18 – vuotiaat 0 1 2, . . Jatkuva (continuous) 0 Ikä ∞ 0 – n vuotta

Sisältö 1. 2. 3. Kasvatustieteellinen tutkimus Tutkimuksen suunnittelu 2. 1 Mihin kysymyksiin tutkimus vastaa? 2. 2 Mikä tutkimusasetelma vastaa tutkimuskysymyksiin parhaiten? 2. 3 Millaisilla menetelmillä kysymyksiin etsitään vastauksia? 2. 4 Mitkä ovat muuttujien roolit ja mitta-asteikot? 2. 5 Miten tutkimuskysymykset operationalisoidaan? 2. 6 Käytetäänkö parametrisia vai epäparametrisia testejä? Kymmenen kysymystä tutkimuksesta

2. Tutkimuksen suunnittelu 2. 5 Tutkimuskysymysten operationalisointi • Onko iän ja työhön sitoutumisen välillä riippuvuussuhde? • • Ikä – jatkuva, saa arvoja välillä 18 – 67. Sitoutuminen – jatkuva, testin pistemäärä vaihtelee välillä 15 – 120. Tilastollinen menetelmä – korrelaatioanalyysi (Pearsonin tulomomenttikorrelaatio, rp) Hypoteesi – Aiemman tutkimuskirjallisuuden perusteella odotetaan iän kasvun korreloivan positiivisesti työhön sitoutumisen kanssa.

2. Tutkimuksen suunnittelu 2. 5 Tutkimuskysymysten operationalisointi • Sitoutuvatko vanhemmat ihmiset työhön nuoria enemmän? • • Ikä – IV, diskreetti, saa arvot: 1 = nuori, 2 = keskiikäinen, 3 = vanhus. Sitoutuminen – DV, jatkuva, testin pistemäärä vaihtelee välillä 15 – 120. Tilastollinen menetelmä – yksisuuntainen ANOVA tai Kruskal-Wallis –testi (jos testin pistemäärän jakauman populaatiossa ei oleteta olevan normaali tai muut parametristen testien ehdot eivät täyty). Hypoteesi – Aiemman tutkimuskirjallisuuden perusteella odotetaan tilastollisesti merkitsevää eroa ikäluokkien välillä työssä sitoutumisen suhteen. TAI

2. Tutkimuksen suunnittelu 2. 5 Tutkimuskysymysten operationalisointi • Sitoutuvatko vanhemmat ihmiset työhön nuoria enemmän? • • Ikä – IV, diskreetti, saa arvot: 1 = nuori, 2 = keskiikäinen, 3 = vanhus. Sitoutuminen – DV, diskreetti, testin pistemäärä luokiteltuna kolmeen luokkaan (jakauman tai aiemman tutkimuskirjallisuuden tulosten tarkastelun jälkeen): 1=15 – 40, 2=41 -80, 3=81 -120. Tilastollinen menetelmä – Khiin neliötesti ( 2). Hypoteesi – Aiemman tutkimuskirjallisuuden perusteella odotetaan tilastollisesti merkitsevää eroa ikäluokkien välillä työssä sitoutumisen suhteen.

Sisältö 1. 2. 3. Kasvatustieteellinen tutkimus Tutkimuksen suunnittelu 2. 1 Mihin kysymyksiin tutkimus vastaa? 2. 2 Mikä tutkimusasetelma vastaa tutkimuskysymyksiin parhaiten? 2. 3 Millaisilla menetelmillä kysymyksiin etsitään vastauksia? 2. 4 Mitkä ovat muuttujien roolit ja mitta-asteikot? 2. 5 Miten tutkimuskysymykset operationalisoidaan? 2. 6 Käytetäänkö parametrisia vai epäparametrisia testejä? Kymmenen kysymystä tutkimuksesta

2. Tutkimuksen suunnittelu 2. 6 Parametrinen vai epäparametrinen testi? – Parametriset testit olettavat analysoivansa 1. toisistaan riippumattomia havaintoja (independent observations) sisältäviä 2. satunnaisotoksia (random sampling) jotka on otettu tutkittavan ilmiön suhteen 3. normaalisti jakautuneesta populaatiosta (normal distribution).

2. Tutkimuksen suunnittelu • Tutkittavaa ilmiötä populaatiossa kuvaavan aineiston tulisi olla – hankittu satunnaisotannalla, – otoskooltaan riittävän suuri (esim. n = 10 * muuttujien lukumäärä), – mitattu välimatka tai suhdeasteikolla, – normaalijakautunut, – vapaa poikkeavista havainnoista, – muuttujien välisten riippuvuussuhteiden osalta lineaarista (ks. esim. Hair, Anderson, Tatham & Black 1998; Tabachnick & Fidell 1996). Varianssianalyysi (ANOVA) olettaa aineistossa olevien ryhmien olevan peräisin satunnaistetusta koe-kontrolli –asetelmasta: koehenkilöt on valittu satunnaisotannalla (random sampling) ja sijoitettu satunnaisesti (random assignment) koe- ja kontrolliryhmiin.

2. Tutkimuksen suunnittelu Normaalisti jakautunut ilmiö tuottaa normaalisti jakautuneen aineiston. Muut jakaumat analysoidaan epäparametrisilla menetelmillä.

2. Tutkimuksen suunnittelu 2. 6 Parametrinen vai epäparametrinen testi? – Parametriset testit olettavat että 4. mittaustaso on jatkuva, siis vähintään valimatka-asteikko (ns. Likert on järjestysasteikko!) 5. otoskoko on ”riittävä” (kysehän on frekventistisestä tutkimuksesta!) ja 6. poikkeavat arvot on poistettu.

2. Tutkimuksen suunnittelu • Marini, Li ja Fan (1996) toteavatkin, että (lineaaristen frekventististen) parametristen menetelmien käyttö on vähintäänkin haastavaa, jos niiden tutkittavalle ilmiölle ja sitä kuvaavalle aineistolle asettamat oletukset eivät täyty. – Tutkittavan ilmiön tulisi olla luonteeltaan jatkuva ja normaalijakautunut. Jatkuva (continuous) 0 Diskreetti (discrete) 0 1 2, . . Ikä, tulotaso euroina, lämpötila, . . ∞ WAIS-III –testin FSIQ, lempivärien järjestys, sukupuoli, . .

2. Tutkimuksen suunnittelu • Tutkittavaa ilmiötä populaatiossa kuvaavan aineiston tulisi olla – hankittu satunnaisotannalla, – otoskooltaan riittävän suuri (esim. n = 10 * muuttujien lukumäärä), – mitattu välimatka tai suhdeasteikolla, – muuttujittain normaalijakautunutta, – vapaa poikkeavista havainnoista, –Rensis muuttujien riippuvuussuhteiden osalta Likert (1932)välisten kehitti seitsemän portaisen järjestysasteikon (summative rating scale), joka tuottaa(ks. kvalitatiivisia lineaarista esim. muuttujia. Hair, Anderson, Tatham & Black 1998; Tabachnick & Fidell 1996). Järjestysasteikolla mitattujen väittämien tulisi olla suunniteltu siten, että ne muodostavat summamuuttujia, joilla on välimatka-asteikollisen muuttujan ominaisuudet.

2. Tutkimuksen suunnittelu • Tutkittavaa ilmiötä populaatiossa kuvaavan aineiston tulisi olla – hankittu satunnaisotannalla, – otoskooltaan riittävän suuri (esim. n = 10 * muuttujien lukumäärä), – mitattu välimatka tai suhdeasteikolla, – muuttujittain normaalijakautunutta, mukaan tätä ns. likertin –asteikkoa ei ole käytetty –Albaumin vapaa (1997) poikkeavista havainnoista, toimesta tällä tavoin, vaan yksittäisiä väittämiä käytetään –tutkijoiden muuttujien välisten riippuvuussuhteiden osalta parametrisissa analyyseissa. lineaarista (ks. esim. Hair, Anderson, Tatham & Black 1998; Tabachnick Fidell 1996). Tällaisten kategoristen muuttujien&väliset yhteydet eivät välttämättä ole lineaarisia vaan epälineaarisia, jolloin olisi parempi käyttää epäparametrisia tekniikoita (Bradley & Schaefer 1998).

2. Tutkimuksen suunnittelu 2. 6 Parametrinen vai epäparametrinen testi? – Parametriset testit olettavat että 7. vaikutussuhteet ovat riittävän voimakkaita. • Ongelmana multikollineaarisuus (suuret korrelaatiot, yli. 9) ja singulaarisuus (esim. summamuuttuja ja sen osamuuttujat korreloivat voimakkaasti keskenään). • Tutkitaan esim. tarkastelemalla korrelaatiomatriisia.

2. Tutkimuksen suunnittelu 2. 6 Parametrinen vai epäparametrinen testi? – Parametriset testit olettavat että 8. vaikutussuhteet ovat lineaarisia. • Tutkitaan esim. tarkastelemalla kahden muuttujan välisiä hajontakuvia (scatter plot). • Voidaan joissakin tapauksissa korjata muunnoksella (transformation).

2. Tutkimuksen suunnittelu • Frekventistiset epäparametriset menetelmät (esim. Khiin neliötesti, Spearmanin järjestyskorrelaatio, Mann-Whitneyn U-testi, ks. Metsämuuronen, 2003; Nummenmaa, 2009) ovat vapaita edellä kuvatuista oletuksista kahta lukuun ottamatta: – satunnaisotanta -> tieteellinen: voiman (Cohen, 1988) lisääminen – riittävä otoskoko -> em. + tekninen: solujen odotusarvot – välimatka tai suhdeasteikolliset muuttujat -> nominaali/järjestys -> sama jakauman muoto – normaalijakautuneet muuttujat -> ei suurta merkitystä – ei poikkeavia havaintoja -> sekä lin. että epälin. – lineaariset riippuvuussuhteet

2. Tutkimuksen suunnittelu 2. 6 Parametrinen vai epäparametrinen testi? – Epäparametriset testit ovat vähemmän herkkiä havaitsemaan oikeasti olemassa olevia muuttujien välisiä eroja (ts. altistutaan ns. tyypin II “beta” virheelle).

2. Tutkimuksen suunnittelu 2. 6 Parametrinen vai epäparametrinen testi? – Parametrisia testejä kannattaa käyttää jos • data täyttää edellä kuvatut ehdot. – Havaitsevat epäparametrisia herkemmin aineistossa olevat muuttujien väliset vaikutussuhteet -> Tyypin II virheen riski pienenee.

2. Tutkimuksen suunnittelu 2. 6 Parametrinen vai epäparametrinen testi? – Epäparametrisia testejä kannattaa käyttää jos • muuttujien mittaustaso on nominaali- tai järjestysasteikollinen. – Tämä ”pieni” ongelma ohitetaan silloin tällöin sosiaalitieteen tutkimuksessa ylentämällä järjestysasteikollinen (esim. Likert 1– 5) muuttuja välimatka- tai suhdeasteikolliseksi (diskreetistä ”jatkuvaksi”). • otoskoko on pieni. – Kunhan matriisin joka soluun riittää havainto(ja): suositus on vähintään viisi per solu. – Haittavaikutuksena Tyypin II virheen riskin kasvu, ”epäsensitiivisyys”.

2. Tutkimuksen suunnittelu Epäparametrinen testi Chi-square 2 Multiway Frequency Analysis 2 Spearman Rank Order Correlation r. S Mann-Whitney U Wilcoxon Signed Rank Kruskal-Wallis H Friedman Bayesian dependency modeling (B-Course) Logit analysis, Logistic regression Bayesian classification modeling (B-Course) Categorical variable modeling (Mplus) Parametrinen testi Pearson Product Moment Correlation r. P Independent-samples t Paired-samples t One-way between-groups ANOVA F Two-way repeated-measures ANOVA F ANCOVA, MANOVA Regression analysis R Exploratory factor analysis Principal component analysis Cluster analysis Discriminant analysis Classification analysis Confirmatory factor analysis

RS = Randomized sample (i. e. , probability sample) CS = Convenience sample NPS = Non-probability sample D = Design (ce = controlled experiment, co = correlational study) N = Numerus (n = optimal sample size) IO = Independent observations f = Frequentistic technique PARAMETRIC ML = Measurement level (c = continuous, d = discrete, n = nominal) MD = Multivariate Distribution (n = both normal, s = both similar) O = Outliers (i. e. , extreme values) removed C = Correlation (rp = continuous; rs = discrete) S = Statistical dependency (l = linear, nl = non-linear) f NON-PARAMETRIC D N I M M O C S O L D P O P U L A T I O N P R S D N I M M O C S O L D rs > . 3 ce 100 – 250 x c n x l ce >30 x d, n s o R S - 0– 30 - - - - 0– 30 x d, n - - - l, nl C S - 0– 30 - - - - 0– 30 x d, n - - - l, nl co 100 – 250 C S f N P S x c n x o = optional x = compulsory - = do not apply rp > . 3 l co >30 x d, n s o f rs > . 3 l, nl = Bayesian modeling, prediction = Qualitative techniques (Nokelainen, 2008. )

Sisältö 1. Kasvatustieteellinen tutkimus 2. Tutkimuksen suunnittelu 2. 1 Mihin kysymyksiin tutkimus vastaa? 2. 2 Mikä tutkimusasetelma vastaa tutkimuskysymyksiin parhaiten? 2. 3 Millaisilla menetelmillä kysymyksiin etsitään vastauksia? 2. 4 Mitkä ovat muuttujien roolit ja mitta-asteikot? 2. 5 Miten tutkimuskysymykset operationalisoidaan? 2. 6 Käytetäänkö parametrisia vai epäparametrisia testejä? 3. Kymmenen kysymystä tutkimuksesta

3. Kymmenen kysymystä tutkimuksesta Critical Appraisal Skills Programme (CASP, 2006) • Täsmällisyys, tarkkuus (Rigor) – Perusteellinen lähestymistapa • Uskottavuus, vaikuttavuus (Credibility) – Selkeästi esitetyt ja mielekkäät tulokset • Merkitys, asiaankuuluvuus (Relevance) – Tulosten käyttökelpoisuus

3. Kymmenen kysymystä tutkimuksesta Screening 1. Was there a clear statement of the aims of the study? 2. Is a qualitative/quantitative methodology appropriate? Research Design 3. Was the research design appropriate to address the aims of the research? 4. Was the sampling technique/recruitment strategy appropriate to the aims of the research?

3. Kymmenen kysymystä tutkimuksesta Data collection 5. Were the data collected in a way that addressed the research issue? • • • Justification of the setting for data collection. Clarification how data were collected (e. g. , questionnaire, focus group, semi-structured interview, . . ). Justification of the chosen methods. Explicit report on methods (e. g. , how the instruments were delivered, what were the instructions, how interviews were conducted, was there a topic guide, how data was stored, . . ). Explicit report on modifications to the methods during the study. Discussion of the sample size (effect size, power)/saturation of data.

3. Kymmenen kysymystä tutkimuksesta Reflexivity 6. Has the relationship between researcher and participants been adequately considered? • Critical examination of researchers own role, potential bias and influence during • • • formulation of research questions data collection, including sample recruitment and choice of location. How researcher responded to events during the study.

3. Kymmenen kysymystä tutkimuksesta Ethical issues 7. Have ethical issues been taken into consideration? • • Detailed description how the research was explained to participants – so that reader is able to assess whether ethical standards were maintained. Discussion of the issues raised by the study.

3. Kymmenen kysymystä tutkimuksesta Data analysis 8. Was the data analysis sufficiently rigorous? • • In-depth description of the analysis process. Selection of the statistical techniques/use of thematic analysis (e. g. , how the categories/themes were derived from the data? ) Qualitative: How the data presented was selected from the original sample to demonstrate the analysis process? Is a sufficient data presented to support the findings?

3. Kymmenen kysymystä tutkimuksesta Data analysis 8. Was the data analysis sufficiently rigorous? • • To what extent contradictory data are taken into account? Whether the researcher critically examined their own role, potential bias and influence during analysis (qualitative: selection of data for presentation.

3. Kymmenen kysymystä tutkimuksesta Findings 9. Is there a clear statement of findings? • • Explicit findings. Adequate discussion of the evidence both for and against the researchers arguments. Discussion of the credibility of the findings (triangulation, respondent validation, more than one analyst, . . ). Discussion of the findings in relation to the original research questions.

3. Kymmenen kysymystä tutkimuksesta Value of the research 10. How valuable is the research? • • Contribution to existing knowledge and understanding. Identification of new areas where research is necessary. Transferability (generalizability/representativeness) of findings to other populations. Consideration of other ways how the research may be used.

Voiko tämän aineiston perusteella tehdä johtopäätöksiä tutkimuskysymysten suhteen, ts. onko aineisto hankittu tieteellisen tutkimuksen kriteereitä noudattaen? Onko aineiston hankinnan vaiheet kuvattu selkeästi ja läpinäkyvästi? Onko tutkimusasetelma laadittu siten, että sen avulla voidaan etsiä vastauksia asetettuihin tutkimuskysymyksiin? Onko aineiston analyysi toteutettu teknisesti oikein? Onko saadut tulokset linkitetty tutkimuskysymyksiin ja aiemmin tehtyyn tutkimukseen?

Lähteet Albaum, G. (1997). The Likert scale revisited: an alternate version. Journal of the Market Research Society, 39(2), 331 -342. American Psychological Association (2001). Publication manual of the American Psychological Association. Fifth edition. Washington, DC: APA. CASP (2006). 10 questions to help you make sense of qualitative research. Public Health Resource Unit, England. Retrieved 04. 03. 2013 from http: //www. arf-asia. org/resources/ten_question_to_make_sensible_with_research. pdf. Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Second Edition. Hillsdale, NJ: Lawrence Erlbaum Associates. Cohen, L. , Manion, L. , & Morrison, K. (2000). Research Methods in Education. Fifth edition. London: Routledge. Falmer. De. Vellis, R. F. (2003). Scale Development: Theory and Applications. Thousand Oaks: Sage.

Lähteet Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297334. Fowler, F. F. (1995). Improving Survey Questions: Design and Evaluation. Thousand Oaks: Sage. Hair, J. F. , Anderson, R. E. , Tatham R. L. , & Black, W. C. (1995). Multivariate data analysis. Fourth edition. Englewood Cliffs: Prentice Hall. Karma, K. , & Komulainen, E. (2002). Käyttäytymistieteiden tilastomenetelmien jatkokurssi. Toinen painos. Kasvatustieteen laitos, Helsingin yliopisto (sähköinen versio sekä doc- että pdfmuodoissa). <http: //www. helsinki. fi/ktl/julkaisut/ktj/index. htm> Kerlinger, F. (1986). Foundations of Behavioral Research. Third Edition. New York: CBS College Publishing. Komulainen, E. , & Karma, K. (2002). Tilastollisen kuvauksen perusteet käyttäytymistieteissä. Toinen painos. Kasvatustieteen laitos, Helsingin yliopisto (sähköinen versio sekä doc- että pdfmuodoissa). <http: //www. helsinki. fi/ktl/julkaisut/tkpk/index. htm>

Lähteet Marini, M. , Li, X. , & Fan, P. (1996). Characterizing Latent Structure: Factor Analytic and Grade of Membership Models. Sociological Methodology, 1, 133 -164. Metsämuuronen, J. (2003). Tutkimuksen tekemisen perusteet ihmistieteissä. Helsinki: International Methelp Ky. Murphy, K. R. , & Myors, B. (1998). Statistical Power Analysis. A Simple and General Model for Traditional and Modern Hypothesis Tests. Mahwah, NJ: Lawrence Erlbaum Associates. Munro, B. H. (2001). Statistical Methods for Health Care Research. Philadelphia, PA: Lippincott-Raven Publishers. Nokelainen, P. (2008). Modeling of Professional Growth and Learning: Bayesian approach. Tampere: Tampere University Press.

Lähteet Nummenmaa, L. (2009). Käyttäytymistieteiden tilastolliset menetelmät. Ensimmäinen painos, uudistettu laitos. Helsinki: Tammi. Ranta, E. , Rita, H. , & Kouki, J. (1999). Biometria. Kahdeksas painos. Helsinki: Ylipistopaino. Tabachnick, B. , & Fidell, L. (1996). Using multivariate statistics. Third edition. New York: Harper & Row. Töttö, P. (2004). Syvällistä ja pinnallista. Tampere: Vastapaino. Vehkalahti, K. (2000). Reliability of Measurement Scales. Helsinki: University of Helsinki.

Verkossa Johdantomateriaalia tilastollisista peruskäsitteistä • Opetushallitus: Tilastollisten menetelmien perusoppimateriaali • Tilastokeskus: Tilastokoulutus Laajoja tilasto-oppimateriaaleja • FSD - Menetelmäopetuksen tietovaranto SPSS -ohjelman käyttöoppaita • FSD - SPSS-oppimisympäristö

Verkossa Tieteellisiä hakupalveluja http: //www. nelliportaali. fi http: //www. scirus. com http: //scholar. google. fi