Luento 5 Faktori ja pkomponenttianalyysi Petri Nokelainen petri

Luento 5: Faktori- ja pääkomponenttianalyysi Petri Nokelainen petri. nokelainen@uta. fi http: //www. uta. fi/~petri. nokelainen Kasvatustieteiden yksikkö Tampereen yliopisto

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

1. Johdanto • Factor Analysis (FA), Principal Components Analysis (PCA) • Tavoitteena on muodostaa muuttujien välisiä, toisistaan kohtuullisen riippumattomia, koherentteja alijoukkoja. • Faktorianalyysissa alijoukko muodostaa faktorin (factor), pääkomponenttianalyysissa komponentin (component). • Faktorin/komponentin uskotaan ilmentävän taustalla olevaa, alkuperäisten muuttujien väliset korrelaatiot aiheuttanutta, ilmiötä.

1. Johdanto • Muuttujajoukon jäsentämiselle on kaksi pääkäyttötarkoitusta: – Faktorit/komponentit nimetään jäsentämään tutkittavaa ilmiötä, esim. yläkäsite ”motivaatio” voi sisältää ”ulkoisen tavoiteorientaation”, ”sisäisen tavoiteorientaation”, ”kontrolliuskomukset”, jne. – Suuresta muuttujajoukosta (variable pool) jätetään analyysiin minimimäärä muuttujia kuvaamaan tutkittavaa ilmiötä, esimerkiksi ”minäkuvan” seitsemää ulottuvuutta (esim. Herbert Marsh, SDQ I-V) mittaavan kyselylomakkeen rakentamisen yhteydessä.

1. Johdanto • Faktori- ja pääkomponenttianalyysin vaiheet: 1. 2. 3. 4. 5. 6. 7. Muuttujien valinta. Korrelaatiomatriisin valmistelu. Faktorien/komponenttien tuottaminen (extract) korrelaatiomatriisin perusteella. Faktorien lukumäärän päättäminen. Faktorien kiertäminen (rotation) tulkinnallisuuden lisäämiseksi. Faktoripisteiden analyysi. Tulosten tulkinta.

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

2. Faktori- ja pääkomponenttianalyysin rajoituksia • Otoskoko – Minimiotoskoko • • Gorsuch (1983) n > 100 Guilford (1954) n > 200 Cattell (1978) n > 250 Comrey ja Lee (1973): 50 very poor, 100 poor, 200 fair, 500 good, 1000 excellent. – Otoskoon (N) ja muuttujien (p) suhde • Cattell (1978): n = 3 -6 p • Everitt (1975): n = 10: 1 • Hair, Anderson, Tatham and Black (1995): n = 20: 1.

2. Faktori- ja pääkomponenttianalyysin rajoituksia • Otoskoko – Jos datassa on selviä korrelaatioita (>. 80), 150 otoskoko voi olla riittävä (Guadagnoli & Velicer, 1988). – Toisaalta on esitetty että jo n = 23 riittäisi faktorianalyysiin vallitsevista olosuhteista riippuen! (Mac. Callum et al. , 1999. )

2. Faktori- ja pääkomponenttianalyysin rajoituksia • Normaaliuden merkitys ei ole kriittinen analyysin tulkinnan kannalta, mutta normaalijakautuneet muuttujat parantavat ratkaisun tulkinnallisuutta. – Normaalijakauman oletus on voimassa sekä FA että PCA analyyseissa jos tilastollisen päättelyn avulla tulkitaan faktorien lukumäärää. • Muuttujien välisiltä suhteilta edellytetään lineaarisuutta. • Poikkeavat havainnot vääristävät analyysin tulosta voimakkaasti.

2. Faktori- ja pääkomponenttianalyysin rajoituksia • Multikollineaarisuus tai singulaarisuus – Faktorianalyysissa tarkkailtava muuttujien ominaisarvoja, erityisesti niiden lähestyessä arvoa 0. – Ei ole ongelma PCA: ssa, koska matriisia ei käännetä. • Korrelaatiomatriisissa tulisi olla >. 30 korrelaatioita – FA ja PCA perustuvat muuttujien välisten vaikutussuhteiden tulkintaan!

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

General Linear Model (GLM) X (IV) Y (DV) 1, jatkuva n, epäjatkuva n, jatkuva 1, dikotominen n, jatkuva n, epäjatkuva n, latentti n, jatkuva n, epäjatkuva n, jatkuva (3. 2) Pearsonin tulomomenttikorrelaatiokerroin (r) (3. 3) Regressioanalyysi (Multiple RA) Varianssianalyysi (n-way ANOVA) Kahden ryhmän erotteluanalyysi (Two-group LDA) (3. 4) Monimuuttujaregressioanalyysi (Multivariate RA) Monimuuttujavarianssianalyysi (MANOVA) Erotteluanalyysi (LDA) Faktorianalyysi (EFA) Pääkomponenttianalyysi (PCA)

(Nokelainen, 2008. )

Muuttujarakenteen mallintaminen DV IV Kovariaatit Analyysi n jatkuvaa havaittua n latenttia Eksploratorinen faktorianalyysi (EFA) n latenttia n jatkuvaa havaittua Pääkomponenttianalyysi (PCA) n jatkuvaa havaittua ja/tai latenttia Rakenneyhtälömallinnus (SEM)

Historiaa • Pääkomponenttianalyysi (PCA) – Karl Pearson kehitti 1901 perusidean, ”the method of principal axes. ” Karl Pearson 1857 - 1936

Historiaa • Pääkomponenttianalyysi (PCA) – Harold Hotelling jalosti 1933 pääkomponenttianalyysin lopulliseen muotoonsa. Harold Hotelling 1895 - 1973

3. Pääkomponenttianalyysi • Principal Components Analysis, PCA • Suosittu mekanistinen muuttujanvalintamenetelmä jossa monidimensionaaliseen data-avaruuteen määritellään uudet muuttujat, jotka ovat lineaarisia yhdistelmiä kaikista ilmiön kuvaamiseen käytetyistä muuttujista.

3. Pääkomponenttianalyysi • Komponenttien varianssia kuvataan ominaisarvolla (eigenvalue, characteristic root, latent root). • Yleensä tulkitaan vain ne pääkomponentit joiden ominaisarvo on yli 1.

3. Pääkomponenttianalyysi y 2. Pääkomponenttiakseli 1. Pääkomponenttiakseli x

3. Pääkomponenttianalyysi • 1. pääkomponentti selittää suurimman osan datan vaihtelusta. • Datan vaihtelu eliminoidaan tämän muuttujan suunnassa ja valitaan toinen pääkomponentti joka selittää suurimman osan jäljelle jääneen datan vaihtelusta. • Pääkomponentit ovat aina keskenään ortogonaalisia (suorakulmassa keskenään).

3. Pääkomponenttianalyysi • Pääkomponentteja voidaan valita maksimissaan alkuperäisen muuttujamäärän verran. • Pääkomponenttianalyysin avulla erotellaan voimakkaimmin korreloivat muuttujat, muuttujaavaruuden supistaminen voidaan aloittaa muuttujista joiden lataukset (kommunaliteetit, communalities) pääkomponenteille ovat pieniä. – Kommunaliteetti tarkoittaa yksittäisen muuttujan (väittämän) latauksen neliön summaa yksittäiselle pääkomponentille. – Mitä lähempänä arvo on yhtä, sitä vahvempi väittämä on kyseessä. Jos arvo on lähellä nollaa (yleensä kriteeri on <. 20), väittämän poistamista analyysista kannattaa harkita, koska sen antama lisäinformaatio muihin väittämiin verrattuna on pieni.

3. Pääkomponenttianalyysi x 1 x 2 x 3 x 4 c 11 c 12 c 13 c 14 PC 1= c 11 x 11 + c 12 x 12 + … + c 1 px 1 p

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

3. 1 Pääkomponenttien rotaatiomenetelmiä • Suorakulmarotaatiomenetelmiä (orthogonal): – Varimax • Suosituin, kasvattaa muuttujien komponenttikohtaista varianssia -> suuret lataukset voimistuvat ja pienet heikkenevät. Operoi latausmatriisin sarakkeissa. – Quartimax • Yksinkertaistaa muuttujakohtaisia latauksia, operoi latausmatriisin riveillä. – Equamax • Edellisten yhdistelmä.

3. 1 Pääkomponenttien rotaatiomenetelmiä • Vinorotaatiomenetelmiä (oblimin): – Sallivat komponenttien korreloida keskenään. – Sallitun korrelaation voimakkuus (riippuu datasta) määritellään delta ( ) –arvolla: • matala korrelaatio -4 0. 8 korkea korrelaatio – Direct oblimin ( = 0). – Promax on laskennallisesti Direct oblimia nopeampi toteuttaa ja soveltuu siten paremmin suurille aineistoille. • Tämän päivän tietokoneet ovat niin tehokkaita että havaintoja pitää olla kymmeniä tuhansia että tällä on merkitystä!

3. 1 Pääkomponenttien rotaatiomenetelmiä PC 1 x 1 x 3 x 2 x 4 PC 2 X 1 = a. PC 1 + b. PC 2 PC 1 x 3 x 2 x 4 Suorakulmainen rotaatio (orthogonal), esim. Varimax PC 2 x 3 x 2 x 4 Vinokulmainen rotaatio (oblique), esim. Direct Oblimin PC 2

Pääkomponenttianalyysi SPSSohjelmalla • Tässä esimerkissä käytettävä aineisto on kerätty vuoden 2001 tammikuussa Helsingin, Joensuun, Tampereen, Oulun ja Kuopion avoimen yliopiston verkkokursseille osallistuneilta opiskelijoilta Internetissä olevalla kyselylomakkeella. • Aineistossa on 143 miestä (49. 8 %) ja 132 naista (49. 1 %). Sukupuolitieto puuttuu kolmelta vastaajalta (1. 1%). Yhteensä vastaajia on 269. • Lomakkeessa on 28 Howard Gardnerin ’Multiple Intelligence’ -teoriaan (1983) liittyvää väittämää, joihin on vastattu seitsemänportaisella asteikolla. – 1 = Väittämä ei pidä lainkaan paikkaansa … 7 = Väittämä pitää täysin paikkansa.

Pääkomponenttianalyysi SPSSohjelmalla • Esimerkissä tarkastellaan kahta vahvuusaluetta, kielellistä ja matemaattista, mittaavien väittämien latauksia pääkomponenteille (ts. latautuvatko väittämät kahdelle vai useammalle pääkomponentille). • Äidinkielen vahvuutta mitataan neljällä väittämällä: – m 04 Kirjoittaminen on minulle luonteva tapa ilmaista itseäni. – m 40 Olen hiljakkoin kirjoittanut jotain sellaista, josta olen erityisen ylpeä tai josta sain tunnustusta. – m 56 Kielikuvat ja rikkaat kielelliset ilmaisut auttavat minua oppimaan tehokkaasti. – m 70 Äidinkieli ja/tai yhteiskunnalliset aineet olivat minulle koulussa helpompia kuin matematiikka, fysiikka ja kemia.

Pääkomponenttianalyysi SPSSohjelmalla • Matemaattista vahvuutta mitataan myös neljällä väittämällä: – m 01 Matematiikka, fysiikka tai kemia kuului lempiaineisiini koulussa. – m 30 Minua viehättää monimutkaisten ongelmien kanssa työskentely ja niiden ratkaisu. – m 39 Nautin peleistä tai "aivopähkinöistä", jotka vaativat loogista ajattelua. – m 54 Päässälasku on minulle helppoa.

Pääkomponenttianalyysi SPSSohjelmalla • SPSS: Analyze – Data Reduction - Factor • Variables: m 04, m 40, m 56, m 70, m 01, m 30, m 39, m 54 • Descriptives: Initial solution, Coefficients • Extraction: Principal components, correlation matrix, Unrotated factor solution, scree plot, Eigenvalues over 1, Maximum Iterations for Convergence: 25. – Eigenvalues over 1 määrittelee sen, että käytämme PCA: ta ulottuvuuksien lukumäärän etsimiseen (eksploratiivisesti). Tässä kohdassa voidaan vaihtoehtoisesti valita kiinteä pääkomponenttien lukumäärä, vaikka 3, jolloin analyysi lasketaan kolmen pääkomponentin mukaan. • Rotation: Direct Oblimin (Delta: 0), Rotated solution, Loading plots, Maximum Iterations for Convergence: 25. • Scores: Save as variables (Regression). • Options: Exclude cases listwise, Sorted by size.

Pääkomponenttianalyysi SPSSohjelmalla FACTOR /VARIABLES m 04 m 40 m 56 m 70 m 01 m 30 m 39 m 54 /MISSING LISTWISE /ANALYSIS m 04 m 40 m 56 m 70 m 01 m 30 m 39 m 54 /PRINT INITIAL CORRELATION EXTRACTION ROTATION /FORMAT SORT /PLOT EIGEN ROTATION /CRITERIA MINEIGEN(1) ITERATE(25) /EXTRACTION PC /CRITERIA ITERATE(25) DELTA(0) /ROTATION OBLIMIN /SAVE REG(ALL) /METHOD=CORRELATION.

Korrelaatiomatriisi Korrelaatiot ovat yhtä lukuun ottamatta hyvällä tasolla, r >. 30, myöskään multikollineaarisuusongelmaa ei esiinny.

Kommunaliteetit Kommunaliteetti ilmaisee kuinka monta prosenttia muuttujan varianssista voidaan selittää pääkomponenttien avulla Kommunaliteetit poikkeavat selvästi nollasta (luetaan Extraction -sarakkeesta), joten ne kannattaa pitää mukana analyysissa.

Ominaisarvot ja selitysosuudet Komponentteja on kahdeksan, koska väittämiä oli analyysissa mukana kahdeksan kappaletta (yhteenlaskettu selitysosuus on 100 %). Kahden komponentin osalta ominaisarvo on yli yhden (Total –sarake, arvot 3. 105 ja 1. 671), joten kahden komponentin ratkaisu on suositeltavin. Koska analyysissa käytettiin (vinokulma) rotaatiota, pääkomponenttiratkaisun selitysosuudet luetaan Extraction Sums of Squared Loadings –osasta: Ensimmäinen komponentti selittää yksin 38. 8 % muuttujien arvojen vaihtelusta ja toinen 20. 1 %. Kahden pääkomponentin ratkaisu selittää yhteensä 59. 7 % muuttujien arvojen vaihtelusta (voidaan pitää tyydyttävänä ratkaisuna).

Vinorotatoitu ratkaisu näyttää että väittämät latautuvat kahdelle komponentille teoreettisesti mielekkäällä tavalla. Ainoa ongelma on väittämän ”Äidinkieli ja/tai yhteiskunnalliset aineet. . ” kohdalla, sehän latautuu sekä voimakkaan negatiivisesti matemaattiselle komponentille että kohtuullisen positiivisesti kielelliselle komponentille. Syynä on ilmeisesti se, että väittämä ei suoraan mittaa kielellistä vahvuutta!

Pääkomponenttien regressiopisteiden korrelaatiomatriisi Pääkomponentit korreloivat heikosti ja negatiivisesti keskenään. 1 = Matemaattinen vahvuusalue 2 = Kielellinen vahvuusalue

Pääkomponenttiratkaisun kuvaaja Matemaattista vahvuutta mittaavat väittämät ovat lähempänä ensimmäistä pääkomponenttia ja kielellistä vahvuutta mittaavat väittämät ovat lähellä toista pääkomponenttia, kuten kuuluukin. Ongelmallinen väittämä m 70 on latautunut molemmille komponenteille.

Pääkomponenttianalyysin raportointi Pääkomponenttianalyysin avulla tutkittiin neljän matemaattista ja neljän kielellistä vahvuutta mittavan väittämän dimensionaalisuutta. Vinorotatoitu kahden pääkomponentin ratkaisu (Direct oblimin, delta = 0) selitti 59. 7 prosenttia kahdeksan väittämän varianssista. Rotaatiomatriisi osoitti, että väittämät latautuivat kahdelle pääkomponentille teoreettisen viitekehyksen mukaisesti. Ensimmäinen, matemaattista vahvuutta kuvaava pääkomponentti selitti yksin 38. 8 prosenttia ja toinen, kielellistä vahvuutta kuvaava pääkomponentti selitti 20. 9 prosenttia väittämien varianssista.

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

General Linear Model (GLM) X (IV) Y (DV) 1, jatkuva n, epäjatkuva n, jatkuva 1, dikotominen n, jatkuva n, epäjatkuva n, latentti n, jatkuva n, epäjatkuva n, jatkuva (3. 2) Pearsonin tulomomenttikorrelaatiokerroin (r) (3. 3) Regressioanalyysi (Multiple RA) Varianssianalyysi (n-way ANOVA) Kahden ryhmän erotteluanalyysi (Two-group LDA) (3. 4) Monimuuttujaregressioanalyysi (Multivariate RA) Monimuuttujavarianssianalyysi (MANOVA) Erotteluanalyysi (LDA) Faktorianalyysi (EFA) Pääkomponenttianalyysi (PCA)

(Nokelainen, 2008. )

Muuttujarakenteen mallintaminen DV IV Kovariaatit Analyysi n jatkuvaa havaittua n latenttia Eksploratorinen faktorianalyysi (EFA) n latenttia n jatkuvaa havaittua Pääkomponenttianalyysi (PCA) n jatkuvaa havaittua ja/tai latenttia Rakenneyhtälömallinnus (SEM)

Historiaa • Faktorianalyysi (FA) – Charles Spearman kehitti yhden yleisen faktorin ratkaisun 1904: ”General Intelligence, Objectively Determined and Measured”. Charles Spearman 1863 - 1945

4. Faktorianalyysi • Tutkimuskirjallisuudessa erotetaan toisistaan eksploratiivinen (EFA, exploratory) ja konfirmatorinen (CFA, confirmatory) faktorianalyysi. – Usein EFA = FA, CFA mainitaan erikseen. • Eksploratiivisessa analyysissä halutaan selittää havaittujen muuttujien korrelaatiorakennetta faktorimallin avulla. • Voidaan suorittaa perusohjelmalla, esim. SPSS, SAS, SURVO, S.

4. Faktorianalyysi • Konfirmatorinen faktorianalyysi (CFA, Confirmatory Factor Analysis) pyrkii vahvistamaan (löytämään datasta) ennalta asetettuja teoreettisia ulottuvuuksia. – Voidaan esim. käyttää EFA: lla löydetyn rakenteen testaamiseen eri datajoukoilla. • CFA voidaan suorittaa erikoisohjelmilla, esim. LISREL, AMOS, EQS, MPlus.

4. Faktorianalyysi X 1 X 2 f 1 Ryhmäfaktori {X 1, X 3} f 2 Yleinen faktori {X 1 , X 2, X 3 , X 4 , X 5} X 3 X 4 X 5

4. Faktorianalyysi (F) X 1 = ai 1 f 1 + ai 2 f 2 +. . . + aik fk + ui + i X 1 = fj = aij = ui = havaittu muuttuja ( i = 1, . . . , p) faktori eli piilomuuttuja ( j = 1, . . . , k) muuttujan i lataus faktorilla j (i = 1, . . . , p ; j = 1, . . . , k) havaittuun muuttujaan i liittyvä erityisfaktori havaitun muuttujan i keskimääräinen taso

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

4. 1 Faktorianalyysin ekstraktointitekniikoita • SPSS: Extraction techniques – – – – Principal Components (Pääkomponenttianalyysi) Principal Factors Maximum Likelihood Factoring Rao´s Canonical Factoring Image Factoring Alpha Factoring Unweighted and Generalized (weighted) Squares Factoring • Ensimmäistä lukuun ottamatta muodostavat ortogonaalisia faktoreita, jotka yhdessä uudelleenmuodostavat alkuperäisen korrelaatiomatriisin (R).

4. 1 Faktorianalyysin ekstraktointitekniikoita • Principal Factors – Poikkeaa PCA: sta siten että iteratiivisella proseduurilla lasketut kommunaliteettien estimaatit sijaitsevat korrelaatiomatriisin positiivisella diagonaalilla ykkösten sijasta. – Tavoitteena erotella datasta mahdollisimman suuri ortogonaalinen varianssi. – Suosittu (ja ymmärretty) menetelmä. – Jakaa FA: n kanssa saman idean yhteisen varianssin analyysista (kommunaliteetit), vastaavasti virhe- ja ominaisvarianssi on poistettu analyysista.

4. 1 Faktorianalyysin ekstraktointitekniikoita • Image Factor Extraction – Tutkii faktorien välisiä suhteita havaitun muuttujan toisten muuttujien reflektoiman varianssin avulla. • Idea on vastaava kuin yhtäaikaisen korrelaatiokertoimen neliön (R 2 , SMC, Squared Multiple Correlation) laskennassa jossa kukin muuttuja toimii vuorollaan DV –muuttujana ja muut IV –muuttujina. – Jos SMC arvo (välillä 0 -1) on korkea, DV: n riippuvuussuhde muihin muuttujiin on korkea (multikollineaarisuus). Jos arvo on 1, kyseessä on singulaarisuus. – Tilasto-ohjelmissa käytetään SMC: n sijasta terminä toleranssia (tolerance) joka on 1 – SMC. – Lataukset edustavat muuttujien ja faktorien välisiä kovariansseja (eivätkä korrelaatioita). – Sisältää sekä PCA: n että PF: n piirteitä.

4. 1 Faktorianalyysin ekstraktointitekniikoita • Maximum Likelihood – Vanhimpia menetelmiä, kehittäjä Lawley 1940 – luvulla. – Laskee ne lataukset jotka maksimoivat todennäköisyyden tuottaa alkuperäinen korrelaatiomatriisi otoksesta. – Maksimoi muuttujien ja faktorien väliset kanoniset korrelaatiot.

4. 1 Faktorianalyysin ekstraktointitekniikoita • Alpha Factoring – Erikoismenetelmä joka on kehitetty vastaamaan kysymykseen mitkä yhteiset faktorit löytyvät useimmin populaatiosta josta otetaan jatkuvasti uusia muuttujaotoksia. – Tarkoituksena on tutkia faktoreiden luotettavuutta alpha –kerrointa maksimoivien kommunaliteettien iteratiivisen tarkastelun avulla. – Etuna voidaan pitää sitä, että tutkijan huomio keskittyy muuttujien valintaan kiinnostuksen kohteena olevasta muuttujajoukosta.

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

4. 2 Faktorien rotaatiomenetelmiä • Suorakulmarotaatiomenetelmiä (orthogonal): – Varimax • Suosituin, kasvattaa muuttujien faktorikohtaista varianssia -> suuret lataukset voimistuvat ja pienet heikkenevät. Operoi latausmatriisin sarakkeissa. – Quartimax • Yksinkertaistaa muuttujakohtaisia latauksia, operoi latausmatriisin riveillä. – Equamax • Edellisten yhdistelmä.

4. 2 Faktorien rotaatiomenetelmiä • Vinorotaatiomenetelmiä (oblimin): – Sallivat faktorien korreloida keskenään. – Sallitun korrelaation voimakkuus (riippuu datasta) määritellään delta ( ) –arvolla: • matala korrelaatio -4 0. 8 korrelaatio korkea – Direct oblimin ( = 0). – Promax (laskennallisesti Direct oblimia nopeampi toteuttaa, soveltuu suurille aineistoille).

Muuttuja x 1 x 2 x 3 x 4 Faktori 1 -0, 89 0, 13 0, 63 0, 21 FA 1 x 3 x 4 x FA 2 2 x 1 Faktori 2 -0, 34 0, 76 0, 49 0, 78 x 4 x FA 2 2 x 1 Suorakulmainen rotaatio (orthogonal), esim. Varimax 2 x 1 Vinokulmainen rotaatio (oblique), esim. Direct Oblimin

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

5. Faktori/pääkomponenttipisteet • Estimaatteja arvoista, joita vastaajat olisivat antaneet faktoreittain/komponenteittain jos niitä olisi voitu suoraan heiltä kysyä. • Yleisin tallennusmuoto on regressiopisteet, jotka kuvaavat kunkin vastaajan standardoitua painokerrointa kullekin faktorille (0 = ei merkitystä). • Voidaan käyttää jatkoanalyyseissa uusina muuttujina (ns. second order factoring).

5. Faktori/pääkomponenttipisteet • Multikollineaarisuutta voidaan vähentää tallentamalla PCA: n ortogonaaliset komponentit (principal component scores). • PCA: lla voidaan myös vähentää – DV –muuttujien lukumäärää jatkoanalyyseja (esim. MANOVA) varten sekä – IV –muuttujien lukumäärää regressioanalyysissa.

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

6. Faktori- ja pääkomponenttianalyysin vertailua • PCA – Korrelaatiomatriisin positiivinen diagonaali koostuu kunkin muuttujan osalta arvosta 1 (kommunaliteetti saa arvon yksi), kaikki varianssi (sisältäen virhe- ja ominaisvarianssin) jaetaan komponenteille. • Analyysin tuottama kommunaliteetti on muuttujan ja pääkomponentin välisen yhteisen korrelaatiokertoimen neliö (R 2) joka ilmaisee kuinka monta prosenttia muuttujan varianssista voidaan selittää pääkomponentin avulla. – Kaikkien komponenttien lineaarikombinaatio tuottaa 1: 1 kopion korrelaatiomatriisista.

6. Faktori- ja pääkomponenttianalyysin vertailua • FA – Vain muuttujien välinen varianssi analysoidaan, virhe- ja ominaisvarianssi jätetään analyysin ulkopuolelle. – Korrelaatiomatriisin positiivinen diagonaali koostuu kunkin muuttujan osalta kommunaliteetista (muuttujien välisen varianssin estimaatti joka saa arvoja väliltä 0 -1). – Kaikkien faktorien lineaarikombinaatio lähestyy arvoiltaan alkuperäistä korrelaatiomatriisia.

6. Faktori- ja pääkomponenttianalyysin vertailua • PCA – Analysoi varianssia. – Tavoitteena on tuottaa maksimaalinen varianssi datasta mahdollisimman pienellä määrällä (ortogonaalisia) komponentteja. • FA – Analysoi kovarianssia (kommunaliteetit). – Tavoitteena on uudelleen tuottaa alkuperäinen korrelaatiomatriisi mahdollisimman pienellä faktorien lukumäärällä.

6. Faktori- ja pääkomponenttianalyysin vertailua • PCA – Soveltuu hyvin korrelaatiomatriisin rakenteen (komponenttien lukumäärä) eksploratiiviseen selvittämiseen, esim. ennen faktorianalyysia. – Ortogonaalisten (=korreloimattomien) komponenttien käyttö jatkoanalyyseissa voi olla esim. multikollineaarisen aineiston kanssa hyödyllistä. • FA – Soveltuu etukäteen oletetun teoreettisen rakenteen tutkimiseen.

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

7. Faktori- ja pääkomponenttianalyysin ongelmia • Tuloksia ei voi tarkastella kriteerimuuttujan arvojen perusteella. – Regressioanalyysissa DV –muuttuja on kriteeri, sen todettujen ja odotettujen arvojen korrelaatio testaa saatua ratkaisua. – Erotteluanalyysissa, logistisessa regressiossa, profiilianalyysissa ja MANCOVAssa ratkaisun toimivuutta voidaan arvioida ryhmäjäsenyyden ennustuskyvyllä.

7. Faktori- ja pääkomponenttianalyysin ongelmia • Ulottuvuuksien poiminnan jälkeen tutkijan tulee kyetä päättämään teoriataustan tai alkuoletusten perusteella optimaalisin muuttujaryhmittely lukemattomien (saman selitysosuuden) rotaatiovaihtoehtojen joukosta. • Maine tutkimuksen kuin tutkimuksen ”pelastajana” (ns. sloppy research).

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

8. Reliabiliteetin estimointi • Klassisen testiteorian mukaan mittaukseen tulokseen vaikuttaa kaksi tekijää, (1) mitattava ominaisuus ja (2) mittausvirhe. X = Havaittu pistemäärä (esim. kyselylomakkeen kolmen väittämän summa). T = Todellinen pistemäärä (esim. vastaajan todellinen kanta kyselylomakkeessa kysyttyyn, kolmella väittämällä mitattuun, asiaan). e = Mittausvirhe (esim. vastaajan keskittyminen kysymyksiin, käytettävissä oleva aika, jaksaminen, …).

8. Reliabiliteetin estimointi • Klassisen testiteorian kuusi aksioomaa (perusoletusta) ovat: 1. Havaittu pistemäärä X koostuu todellisesta pistemäärästä T ja mittausvirheestä e. 2. Yksittäisiin pistemääriin liittyvien mittausvirheiden keskiarvo on nolla (mittausvirhe on harhaton). 3. Mittausvirhe ja todellinen pistemäärä ovat toisistaan riippumattomia. 4. Rinnakkaismittausten virheet eivät korreloi keskenään. 5. Jokainen rinnakkaismittari antaa vastaajille saman todellisen pistemäärän. 6. Mittauksen keskivirhe on jokaisessa rinnakkaismittarissa sama.

8. Reliabiliteetin estimointi • Klassisessa testiteoriassa mittarin (esim. kyselylomakkeen) reliabiliteettia (sen tuottamaa mittausvirhettä) arvioidaan laatimalla siitä kaksi identtistä rinnakkaisversiota, joiden tuottamia pistemääriä vertailemalla saadaan selville mittauksesta itsestään aiheutunut virhe. • Tutkijan toiveena on, että pistemäärien erotus on pieni, jolloin myös mittausvirheen vaikutus mittauksen tuloksiin on pieni.

8. Reliabiliteetin estimointi • Kyselylomakkeen reliabiliteettia (mittausvirheen määrää) voidaan arvioida laatimalla siitä kaksi rinnakkaista versiota ja täytättämällä molemmat vastaajilla – pistemäärien erotus on kunkin vastaajan kohdalla mittausvirhe. – Ongelmana on ajankäyttö ja kahden käsitteellisesti samalla tavoin toimivan kyselylomakkeen laadinnan vaikeus. • Toinen vaihtoehto on täytättää sama kyselylomake kaksi kertaa peräkkäin vastaajilla ja tarkastella vastausten eroja (test-retest). – Ongelmana ajankäyttö, vastaajassa mittauskertojen välillä tapahtuva muutos ja siirtovaikutus (vastaaja muistaa miten on vastannut ensimmäisellä kerralla).

8. Reliabiliteetin estimointi • Kolmantena vaihtoehtona on ns. split-half – menetelmä, jossa mittarissa on sisäänrakennettuna kaksi osaa, joiden välistä korrelaatiota voidaan tarkastella. – Ongelmana on kyselylomakkeen jakaminen kahteen osaan, ts. mitkä väittämät edustavat kahta mittarin ”puolikasta”?

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

8. 1 Sisäinen konsistenssi, Cronbachin • Neljäs ja yleisin tapa tarkastella kyselylomakkeen reliabiliteettia on pitäytyä mittarin sisäisessä konsistenssissa. – Idea on vastaava kuin split-half –menetelmässä, nyt analyysiyksikkönä on mittarin puolikkaiden sijaan yksittäiset väittämät. – Mittauksen reliabiliteettiin vaikuttaa kaksi tekijää: yksittäisten väittämien antamien mittaustulosten samankaltaisuus ja väittämien lukumäärä. • Mitä enemmän keskenään samankaltaisesti toimivia väittämiä mittari sisältää, sitä reliaabelimpi se on. – Etuna edellisiin verrattuna on se, että reliabiliteetin testaus voidaan tehdä yhdellä mittauskerralla, eikä mittaria tarvitse jakaa kahteen osaan joiden korrelaatioita verrataan keskenään.

8. 1 Sisäinen konsistenssi, Cronbachin • Mittarin sisäinen konsistenssi (internal consistency) lasketaan kahden puoliskon (split-half) korrelaatiosta – 1937 Kuder-Richardsson (KR 20, KR 21) • KR-21 rk= [N/(N-1)] * [1 - (M*(N-M))/(N*s^2))] • vain 0, 1 osioille – 1950 Gulliksen (alpha) • yleisempi – 1951 Cronbach johti em. alpha kertoimelle käyttökelpoisia sovelluksia. – 1987 Tarkkonen kehitti monimuuttuja-analyysiin paremmin soveltuvan luotettavuustestin. – 2000 Vehkalahti esitteli väitöskirjassaan Tarkkosen työhön perustuvan reliabiliteetin laskentatavan.

8. 1 Sisäinen konsistenssi, Cronbachin Lee Cronbach 1916 - 2001 = reliabiliteetti (sisäinen konsistenssi) N = väittämien lukumäärä r = väittämien välisen korrelaation keskiarvo

Sisäisen konsistenssin ( ) laskeminen SPSS -ohjelmalla • Jatkamme pääkomponenttianalyysiesimerkkiä ja laskemme kahdelle pääkomponentille kyselylomakkeen sisäistä konsistenssia kuvaavat alpha-kertoimet. • Ensin lasketaan matemaattisen vahvuusalueen reliabiliteettikerroin (ensimmäinen pääkomponentti): • SPSS: Analyze – Scale – Reliability analysis – Items: m 01, m 30, m 39, m 54 – Model: Alpha – Statistics: Scale if item deleted • Tällä valinnalla voidaan tarkastella erikseen kunkin neljän väittämän panosta reliabiliteettikertoimen arvon rakentamisessa.

Sisäisen konsistenssin ( ) laskeminen SPSS -ohjelmalla RELIABILITY /VARIABLES=m 01, m 30, m 39, m 54 /SCALE('ALL VARIABLES') ALL /MODEL=ALPHA /SUMMARY=TOTAL.

Sisäisen konsistenssin ( ) laskeminen SPSS -ohjelmalla Matemaattisen pääkomponentin reliabiliteettikerroin saa arvon. 74. Nunnallyn (1978) mukaan. 80 on hyvä taso, joten tätä kerrointa voidaan pitää tyydyttävänä.

Sisäisen konsistenssin ( ) laskeminen SPSS -ohjelmalla Kaikki neljä väittämää ovat tärkeitä, koska minkä tahansa pois jättäminen laskisi pääkomponentille laskettua reliabiliteettia.

Sisäisen konsistenssin ( ) laskeminen SPSS -ohjelmalla • Seuraavaksi lasketaan kielellisen vahvuusalueen reliabiliteettikerroin (toinen pääkomponentti): • SPSS: Analyze – Scale – Reliability analysis – Items: m 04, m 40, m 56, m 70 – Model: Alpha – Statistics: Scale if item deleted

Sisäisen konsistenssin ( ) laskeminen SPSS -ohjelmalla RELIABILITY /VARIABLES=m 04 m 40 m 56 m 70 /SCALE('ALL VARIABLES') ALL /MODEL=ALPHA /SUMMARY=TOTAL.

Sisäisen konsistenssin ( ) laskeminen SPSS -ohjelmalla Kielellisen pääkomponentin reliabiliteettikerroin saa arvon. 69. Kerrointa voidaan pitää tyydyttävänä.

Sisäisen konsistenssin ( ) laskeminen SPSS -ohjelmalla Kaikki neljä väittämää ovat tärkeitä, koska minkä tahansa pois jättäminen laskisi pääkomponentille laskettua reliabiliteettia. Pääkomponenttianalyysissa hieman ongelmalliseksi koetun viimeisen väittämän poisjättäminen pääkomponentista ei reliabiliteettianalyysin perusteella ole välttämätöntä (. 69 >. 68).

Pääkomponenttianalyysin raportointi Pääkomponenttianalyysin avulla tutkittiin neljän matemaattista ja neljän kielellistä vahvuutta mittavan väittämän dimensionaalisuutta. Vinorotatoitu kahden pääkomponentin ratkaisu (Direct oblimin, delta = 0) selitti 59. 7 prosenttia kahdeksan väittämän varianssista. Rotaatiomatriisi osoitti, että väittämät latautuivat kahdelle pääkomponentille teoreettisen viitekehyksen mukaisesti. Ensimmäinen, matemaattista vahvuutta kuvaava pääkomponentti selitti yksin 38. 8 prosenttia ja toinen, kielellistä vahvuutta kuvaava pääkomponentti selitti 20. 9 prosenttia väittämien varianssista. Ensimmäisen pääkomponentin reliabiliteetti (Cronbachin alpha) sai arvon. 74, toisen pääkomponentin arvo oli. 69. Reliabiliteetteja voidaan pitää kohtuullisina.

Sisältö 1. Johdanto 2. Faktori- ja pääkomponenttianalyysin rajoituksia 3. Pääkomponenttianalyysi 3. 1 Pääkomponenttien rotaatiomenetelmiä 4. Faktorianalyysi 4. 1 Faktorianalyysin ekstraktointitekniikoita 4. 2 Faktorien rotaatiomenetelmiä 5. 6. 7. 8. Faktori/pääkomponenttipisteet Faktori- ja pääkomponenttianalyysin vertailua Faktori- ja pääkomponenttianalyysin ongelmia Reliabiliteetin estimointi 8. 1 Sisäinen konsistenssi, Cronbachin Lähteet

Lähteet Cattell, R. B. (1978). The scientific use of factor analysis in behavioral and life sciences. New York: Plenum. Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Erlbaum. Comrey, A. L. , & Lee, H. B. (1973). A first course in factor analysis. New York: Academic Press. Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297 -334. Everitt, B. S. (1975). Multivariate analysis: The need for data, and other problems. British Journal of Psychiatry, 126, 237 -240. Gardner, H. (1983). Frames of mind. New York: Basic Books.

Lähteet Green, S. B. (1991). How many subjects does it take to do a regression analysis? Multivariate Behavioral Research, 26, 499 -510. Gorsuch, R. L. (1983). Factor analysis (2 nd ed. ). Hillsdale, NJ: Erlbaum. Guilford, J. P. (1954). Psychometric methods (2 nd ed. ). New York: Mc. Graw-Hill. Gulliksen, H. (1950). Theory of Mental Tests. New York: John Wiley & Sons. Hair, J. F. J. , Anderson, R. E. , Tatham, R. L. , & Black, W. C. (1995). Multivariate data analysis (4 th ed. ). Saddle River, NJ: Prentice Hall.

Lähteet Howell, D. (1997). Statistical Methods for Psychology. Belmont, CA: Wadsworth Publishing Company. Kerlinger, F. (1986). Foundations of Behavioral Research. Third Edition. New York: CBS College Publishing. Kuder, G. F. , & Richardson, M. W. (1937). The theory of the estimation of test reliability. Psychometrika, 2, 151 -160. Mac. Callum, R. C. , Widaman, K. F. , Zhang, S. , & Hong, S. (1999). Sample size in factor analysis. Psychological Methods, 4, 84 -99. Metsämuuronen, J. (2003). Tutkimuksen tekemisen perusteet ihmistieteissä. Helsinki: International Methelp Ky.

Lähteet Nummenmaa, L. (2009). Käyttäytymistieteiden tilastolliset menetelmät. Ensimmäinen painos, uudistettu laitos. Helsinki: Tammi. Nummenmaa, T. , Konttinen, R. , Kuusinen, J. , & Leskinen, E. (1997). Tutkimusaineiston analyysi. Porvoo: WSOY. Nunnally, J. C. (1978). Psychometric Theory. New York: Mc. Graw-Hill Pierce, C. A. , Block, R. , & Aguinis, H. (2004). Cautionary note on reporting Etasquared values from multifactor ANOVA designs. Educational and Psychological Measurement, 64(6), 916 -924. Pearl, J. (2000). Causality. New York: Cambridge University Press. Pedhazur, E. (1982). Multiple Regression Analysis in Behavioral Research. New York: Holt, Rinehart and Winston.

Lähteet Stevens, J. (1996). Applied Multivariate Statistics for the Social Sciences. Third edition. Mahwah, NJ: Lawrence Erlbaum. Tabachnick, B. G. , & Fidell, L. S. (2007). Using Multivariate Statistics. Fifth Edition. Boston: Pearson. Vehkalahti, K. (2000). Reliability of Measurement Scales. Statistical Research Reports 17. Finnish Statistical Society. Helsinki: Helsingin yliopisto.