Kwantitatieve kwalitatieve data analyse Rijkswaterstaat Adviesdienst Verkeer en

Kwantitatieve & kwalitatieve data analyse Rijkswaterstaat Adviesdienst Verkeer en Vervoer 1 maart 2007 Meetmodellen: Inleiding & betrouwbaarheidsanalyse Dr. M. Coenders

Inhoud Inleiding • Multiple item meetinstrumenten • Meettheorie: Klassieke testtheorie en Item Respons Theorie • Uni- en multidimensionele meetmodellen • Kwaliteit van meetschalen – Betrouwbaarheid – Validiteit Betrouwbaarheidsanalyse • Betrouwbaarheidsanalyse / Likert-schaalanalyse 2

Operationaliseren Construct = ‘theoretisch begrip zoals bedoeld’ operationaliseren Variabele = Operationalisatie = ‘begrip zoals bepaald’ Meetschaal is een verzameling stimuli (bijv. vragen) die een construct meten. Concepten kunnen unidimensioneel of multidimensioneel zijn. Voorbeelden van meetschalen: • unidimensionele schaal: bijv. Likertschaal • multidimensionele schaal: bijv. Factorschaal

Waarom meetschalen? Voordelen van meetinstrumenten met multiple items: • Voor het meten van heterogene begrippen (grotere begripsvaliditeit) • Minder invloed van toevalsfactoren (grotere betrouwbaarheid) I. h. a. : meerdere vragen, grotere betrouwbaarheid • Om meerdere dimensies te kunnen onderscheiden • Fijnere indeling tussen respondenten • Overzichtelijke analyse-resultaten

Typen van meetmodellen Onderscheid naar: 1. Meetniveau 2. Klassieke testtheorie of IRT modellen – Klassieke testtheorie: Likert, PCA/PFA – Nonparametrische IRT: Mokken 3. Unidimensioneel of multidimensioneel

Meettheorie (1): Klassieke test theorie Geobserveerde score = Observed score = XO = ware score + meetfout true score + random error XT + e Assumpties meetfout: – ∑ e = 0 – e niet gerelateerd aan andere variabelen (XT, andere e’s of andere XT’s)

Latente structuur Indicatoren, Manifeste variabelen e 1 Item 1 e 2 Item 2 e 3 Item 3 e 4 Item 4 e 5 Item 5 Latente eigenschap, Theoretisch construct Latent kenmerk 7

latent continuüm Ware score van respondenten kan lopen van zeer negatief tot zeer positief; van laag naar hoog. Resp 1 — Resp 2 latent continuüm Resp. 1 heeft neg. houding Resp. 2 heeft pos. houding +

latent continuüm Ook items hebben een positie op het continuüm, ze verwijzen naar een negatieve of positieve houding. Item A — Item B latent continuüm Item C + Item A is een sterk negatief item Item B is een neutraal item Item C is een sterk positief item

latent continuüm Gemeenschappelijke ruimte van respondenten en stimuli Item A — Resp 1 Item B latent continuüm Resp. 1 heeft neg. houding Resp. 2 heeft pos. houding Resp 2 Item C + Item A is een sterk negatief item Item B is een neutraal item Item C is een sterk positief item

Meettheorie (2): Item Respons Theorie • Niet alleen personen, ook items, hebben een positie op een latente continuüm • Antwoord van respondent is afhankelijk van – Positie respondent op latent continuum – Kenmerken van het item, zoals • Positie item op continuüm (moeilijkheidsgraad) • Onderscheidsvermogen van item • Geobserveerde score = f (persoon, item)

Itemkarakteristiek 1. 0 0. 0 — r 1 r 2 r 3 r 4 r 6 r 5 latent continuüm r 7 + 12

Itemkarakteristieke functie Item Respons Functie (IRF) • De functie die voor een item i en voor elke mogelijke positie van een respondent op het continuüm de kans op een specifieke antwoordcategorie geeft • (bij dichtome items: de kans op een positief antwoord) • Nb. IRF is géén histogram, het zegt niets over de feitelijke frequentieverdeling over respondenten

Itemkarakteristiek freq. verdeling 1. 0 freq 0. 0 — + 14

IRT Modellen • Parametrische IRT modellen Relatie tussen latent kenmerk en kans op bepaald antwoord op item (IRF) beschreven d. m. v. parameters – o. a. Rasch & Birnbaum modellen • Non-parametrische modellen Geen puntschatting positie respondenten en items. Alleen ordinale informatie respondenten en items. – Scalogram model

Uni- en Multidimensionele Meetmodellen Unidimensioneel: • Likert analyse • Scalogram analyse Multidimensioneel: • Componenten analyse • Factor analyse • Homogeniteitsanalyse

2 -dimensionele latente structuur Indicatoren, Manifeste variabelen e 1 Item 1 e 2 Item 2 e 3 Item 3 e 4 Item 4 e 5 Item 5 e 6 Item 6 e 7 Item 7 e 8 Item 8 Latente eigenschap, Theoretisch construct Dimensie 1 Dimensie 2 17

Multidimensionele ruimte + Dimensie 2 Respondent i Dimensie 1 + — —

Kwaliteit van een meetmodel 1. Betrouwbaarheid: levert herhaalde meting van het (onveranderde) object hetzelfde resultaat op? – hoe meer toevallige fouten, des te lager de betrouwbaarheid 2. Validiteit: meet de schaal wat het beoogt te meten (de ware bedoelde realiteit) – hoe meer systematische fouten (vertekening), des te lager de validiteit Observed score = true score + bias + random error systematische toevallige fout

Het belang van de kwaliteit van de meting • • Hypothese: positieve samenhang tussen begrip X en begrip Y Bevinding: samenhang tussen metingen x en y niet significant Resultaat: hypothese verworpen. Mogelijke conclusie: – 1. de hypothese was onjuist, of – 2. de hypothese was juist, maar de betrouwbaarheid en/of validiteit van de meting(en) was te laag! • Gevolg van lage betrouwbaarheid: – verbanden tussen variabelen worden onderschat! – en daardoor vind je eerder niet-significante verbanden. • Gevolg van lage validiteit: – verbanden tussen variabelen kunnen op alle mogelijke wijzen vertekend zijn (te klein, te groot, andere richting: negatief i. p. v. positief

Toevallige meetfout Assumpties 1. Gemiddelde meetfout = 0, ∑ e = 0 2. Meetfout ongecorreleerd met ware score 3. Meetfouten onderling ongecorreleerd 4. Meetfouten ongecorreleerd met andere kenmerken Gevolgen van toevallige meetfouten voor: • Individuele resultaten: minder nauwkeurig • Gemiddelde score (n personen) op 1 item: op den duur (n groot genoeg) nihil • Gemiddelde score persoon op een schaal van m items: op den duur (m groot genoeg) nihil • Samenhang tussen geobserveerde variabelen: onderschatting van de werkelijke samenhang tusssen latente variabelen (zie Correctie voor attenuatie)

Betrouwbaarheid Herhaalde metingen: hetzelfde resultaat? • Test-retest betrouwbaarheid • -> Interne consistentie • Parallelle instrumenten (equivalentie betrouwbaarheid) – Alternate forms – Split half method • Inter-beoordelaar, inter-codeursbetrouwbaarheid

Kwaliteit van meetschalen: betrouwbaarheid • Betrouwbaarheid meetschaal: Betrouwbaarheid op basis van interne consistentie: – Reliability procedure: Cronbachs alfa – MSP: betrouwbaarheidsmaat rho – Component/factor analyse: eventueel per dimensie de betrouwbaarheid bepalen van de items die hoog laden op die dimensie

Validiteit • Inhoudsvaliditeit (content) • Criteriumvaliditeit (criterion) – Concurrente validiteit (concurrent) – Predictieve validiteit (predictive) • Begripsvalidity (construct) – Convergente validiteit (convergent) – Divergente validiteit (divergent, discriminant)

Begripsvaliditeit bij multidimensionele schalen Situatie: uit analyse (bijv. componenten- of factoranalyse) blijkt dat er meerdere dimensies zijn. Aanvullend bewijs (begripsvaliditeit): Bekijk relatie tussen dimensies en achtergrondkenmerken of gevolgvariabelen. Indien er daadwerkelijk meerdere dimensies zijn, zul je ook (deels) verschillende relaties vinden Dimensie 1 X Y Dimensie 2

Likert-schaalanalyse en betrouwbaarheidsanalyse 26

Puntitems vs monotone items punt 1. 0 monotoon stijgend monotoon dalend 0. 0 — latent continuüm + 27

Non-monotone items (punt-items) Voorbeeld: In hoeverre bent u het eens met de volgende stelling: “Ik ben tegen abortus, behalve in sommige gevallen zoals incest” Antwoord: laag ‘Niet mee eens’ ‘niet mee eens’ Houding van respondent op het latente concept ‘weerstand tegen abortus’ hoog 1. 0 0. 0 laag Houding van respondent op het latente concept ‘weerstand tegen abortus’ hoog 28

Monotone items Extreem geformuleerde items hebben een monotone IRF. Extreem positief (danwel negatief) item: n. m. positie van respondent positiever is, neemt de kans op een positief antwoord voortdurend toe (danwel af). 1. 0 0. 0 — latent continuüm +

Monotone en non-monotone (punt) items • Monotone items – – Likert schaal (Summated scale) Guttman schaal, Mokken schaal (Cumulative scale) Component analyse Factor analyse • Non-monotone items – Thurstone schaal (Differential scale) – Coombs ontvouwingsschaal (Unfolding scale)

Overzicht van procedurestappen Likert-schaalanalyse 1. 2. 3. 4. Operationalisatie Dataverzameling Hercoderen items in dezelfde richting Item-analyse: betrouwbaarheid van meetschaal a. Correlatiematrix b. Cronbach’s α Eventueel items verwijderen of deelschalen construeren 5. Bepaal schaalscores 6. Inspecteer validiteit van de meetschaal

Procedurestappen Stap 1. Operationalisatie: formuleer items • • • Behoorlijk groot aantal items Monotone itemkarakteristiek: - extreem geformuleerde items - vermijd formuleringen waarbij antwoorden niet eenduidig interpreteerbaar zijn Vermijd respons set: wissel + en – items af Stap 2. Dataverzameling Stap 3. Hercodeer alle variabelen: hoge score verwijst naar hoge mate van latent begrip

Procedure (stap 4): Item-analyse Betrouwbaarheidsanalyse: Beoordelen van de betrouwbaarheid (interne consistentie) van de meetschaal • Selecteer items die tezamen een intern consistente schaal vormen • Hoge correlaties tussen items: hoge interne consistentie I. Inspecteer de correlatiematrix II. Bereken betrouwbaarheidsmaat (bijv. Cronbach’s alfa)

Item-analyse (1): correlatiematrix Inspecteer de correlatiematrix: 3 situaties a. Alle correlaties zijn voldoende hoog b. Eén of enkele variabelen correleren nauwelijks met de overige: verwijder deze variabelen één voor één c. Niet-homogene correlatiematrix. Clusters van variabelen die wellicht naar verschillende (aspecten van) concepten verwijzen – Maak aparte Likert-deelschalen – Kies multidimensioneel meetmodel, bijv. factoranalyse

Correlatiematrix Homogeen Niet homogeen Aspect 1 hoge r Ongeveer even hoge inter-item r’s Lage r tussen iems van aspect 1 en 2 Aspect 2 hoge r 35

Betrouwbaarheid Klassieke test theorie: X = XT + e Assumpties random error e − ∑ e = 0 − e niet gerelateerd aan XT Zodat Totale geobserveerde variantie = ware variantie + errorvariantie

Item-analyse (2): betrouwbaarheid Bereken betrouwbaarheidscoëfficiënt: Cronbach’s α als maat voor de interne consistentie Met k = aantal items = itemvariantie = variantie totale schaal n. b. Cronbach’s α voor gestandaardiseerde scores: In SPSS: Standardized item alpha Met k = aantal items = gemiddelde inter-item correlatie

Cronbach’s alfa Vuistregels: • (Swanborn, 1988) Bij 10 tot 15 items: α ≥. 85 • (De Heus, 1995) α ≥. 80 ‘goed’, α <. 60‘slecht’ • (Nunnally, 1978) α ≥. 70 • Alfa is ook afhankelijk van het aantal items • Verwijder het laagst-correlerende item indien daardoor α zal stijgen, en herhaal deze procedure indien nodig

Item verwijderen? • Indien Cronbach’s alfa na verwijdering van het item hoger wordt, komt het item voor verwijdering in aanmerking. • Vuistregels (De Heus, 1995) – Stijging in α is ≤ 0, 001 – Stijging in α is ≥ 0, 05 niet verwijderen • Echter, let ook op de inhoudsvaliditeit: – Worden alle facetten van het theoretische concept gemeten?

Testverlenging Hoe meer items, hoe groter de betrouwbaarheid Spearman-Brown formule voor testverlenging rkk = betrouwbaarheid verlengde test rxx = betrouwbaarheid oorspronk. test k = vergrotingsfactor Bijv. items die onderling gemiddeld. 20 correleren. Schaal van 4 items: betrouwbaarheid =. 50 Schaal van 10 items: betrouwbaarheid =. 71 Schaal van 12 items: betrouwbaarheid =. 75

Voorbeeld R E L I A B I L I T Y A N A L Y S I S - S C A L E (A N T I G A Y) 1. V 3130 lesbian sexuality just does not fit in o 2. V 3131 sex between two women is not natural 3. V 3132 lesbian sexuality is not a problem for m 4. V 3133 sex between two lesbian women disgusting 5. V 3134 lesbian women are abnormal 6. V 0234 woman better suited to raise children 7. V 0237 unnatural if women give guidance to men Correlation Matrix V 3130 V 3131 V 3132 V 3133 V 3134 V 0237 V 3130 1. 0000 V 3131 . 6889 1. 0000 V 3132 . 5599 . 5271 1. 0000 V 3133 . 7220 . 6695 . 6451 1. 0000 V 3134 . 6966 . 6767 . 4958 . 6334 1. 0000 V 0234 . 3131 . 2653 . 2186 . 1894 . 2823 1. 0000 V 0237 . 4402 . 3724 . 2722 . 3266 . 3967 . 3155 1. 0000 41

V 3130 V 3131 V 3132 V 3133 V 3134 V 0237 Scale Mean if Item Deleted 13. 833 13. 402 13. 547 13. 676 13. 885 12. 867 14. 289 Scale Variance if Item Deleted 18. 869 18. 168 19. 621 18. 450 19. 845 21. 676 22. 629 Reliability Coefficients Alpha = . 8533 Corrected Item. Squared Alpha Total Multiple if Item Correlation Deleted. 7932. 6646. 8075. 7325. 5892. 8143. 6143. 4453. 8332. 7322. 6469. 8145. 7299. 5773. 8187. 3263. 1535. 8788. 4611. 2429. 8527 7 items Standardized item alpha = . 8575 42

V 3130 V 3131 V 3132 V 3133 V 3134 V 0237 Scale Mean if Item Deleted 10. 781 10. 349 10. 496 10. 625 10. 833 11. 239 Scale Corrected Variance Itemif Item Total Deleted Correlation 14. 768. 8028 14. 060. 7499 15. 353. 6302 14. 131. 7784 15. 628. 7403 18. 364. 4272 Reliability Coefficients Alpha =. 8786 **** zonder V 0237: V 3130 9. 180 V 3131 8. 744 V 3132 8. 898 V 3133 9. 025 V 3134 9. 230 12. 254 11. 548 12. 769 11. 524 12. 995 Reliability Coefficients Alpha =. 8921 Squared Multiple Correlation. 6596. 5865. 4424. 6423. 5754. 2133 6 items Standardized item alpha =. 7930. 7511. 6266. 7971. 7350 . 6476. 5872. 4252. 6443. 5744 5 items Standardized item alpha = Alpha if Item Deleted. 8380. 8469. 8678. 8410. 8500. 8931. 8762. 8569. 8661. 8933. 8543. 8708. 8942 43

Overzicht van procedurestappen 1. 2. 3. 4. Operationalisatie Dataverzameling Hercoderen items in dezelfde richting Item-analyse: betrouwbaarheid van meetschaal a. Correlatiematrix b. Cronbach’s α Eventueel items verwijderen of deelschalen construeren 5. Bepaal schaalscores 6. Inspecteer validiteit van de meetschaal

Procedure (stap 5): schaalscore • Bepaal per respondent de schaalscore (totaalscore). • Schaalscore = somscore (of gemiddelde) • Ongewogen som: alle items tellen even zwaar mee • bijvoorbeeld in SPSS: Compute schaal = mean. 3 (v 1, v 2, v 3, v 4). ↓. 3 alleen respondenten die 3 of meer vragen hebben beantwoord, krijgen een score op de schaal.

Overzicht van procedurestappen 1. 2. 3. 4. Operationalisatie Dataverzameling Hercoderen items in dezelfde richting Item-analyse: betrouwbaarheid van meetschaal a. Correlatiematrix b. Cronbach’s α Eventueel items verwijderen of deelschalen construeren 5. Bepaal schaalscores 6. Inspecteer validiteit van de meetschaal