Deel 3 Experimenteel en quasi experimenteel onderzoek Chapter

Deel 3 Experimenteel en quasi -experimenteel onderzoek Chapter 16. Experimental and Quasi-Experimental Research

• Vaststellen van oorzaak-gevolg relaties door manipulatie van OV en effect op AV • Meestal eerst correlationeel onderzoek dan experiment om oorzaak-gevolg vast te stellen

OORZAAK-GEVOLG • • Goed theoretisch kader Passende subjecten Passend experimenteel onderzoeksopzet Correcte statistiek Juiste selectie en contrôle van OV Juiste selectie en meting van AV Correcte interpretatie van resultaten

1. Bedreigingen voor validiteit • Interne validiteit : experiment zelf valide • Externe validiteit : generaliseerbaarheid • Interne validiteit Externe validiteit alles onder contrôle ver weg van realiteit

• KEUZE maken : wat is belangrijkst : interne of externe validiteit ? ? ? • Procedure : – Eerst veel contrôle : hoge interne validiteit ten koste van externe – Indien effect : dan meer experimenten met hogere externe validiteit eventueel ten koste van de interne validiteit

2. Negen bedreigingen voor interne validiteit • Indien met deze bedreigingen geen rekening gehouden wordt, en ze niet gecontroleerd worden, is het moeilijk om veranderingen in AV toe te schrijven aan OV

2. 1. History • Iets dat zich tijdens het experiment voordoet, niet bedoeld was, en een bedreiging vormt voor interne validiteit • Bv. Tijdens een interventie (bv. 2 soorten instructies) krijgt de helft van de groep ook nog ‘toevallig’ extra lessen

2. 2. Maturatie • Voor onderzoek dat loopt over langere tijd • Rijpingeffect is concurrent van interventieeffect • Vooral bij kinderen en adolescenten

2. 3. Testeffect • Als een test 2 of meer keer wordt afgenomen • Subjecten ‘leren’ van invullen van de test alleen • Zowel voor kennis als attitude als presteren

2. 4. Instrument • Na een tijd gaan instrumenten minder precies meten • Observatoren gaan na een tijd anders coderen

2. 5. Statistische regressie • Groepen die geselecteerd zijn op basis van extreme scores – Laag actief – hoog actief – Laag angst – hoog angst zullen bij een volgende afname minder extreem scoren = regressie naar midden

2. 6. Selectie bias • Groep dat meedoet aan het experiment is op voorhand reeds geselecteerd – Bv. Gebruik van vrijwilligers – Bv. Subjecten niet representatief voor de populatie

2. 7. Uitval van subjecten • Uitval van controlegroep : geen actie niet meer meedoen • Uitval uit experimentele groep : te moeilijk, te lastig, te tijdsintensief, ….

2. 8. Selectie-maturatie interactie • Indien twee groepen meedoen waarbij 1 groep experimentele en 1 groep controlegroep kunnen maturatieverschillen in beide groepen resultaten vertekenen

2. 9. Verwachting • Indien men weet wie in welke conditie zit : effect op scoring, codering, omgang • = Self-fulfilling prophecy

3. Vier bedreigingen van externe validiteit 3. 1. Testeffect • Op voorhand testen van subjecten kan hen meer gevoelig maken voor participatie • Zelfde programma slaat minder aan bij populatie die niet gepretest is

3. 2. Interactie tussen selectie bias en experimentele manipulatie • Een interventie kan wel werkzaam zijn in een specifieke populatie (bv. Jongeren) maar niet werkzaam in een andere

3. 3. Reactiviteit door experimentele manipulatie • Subjecten gaan enkel zo reageren in experimentele situatie maar niet in het werkelijke leven • Hawthorne effect : gedrag van subjecten verandert als men er aandacht aan besteedt

3. 4. Multiple interventies • Als subjecten doorheen verschillende interventies gaan kunnen deze allen een aditioneel effect hebben • Geen conclusies trekken over 1 manipulatie als er meerdere zijn gebeurd

4. Contrôle van bedreigingen van interne validiteit • Trachten om bedreigingen zoveel mogelijk op te vangen zodat de kans groter wordt dat manipulatie van OV werkelijk effect in AV verklaart

4. 1. Randomisatie • Geen verschillen tussen groepen bij het begin van experiment • Is antwoord op history effecten VOOR begin van experiment, niet TIJDENS experiment • Antwoord op maturatie, statistische regressie, selectie bias, selectie-maturatie interactie

• Techniek van gematchte paren : eerst groepen testen op bepaalde karakteristiek en dan indelen zodat de twee groepen ongeveer gelijk zijn : dit is GEEN GOEDE techniek : verborgen variabelen !! • Within-subjects designs : subjecten zijn hun eigen controles : beide condities doen : volgorde counterbalanceren en random toewijzen aan volgorde

4. 2. Placebo, blind en dubbel blind • Placebo : echt of psychologisch effect ? – Zelfde aandacht en interactie met onderzoeker • Blinde studie : subjecten weten niet of ze experimentele of controleconditie zijn • Dubbel blind : noch subjecten noch tester weten in welke conditie subjecten zitten

• Deze technieken zijn een antwoord op controleren van – Hawthorne-effecten, – verwachtingseffecten, – halo effecten of – Avis-effect (subjecten in de controlegroep doen harder hun best omdat ze weten dat ze in de controlegroep zitten)

4. 3. Niet gecontroleerd … • Door randomisatie en blind onderzoeken kunnen veel bedreigingen beantwoord worden maar : – Testeffect niet, wel door soort design (later) – Instrument : validiteit en betrouwbaarheid vaststellen – Uitval van subjecten : aangenaam maken, goed uitleggen, beloning, …

5. Contrôle van bedreigingen van externe validiteit • Ook hier random selectie zeer belangrijk • Ecologische validiteit ? – Heeft de experimentele situatie voldoende kenmerken van « real life ? » – Kan het experiment ook in veldsetting worden uitgevoerd ?

6. Soorten onderzoeksopzetten PRE-EXPERIMENTELE designs • Weinig contrôle van interne validiteit • Geen randomisering van subjecten

6. 1. One-shot studie • T O • Interventie en daarna meting naar effect • Geen oorzaak – gevolg • Zeer zwak design

6. 2. Eén groep Pre-test Post-test • O 1 T O 2 • Zwak design • Toch al verandering kunnen meten • Niet zeker of alleen de interventie verantwoordelijk is voor het effect • History effecten of rijping

6. 3. Statische groep vergelijking • T O 1 ………… O 2 • Vergelijking van twee groepen • Groepen niet gerandomiseerd, wel bestaand • Selectie effect en selectie-maturatie effect

• BESLUIT • Deze drie pre-experimentale design laten geen conclusie toe over verandering in AV te wijten aan verandering in OV • Meestal zuiver TIJDVERLIES

ECHTE EXPERIMENTELE designs • Random toewijzing van de groepen • Ervoor zorgen dat – tijdens het experiment geen (onverwachte) interventie gebeurt voor 1 van beide groepen – er geen instrument problemen zijn – er geen differentiële uitval is (experimentele mortaliteit)

6. 4. Gerandomiseerd groepdesign • R R T O 1 O 2 • Is vergelijkbaar met statische groepsvergelijking maar hier wel random • Indien andere bedreigingen van interne validiteit voldoende gecontroleerd worden : oorzaak –gevolg is mogleijk

• R R R T 1 T 2 O 1 O 2 O 3 • Twee soorten behandelingen worden met elkaar vergeleken • Via ANOVA drie observaties contrasteren

• R R R A 1 B 1 A 1 B 2 A 2 B 1 A 2 B 2 A 3 B 1 A 3 B 2 O 1 O 2 O 3 O 4 O 5 O 6 • 3 x 2 factorieel opzet waarbij er 2 OV zijn A met 3 niveau’s en B met 2 niveau’s

B 1 2 1 A 2 3 A 1 B 1 A 1 B 2 A 2 B 1 A 2 B 2 A 3 B 1 A 3 B 2

• Random toewijzing aan de zes cellen • Analyses met two-way ANOVA – Hoofdeffect van B – Interactie-effect A*B • Kan nog verder complexer gemaakt worden

6. 5. Pre-test Post-test gerandomiseerd groepsdesign • R O 1 R O 3 T O 2 O 4 • Is er meer verandering in de experimentele groep in vergelijking tot de controlegroep • Testeffect wordt gecontroleerd

• Statistische verwerking : – Met anova voor herhaalde metingen (repeated measures) – Met anova uitgezuiverd voor pre-test scores – Met anova op verschilscores

6. 6. Solomon Four groepsdesign • R R O 1 O 3 T T O 2 O 4 O 5 O 6 • Enig opzet waar testeffecten kunnen uitgesloten worden

• Meest sterke design dat de meeste bedreigingen voor validiteit controleert • Maar zeer veel subjecten nodig : dubbel zoveel enkel om testeffect te bekijken : wordt dan ook zelden gebruikt

QUASI-EXPERIMENTELE designs • Als externe of ecologische validiteit wil verhoogd worden is strenge contrôle soms moeilijk of onmogelijk • Quasi-experimenteel : om experimenten in « real world » settings te kunnen uitvoeren

6. 7. Time series design • Tijdreeksen analyse • O 1 O 2 O 3 O 4 T O 5 O 6 O 7 O 8 • Slechts 1 groep • Toont dat invoegen van interventie een ander effect heeft dan geen interventie

• Effect van behandeling Treatment

6. 8. Reversal design • O 1 O 2 T 1 O 3 O 4 T 2 O 5 O 6 • Opnieuw bekijken op grafiek T 1 T 2

6. 9. Non-equivalent contrôle groep design • O 1 T O 2 ………………. . O 3 O 4 • Equivalent met pre-test post-test gerandomiseerd groepsdesign, maar niet gerandomiseerd • Dan kijken naar pre-test verschillen en hiervoor controleren

6. 10. Ex post facto design • Vergelijking tussen twee groepen waarvan we weten dat ze op bepaalde karakterisitieken verschillend zijn – Fit –niet fit – Atleten – niet-atleten – Vrouwelijke sporters – mannelijke sporters • Welke variabelen discrimineren tussen deze groepen