Eksperimentet Frode Svartdal Ui T Frode Svartdal H

  • Slides: 43
Download presentation
Eksperimentet Frode Svartdal Ui. Tø © Frode Svartdal – H 2005

Eksperimentet Frode Svartdal Ui. Tø © Frode Svartdal – H 2005

Korrelasjonell forskning Problemer med tolkning av en observerte relasjon mellom to variabler, A og

Korrelasjonell forskning Problemer med tolkning av en observerte relasjon mellom to variabler, A og B: n n n Hvilken variabel er den kausale, A eller B? Tredjevariabelproblemet (er det en tredje variabel, C, som er årsak til både A og B? ) En observert korrelasjon mellom to variabler innebærer ikke nødvendigvis et årsakvirkningsforhold

Eksperimentell forskning Siktemål n n n Identifisere kausale relasjoner Formulere gode forklaringer Eliminere dårlige

Eksperimentell forskning Siktemål n n n Identifisere kausale relasjoner Formulere gode forklaringer Eliminere dårlige forklaringer Strategi n Prøve ut en mulig kausal faktor mens andre mulige kausale faktorer holdes konstant

Eksperimentet s Viktige kjennetegn: n n n Forskeren manipulerer en variabel (uavhengig variabel) Forskeren

Eksperimentet s Viktige kjennetegn: n n n Forskeren manipulerer en variabel (uavhengig variabel) Forskeren har kontroll over andre relevante variabler i situasjonen Forskeren måler om manipulasjonen har effekt på en annen variabel (avhengig variabel)

Eksperimentell metode ”The experiment is a matter of logic, not of location. ”

Eksperimentell metode ”The experiment is a matter of logic, not of location. ”

Eksperimentet s Uavhengige variabel Manipuleres av eksperimentator s Avhengig variabel Måles av eksperimentator w

Eksperimentet s Uavhengige variabel Manipuleres av eksperimentator s Avhengig variabel Måles av eksperimentator w Eks. : Støy w Eks. : Prestasjon ÅRSAK VIRKNING

Manipulasjon I s Den uavhengige variabel innføres på ulike nivåer for ulike betingelser i

Manipulasjon I s Den uavhengige variabel innføres på ulike nivåer for ulike betingelser i eksperimentet s Eksempler: s s s Belønning: Høy vs. lav Belønning: Høy vs. ingenting (0) Støy: Høy, middels, lav

Manipulasjon II Variabelnivå: n Belønning: Høy, lav Operasjonalisering: n n For barn: Høy=100 kr,

Manipulasjon II Variabelnivå: n Belønning: Høy, lav Operasjonalisering: n n For barn: Høy=100 kr, lav=5 kr For voksne: Høy=500 kr, lav=100 kr Mao: Operasjonaliseringen må tilpasses deltakerne i eksperimentet

Manipulasjon III Et eksperiment kan manipulere én eller flere uavhengige variabler • Én variabel:

Manipulasjon III Et eksperiment kan manipulere én eller flere uavhengige variabler • Én variabel: • Støy (høy vs. lav) Effekt på prestasjon? • To variabler: • • Støy (høy vs. lav) Effekt på prestasjon Oppgave (vanskelig vs. lett)

Manipulasjon IV Alle eksperimenter innebærer manipulasjon av den uavhengige variabel: • Mellomgruppe-design: Ulike nivåer

Manipulasjon IV Alle eksperimenter innebærer manipulasjon av den uavhengige variabel: • Mellomgruppe-design: Ulike nivåer innføres forskjellige grupper av forsøksdeltakere • Eksperimentgruppe: Høy belønning • Kontrollgruppe: Lav belønning • Innengruppe-design: Ulike nivåer kan fordeles i tid for samme gruppe av forsøksdeltakere • Observasjonsbetingelse: Ikke ros • Treningsbetingelser: Ros

Manipulasjon V GRUPPEDESIGN • Mellomgruppe • Eksperimentgruppe: Høy belønning • Kontrollgruppe: Ikke belønning •

Manipulasjon V GRUPPEDESIGN • Mellomgruppe • Eksperimentgruppe: Høy belønning • Kontrollgruppe: Ikke belønning • Innengruppe • Observasjon (ikke belønning) Trening (belønning) • Blandet • Mellomgruppe + innengruppe N=1 -DESIGN • Bare en deltaker om gangen • Observasjon (ikke belønning) Trening (belønning)

Kontroll For å kunne observere en effekt av den manipulerte variabelen, må annen vatriasjon

Kontroll For å kunne observere en effekt av den manipulerte variabelen, må annen vatriasjon være under kontroll n n Variasjon som skyldes at deltakere er forskjellige Variasjon som skyldes situasjonsbetingelser

Kontroll II Kontroll over situasjonen: Bortsett fra den variabelen som manipuleres, må alt annet

Kontroll II Kontroll over situasjonen: Bortsett fra den variabelen som manipuleres, må alt annet i situasjonen holdes konstant. n n n Eksperimentsituasjonen er lik for alle Instruksen er lik for alle Prosedyren er lik for alle

Kontroll III Kontroll over deltakerne: Variasjon som skyldes at folk er forskjellige, må være

Kontroll III Kontroll over deltakerne: Variasjon som skyldes at folk er forskjellige, må være under kontroll n n n Randomisert fordeling av deltakere til ulike betingelser – sikrer at det ikke oppstår systematiske forskjeller mellom gruppene Matching (se boka) Bruke bare kvinner, bare menn? (Variasjon som skyldes kjønn elimineres. )

Kontroll IV Hypotese: «Koffein virker positivt på læring? » Manipulasjon: w Gruppe 1: 1

Kontroll IV Hypotese: «Koffein virker positivt på læring? » Manipulasjon: w Gruppe 1: 1 kopp kaffe før læring w Gruppe 2: 5 kopper kaffe før læring Situasjonen er under kontroll: w Ingen kaffe drukket 5 timer før forsøket startet w Eksperimentsituasjonen er den samme for alle w Prosedyren er den samme for alle Variasjon mellom deltakerne er under kontroll: w Bruker bare kaffedrikkere, eller bare ikke-kaffedrikkere w Fordeler deltakerne tilfeldig til de to gruppene

Eksperimentet Enkel logikk! Vi vil undersøke om variasjon (manipulasjon) i en UV (koffein) fører

Eksperimentet Enkel logikk! Vi vil undersøke om variasjon (manipulasjon) i en UV (koffein) fører til systematisk variasjon i AV (læring) All annen variasjon er under kontroll Hvis AV varierer systematisk med variasjon i UV, kan vi trekke en slutning om kausalitet Vårt eksperiment: n n 1 kopp kaffe: Gjennomsnitt 20, 3 5 kopper kaffe: Gjennomsnitt 30, 1 Slutning: “Koffein virker positivt på læring”

Beskrivelse vs. eksperiment s Eksperiment – – – UV manipuleres AV måles Andre relevante

Beskrivelse vs. eksperiment s Eksperiment – – – UV manipuleres AV måles Andre relevante variabler er under kontroll s Beskrivende n n n Vi måler “naturlig” variasjon i flere variabler Noen av disse variablene er mulige årsaker, andre mulige effekter Liten kontroll over andre variabler

Eksperiment: Indre validitet n n n Foreligger når vi kan si at det er

Eksperiment: Indre validitet n n n Foreligger når vi kan si at det er manipulasjonen i UV som er årsak til endring i AV Ikke alltid lett å dokumentere Ofte alternative årsaker: Forstyrrende (“confounding”) variabler

“Confounding” variabler Hypotese: “Koffein virker gunstig på prestasjon” n n Manipulasjon: 1 vs. 5

“Confounding” variabler Hypotese: “Koffein virker gunstig på prestasjon” n n Manipulasjon: 1 vs. 5 kopper kaffe Effekt på AV: 5 kopper gir bedre prestasjon enn 1 kopp Slutning: “Koffein virker gunstig på prestasjon” Mulig confounding variabel: Væsken i kaffen! To mulige forklaringer: n n Koffein virker gunstig på prestasjon Væske virker gunstig på prestasjon

Indre validitet II Alle forhold som kan sette spørsmålstegn ved vår slutning om effekt

Indre validitet II Alle forhold som kan sette spørsmålstegn ved vår slutning om effekt av UV på AV, utgjør trusler mot den indre validiteten i eksperimentet

Trusler mot den indre validiteten • • Historie: Hva skjer i tillegg til manipulasjonen?

Trusler mot den indre validiteten • • Historie: Hva skjer i tillegg til manipulasjonen? Modning: Folk endres i løpet av eksperimentet Testing: Hva er effekten av at folk testes? Instrumentering: Endring i målemetoden Statistisk regresjon Seleksjon: Forskjellige folk havner i ulike betingelser Mortalitet: Frafall (uheldig hvis dette skjer differensielt over betingelser) • Utvanning mellom betingelsene: Informasjon utveksles mellom betingelsene i eksperimentet

Historie Manipulasjon n Drikker 5 kopper kaffe Andre ting som skjer parallelt med manipulasjonen

Historie Manipulasjon n Drikker 5 kopper kaffe Andre ting som skjer parallelt med manipulasjonen n Solen begynner å skinne inn vinduet, eksperimentator mister en kopp i gulvet, … Historie spesielt viktig hvis manipulasjonen strekker seg over tid n Eks. : Terapi

Modning Endring som skjer med fp i løpet av eksperimentet n Eks. : Tretthet,

Modning Endring som skjer med fp i løpet av eksperimentet n Eks. : Tretthet, kjedsomhet, hodepine, skepsis mot deltakelse, …

Testing Samme måleprosedyre brukt to ganger kan innebære at de ikke blir de ”samme”

Testing Samme måleprosedyre brukt to ganger kan innebære at de ikke blir de ”samme” n Samme person w IQ-test i august: Naiv w IQ-test i november: Husker fra første gang

Instrumentering Endring i måleprosedyre n Observatør: w I starten av eksperimentet: Liten rutine, mye

Instrumentering Endring i måleprosedyre n Observatør: w I starten av eksperimentet: Liten rutine, mye feil w Etter hvert: Mer rutine, færre feil

Statistisk regresjon Gitt et gjennomsnitt: Observasjon av en ekstrem observasjon mindre ekstrem observasjon Fly-elev:

Statistisk regresjon Gitt et gjennomsnitt: Observasjon av en ekstrem observasjon mindre ekstrem observasjon Fly-elev: n n n Prikkfri landing ros fra instruktør neste landing dårligere Dårlig landing skrape fra instruktør neste landing bedre Konklusjon: ”Ros virker negativt, skjenn positivt”?

Seleksjon Ikke-tilfeldig fordeling av deltakere til bestingelser w Folk som kjenner hverandre kommer i

Seleksjon Ikke-tilfeldig fordeling av deltakere til bestingelser w Folk som kjenner hverandre kommer i samme betingelse w Overvekt av kvinner i en betingelse, menn i en annen w Røykeavvenningsprogram: Overvekt av storrøykere i en betingelse, selskapsrøykere i en annen

Mortalitet Frafall underveis n Røykeavvenningsopplegg, 10 uker w Storrøykere: 20% trekker seg underveis w

Mortalitet Frafall underveis n Røykeavvenningsopplegg, 10 uker w Storrøykere: 20% trekker seg underveis w Selskapsrøykere: 5% trekker seg underveis

Diffusjon mellom betingelsene Elever med atferdsproblemer n n n Eksp. gruppe: Spesiell trening Kontrollgruppe:

Diffusjon mellom betingelsene Elever med atferdsproblemer n n n Eksp. gruppe: Spesiell trening Kontrollgruppe: Ingenting Men: Hvis dette skjer på samme skole, er det vanskelig å holde manipulasjonen atskilt noe av manipulasjonen vil smitte over på kontrollgruppen

Trusler … II Eksperimenter designes med det siktemål å stå mot slike trusler Eksperimentelle

Trusler … II Eksperimenter designes med det siktemål å stå mot slike trusler Eksperimentelle design (neste gang)

Andre trusler … Eksperimentsituasjonen fp • Demand characteristics (Orne, 1962) • Forhold i situasjon

Andre trusler … Eksperimentsituasjonen fp • Demand characteristics (Orne, 1962) • Forhold i situasjon kan påvirke deltakernes prestasjon • Eks. : Fp tror at eksperimentet handler om lydighet, og blir enten veldig lydig eller veldig ulydig • Svært uheldig hvis holdepunktene er systematisk relatert til hypotesen

Andre trusler …II Eksperimentator fp • Eksperimentator kan oppføre seg systematisk forskjellig i eksperimentets

Andre trusler …II Eksperimentator fp • Eksperimentator kan oppføre seg systematisk forskjellig i eksperimentets betingelser påvirke resultatene • Løsning: Eksperimentator er “blind” overfor hypotese, eksperimentell betingelse

Eksperimentet Uavhengig variabel = belønning Eksperiment- Høy betaling gruppe (20) (100 kr) Avhengig variabel

Eksperimentet Uavhengig variabel = belønning Eksperiment- Høy betaling gruppe (20) (100 kr) Avhengig variabel = prestasjon Rette svar på test = 17 av 20 Randomisering Kontrollgruppe (20) Lav betaling (10 kr) Rette svar på test = 12 av 20

Signifikans Er den effekten vi ser i vårt utvalg representativt for populasjonen? n n

Signifikans Er den effekten vi ser i vårt utvalg representativt for populasjonen? n n Utvalg (40, 20 i eksperimentgruppen og 20 i kontrollgruppen) Populasjon (den enhet utvalget er hentet fra)

Signifikanstesting Deltakere (40) hentet fra en tenkt populasjon n Randomisert fordeling til to grupper,

Signifikanstesting Deltakere (40) hentet fra en tenkt populasjon n Randomisert fordeling til to grupper, 20 + 20 Ulike nivåer av UV for de to gruppene Gruppeforskjell: 17 vs. 12 Hvor sannsynlig er det at den observerte forskjellen skal inntreffe, gitt at utvalgene stammer fra samme populasjon? To hypoteser vi må velge mellom n n 0 -hypotesen: “Utvalgene er like” Forskningshypotesen: “Utvalgene er forskjellige” Hvis 0 -hypotesen er meget usannsynlig (< 1 av 100), forkastes 0 -hypotesen Forskningshypotesen støttes indirekte

Signifikans vs. effektstørrelse • Er gruppeforskjellen (17 vs. 12) statistisk signifikant? • Dvs. :

Signifikans vs. effektstørrelse • Er gruppeforskjellen (17 vs. 12) statistisk signifikant? • Dvs. : Ville vi fått samme resultat om vi hadde gjentatt undersøkelsen på nytt, med et nytt utvalg fra samme populasjon? Er forskjellen reliabel? • Er gruppeforskjellen stor? • Dvs. Effektstørrelse: Hvor mye slår manipulasjonen ut på AV?

Effektstørrelse: Vurderes ut fra teoretiske, praktiske hensyn, for eksempel: • Effekt av terapi •

Effektstørrelse: Vurderes ut fra teoretiske, praktiske hensyn, for eksempel: • Effekt av terapi • Rettet mot individer Tiltak bør ha relativt stor effektstørrelse • Effekt av tiltak mot trafikkulykker • Rettet mot store grupper i samfunnet Tiltak kan ha nesten ubetydelig effektstørrelse, men er likevel signifikante og kan være av betydning i et samfunnsperspektiv

Signifikans II Mao: Signifikanstesten angår om man forkaster 0 -hypotesen eller ikke Hvis 0

Signifikans II Mao: Signifikanstesten angår om man forkaster 0 -hypotesen eller ikke Hvis 0 -hypotesen forkastes, aksepteres forskningshypotesen indirekte NB! Forskningshypotesen støttes altså ikke automatisk, dette må sannsynliggjøres n n Statistisk hypotesetesting vs. Tolkning av data til støtte for en hypotese

Eksperimentell forskning + Høy indre validitet pga god kontroll over variabler - Hvis i

Eksperimentell forskning + Høy indre validitet pga god kontroll over variabler - Hvis i lab: “Kunstige” betingelser, lav økologisk validitet - Vekker ofte mistro, mistanke hos deltakerne

Studier i det ”naturlige” miljø + Høy økologisk validitet pga høy grad av realisme

Studier i det ”naturlige” miljø + Høy økologisk validitet pga høy grad av realisme i studiesituasjonen + Kan studere temaer som ikke lar seg studere i en lab n Eksempel: _______ - Minimum av mistro fra deltakerne

Lab vs. felt Realismen i feltundersøkelser er høy, i laboratorieundersøkelser typisk lav n n

Lab vs. felt Realismen i feltundersøkelser er høy, i laboratorieundersøkelser typisk lav n n Felt: Betingelsene “ligner” den virkelige verden Lab: Betingelsene er kunstige og arrangerte Realisme: n n “Mundan” realisme: Overflatisk likhet mellom studiesituasjon og verden Psykologisk realisme: Likhet i mekanismer (psykologisk likhet)

Korrelasjonell vs. eksperimentell KORRELASJONELL UAVHENGIG VARIABEL RANDOMISERT FORDELING EKSPERIMENTELL Varierer naturlig Under kontroll av

Korrelasjonell vs. eksperimentell KORRELASJONELL UAVHENGIG VARIABEL RANDOMISERT FORDELING EKSPERIMENTELL Varierer naturlig Under kontroll av forsker Nei Ja KLAR SLUTNING OM Vanligvis ikke KAUSALITET Ja EKSPLORERENDE Ofte Vanligvis ikke TESTER TEORI Ofte Typisk UNDERSØKER FLERE RELASJONER Typisk Ofte

Lab-eksp. vs feltstudier LAB-EKSPERIMENT FELTSTUDIER KONTROLL OVER VARIABLER Høy Lav RANDOMISERING Alltid Sjelden (kun

Lab-eksp. vs feltstudier LAB-EKSPERIMENT FELTSTUDIER KONTROLL OVER VARIABLER Høy Lav RANDOMISERING Alltid Sjelden (kun i felteksperimenter) GJENNOMFØRBARHET Enkel Ofte komplisert MUNDAN REALISME Lav Høy PSYKOLOGISK REALISME Bør være høy MISTANKE, MISTRO Ofte høy Ofte lav EXTERN VALIDITET Ikke alltid høy Høy