Hypotesetesting Prinsipper Frode Svartdal Ui T Januar 2013

Hypotesetesting: Prinsipper Frode Svartdal Ui. Tø Januar 2013 © Frode Svartdal 22. 02. 2021

Alt dette er mat for hypotesetesting! Utgangspunkt n En antakelse begrunnet i teori n n En vanlig oppfatning n n ”Belønning øker prestasjon” Noe vi tror er feil n n Dissonansteori: ”Hvis …, så …. ” ”Læring kan bare skje hvis vi forstår læringsbetingelsene” Motstridende funn n n 22. 02. 2021 a) ”Forventning om belønning øker motivasjon” vs. b) ”Forventning om belønning reduserer motivasjon”

Utgangspunkt II n Uinteressant! ”Alle” vet dette! Hypotesen må ha interesse! n n ”Belønning øker motivasjon” ”Under visse betingelser vil belønning redusere motivasjon” Interessant! 22. 02. 2021

Hypotesetesting: Generelt Hvordan testes hypoteser? n n n Formulere en testbar påstand (f. eks. en implikasjon fra en teori) Gjennomføre en relevant undersøkelse (eksperiment, observasjon, …) Avgjøre om resultatet støtter hypotesen n n 22. 02. 2021 Statistisk Innholdsmessig

Eksempel: Dissonansteori (Festinger) Dissonans = ubehagelig aktivering som følge av konflikt Eksempel: Jeg røyker Dissonans Jeg vet at det er farlig å røyke 22. 02. 2021

Dissonansteori: Festinger A Lesson In Cognitive Dissonance 22. 02. 2021

Festinger & Carlsmith, 1958 Eksempel: Dissonansteori n Dissonans-betingelse: n n n (a) Du utfører kjedelig arbeid i en time Dissonans (b) Du får lite betalt (c) Du sier at jobben var “ganske artig” (d) Din mening om jobben måles Hypotese? Ikke dissonans-betingelse: n n (a) Du utfører kjedelig arbeid i en time (b) Du får mye betalt (c) Du sier at jobben var “ganske artig” (d) Din mening om jobben måles Ikke dissonans Hypotese? 22. 02. 2021

Hypotesetesting n Design og prosedyre OK: n n 22. 02. 2021 Fp-er er tilfeldig fordelt i gruppene (dvs. variasjon mellom fp-er er ikke systematisk relatert til manipulasjonen) eksperimentsituasjonen er den samme for alle prosedyren er den samme for alle …

Hypotesetesting: Statistisk Uavhengig variabel Avhengig variabel HØY-gruppe Høy betaling: FP mottar 100 kr Vurdering av oppgaven (5 - +5): -0, 1 LAV-gruppe Lav betaling: FP mottar 10 kr Vurdering av oppgaven (5 - +5): 1, 4 Randomisert 22. 02. 2021

Hypotesetesting: Statistisk Uavhengig variabel R Eksperimentgruppe Høy betaling Kontrollgruppe Lav betaling Ingen forskjell 22. 02. 2021 Avhengig variabel Snittskåre: -0, 1 Snittskåre: 1, 4 Tid Ingen forskjell?

Hypotesetesting: Statistisk Eksempel: Eksperiment med to grupper n Nullhypotesen: ”Utvalgene kommer fra samme populasjon”. n n 22. 02. 2021 Vi sjekker: Hvor sannsynlig er det at den observerte forskjellen mellom utvalgene kan oppstå, gitt at utvalgene kommer fra samme populasjon? Forskningshypotesen: ”Utvalgene kommer ikke fra samme populasjon”.

Hypotesetesting: Statistisk n n 22. 02. 2021 Hvis den observerte forskjellen er svært usannsynlig, forkaster vi 0 -hypotesen Grense: 5 av 100 tilfeller (0, 05) Avvisning av 0 -hypotesen innebærer en indirekte aksept av forskningshypotesen Forskningshypotesen ”bevises” IKKE

Hypotesetesting: Statistisk n Statistisk konklusjons-validitet: Er konklusjonen vi trekker fra utvalget holdbar? • Trusler: • • • 22. 02. 2021 Lav power: Vi oppdager ikke en mulig effekt. Typisk årsak: for få deltakere Brudd på statistiske forutsetninger Fisking i data: Vi leter etter effekter Lite reliable mål Lite reliable prosedyrer

Hypotesetesting: Statistisk Eksperimentgr. Kontrollgr. • • mean = -0, 1 mean = 1, 4 Hvordan kan man avgjøre om den observerte forskjellen, er så stor at vi må forkaste 0 -hypotesen? Statistisk test som sammenligner to gruppegjennomsnitt – t-test: • • • 22. 02. 2021 Hvor stor er variasjonen mellom gruppene (gruppeforskjell)? Hvor stor er variasjonen innen gruppene? Hvor mange deltakere har vi i hver gruppe?

Hypotesetesting: Statistisk Populasjon Generalisering Randomisert utvelgelse Utvalg 22. 02. 2021 Randomisert fordeling YTRE VALIDITET Eksp. gr. Kontr. gr. Resultat Funn INDRE VALIDITET

Hypotesetesting: Innholdsmessig n Er hypotesen rimelig? n n Er operasjonaliseringene av variablene rimelige? n n n Kritisk for eksperimenter!!! Finnes det alternative fortolkninger av funnet? n 22. 02. 2021 Viktig!! Har vi kontroll over relevante variabler? Er deltakere tilfeldig fordelt til grupper (randomisering)? n n Er det nok med bare 2 nivåer av UV (100 vs. 10)? Hva med en kontrollgruppe som ikke får betalt? … Foreligger det trusler mot vår slutning om effekt (confounding variabler)? n n ”Høy” = 100 kr ”Lav” = 10 kr Er oppgaven som blir utført faktisk kjedelig? Er undersøkelsen gjennomført på en betryggende måte (design)? n n … ? ? ?

Hypotesetesting n Mao: Selv om vi får støtte for vår hypotese statistisk, betyr ikke dette automatisk at hypotesen støttes teoretisk n n 22. 02. 2021 Statistisk hypotesetesting: Mekanisk prosess Teoretisk hypotesetesting: Kompleks slutning

Dataanalyse • Beskrive en variabel (et sett av skårer) • • • Beskrive relasjoner mellom to variabler • Eksempel: Korrelasjon (r) Beskrive relasjoner mellom flere sett av skårer (konsistens) • • Cronbachs alfa Bestemme om to gruppegjennomsnitt er signifikant forskjellige • • Eksempel: Gjennomsnitt Eksempel: T-test Bestemme om flere gruppegjennomsnitt er signifikant forskjellige • 22. 02. 2021 Eksempel: Variansanalyse

Hypotesetesting: p og effektstørrelse To viktige aspekter ved et funn: Signifikans: Hvor reliabelt er funnet? • Hvis vi gjentar undersøkelsen, vil vi få samme utfall? Effektstørrelse: Hvor stor effekt snakker vi om? • 22. 02. 2021 Er (et signifikant) utfall praktisk/teoretisk interessant?

Hypotesetesting: p og effektstørrelse Signifikans n n n Hvor reliabelt er funnet? Jo svakere et funn er, desto flere deltakere trengs for å påvise det som signifikant Ikke nødvendigvis noen styrke ved en undersøkelse at man har mange deltakere n Aspirin redusert risiko for hjerteinfarkt n n Mørketid vinterdepresjon n 22. 02. 2021 10000 deltakere trengs for å påvise effekten 2 -4000 deltakere

Hypotesetesting: p og effektstørrelse Effektstørrelse n n n Cohen: “The degree to which a phenomenon exists”. Hvor sterkt slår effekten ut? Hvor sterk er sammenhengen? Signifikans (p) sier ikke nødvendigvis så mye om styrke Samme effektstørrelse kan bety ulike ting i ulike kontekster: n 22. 02. 2021 Redusert fart: Nesten null betydning for den enkelte; 15 menneskeliv spart i løpet av et år i Norge

Hypotesetesting: Falsifikasjon To utfall mulig: • • Vi aksepterer 0 -hypotesen (”gruppene kommer fra samme populasjon”) forskningshypotesen forkastes Vi forkaster 0 -hypotesen (”gruppene kommer ikke fra samme populasjon”) forskningshypotesen støttes 22. 02. 2021

Hypotesetesting Wason (1977): Falsifiserende vs. bekreftende strategi i hypotesetesting n n n 22. 02. 2021 Bekreftende evidens er forenlig med et stort antall hypoteser eller teorier Falsifiserende evidens vil utelukke i alle fall noen hypoteser Dvs. : Falsifiserende evidens er ofte mer informativ om verden enn bekreftende evidens

Hypotesetesting Faktisk Aktivering fører faktisk ikke til bedre læring Vår beslutning ”Aktivering fører til bedre læring” Type 1 -feil Aktivering fører faktisk til bedre læring OK Vi forkaster 0 -hypotesen når vi egentlig skulle beholdt den ”Aktivering fører ikke til bedre læring” 22. 02. 2021 OK Type 2 -feil Vi aksepterer 0 -hypotesen når vi egentlig skulle forkastet den

Hypotesetesting Type 1 -feil • • • Vi har vært for ”snille” – akseptert noe vi egentlig skulle forkastet Løsning: Skjerp kravet til hva som aksepteres (p = 0. 05 0. 01). Alfanivå Problem: Vi kan bli for ”strenge”, slik at vi øker sjansen for Type 2 -feil 22. 02. 2021

Hypotesetesting Type 2 -feil • • Vi har vært for ”strenge” – forkastet noe vi egentlig skulle akseptert Løsning: Øk ”power” i undersøkelsen – gjør det mer sannsynlig at vi vil oppdage en effekt hvis den er der (i praksis: øk antall deltakere) 22. 02. 2021

Hypotesetesting i praksis Faktisk Uskyldig Skyldig Dommeren: ”Tiltalte er skyldig” ”Tiltalte er ikke skyldig” 22. 02. 2021 Type 1 -feil Forkaster ” 0 -hypotesen” når hun egentlig skulle beholdt den JUSTISMORD OK OK Type 2 -feil Aksepterer 0 -hypotesen når hun egentlig skulle forkastet den

Hypotesetesting i praksis Faktisk Frisk Kreft Legen: ”Du har kreft” ”Du er frisk” 22. 02. 2021 Type 1 -feil Forkaster ” 0 -hypotesen” når hun egentlig skulle beholdt den IKKE SÅ FARLIG OK Type 2 -feil OK Aksepterer 0 -hypotesen når hun egentlig skulle forkastet den KATASTROFE