Kausal metodologi og design Planlegging gjennomfring og kvalitetsvurdering

  • Slides: 89
Download presentation
Kausal metodologi og design Planlegging, gjennomføring og kvalitetsvurdering av forskningsstudier. Monica Melby-Lervåg Institutt for

Kausal metodologi og design Planlegging, gjennomføring og kvalitetsvurdering av forskningsstudier. Monica Melby-Lervåg Institutt for spesialpedagogikk

Referanser • Pensum: Kvernbekk, T. Kausalitet i pedagogikken. I: Nordisk pedagogikk nr. 17. 4,

Referanser • Pensum: Kvernbekk, T. Kausalitet i pedagogikken. I: Nordisk pedagogikk nr. 17. 4, 1997. 12 sider. Lund, T. (red. ): Innføring i forskningsmetodologi, 2002. Oslo: Unipub forlag. • Annen litteratur: Shadish, W. R. , Cook, T. D. & Campbell, D. T. (2002). Experimental and quasi experimental designs for generalized causal inference. Boston: Hougthon Mifflin company. Lund, T. & Haugen, R. (2006). Forskningsprosessen. Oslo: Unipub forlag. Lund, T. (2005). The qualitative-quantitative distinction: Some comments. Scandinavian journal of educational research, 49 (2), pp. 115 -132. Institutt for spesialpedagogikk

Plan 1. Planlegging og vurdering av kvalitet på studier. Cook og Campbells validitetssystem 2.

Plan 1. Planlegging og vurdering av kvalitet på studier. Cook og Campbells validitetssystem 2. Kvasi-eksperimentelle design 3. Ekte eksperimentelle design 4. Ikke-eksperimentelle design/korrelasjonsstudier Institutt for spesialpedagogikk

Forskningsprosessen Skogen skole arrangerer et intensivt lesekurs over 2 ganger 2 uker for sine

Forskningsprosessen Skogen skole arrangerer et intensivt lesekurs over 2 ganger 2 uker for sine elever i 3. klasse som strever med lesing. De ønsker å evaluere effekten av dette kurset, for å se om det er et hensiktsmessig tiltak som de bør fortsette med. To masterstudenter ønsker å gå inn i dette prosjektet sammen. Forskningsspørsmål: Har intensivt lesekurs effekt på leseferdighetene hos lesesvake elever i 3. klasse? Institutt for spesialpedagogikk

Validitet angår kvaliteten på de slutninger som trekkes fra en undersøkelse. – ”Validity refers

Validitet angår kvaliteten på de slutninger som trekkes fra en undersøkelse. – ”Validity refers to the approximate truth of an inference” (Shadish, Cook & Campbell, 2002) Validitet handler ikke utelukkende design og metode, det samme designet kan bidra til mer, eller mindre, valide slutninger under ulike omstendigheter. ”Studies are localized and particularistic” (Shadish, Cook & Campbell, 2002) Alle studier har sine spesielle begrensninger når det gjelder blant annet utvalg, mål, intervensjon, setting med mer. Ingen metode eller design kan derfor garantere valide slutninger. Institutt for spesialpedagogikk

Validitet Vurdering av validiteten til ulike slutninger knyttet til sammenhenger mellom uavhengig og avhengig

Validitet Vurdering av validiteten til ulike slutninger knyttet til sammenhenger mellom uavhengig og avhengig variabler slik de er operasjonalisert Operasjonalisering: Å gjøre et teoretisk begrep til en observerbar størrelse. Uavhengig variabel: Operasjonalisert årsaksfaktor(er)- (kategorisk variabel) Avhengig variabel: Operasjonalisert effektvariabel(er)- (kontinuerlig variabel) Forskningsspørsmål: Har intensivt lesekurs effekt på leseferdighetene hos lesesvake elever i 3. klasse? Institutt for spesialpedagogikk

Validitetsvurdering Verktøy for vurdering av gyldigheten til ulike typer slutninger i vitenskapelige studier (Cook

Validitetsvurdering Verktøy for vurdering av gyldigheten til ulike typer slutninger i vitenskapelige studier (Cook & Campbell, 1979, revidert av Shaddish, Cook og Campbell 2001) Shadish, W. R. , Cook, T. D. & Campbell, D. T. (2002). Experimental and quasi experimental designs for generalized causal inference. Boston: Hougthon Mifflin company. Institutt for spesialpedagogikk Cook og Campbells validitetssystem Revidert syn på validitet, tidligere primært knyttet til testvaliditet (Shadish, Cook & Campbell, 2002). Cook og Campbells system i utgangspunktet utviklet for eksperimentelle studier.

Validitetsvurdering Hva er god validitet? -Ingen studie er perfekt, validitet vil være bare tilnærmet

Validitetsvurdering Hva er god validitet? -Ingen studie er perfekt, validitet vil være bare tilnærmet oppfylt også i gode studier. Validitetssystemet er derfor svært nyttig til å vurdere kvaliteten på undersøkelser i etterkant. Validitet og forskningsprosessen - Planlegging av undersøkelse. Validitetssystemet nyttig for å kunne forutse mulig kritikk og trusler mot egen studie i forkant, slik at man kan planlegge hvordan svakheter skal elimineres eller håndteres. Institutt for spesialpedagogikk

Validitetsvurdering Vitenskapsteoretisk bakgrunn -Hume (1711 -1776) • Årsaken må alltid frembringe virkning • Kausalitet

Validitetsvurdering Vitenskapsteoretisk bakgrunn -Hume (1711 -1776) • Årsaken må alltid frembringe virkning • Kausalitet kan ikke observeres, det nærmeste vi kan observere er fullstendig korrelasjon mellom to variabler Kausalbegrepet I Cook og Campbells validitetssystem: – Mill (1806 -1873) 1)Årsak før virkning 2)Sammenheng mellom årsak virkning 3)Plausible alternative forklaringer kan utelukkes Kausalitet i pedagogikk (Kvernbekk 1997) Institutt for spesialpedagogikk

Validitetsvurdering Vitenskapsteoretisk bakgrunn Kausalbegrepet i Cook og Campbells validitetssystem: q q Molart -helhetsmessig Probabilistisk

Validitetsvurdering Vitenskapsteoretisk bakgrunn Kausalbegrepet i Cook og Campbells validitetssystem: q q Molart -helhetsmessig Probabilistisk - ikke deterministisk Bredt – inkluderer intensjon og formål Partikulært- på individuelt nivå i en konkret kontekst Institutt for spesialpedagogikk

Validitetsvurdering -Kritisk realisme: Vi erkjenner at teoretiske og uobserverbare størrelser eksisterer, men at våre

Validitetsvurdering -Kritisk realisme: Vi erkjenner at teoretiske og uobserverbare størrelser eksisterer, men at våre oppfatning av disse forholdene og prosessene er ufullkommen. Vi er derfor opptatt av feilkilder. Vi kan aldri være helt sikre på våre slutninger og tolkninger, men kan oppnå best mulig sikkerhet ved å være kritiske og systematiske. -Antirealisme: Kunnskap er basert på sanseerfaring, vitenskap skal befatte seg med det observerbare. Institutt for spesialpedagogikk

Validitetsvurdering • Cook og Campbells validitetssystem og kvalitativ forskning – Ikke- observerbar kausalitet versus

Validitetsvurdering • Cook og Campbells validitetssystem og kvalitativ forskning – Ikke- observerbar kausalitet versus positivisme (Lund, 2005). “Quantitative research is virtually synonymous with positivist research” (Gall, Borg, & Gall, 1996, p. 28). – Shaddish, Cook & Campbell (2002): “Logical requirements for inferring cause apply as much to qualitative as to quantitative work” Validitetsslutninger i stor grad basert på kvalitative vurderinger Institutt for spesialpedagogikk

Validitetsvurdering • Fire hovedtyper slutninger fra en studie: Statistisk validitet: Validiteten til slutninger angående

Validitetsvurdering • Fire hovedtyper slutninger fra en studie: Statistisk validitet: Validiteten til slutninger angående sammenhengen mellom uavhengig og avhengig variabel (treatment and outcome). Indre validitet: Om sammenhengen mellom A (treatment) og B (outcome), slik de er operasjonalisert, reflekterer et kausalt forhold. Begrepsvaliditet: Validiteten til høyere ordens begreper som skal representeres i undersøkelsen. Ytre validitet: Slutninger vedrørende om et evt årsakvirkningsforhold kan generaliseres over og til personer, situasjoner, avhengige variabler, uavhengige variabler og tider. Institutt for spesialpedagogikk

Validitetsvurdering Slutningstyper Hovedslutning hypotetisk-deduktiv, men: Validitetssystemet bygger også på induktive slutninger, dvs fra det

Validitetsvurdering Slutningstyper Hovedslutning hypotetisk-deduktiv, men: Validitetssystemet bygger også på induktive slutninger, dvs fra det spesifikke til det generelle: – Statistisk validitet gjelder kvaliteten på slutninger fra utvalg til populasjon, – Begrepsvaliditet omfatter slutninger fra operasjonaliseringen av spesifikke begreper i eksperimentet og til de empiriske størrelsene disse representerer. – Indre validitet angår slutningen som trekkes når en observert virkning forklares med en bestemt årsak. – Ytre validitet fokus ofte slutninger fra personer, situasjoner og tider i eksperimentet til personer, situasjoner og tider utenfor eksperimentet. Institutt for spesialpedagogikk

Undersøkelse intensive lesekurs • Hvordan kan undersøkelsen planlegges slik at det med størst mulig

Undersøkelse intensive lesekurs • Hvordan kan undersøkelsen planlegges slik at det med størst mulig sikkerhet kan trekkes slutninger om hvorvidt det eksisterer en kausal sammenheng der intensive lesekurs påvirker leseferdigheter? - Forutse plausible trusler mot de ulike validitetstypene i forkant av undersøkelsen - Dersom en evt. sammenheng mellom uavhengig og avhengig variabel kan observeres, hvilke andre plausible alternative forklaringer kan eksistere med utgangspunkt i de fire validitetstypene? Institutt for spesialpedagogikk

Validitetsvurdering Validitetstyper q q Statistisk validitet Indre validitet Begrepsvaliditet Ytre validitet Trusler Grunner til

Validitetsvurdering Validitetstyper q q Statistisk validitet Indre validitet Begrepsvaliditet Ytre validitet Trusler Grunner til feilslutninger om statistisk sammenheng, begrepssammenheng kausal sammenheng og generalisering Trusler: Possible or plausible Institutt for spesialpedagogikk

Validitetsvurdering Stikkord: Statistisk validitet Slutninger som angår sammenhengen mellom uavhengig og avhengig variabel ?

Validitetsvurdering Stikkord: Statistisk validitet Slutninger som angår sammenhengen mellom uavhengig og avhengig variabel ? Institutt for spesialpedagogikk Slutningsstatistikk Beskrivende statistikk

Undersøkelse Valgt design: posttest design med kontroll gruppe. x O 1 ………………………. Institutt for

Undersøkelse Valgt design: posttest design med kontroll gruppe. x O 1 ………………………. Institutt for spesialpedagogikk

Resultat undersøkelse Deskriptiv statistikk for lesekurs: Lesekursgruppe Kontrollgruppe Gjennomsnitt (standardavvik) 219. 25 (69. 29)

Resultat undersøkelse Deskriptiv statistikk for lesekurs: Lesekursgruppe Kontrollgruppe Gjennomsnitt (standardavvik) 219. 25 (69. 29) 169. 05 (58. 79) Har lesekurset hatt effekt? Er gruppene mer ulike enn det man kan forvente hvis man undersøker leseferdigheter i to tilfeldige, ulike grupper? Institutt for spesialpedagogikk

Antall norske kvinner (frekvens) Høyde norske kvinner 165 cm Institutt for spesialpedagogikk

Antall norske kvinner (frekvens) Høyde norske kvinner 165 cm Institutt for spesialpedagogikk

Sannsynlighetsfordeling standard normal kurve Antall (Frekvens) cm Institutt for spesialpedagogikk

Sannsynlighetsfordeling standard normal kurve Antall (Frekvens) cm Institutt for spesialpedagogikk

Gruppeforskjeller i leseferdigheter for to grupper med lesesvake 3. klassinger Antall (frekvens) 0 Institutt

Gruppeforskjeller i leseferdigheter for to grupper med lesesvake 3. klassinger Antall (frekvens) 0 Institutt for spesialpedagogikk Forskjell i skåre på lesetesten

Hypotesetesting Signifikans Gruppe med intensive lesekurs: Kontrollgruppe: M = 219. 25, Std = 69.

Hypotesetesting Signifikans Gruppe med intensive lesekurs: Kontrollgruppe: M = 219. 25, Std = 69. 29 M = 169. 05, Std = 58. 79 Scenario 2, gitt H 1 Scenario 1, gitt H 0 P P U U P U Lesekurs Institutt for spesialpedagogikk U Ikke lesekurs Lesekurs Ikke lesekurs

Gitt H 0: Ingen signifikante forskjeller mellom gruppene, de tilhører samme populasjon med samme

Gitt H 0: Ingen signifikante forskjeller mellom gruppene, de tilhører samme populasjon med samme gjennomsnitt 0 -hypotese = ingen forskjeller Antall (frekvens) Forskjell i skåre på lesetesten Institutt for spesialpedagogikk Lesekurs har ikke hatt noen effekt

Tolkning av 0 -resultat (beholde H 0) To forklaringer på såkalte 0 -resultater: 1.

Tolkning av 0 -resultat (beholde H 0) To forklaringer på såkalte 0 -resultater: 1. Lesekurs virker ikke 2. Eller: Vi har foretatt en feilslutning (type 2 feil) og hevder at det ikke er forskjeller mellom gruppene når det i virkeligheten er det. Type 2 feil: Lav statistisk styrke øker sannsynligheten for type 2 feil. Ved null resultat er det derfor viktig å vurdere om undersøkelsen har hatt for lav statistisk styrke til å fange opp reelle forskjeller mellom gruppene. Konklusjon: Man kan ikke trekke noen konklusjon ved ikkesignifikante resultater, man kan ikke “bevise” 0 -hypotesen. Institutt for spesialpedagogikk

Statistisk validitet • Statistisk styrke (”power”): ”The ability of at test to detect a

Statistisk validitet • Statistisk styrke (”power”): ”The ability of at test to detect a relationship present in the population” (Shadish, Cook & Campbell, 2002) I undersøkelse: Kunne oppdage effekt av lesekurs på leseferdigheter (målt med STAS), dersom en slik effekt eksisterer. Det vil si å unngå å feilaktig konkludere med at treningen ikke har effekt (unngår type 2 feil). Institutt for spesialpedagogikk

Statistisk validitet: Statistisk styrke • Intervensjonsstyrke • Utvalgsstørrelse • kontrollvariabler • Forbedre måleinstrumenter -Tak-effekt

Statistisk validitet: Statistisk styrke • Intervensjonsstyrke • Utvalgsstørrelse • kontrollvariabler • Forbedre måleinstrumenter -Tak-effekt lesemål Institutt for spesialpedagogikk

Hypotesetesting Signifikans Gruppe med intensive lesekurs: Kontrollgruppe: M = 219. 25, Std = 69.

Hypotesetesting Signifikans Gruppe med intensive lesekurs: Kontrollgruppe: M = 219. 25, Std = 69. 29 M = 169. 05, Std = 58. 79 Scenario 2, gitt H 1 Scenario 1, gitt H 0 P P U U P U Lesekurs Institutt for spesialpedagogikk U Ikke lesekurs Lesekurs Ikke lesekurs

Gitt H 1: Signifikante forskjeller mellom gruppene som tilsier at gruppene tilhører to ulike

Gitt H 1: Signifikante forskjeller mellom gruppene som tilsier at gruppene tilhører to ulike populasjoner med ulikt gjennomsnitt. H 1 = forskjeller mellom gruppene Forskjell i skåre på lesetesten Institutt for spesialpedagogikk Lesekurs har hatt en effekt

z-test: z = 2. 47, p < 0. 05 Institutt for spesialpedagogikk

z-test: z = 2. 47, p < 0. 05 Institutt for spesialpedagogikk

Tolkning av signifikant resultat To mulige tolkninger: 1) Det er reelle forskjeller mellom gruppene

Tolkning av signifikant resultat To mulige tolkninger: 1) Det er reelle forskjeller mellom gruppene 2) Eller: Vi har foretatt en feilslutning, det vil si at vi hevder at det er forskjeller mellom gruppene når det egentlig ikke er det. Det er det samme som type 1 feil. Sannsynligheten for type 1 feil tilsvarer signifikansnivået (her p = 0. 05, 5%). Det vil si i løpet av 100 studier vil vi ta feil fem ganger. Institutt for spesialpedagogikk

Type 1 feil Uten lesekurs Skåre på lesetest Institutt for spesialpedagogikk

Type 1 feil Uten lesekurs Skåre på lesetest Institutt for spesialpedagogikk

Statistisk validitet Kritikk mot signifikanstesting Signifikanstesting og utvalgsstørrelse Effektstørrelse Mange ulike typer- tilpasset hvorvidt

Statistisk validitet Kritikk mot signifikanstesting Signifikanstesting og utvalgsstørrelse Effektstørrelse Mange ulike typer- tilpasset hvorvidt man skal studere sammenhenger mellom grupper eller forskjeller mellom variabler. I lesekursundersøkelsen effektstørrelse (eta squared) η² = 0. 78, Ved å vite gruppetilhørigheten til et barn, har man 78% bedre mulighet til å gjette hvordan barnet skårer på lesetesten enn hvis man ikke vet gruppetilhørighet. Dvs stor forskjell mellom gruppene. Institutt for spesialpedagogikk

Validitetsvurdering Trusler mot statistisk validitet: q Lav statistisk styrke q Brudd på statistiske forutsetninger-

Validitetsvurdering Trusler mot statistisk validitet: q Lav statistisk styrke q Brudd på statistiske forutsetninger- øker sjansen for type 1 feil q Upålitelige målinger- reliabilitet. q Svakheter ved intervensjon q Heterogene grupper Institutt for spesialpedagogikk

Brudd på statistiske forutsetning om normalfordeling Institutt for spesialpedagogikk

Brudd på statistiske forutsetning om normalfordeling Institutt for spesialpedagogikk

Brudd på statistiske forutsetning om normalfordeling Institutt for spesialpedagogikk

Brudd på statistiske forutsetning om normalfordeling Institutt for spesialpedagogikk

Reliabilitet- upålitelige målinger 1) God reliabilitet Lesing Minne 2) Svak reliabilitet Lesing Institutt for

Reliabilitet- upålitelige målinger 1) God reliabilitet Lesing Minne 2) Svak reliabilitet Lesing Institutt for spesialpedagogikk Minne

Validitetsvurdering Indre validitet ? Institutt for spesialpedagogikk Slutninger som angår om den observerte sammenhengen

Validitetsvurdering Indre validitet ? Institutt for spesialpedagogikk Slutninger som angår om den observerte sammenhengen mellom uavhengig og avhengig variabel (som de er operasjonalisert) reflekterer en kausal sammenheng.

Indre validitet • Signifikante resultater tilsier at det er en statistisk forskjell mellom gruppene.

Indre validitet • Signifikante resultater tilsier at det er en statistisk forskjell mellom gruppene. • Kan det være andre alternative forklaringer enn lesekurset på at gruppene er signifikant forskjellige? Institutt for spesialpedagogikk

Indre validitet: Design Valgt design: posttest design med kontroll gruppe. x O 1 ……………………….

Indre validitet: Design Valgt design: posttest design med kontroll gruppe. x O 1 ………………………. Institutt for spesialpedagogikk

Indre validitet Trusler mot indre validitet generelt: q q q q Retning Historie Modning

Indre validitet Trusler mot indre validitet generelt: q q q q Retning Historie Modning Seleksjon Testing Frafall Instrumentering Statistisk regresjon Institutt for spesialpedagogikk

Indre validitet q Retning Hva er årsak, hva er virkning? Uaktuell ved intervensjon og

Indre validitet q Retning Hva er årsak, hva er virkning? Uaktuell ved intervensjon og manipulasjon q Historie Hendelse som oppstår uavhengig av den antatte årsaken og som kan frembringe virkning q Modning Endring i tiltaksperioden som skyldes biologiske eller miljømessige forhold, som er uavhengig av den antatte årsaken. Eks. experimental fatigue Institutt for spesialpedagogikk

Indre validitet q Seleksjon Ikke tilfeldig personfordeling over forsøksbetingelsene. Dvs at kontrollgruppe og tiltaksgruppen

Indre validitet q Seleksjon Ikke tilfeldig personfordeling over forsøksbetingelsene. Dvs at kontrollgruppe og tiltaksgruppen er ulike på avhengig variabel eller på andre variabler som ligger til grunn for avhengig variabel, før intervensjonen starter. Systematiske forskjeller mellom gruppene ved pretest på avhengig variable eller på andre variabler som påvirker avhengig variabel. Interaksjon seleksjon x modning, modning x historie Institutt for spesialpedagogikk

Indre validitet q Testing Test-retest effekt. Viktig i mange studier, men ikke i denne

Indre validitet q Testing Test-retest effekt. Viktig i mange studier, men ikke i denne lesekurs studien. Tid mellom pre og posttest viktig q Frafall Kritisk i lesekurs undersøkelse. Vi vet ingenting om dem som slutter. Er det noe spesielt som kjennetegner disse? Frafall x seleksjon q Statistisk regresjon Selekterte grupper. Ved neste måling kan predikeres å være nærmere gjennomsnittet Institutt for spesialpedagogikk

Indre validitet- Spesielt aktuelle trusler mot lesekurs undersøkelsen • Seleksjon Systematiske forskjeller mellom gruppene

Indre validitet- Spesielt aktuelle trusler mot lesekurs undersøkelsen • Seleksjon Systematiske forskjeller mellom gruppene ved pretest på avhengig variable eller på andre variabler som påvirker avhengig variabel. • Modning Endring i tiltaksperioden som skyldes biologiske eller miljømessige forhold, som er uavhengig av den antatte årsaken. Eks. experimental fatigue Seleksjon x modning Historie Frafall Statistisk regresjonseffekt Konklusjon: Mange alternative forklaringer som kan ha forårsaket den gj snitts forskjellen vi observerer mellom gruppene på lesetesten Institutt for spesialpedagogikk

Begrepsvaliditet Høyere ordens begrep Validiteten til slutninger som angår operasjonaliseringene som er foretatt knyttet

Begrepsvaliditet Høyere ordens begrep Validiteten til slutninger som angår operasjonaliseringene som er foretatt knyttet til: • • Representasjon Institutt for spesialpedagogikk • • Uavhengig variabel: Operasjonalisert årsaksfaktor(er) Avhengig variabel: Operasjonalisert effektvariabel(er) Utvalg Setting

Undersøkelse intensive lesekurs Operasjonalisering: Å gjøre et teoretisk begrep til en observerbar størrelse. Uavhengig

Undersøkelse intensive lesekurs Operasjonalisering: Å gjøre et teoretisk begrep til en observerbar størrelse. Uavhengig variabel: Operasjonalisert årsaksfaktor(er) Avhengig variabel: Operasjonalisert effektvariabel(er) Forskningsspørsmål: Har intensivt lesekurs effekt på leseferdighetene hos lesesvake elever i 3. klasse? Institutt for spesialpedagogikk

Begrepsvaliditet 1) En klar oppfatning av begrepene som skal operasjonaliseres 2) Velge empiriske indikatorer

Begrepsvaliditet 1) En klar oppfatning av begrepene som skal operasjonaliseres 2) Velge empiriske indikatorer som samsvarer med disse begrepene så godt som mulig 3) Undersøke samsvaret mellom teoretisk begrep og empirisk indikator 4) Eventuelt endre operasjonaliseringen. Institutt for spesialpedagogikk

Begrepsvaliditet Trusler mot begrepsvaliditet (gjelder all typer operasjonaliseringer): q q For bred operasjonalisering (overrepresentasjon)

Begrepsvaliditet Trusler mot begrepsvaliditet (gjelder all typer operasjonaliseringer): q q For bred operasjonalisering (overrepresentasjon) For snever operasjonalisering (underrepresentasjon) Irrelevante begreper Ensidig operasjonaliseringsmetode Institutt for spesialpedagogikk

Begrepsvaliditet Teoretisk begrep Empirisk indikator Fullstendig samsvar Mark, 2000 Institutt for spesialpedagogikk Empirisk indikator

Begrepsvaliditet Teoretisk begrep Empirisk indikator Fullstendig samsvar Mark, 2000 Institutt for spesialpedagogikk Empirisk indikator Ikke endimensjonal

Begrepsvaliditet Teoretisk begrep Empirisk indikator Institutt for spesialpedagogikk

Begrepsvaliditet Teoretisk begrep Empirisk indikator Institutt for spesialpedagogikk

Begrepsvaliditet • Overrepresentasjon • Irrelevans Teoretisk begrep Empirisk indikator Institutt for spesialpedagogikk

Begrepsvaliditet • Overrepresentasjon • Irrelevans Teoretisk begrep Empirisk indikator Institutt for spesialpedagogikk

Begrepsvaliditet: Uavhengig variabel Operasjonalisert i to betingelser: 1. Manipulert uavhengig variabel (årsaksfaktor) Tiltaksgruppe får

Begrepsvaliditet: Uavhengig variabel Operasjonalisert i to betingelser: 1. Manipulert uavhengig variabel (årsaksfaktor) Tiltaksgruppe får intensive lesekurs etter Mikkelsens metodikk (1988). 2. Ingen trening (ubehandlet kontrollgruppe) Trusler mot uavhengig variabel: Compensatory equalization Compensatory rivalry Resentful demoralization Treatment diffusion Experimenter expectancies Novelty and disruption effects I tillegg Inadequate explication of construct Institutt for spesialpedagogikk

Begrepsvaliditet: Uavhengig variabel Ikke-manipulerte uavhengig variabler: Kontrollvariabler Kontrollere forskjeller ved på variabler som antaes

Begrepsvaliditet: Uavhengig variabel Ikke-manipulerte uavhengig variabler: Kontrollvariabler Kontrollere forskjeller ved på variabler som antaes å virke inn på de variablene som man måler effekt på ved posttest (her: leseferdigheter). Det vil si at kontrollvariablene er ikke-manipulerte uavhengige variabler. Det innebærer altså å kontrollere for alternative forklaringer på forholdet mellom årsak-virkning. Begrepsvaliditet vil da selvsagt også gjelde for kontrollvariablene. Lesekursprosjektet: I. Q? Institutt for spesialpedagogikk

Begrepsvaliditet: Avhengig variabel Avhengige variabler (effektvariabler) Lesing: STAS Iq WISC brief Trusler? Institutt for

Begrepsvaliditet: Avhengig variabel Avhengige variabler (effektvariabler) Lesing: STAS Iq WISC brief Trusler? Institutt for spesialpedagogikk

Begrepsvaliditet: Utvalg og setting • Utvalg • Setting Inadequate explication of constructs Institutt for

Begrepsvaliditet: Utvalg og setting • Utvalg • Setting Inadequate explication of constructs Institutt for spesialpedagogikk

Validitetsvurdering Stikkord: Ytre validitet Validiteten på slutninger om hvorvidt årsakvirkningsforholdet kan generaliseres over personer,

Validitetsvurdering Stikkord: Ytre validitet Validiteten på slutninger om hvorvidt årsakvirkningsforholdet kan generaliseres over personer, situasjoner og tider. ? Personer, situasjoner, tider Institutt for spesialpedagogikk Utvalgsprosedyrer Situasjonsvalg Follow-up

Ytre validitet • Generalisering over personer, settinger uavhengige, og avhengig variabler som var tilstede

Ytre validitet • Generalisering over personer, settinger uavhengige, og avhengig variabler som var tilstede i eksperimentet • Generaliseringer til personer, settinger, uavhengige og avhengige variabler som ikke var tilstede i eksperimentet. Institutt for spesialpedagogikk

Ytre validitet Figure 6 Overall average effect size (indicated by ♦) and effect size

Ytre validitet Figure 6 Overall average effect size (indicated by ♦) and effect size for each study with 95% confidence intervals for correlations between reading and phonological awareness 1. 00 0. 50 0. 00 Effect size -0. 50 -1. 00 Study Institutt for spesialpedagogikk

Ytre validitet • Kausal effekt x personer • Kausal effekt x setting • Kausal

Ytre validitet • Kausal effekt x personer • Kausal effekt x setting • Kausal effekt x variasjoner i manipulert uavhengig variabel • Kausal effekt x variasjoner i avhengig variabler Institutt for spesialpedagogikk

Design To hovedtyper design: -Eksperimentelle design Hovedfokus er forskjeller mellom grupper 1)Manipulasjon 2)Sterk kontroll

Design To hovedtyper design: -Eksperimentelle design Hovedfokus er forskjeller mellom grupper 1)Manipulasjon 2)Sterk kontroll 3)Minst to forsøksbetingelser -Ikke eksperimentelle design/korrelasjonelle studier Hovedfokus er sammenheng mellom variabler Ingen manipulasjon Institutt for spesialpedagogikk

Design Eksperimentelle design Ekte eksperimentelle design Kvasi-eksperimentelle design • Manipulasjon • Minst to forsøksbetingelser

Design Eksperimentelle design Ekte eksperimentelle design Kvasi-eksperimentelle design • Manipulasjon • Minst to forsøksbetingelser • Tilfeldig personfordeling Manipulasjon Institutt for spesialpedagogikk

Design • Manipulasjon – Eksperimenter undersøker effekten av ting som kan manipuleres. Det vil

Design • Manipulasjon – Eksperimenter undersøker effekten av ting som kan manipuleres. Det vil si at den antatte årsaken kan påvirkes (manipuleres). Feks: mengde spesialundervisning, fonologiske ferdigheter Ikke-manipulerbare årsaker: Eks dysleksi Institutt for spesialpedagogikk

Design Manipulasjon Grunnforskning Eksempel: Intensive lesekurs påvirker leseferdigheter Fonologiske ferdigheter påvirker verbalt korttidsminne Institutt

Design Manipulasjon Grunnforskning Eksempel: Intensive lesekurs påvirker leseferdigheter Fonologiske ferdigheter påvirker verbalt korttidsminne Institutt for spesialpedagogikk Anvendt forskning

Ekte eksperimentelle design Tilfeldig personfordeling Randomisering - Gjør gruppene forventet like ved pretest. -

Ekte eksperimentelle design Tilfeldig personfordeling Randomisering - Gjør gruppene forventet like ved pretest. - Gjør alternative forklaringer usannsynlige ved å utelukke seleksjonstrusselen. - Umuliggjør en interaksjon mellom andre trusler (som modning, historie) og seleksjon. Institutt for spesialpedagogikk

Ekte eksperimentelle design Design 1 Randomisert posttest design R R X Institutt for spesialpedagogikk

Ekte eksperimentelle design Design 1 Randomisert posttest design R R X Institutt for spesialpedagogikk O 1

Ekte eksperimentelle design Design 1 Randomisert posttest design Institutt for spesialpedagogikk

Ekte eksperimentelle design Design 1 Randomisert posttest design Institutt for spesialpedagogikk

Ekte eksperimentelle design Design 1 Randomisert posttest design Trusler på grunn av manglende pretest:

Ekte eksperimentelle design Design 1 Randomisert posttest design Trusler på grunn av manglende pretest: q Frafall Institutt for spesialpedagogikk

Ekte eksperimentelle design Design 2: Randomisert preposttest design R R O 1 Institutt for

Ekte eksperimentelle design Design 2: Randomisert preposttest design R R O 1 Institutt for spesialpedagogikk X O 2

Ekte eksperimentelle design Lesekursgruppe Design 1 Randomisert pre-posttest Gjennomsnitt design Kontrollgruppe Gjennomsnitt 149. 3

Ekte eksperimentelle design Lesekursgruppe Design 1 Randomisert pre-posttest Gjennomsnitt design Kontrollgruppe Gjennomsnitt 149. 3 152. 5 219. 25 169. 05 Pretest Posttest ”differences in gain” Institutt for spesialpedagogikk 69. 95 16. 55 T-test uavhengig utvalg

Ekte eksperimentelle design Design 2: Randomisert preposttest design Institutt for spesialpedagogikk

Ekte eksperimentelle design Design 2: Randomisert preposttest design Institutt for spesialpedagogikk

Ekte eksperimentelle design • ”Det klassiske eksperiment” I utgangspunktet få aktuelle trusler mot indre

Ekte eksperimentelle design • ”Det klassiske eksperiment” I utgangspunktet få aktuelle trusler mot indre validitet q Retning q Historie q Modning q Seleksjon q Testing q Frafall q Instrumentering q Statistisk regresjon Institutt for spesialpedagogikk

Ekte eksperimentelle design Design 3: Randomisert posttest design med flere eksperimentelle variabler R R

Ekte eksperimentelle design Design 3: Randomisert posttest design med flere eksperimentelle variabler R R R Institutt for spesialpedagogikk XA XB O 1 O 1

Ekte eksperimentelle design Design 3: Randomisert posttest design med flere eksperimentelle variabler Institutt for

Ekte eksperimentelle design Design 3: Randomisert posttest design med flere eksperimentelle variabler Institutt for spesialpedagogikk

Ekte eksperimentelle design Design 1 Randomisert posttest design Trusler på grunn av manglende pretest:

Ekte eksperimentelle design Design 1 Randomisert posttest design Trusler på grunn av manglende pretest: q Frafall Institutt for spesialpedagogikk

Ekte eksperimentelle design Design 4: Randomisert pre-posttest design med flere eksperimentelle variabler R R

Ekte eksperimentelle design Design 4: Randomisert pre-posttest design med flere eksperimentelle variabler R R R O 1 O 1 Institutt for spesialpedagogikk XA XB O 2 O 2

Ekte eksperimentelle design Design 4: Randomisert pre-posttest design med flere eksperimentelle variabler Institutt for

Ekte eksperimentelle design Design 4: Randomisert pre-posttest design med flere eksperimentelle variabler Institutt for spesialpedagogikk

Ekte eksperimentelle design Varianter: • Randomiserte design med både eksperimentelle og ikke- eksperimentelle variabler

Ekte eksperimentelle design Varianter: • Randomiserte design med både eksperimentelle og ikke- eksperimentelle variabler • Solomons design Institutt for spesialpedagogikk

Kvasi eksperimentelle design Design 1: Posttest design med ikke-ekvivalente grupper NR X O 1

Kvasi eksperimentelle design Design 1: Posttest design med ikke-ekvivalente grupper NR X O 1 ……………. . NR O 1 Institutt for spesialpedagogikk

Kvasi eksperimentelle design Design 1: Posttest design med ikke-ekvivalente grupper Lesing Posttestmåling Institutt for

Kvasi eksperimentelle design Design 1: Posttest design med ikke-ekvivalente grupper Lesing Posttestmåling Institutt for spesialpedagogikk

Kvasi eksperimentelle design Design 2: Pretest posttest design med en gruppe O 1 Institutt

Kvasi eksperimentelle design Design 2: Pretest posttest design med en gruppe O 1 Institutt for spesialpedagogikk X O 2

Kvasi eksperimentelle design Design 2: Pretest posttest design med en gruppe Institutt for spesialpedagogikk

Kvasi eksperimentelle design Design 2: Pretest posttest design med en gruppe Institutt for spesialpedagogikk

Kvasi eksperimentelle design Design 3: Pretest-posttest design med ikke ekvivalente grupper NR O 1

Kvasi eksperimentelle design Design 3: Pretest-posttest design med ikke ekvivalente grupper NR O 1 X O 2 ……………. . NR O 1 O 2 Institutt for spesialpedagogikk

Kvasi eksperimentelle design Design 3: Pretest-posttest design med ikke ekvivalente grupper Lesing Institutt for

Kvasi eksperimentelle design Design 3: Pretest-posttest design med ikke ekvivalente grupper Lesing Institutt for spesialpedagogikk

Kvasi eksperimentelle design Design 4: Avbrutt tidsserie design O 1 O 2 O 3

Kvasi eksperimentelle design Design 4: Avbrutt tidsserie design O 1 O 2 O 3 O 4 Institutt for spesialpedagogikk X O 5 O 6 O 7 O 8

Kvasi eksperimentelle design Design 4: Avbrutt tidsserie design Institutt for spesialpedagogikk

Kvasi eksperimentelle design Design 4: Avbrutt tidsserie design Institutt for spesialpedagogikk

Kvasi eksperimentelle design Design 5: Regresjonsdiskontinuitetsdesign OA C X Institutt for spesialpedagogikk O 2

Kvasi eksperimentelle design Design 5: Regresjonsdiskontinuitetsdesign OA C X Institutt for spesialpedagogikk O 2

Kvasi eksperimentelle design Design 5: Regresjonsdiskontinuitetsdesign P o s t t e s t

Kvasi eksperimentelle design Design 5: Regresjonsdiskontinuitetsdesign P o s t t e s t Institutt for spesialpedagogikk Tiltak Kontroll

Litteratur • God masteroppgave: Forfatter: Nordby, Vibeke Hande. Tittel: Repetert lesing. Årstall: 2005 høst.

Litteratur • God masteroppgave: Forfatter: Nordby, Vibeke Hande. Tittel: Repetert lesing. Årstall: 2005 høst. Språk: Norsk Bokmål. BIBSYS: BIBSYS. Veileder(e): Gunvor Dalby Vea • Statistisk analyse: Knut-Andreas Christophersen (2004). Databehandling og statistisk analyse med SPSS. Unipub Institutt for spesialpedagogikk