Kvantitativ dataanalyse Prinsipper og eksempler Frode Svartdal Universitetet

Kvantitativ dataanalyse: Prinsipper og eksempler Frode Svartdal Universitetet i Tromsø/Rogaland høgskole 2010

Tilnærming? Kvalitativ? Kvantitativ? n Diskuteres ikke her n Tar for gitt: n Kvantitativ tilnærming er svært mye brukt n Statistikk er et svært nyttig redskap i forskning n

Folketall og storkebestand for hvert år i perioden 1930 -1936 i Oldenburg

Statistikk Typiske anvendelser n Beskrive og oppsummere data fra et utvalg n n Teste hypoteser (dvs. trekke slutning fra et utvalg til en populasjon) n n Eksempel: Tabeller, gjennomsnitt, osv. Eksempel: Gruppeforskjeller Gjøre analyser i data for å avdekke mønstre eller strukturer n Eksempel: Hvilke personlighetstrekk hører sammen?

Eksempel 1: Beskrivelse av data n n n 12, 4 24, 3 23, 5 35, 7 30, 6 16, 0 28, 4 25, 2 31, 6 31, 8 32, 1 31, 3 31, 8 20, 7 25, 4 19, 7 31, 7 25, 3 19, 4 31, 5 32, 0 27, 5 31, 5 29, 4 31, 5 31, 2 31, 4 N = 29 Gjennomsnitt: 27, 1 Standardavvik: 5, 64 Min: 12, 4 Max: 35, 7

Eksempel 2: Slutning n Har tiltak X effekt i reduksjon av atferdsproblemer? n Gruppe 1: Tiltak X, 267 deltakere n n Gruppe 2: Intet tiltak, 316 n n n 260 OK, 7 problemelever 300 OK, 21 problemelever Dvs: Vi forsøker å si noe generelt ut fra utvalget Chi-square (df=1) = 4, 94, p= 0, 026 Ja, tiltak X har effekt --- forutsatt at vi har gjort undersøkelsen korrekt Kritisk her: ? ? ?

Eksempel 3: Slutning Eksamensresultater (% av max skåre) på Flervalg og Essay Er det sammenheng mellom karakterene?

Eksempel 4: Slutning Er nivåene forskjellige?

Eksempel 5: Meta-analyse n n Statistisk prosedyre for å oppsummere funn fra allerede gjennomførte undersøkelser Viktig redskap for å trekke konklusjoner der enkeltundersøkelser ikke tillater en entydig konklusjon, for eksempel n noen studier viser forventet effekt noen studier viser motsatt effekt noen viser 0 effekt

Meta-analyse Områder meta-analyser anvendes: n Virker en bestemt terapi-metode? n n Virker en bestemt klinisk behandlingsteknikk? n n Virker kognitiv atferdsterapi? Jfr. evidensbasert medisin Hva sier egentlig forskning om en bestemt problemstilling som har vært mye studert? n Er effekten av belønning positiv (jfr. undermining)?

Tre aspekter ved et empirisk prosjekt n Før undersøkelsen n Orientere seg i litteratur, utmeisle problemstilinger Selve undersøkelsen n Problemstilling Hva sier tidligere forskning? Metode, design Type data, analyse Etter undersøkelsen n n Hvordan kan denne problemstillingen undersøkes? Klare konklusjoner mulig? Hva var det vi fant? Relasjon til tidligere funn Presentasjon (artikkel) Implikasjoner (teorietisk, praktisk) Hva nå (må vi gå runden Behov for oppfølgende undersøkelser? på nytt? )

Empirisk prosjekt - statistikk n Dataanalyser med et statistikkprogram er et av flere ledd i forskningsprosessen n n Det er ikke dataanalysene som gjør prosessen til en forskningsprosess Det å "bruke et statistikkprogram" krever en forståelse av hva man gjør n Det er ikke noe i veien for å prøve seg frem på eksempler, men man kommer ikke langt uten en froståelse av det statistiske grunnlaget for de analyser man gjennomfører. Statistikkprogrammet er et redskap, og som ellers er må et redskap brukes med vett

Empirisk prosjekt - statistikk n Skill mellom resultater og funn n n Resultatene fremkommer som en mekanisk (men ofte kompleks) regneoperasjon på de tallene vi legger inn i statistikkprogrammet; funn er vår tolkning av resultatene. F. eks. kan vi beregne samvariasjonen (korrelasjonen) mellom helse og inntekt ("vi fant en korrelasjon på 0, 46 mellom disse variablene"), men hva dette betyr kan ikke statistikkprogrammet fortelle oss Statistisk signifikans sier noe om et resultat er reliabelt n Ville man fått samme resultat om man hadde gjennomført undersøkelsen på et annet utvalg fra samme populasjon? ), ikke hvor interessant det er

Empirisk prosjekt - statistikk n Mange analyser bygger på bestemte forutsetninger n n Dette kan angå målenivå, det kan angå krav om normalfordeling, osv. En grafisk fremstilling av resultatene kan ofte være informativ

Noen viktige begreper i statistikk n n n utvalg, populasjon n (antall deltakere) i utvalget Effektstørrelse Signifikans …

Noen viktige metodebegreper n n Design Typer undersøkelser n n n Beskrivende Korrelasjonell Eksperimentell Korrelasjon (samvariasjon) Kausalitet (årsak-virkning)

Effektstørrelse n Effekt viser til ”the degree to which a phenomenon exists” (Cohen, 1977) n n n Hvor stor er en gruppeforskjell? Hvor sterkt samvarierer to variabler? Hvor mange av de som får behandling blir friske, sammenlignet med en kontrollgruppe som ikke får behandling?

Effektstørrelse n Flere måter å beregne effektstørrelse på n n Rate differences, odds ratios, relative risks, mean differences, correlations Flere betegelser på effektstørrelse n ES, d, r n Vanlig fortolkning av d n Liten = 0, 20 n Medium = 0, 50 n Stor = 0, 80 Fortolkningen kan variere noe fra område til område n

Effektstørrelse: Eksempel For to gruppegjennomsnitt: n ART: 10 Kontroll: 16 n Standardavviket (variasjon i skårene rundt gjennomsnittet) = 8 i kontrollgruppen n Effektstørrelse (ES): (10 – 16) / 8 = 0, 75 n Dvs. Målt i forhold til standardavviket, skårer ART 0, 75 høyere enn kontroll n Viktig: Jo mer variabilitet i skårene (=høyere standardavvik), desto mindre effektstørrelse

Signifikans n n n Hvor reliabelt er resultatet (ville vi fått samme utfall hvis vi hadde testet et nytt utvalg fra samme populasjon)? Signifikans sier ikke nødvendigvis noe om hvor viktig et funn er Effektstørrelse n Hvor “stor” er effekten

n (antall deltakere) n n n Undersøkelse 1: n = 16 n ART: 8 n Kontroll: 8 Undersøkelse 2: n = 50 n ART: 25 n Kontroll: 25 Konklusjon fra undersøkelse 1 er sannsynligvis sikrere enn fra undersøkelse 2; hvorfor?

n n Power: Kan undersøkelsen oppdage en effekt hvis den faktisk er der? n er viktig: Få deltakere reduserer power, mange deltakere øker power Hvor mange? n n Hvis små gruppeforskjeller øk n Hvis stor variasjon innen gruppene øk n

Et par gode kilder n Kvaløy: Bruk statistikk riktig! n http: //www. ux. his. no/~jtk/statmet/Rettbru k. pdf

Pitfalls of Data Analysis (or How to Avoid Lies and Damned Lies) n n n n n Be sure your sample is representative of the population in which you're interested. Be sure you understand the assumptions of your statistical procedures, and be sure they are satisfied. In particular, beware of hierarchically organized (non-independent) data; use techniques designed to deal with them. Be sure you have the right amount of power--not too little, not too much. Be sure to use the best measurement tools available. If your measures have error, take that fact into account. Beware of multiple comparisons. If you must do a lot of tests, try to replicate or use cross-validation to verify your results. Keep clear in your mind what you're trying to discover--don't be seduced by stars in your tables; look at magnitudes rather than p-values. Use numerical notation in a rational way--don't confuse precision with accuracy (and don't let the consumers of your work do so, either). Be sure you understand the conditions for causal inference. If you need to make causal inference, try to use random assignment. If that's not possible, you'll have to devote a lot of effort to uncovering causal relationships with a variety of approaches to the question. Be sure your graphs are accurate and reflect the data variation clearly. http: //my. execpc. com/~helberg/pitfalls/