Validnost istraivanja Predmet Metodologija naunih istraivanja 28 03

Validnost istraživanja Predmet: Metodologija naučnih istraživanja 28. 03. 2008. Mirjana Beara

Validnost l l Valjanost zaključaka nekog istraživanja Treba je razlikovati od validnosti merenja

Vrste validnosti istraživanja: 1. 2. 3. Interna validnost Eksterna validnost Konstruktivna validnost

1. Interna validnost istraživanja l l l Unutrašnja validnost svojstvo istraživanja da omogući kauzalno zaključivanje (uzročno –posledično) “Da li je X uzrok Y” tj. da li je eksperimentalna manipulacija stvarno dovela do značajne razlike u ponašanju U naukama o ponašanju, “uzrok” je često veoma teško dokazati, stoga se može koristiti pojam “uticaj” a umesto “kauzalno” pojam “pseudo-kauzalno” U tom smislu, i. v. možemo definisati kao stepen u kojem je u nekom istraživanju kontrolisan uticaj neželjenih varijabli

Interna validnost: uzroci ugrožavanja a) b) Greške u nacrtu istraživanja Tehnička realizacija istraživanja: - istorija događaja - maturacija - senzitizacija - instrumentacija - mortalitet - regresija ka proseku

Interna validnost: uzroci ugrožavanja c) Pristrasna selekcija (pogrešno koncipiranje grupa ili pogrešno smeštanje ispitanika u grupe) d) “Socijalni” izvori ugrožavanja: delovanje raznih interakcija između učesnika (razmena, rivalitet, demoralizacija, pritisak da se kompenzuje pripadnost kontrolnoj grupi) e) Hotorn efekat f) Placebo efekat

Interna nevalidnost – osnovni uzrok l l l Veštačka situacija u kojoj se ispitanici nalaze Hotorn efekat je dobar primer za uticaj veštačke situacije na ponašanje ispitanika “Ekološka (ne)validnost”: validno je ono istraživanje koje je prikupilo podatke o prirodnom ponašanju ljudi

Otklanjanje pretnji internoj validnosti l l l Uvođenje jedne ili više kontrolnih (poredbenih) grupa Randomizacija i jednačenje grupa Onemogućavanje kontakta između eksperimentalne i kontrolne grupe Ujednačavanje na osnovu rezultata prettesta Davanje lažnog tretmana kontrolnoj grupi, radi kontrolisanja Hotorn i placebo efekta “Slepi” i “dvostruko slepi” nacrt istraživanja

2. Eksterna validnost l a. b. c. l Potencijal za tačne generalizacije zaključaka istraživanja Na druge situacije Na druge ljude Često u koliziji sa internom validnošću: visoko interno validna istraživanja često nisu dovoljno eksterno validna

Eskterna validnost – uzroci ugrožavanja l l Loš uzorak (nereprezentativnost uzorka) Uzroci slični onima koji ugrožavaju internu validnost (maturacija, placebo efekat. . . ) Najviše uticaja na eksternu nevalidnost je ipak istraživanje u veštačkim uslovima Stoga, neeksperimentalna istraživanja, i pored niske interne validnosti, često imaju visoku eksternu validnost

Način za proveru i dokazivanje eksterne validnosti l Ponavljanje istraživanja na drugim ljudima i situacijama

3. Konstruktivna validnost l l l Koliko su ispravno definisani konstrukti Koliko su oni ispravno mereni u istraživanju Primer: istraživanje uticaja novog nastavnog metoda na znanje učenika - da li smo dobro definisali “znanje”, “nastavni metod” Konstruktivna validnost se uglavnom postiže operacionalizacijom – operacionalnim definisanjem svih konstrukata u nekom istraživanju Treba paziti da se prilikom operacionalizacije ne izgubi suština konstrukta

Primeri istraživanja sa niskom validnošću l l “Skoči, buvo!” Eksperimentalna neuroza pacova Hotorn eksperiment Halo efekat

Kako povećati validnost istraživanja? l l l Pravilnim dodeljivanjem objekata (ispitanika) u grupe Postojanje više grupa je preduslov poređenja, a poređenje je preduslov zaključivanja Dodeljivanje u grupe je posebno važno kod eksperimentalnih istraživanja

Osnovni načini dodeljivanja u grupe I. Nacrti sa nezavisnim grupama: Svaki objekt se nalazi samo jednoj grupi, a svaka grupa prima drugačiji tretman (ili nivo nezavisne varijable) II. Nacrti sa ponovljenim merenjima Svaki objekt se podvrgava svim tretmanima i merenjima

I. Nacrti sa nezavisnim grupama l - Tri načina za formiranje grupa: Randomizacija Jednačenje Podela u prirodne grupe

Randomizacija u tri koraka 1. 2. 3. Biranje iz populacije za koju hoćemo da generalizujemo zaključke, prostim slučajnim uzorkovanjem, osobe koje će nam biti u uzorku (“slučajna selekcija”) Dodeljivanje osoba dvema grupama, opet slučajno (“slučajna alokacija, smeštanje”) Slučajnim izborom odlučujemo koja će od dve grupe biti eksperimentalna, a koja kontrolna

Vežba: l l l 1. korak: slučajna selekcija 2. korak: slučajna alokacija 3. korak: slučajni izbor E i K grupe

Randomizacija po blokovima l l Dobar odgovor na zahteve da grupe budu dovoljno velike, da eksperiment ne traje suviše dugo i kada ne možemo da postignemo potpunu randomizaciju, već moramo da vršimo ekperiment sa dobrovoljno prijavljenim ispitanicima Dobrovoljci se slučajno raspoređuju u neku od tretmanskih grupa u okviru jednog bloka

pauza

Jednačenje grupa l Kada iz nekog razloga ne možemo da obavimo randomizaciju (npr. zobg malog uzorka) ili želimo da izjednačimo eksperimentalnu i kontrolnu grupu po zavisnoj varijabli (i kada imamo dobar kriterijum za izjednačavanje)

Vrste jednačenja l l l Jednačenje po zavisnoj varijabli Jednačenje po parovima Jednačenje po distribuciji frekvencija

Jednačenje po zavisnoj varijabli l l Izjednačavanje po zavisnoj varijabli je potrebno da bismo razliku između predtesta i posttesta mogli objasniti samo tretmanom Primer: E i K grupu izjednačimo po brzini slaganja neke slagalice, pa damo tretman eksperimentalnoj grupi. U posttestu merimo razlike u brzini slaganja neke druge slagalice između grupa, i eventualnu razliku pripišemo dejstvu tretmana.

Jednačenje po parovima l l l Cilj je da se formiraju ekvivalentne grupe ispitanika po nekim varijablama Npr: ako želimo da ispitamo uticaj inteligencije na neku zavisnu varijablu (npr. brzinu učenja) Svim ispitanicima ćemo najpre izmeriti inteligenciju, pa ih poređati od najvišeg na najnižem. Zatim uzimamo prva dva ispitanika sa liste i jednog slučajno dodeljujemo E a drugog K grupi

Jednačenje po distribuciji frekvencija l l Ujednačavanje po svim varijablama Nakon što prikupimo mere svih objekata, formiraćemo grupe tako da im budu jednake aritmetičke sredine, standardna devijacija i asimetrija Ovako je gubitak objekata manji nego kod jednačenja po parovima Nedostatak: dobijene grupe ne moraju biti jednake po kombinaciji varijabli

II. Dodeljivanje u nacrtu sa ponovljenim merenjima l l Svi ispitanici se podvrgavaju svim tretmanima Nakon svakog tretmana se na tim ispitanicima meri zavisna varijabla U kompletnim nacrtima se koristi tehnika randomiziranih blokova ili ABBA uravnotežavanje. Koriste se svi mogući blokovi U nekompletnim istraživačkim nacrtima koristi se “latinski kvadrat” (tj. ne koriste se svi mogući blokovi)

Latinski kvadrat

Struktura istraživačkog projekta