Metaanaliza v raziskovanju druinske terapije Definicija in pomembnost

Meta-analiza v raziskovanju družinske terapije

Definicija in pomembnost • metodologija za povzemanje ugotovitev iz različnih kvantitativnih raziskav na določeno temo • Pogosto uporablja velikost učinka • Pogosto za povzemanje učinkovitosti psihoterapije.

Predvidevanja in zgodovina • Znanje, integrirano na osnovi večih raziskav, je boljše od tistega iz ene ločene raziskave – ustvarja tudi bolj splošne informacije. • Vseeno pa – “garbage in, garbage out” • Meta analize so izšle iz vedno večje prepoznave, da je bil napredek znanja preveč odvisen od testov statistične pomembnosti, ki skrči ugotovitve na “da” ali “ne”, kar povzroči izgubo mnogih pomembnih informacij (npr. velikost učinkov, kar npr. najbolj zanima praktike). • Pretirano zanašanje na teste statistične pomembnosti rezultira iz pretirane skrbi za napako tipa I (verjetnost, da bi našli pomembno razliko, ko je ni) in zanemarjanja vprašanje statistične moči in napake tipa II (verjetnost, da ne bomo našli razlike, čeprav obstaja) – večina raziskav (t. i. narrative reviews), kjer pregledujejo le statistično pomembnost, dobi veliko bolj konzervativne in manj točne zaključke o vplivu obravnave, kot pa meta-analize, ki vključujejo ocene velikosti učinka.

A B

Effect size A B Velikost učinka: Razlika med aritmetičnimi sredinami, izraženimi v enotah SD. Npr. Velikost učinka = 2 nam pove, da sta aritmetični sredini 2 enoti SD narazen.

Velikost učinka d = M 1 - M 2 / s n ali n d = M 1 - M 2 / spooled Spooled = Ö[(s ²+ s ²) / 2] n 1 2

Razmerje obetov (odds ratio) n n Razmerje obetov je osnovano na 2 X 2 kontingenčni tabeli, kot je ta: Razmerje obetov je razmerje uspehov v obravnavani skupini glede na razmerje uspehov v kontrolni skupini.

Metodologija 1. Izbira primernega raziskovalnega vprašanja za preverjanje. 2. Identifikacija pomembnih raziskav. 3. Vzpostavitev kriterijev za vključitev in izključitev raziskav. 4. Zbiranje podatkov in kodiranje. 5. Vnašanje podatkov. 6. Določanje in izračun skupnih mer. 7. Analiza podatkov 8. Pisanje poročila.

Raziskovalna vprašanja • • • Vprašanja o učinkovitosti obravnave • Možne različne stvari, vendar je odvisno od dostopnosti osnovnega raziskovanja o temi (npr. če je premalo osnovnih raziskav o določeni terapiji – ni možno) • Lahko bolj specifična (“Kakšen je učinek, če tim pokliče v terapevtsko sobo? ”) ali bolj splošna (“Kakšna je učinkovitost ZDT? ”) Metodološka vprašanja • npr. zanesljivost in veljavnost mer (točnost napovedi na osnovi dolžine vedenjskega opazovanja – Ambady in Rosenthal, 1992 – z daljšim opazovanjem napovedovanje ni bilo bolj točno) • Tudi – psihoterapevtski učinek v odvisnosti od npr. vrste vzorca, vrste uporabljenih mer, vdanosti raziskovalca … (raziskave pod strogo kontroliranimji pogoji v splošnem imajo višje velikosti učinka kot raziskave v bolj “resničnostnih” pogojih). Teoretična vprašanja: • Lahko testira tako glavne učinke (vsem parom bo koristil trening komunikacije), kot tudi interakcijske (parom iz srednjega razreda bo koristil trening komunikacije) • V glavnem – raziskovalec razvije model in potem testira model z uporabo meta-analitične tehnike, da bi povzel dokaze za te hipotetične odnose – najpogosteje se uporablja korelacija.

Vzorčenje in procedura izbire – identifikacija pomembnih raziskav • Na tak način, da so izbrane osnovne raziskave nepristranski vzorec raziskav primarnega raziskovanja, ki so dostopne • Zaradi omejitev (npr. ni dovolj raziskav glede srednjega razreda), se lahko spremeni raziskovalno vprašanje. • “Mešanje jabolk in hrušk” – problem zaradi različnih mer. • Seznam pomembnih člankov in knjig, standardni abstrakti (Psych. Info, ERIC, Social Science Citation Index …). Lahko se kontaktira pomembne osebe. Čas in skrb za ta korak sta bistvena za kvaliteto meta-analize.

• Primer: komunikacijski trening (KT): • Ročno in računalniško iskanje: z uporabo kombinacij ključnih besed: “par”, “komunikacija”, “obogatitev”, “zakon”, in “prevencija”. Glavni viri: Psychological Abstracts in Dissertation Abstracts International. Tudi Social Science Citation Index. Po preiskavi avtorjev so odkrili še nekaj raziskav v tisku. Večina KT raziskovanja je bila v doktorskih disertacijah – so jih dobili relativno poceni preko University Microfilm International. Nekaj člankov preko medknjižnične izposoje. • Primer AIDS: • Psych. LIT, Sociofile, ERIC – “AIDS”, “HIV”, “znanje”, “odnos”, “zaznave” in “vedenje”. Plus Dissertation Abstracts International -

• Pametno nato preveriti, ali bo meta analiza imela zadostno statistično moč, da bo našla statistično pomembne rezultate – za določitev moči glej Hedges in Pigott (2001).

Kriteriji vključevanja in izključevanja • • • Izbrati točno katere identificirane raziskave bodo vključene v meta analizo – potrebno je biti ekspliciten in dati razlog za izbor. Glavni kriteriji vključujejo: • Pomembnost za raziskovalno vprašanje • Zadostna podobnost variabel, načrta, vzorca in/ali mer (problem “jabolk in hrušk”). • Dostopnost raziskovalnega poročila. • Vključenost primernih in zadostnih podatkov in statističnih ugotovitev v raziskovalnem poročilu. • Odstranitev neodvisnih nizov podatkov (npr. dveh raziskav, ki sta izšle iz enake baze podatkov). Lahko tudi druge kriterije – npr. samo na klinični populaciji, samo tiste, ki so vključevale več kot enega družinskega člana, samo v določenem časovnem obdobju … Za vse je potrebno imeti razloge. Veljavnost zaključkov je odvisna od tega koraka. Ponavadi – izberemo raziskave z dokaj primerno metodologijo in potem sistematično ocenjujemo odnos različnih metodoloških problemov do rezultatov meta-analize. Pomembno je vključiti tudi velikosti učinkov neobjavljenih raziskav, ker so ponavadi objavljene raziskave, ki kažejo večjo velikost učinka. Ko so enkrat določeni kriteriji vključevanja, ni jasnega kriterija, koliko bi moralo biti raziskav (npr. Lipsey in Wilson (1993) navajata od 5 do 475).

Procedure zbiranja podatkov in kodiranja • Pridobiti potrebne podatke iz vsake raziskave. Najbolj pomembni podatki so relevantne velikosti učinka. Povzame se pa tudi druge podatke, ki opisujejo lastnosti raziskave – za opisovanje raziskav, ki so bile vključene v meta-analizo, kot tudi analiziranje spremenljivk, povezanih z velikostjo učinka. Povzete variable se razlikujejo glede na naravo in namen meta-analize, vendar so najbolj pogoste • Značilnosti vzorca, metodološka kvaliteta, neodvisne variable, moderatorske ali mediatorske variable. • Vključene morajo biti tudi podrobne informacije o merah, skupaj s primernimi numeričnimi rezultati. • Pomembno je razviti podroben kodirni sistem (v objavljenih metaanalizah je pogosto izjava, da se ga da dobiti pri avtorju). • Primeri:

• Vprašanje je, ali naj bi bila kvaliteta raziskave enojen konstrukt (kot je mera samopodobe) ali skupek lastnosti, ki nimajo nujno visoke notranje konsistentnosti (kot socioekonomski status ali lestvice stresnih življenjskih dogodkov). • Pomembno je treniranje ocenjevalcev (ki kodirajo) in preverjanje zanesljivosti – o skladnosti ocenjevalcev je potrebno poročati v opisu metode.

• 5 korak – vpisovanje podatkov, ponavadi v računalniško bazo.

Procedure analize podatkov • Po tem, ko so podatki iz vsake raziskave zbrani, skodirani , vnešeni in preverjeni glede točnosti in zanesljivosti – določiti in izračunati skupne mere (metric), ki jih bomo uporabljali. • Najpogostejša – ali standardizirana razlika med povprečji skupin (d = M 1 - M 2 / spooled) za kontinuirane odvisne variable; ali razmerje obetov (odds ratio) za kategorične odvisne variable (npr. ali so končali obravnavo ali ne); ali produkt-moment korelacijski koeficient (r). • Točne formule za računanje različnih mer velikosti učinka, kot tudi formule za pretvorbo različnih statistik (t, F, hi-kvadrat) v eno od osnovnih vrst skupne mere (Cohen, 1969; Glass in dr. , 1981; Hedges in Olkin, 1985; Rosenthal, 1991). • Če kakšna informacija manjka (npr. standardna deviacija), obstajajo načini, kako oceniti skupno mero. • Pogosto, če je zares velik vzorec, pa imamo samo podatek, da ni pomembne razlike, lahko označimo velikost učinka 0.

Interpretiranje velikosti učinka: • Ponavadi kategorizirane kot majhne, srednje in velike. • Raziskave, ki uporabljajo r statistiko produvirajo velikosti učinka, ki variirajo v velikosti med +1. 00 in -1. 00, kar odraža rang korelacije. Glede na Cohen (1969), velikost učinka, ki uporablja r statistiko, se smatra veliko, č je nad 0. 50, srednjo pri 0. 30, in majhno pri 0. 10. • Ko se uporablja standardizirana razlika med dvema skupinama (d statistika), velikosti učinka variirajo v velikosti od približno +3. 00 do -3. 00. Za velike se smatra, če so nad 0. 80, srednje pri 0. 50 in majhne pri 0. 20. • Meta analize ponavadi tudi testirajo, če je povprečje velikosti učinka pomembno različen od 0. To ponavadi naredijo z izračunom intervalov zaupanja (če vsebujejo 0, potem povprečje velikosti učinka ni statistično pomembno različen od 0).

Enota analize in obtežitev: - Pred nadaljnjo analizo se lahko podatke kombinira ali obteži. Problem je, ker je v eni raziskavi lahko npr. več velikosti učinka (npr. več instrumentov) in redko se uporablja vsako ločeno velikost učinka kot enoto analize. - Nekateri – naj bi bila raziskava sama enota analize. Naj bi se velikosti učinka ene raziskave združile v eno velikost učinka. Vendar je s tem lahko izgubljeno veliko točnosti. Kompromisna alternativa je kombinirati povezane velikosti učinka glede na nekaj ključnih konstruktov, in s tem omejiti število velikosti učinka, vendar še vedno pustiti več kot eno velikost učinka na raziskavo. - Možno je tudi vzeti posebno meta-analizo za določene mere (npr. samoporočevalske) in ločeno za druge (npr. opazovalne mere). - Meta analize pogosto tudi obtežijo posamezne raziskave (npr. glede na numerus (Hedges in Olkin, 1985, str. 81, enačba 10), nekatere ne uporabljajo obtežitve, nekatere pa izračunajo skupne mere za različne značilnosti velikosti učinka (npr. tistih iz nenaključnih vzorcev in tistih iz naključnih …).

Statistična analiza raziskovalnih vprašanj: • Tehnike so postale vedno bolj sofisticirane (Hedges in Olkin, 1985, Hunter in Schmidt, 1990) – predvsem je treba paziti na homogenost variance. • Kot primarnem raziskovanju statistična analiza gre od opisa (centralna tendenca, varianca, rang, distribucija) do analize raziskovalnih vprašanj v terminih neodvisnih in odvisnih variabel, z uporabo analize variance in/ali regresijskih tehnik.

Format za poročanje meta-analize • • • Bolj blizu kvantitativni raziskavi. Predstavitvi raziskovalnega vprašanja in relevantnem pregledu literature sledi poglavje metoda, rezultati in razprava rezultatov. Poglavje reference pogosto, vendar ne vedno, vsebuje dva dela: eden za tiste, omenjene v članku, in drugi za tiste raziskave, ki so bile vključene v meta-analizo. Vsebina pa se razlikuje – v metodi namesto opisovanja vzorca, meta analiza opiše identifikacijo in pridobivanje raziskav, kriterije za vključitev/izključitev, in lastnosti raziskav. Pogosto zadnje vključuje tudi poglavje o raziskovalnih udeležencih (npr. spol, starost, SES, …) vendar ponavadi preko vseh raziskav, ne vsake posebej. Namesto instrumentov je vključeno, kako so bile neodvisne in odvisne variable grupirane, skupaj z opisom načinov izračuna velikosti učinka. Mere metodološke adekvatnosti so opisane, kot tudi procedure za zagotavljanje točnost in zanesljivost kodiranja. Poglavje rezultati vsebuje statistične analize preko raziskav. Razprava vsebuje, tako kot tudi druga poročila, evaluacijo rezultatov, povezavo z literaturo in implikacije za raziskovanje in prakso.

Prednosti / slabosti • Prednost- točnost, objektivnost. Vrednost je predvsem v tem, da kombinira več raziskav, zato se na rezultate lahko bolje zanesemo. • Ni uporabna tam, kjer primanjkuje primarnega raziskovanja. • Ni možno meta-analize na kvalitativnih podatkih. • Ponavadi ni opisa kakšnih specifičnosti (npr. specifičen opis mer in obravnav, ni primerov ali transkriptov, ki bi ilustrirale ugotovitve raziskave). • Mogoče je najbolj problematično to, da je lahko slabo izvedena, pa vseeno naredi vtis, ker trdi, da je povzetek več raziskav (npr. 70% stopnja uspeha). Ob vrednotenju ugotovitev je potrebno biti pozoren tudi na metodologijo.

Zanesljivost in veljavnost Kvaliteta meta analize – jasna in eksplicitna metodologija, tako da se meta-analiza lahko ponovi. Pomembno vključiti: - procedure za vključitev vseh pomembnih raziskav, - jasne kriterije za vključitev raziskave, - procedure za oceno točnosti in zanesljivosti - pridobitve informacij iz raziskav - ocena odnosa med metodološko kvaliteto posameznih raziskav in rezultati meta-analize. Veljavnost meta-analize počiva na kvaliteti posameznih raziskav, ki so vključene.

Potrebne veščine • Predvsem konceptualne in analitične veščine (kako postaviti pravilno vprašanje in kako organizirati rezultate mnogih raziskav na pomemben in jasen način) • Pomembno tudi poznavanje metodologije primarnega raziskovanja + posebno znanje o meta-analizah.

Pomen za prakso in prihodnost • Pomagajo pri odločanju, ne povejo pa mogoče toliko o tem, kako obravnavati določen par ali družino. • Do sedaj v ZDT samo za evalvacijo splošne učinkovitosti obravnave – še več tega raziskovanja je potrebnega. Na mnogih področjih pa bodo meta-analize morale počakati več primarnih raziskav, ne nekaterih pa bi bile že možne (npr. družinski psihoedukacijski pristopi, družinska terapija za problematične mladostnike, obravnave drog in alkohola …). • Uporabno tudi za raziskovanje komponent terapije, pogojev uspeha, usklajenost med vrsta problema in terapijo in lastnosti terapevta in treninga; pa tudi za evalvacijo metodoloških raziskav v ZDT raziskovanju (predvsem veljavnosti različnih opazovalnih in samoporočevalskih mer o funkcioniranju para in družine).