Kritisk granskning av kvantitativ studie Isabella Pistone 200901

Kritisk granskning av kvantitativ studie Isabella Pistone, 200901 GÖTEBORGS UNIVERSITET

Eftermiddagen • Introduktion av kursmomenten • Introduktion om RCT: er och kvalitetsbedömning • Övning i kvalitetsbedömning GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

Varför systematiska översikter? • Undvika godtyckligt införande av nya metoder genom sammanställning och värdering av befintlig forskning • Inte tid, resurser, kompetens (? ) hos enskilda professionella att utföra utvärderingar på klinikerna • Vägen till vård/omsorg som baseras på bästa tillgängliga kunskap (EBP) GÖTEBORGS UNIVERSITET

Smaka på stegen för systematiska översikter Steg 1: Fokuserad fråga (PICO) Steg 2: Litteratursökning Steg 3: Relevansbedömning av studier Steg 4: Dataextraktion och tabellering Steg 5: Kvalitetsbedömning av inkluderade studier Steg 6: Formulering av resultat och slutsatser Steg 7: Evidensgradering av slutsatser (bedöma tillförlitlighet) GÖTEBORGS UNIVERSITET

1. 1 a beslutsproblemet Ett problem i din eller någon verksamhet • Vad handlar om evidens? – Vilken betydelse har evidens för er? – Hur mycket möjlighet och hur mycket problem? • Vad handlar om andra faktorer? – Vilka? GÖTEBORGS UNIVERSITET

Modell för analys • Vilka är aktörerna? (olika nivåer: individ ==> stat) • Vilka är handlings-/beslutsalternativen • Vilka är berörda parter? • Vilka är de förväntade konsekvenserna av alternativen • Vilka värden står på spel (i ljuset av olika etiska uppfattningar)? • Vilken sorts forskningsresultat skulle kunna stödja er i hantering av beslutsproblemet? (leder till PICOt…) • Hur kan dessa värden vägas samman i ljuset av fakta och olika etiska uppfattningar? • ANALYTISKT RESULTAT: beskrivning av ett beslutsproblem med dilemman och spänningar. • ”Lösning” av problemet kräver normativa ställningstaganden angående vilken av alternativa uppfattningar inklusive evidensläget som är viktigast och mest välgrundad. GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

1. 1 b PICO – fokuserad frågeställning • Från komplexitet till klarhet • PICO hjälper till att få fram ”spetsiga svar” genom tydliga frågeställningar • PICO – population, intervention, comparison, outcome Förenklar litteratursökning, mer specifik sökning leder till färre (men relevanta) sökträffar. Används för att välja ut vilka studier som ska inkluderas och exkluderas Minskar risken för överinklusion och osäkerhet vid urvalsbedömning – mindre överarbete. En från början välstrukturerad fråga minskar risken för personligt bias. GÖTEBORGS UNIVERSITET

Kriterier för inklusion och exklusion Genom PICO fastställs de huvudsakliga kriterierna, men dessa behöver kompletteras med andra aspekter för att kunna genomföra relevansgranskning Ex. kontext, arena, studiedesign, publikationsår, behandlingstid, uppföljningstid, publikationstyp Dessa ska enligt den strikta metoden formuleras innan litteratursökning och urvalsprocess! GÖTEBORGS UNIVERSITET

Vilken effekt har individuell samtalsbehandling i kombination med direkt patientfeedback, specifikt med PCOMS feedbackmodell, jämfört med individuell samtalsbehandling utan feedback? 1. 1 b Utvidgat PICO Urvalskriterier för relevansgranskning Population: Vuxna personer som själva sökt samtalsbehandling (ej tvångsbehandling) i öppenvård Publikationsform Publikationsår Kulturell kontext Fackgranskade vetenskapliga studier Ej äldre än 2010 Studier relevanta för svenska förhållanden Intervention: Samtalsbehandling med direkt patientfeedback med PCOMS Population Vuxna personer som själva sökt samtalsbehandling i öppenvård (ej tvångsbehandling) Samtalsbehandling med direkt patientfeedback med PCOMS C Kontrollgrupp: TAU (samtalsbehandling utan feedback) O Resultat: Patientens upplevelse av välmående mätt med skattningsformuläret ORS GÖTEBORGS UNIVERSITET Insats Arena Alla arenor inom öppenvård Studiedesign Utvärderande studier med jämförelsegrupp Utfall Välmående mätt med ORS

GÖTEBORGS UNIVERSITET

1. 1 c Systematisk sökning och val av studie • Målet är att fånga alla för frågeställningen relevanta studier. • En viktig princip för att minska risken för att slump och godtycklighet påverkar översiktens slutsatser! • Inkludera och exkludera studier med hjälp av PICO Tobias Pernler hjälper er med grunderna i systematiska sökningar imorgon! GÖTEBORGS UNIVERSITET

1. 1 c Systematisk sökning inlämning - Ange sökstrategi (söksträngar och databaser) - Beskriv gallringsprocessen genom flödesdiagrammet - Lämna in den valda artikeln GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

1. 1 d Tabellering och extrahering Tabeller ökar transparens och ger tydlighet • Tabell 1 – inkluderade studier med de viktigaste aspekterna • Tabell 2 – Exkluderade studier med exklusionsorsak GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

1. 1 e kvalitetsgranskning av egen artikel • Granska den valda studien med hjälp av HTA: s granskningmall • Skriv ner kommentarer i granskningsmallen eller i ett separat dokument 1. 1 f kvalitetsgranskning av medstudents artikel • Granska medstudents studie inklusive kommentarer GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

1. 1 g Summering av hela granskningen • Sammanställa alla delar till en helhet Kan vid behov ändra i PICO, beslutsproblem, granskning… Kort reflektion om intressanta skillnader i din resp. medstudents granskningar av studien • Dra slutsatser om resultat och tillförlitlighet av resultat Fyll i HTA: s resultattabell Skriv ut dina slutsatser i text • Reflektera över vad granskningen faktiskt kan och inte kan bidra med till ditt beslutsproblem. Vad i beslutsproblemet som får resp. inte får stöd av forskningsresultaten GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

Välbehövlig paus!!! GÖTEBORGS UNIVERSITET

Kritisk granskning inom EBP: två versioner • Critical appraisal • Systematiska översikter och riktlinjer • Kvalitetsbedömning av kvantitativ studie: hur trovärdiga är studiens resultat för vår fråga? GÖTEBORGS UNIVERSITET

Två sätt att bedöma vetenskaplig kvalitet • Evidenshierarkin – studiedesigns • Kvalitetsbedömningsmallar GÖTEBORGS UNIVERSITET

Studiedesign – vad innebär det? • Hur man har valt att utföra sin studie • Studiedesigner kan ha olika innebörd och benämnas på olika sätt i olika forskningsområden • Övergripande ”studietyper”, men varje enskild studie är unik GÖTEBORGS UNIVERSITET

Studiedesigns inom EBP Hierarki av studiedesign inom evidensbasering Bygger på de olika studiedesignernas förmåga att påvisa orsakssamband RCT anses överlägsen eftersom de (med hög sannolikhet) är fria från förväxlingsfaktorer GÖTEBORGS UNIVERSITET

Två kategorier av kvantitativa studiedesigner • Experiment - RCT, Icke-randomiserad kontrollerad studie, före- och efterstudie • Observation - kohortstudie, fall- kontrollstudie, tvärsnittsstudie För att lära dig mer om studiedesign, se filmerna från HTA: s föreläsningar i modulen ”studiedesigns” GÖTEBORGS UNIVERSITET

Randomiserad kontrollerad studie Insats Innan studien påbörjas Urval Utfall Sjukdom Insats • Ingen sjukdom • • Randomisering Sjukdom Kontrollgrupp Ingen sjukdom Prospektiv (framåt i tiden) GÖTEBORGS UNIVERSITET Slumpen leder till att förväxlingsfaktorer fördelas jämnt mellan grupperna Kontroll över insatsen Bästa designen för att säkerställa orsakverkansamband

Randomiserad kontrollerad studie + Starkaste evidens för att påvisa orsakverkansamband + Starkaste evidens för att utvärdera effekt av en behandling, terapi, insats + Balanserar förväxlingsfaktorer - Tidskrävande - Dyr - Etiska betänkligheter GÖTEBORGS UNIVERSITET

Validitet • Intern validitet – hög vid RCT Ø Mäter vad den uppger Ø Undviker systematiska fel • Extern validitet – låg vid RCT Ø Applicera i klinisk vardag GÖTEBORGS UNIVERSITET

Insats Innan studien påbörjas Utfall Sjukdom Insats • Ingen sjukdom • Urval Randomisering Sjukdom Kontrollgrupp Ingen sjukdom Prospektiv (framåt i tiden) GÖTEBORGS UNIVERSITET Slumpen leder till att förväxlingsfaktorer fördelas jämnt mellan grupperna Bästa designen för att säkerställa ett orsakverkansamband

Varför randomisering? • Skapar lika grupper med avseende på både kända och okända riskfaktorer • Minimerar risken att förväxlingsfaktorer påverkar tolkningen av utfallet • Minimerar risken för selektionsbias GÖTEBORGS UNIVERSITET

Blindning Insats Innan studien påbörjas Utfall Sjukdom Insats Ingen sjukdom Urval Randomisering Sjukdom Kontrollgrupp Ingen sjukdom Prospektiv (framåt i tiden) GÖTEBORGS UNIVERSITET

Blindning • Aktörer delaktiga i studien känner ej till vilken behandling som ges (insats/kontroll) • Blinda så mycket som möjligt, så många personer som möjligt, så många moment som möjligt • Etiska och praktiska begränsningar • Minimerar behandlingsbias (förväntningar på resultatet kan påverka utfallet, mätningar av utfallet, analyser) GÖTEBORGS UNIVERSITET

Uppföljning (follow-up) • Tillräckligt lång för att insatsen ska hinna ge effekt och se fortsatt effekt • Minimera bortfall • Samma uppföljningstid för båda grupperna GÖTEBORGS UNIVERSITET

Analys • Intention-to-treat ITT Ø Alla deltagare inkluderas oberoende av bortfall, följsamhet mm. Ø Bibehåller slumpmässiga gruppindelningen Ø Bortfall och brister i följsamhet ska noga dokumenteras Ø Grupperna blandas upp med bortfall, risk för utspädningseffekt • Per protokoll-analys Ø Bortser från ev. viktig info om bortfall och följsamhet Ø Analys utifrån de som följer studieprotokollet Ø Frångår randomiseringen Ø Inför ett nytt element av subjektivitet i val av exklusion GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

Bortom evidenshierarkin Ø Beroende på vad man vill veta passar olika studiedesigner olika bra Ø Orsakverkan-samband/riskfaktorer/prevalens i en befolkning Ø Både fördelar och nackdelar inbyggt i de olika studiedesignerna - viktiga att förstå vid användning av studiernas resultat Ø Utöver studiedesign finns kvalitetsskillnader mellan enskilda studier Ø Bedöma risken för att resultaten har påverkats av systematiska fel (bias) på grund av hur den har utförts GÖTEBORGS UNIVERSITET

Självstudier • Mer om olika studiedesigns och HTA: s kvalitetsbedömningsmall i föreläsningarna på Canvas och SBU: s metodbok • Läs på om olika studiedesigns beroende på relevans för ditt problemområde GÖTEBORGS UNIVERSITET

Kvalitetsgranskning av kvantitativa studier • Ta ställning till hur stor risken är att resultaten hos en enskild studie är snedvridna (risk för systematiska fel eller ”bias”) • Synliggöra studiens begränsningar • Granskningsmallar för en transparent och systematisk granskning (SBU, HTA, Joanna Briggs Institute, Cochrane etc. ) GÖTEBORGS UNIVERSITET

Studiekvalitet • Metodologi (intern validitet) - Finns det begränsningar i studiens upplägg? • Generaliserbarhet (extern validitet) - Går studiens resultat att applicera utanför studien? • Precision (studiestorlek) - Är studien tillräckligt stor för att kunna svara på frågan? Är resultaten precisa? Statistiskt signifikanta? GÖTEBORGS UNIVERSITET

HTAs granskningsmall • Extern validitet • Intern validitet - Tilldelning av insats/behandling/åtgärd - Gruppernas jämförbarhet - Blindning - Uppföljning - Bortfall - Följsamhet - Rapportering av effektmått och biverkningar • Precision GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

Extern validitet Sammanvägning: låg, medelhög eller hög risk för bristande generaliserbarhet? GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

Blindning • Deltagare/patient/klient/brukare • Behandlare • Försöksledare • Utvärderare • Ibland är det inte möjligt att blinda en insats! GÖTEBORGS UNIVERSITET

Uppföljning Var uppföljningen tillräckligt lång och tillräckligt fullständig? I förhållande till förväntad effekt av insatsen och för att mäta avklingande effekt GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

Sammanvägning av intern validitet • Frågorna 2 -8 (selektionsbias, behandlingsbias, bedömningsbias, bortfallsbias, rapporteringsbias) • Övergripande bedömning av intern validitet: låg, medelhög eller hög risk för systematiska fel? GÖTEBORGS UNIVERSITET

Precision • Studiestorlek och styrka (powerberäkningar) • Klinisk relevans och statistisk signifikans GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

Sammanvägning av precision • Låg, medelhög eller hög risk för låg precision? (imprecision) GÖTEBORGS UNIVERSITET

GÖTEBORGS UNIVERSITET

Sammanvägd bedömning • Extern validitet • Intern validitet • Precision • Bindningar och jäv • Låg, medelhög eller hög risk för systematiska fel som riskerar snedvridna resultat? GÖTEBORGS UNIVERSITET

ÖVNING • Gör kvalitetsgranskningen • Fyll i pollen i zoom (10 frågor) • Vi går igenom frågorna tillsammans • Gör sedan den sammanvägda bedömningen i ny poll GÖTEBORGS UNIVERSITET

Studiens slutsats ”Both the intervention (NNBT) and the control treatment (STre. SS) showed significant effects at the end of treatment (main end-point measure). These were expressed as a higher aggregate general well-being score (PGWBI, primary outcome) and a lower average burnout score (SMBQ, secondary outcome). No significant difference was found between the two treatments with regard to primary and secondary outcomes. The effect was sustained at all time points after treatment. ” …i förhållande till de begränsningar som synliggjorts i granskningen GÖTEBORGS UNIVERSITET