Einfhrung in die Metaanalyse Steps of a Cochrane

Einführung in die Metaanalyse

Steps of a Cochrane review 1. Fragestellung festlegen 2. Auswahlkriterien definieren 3. Methoden definieren 4. Studien suchen 5. Auswahlkriterien anwenden 6. Daten extrahieren 7. Bias-Risiko der Studien bewerten 8. Ergebnisse analysieren und darstellen 9. Ergebnisse interpretieren und Schlussfolgerungen ziehen 10. Review optimieren und aktualisieren cochrane training

Überblick • Prinzipien der Metaanalyse • Schritte einer Metaanalyse • Ergebnisse berichten Siehe Kapitel 9 im Handbuch cochrane training

Studienebene ↓ Studie A Ergebnisse Effektmaß Studie B Ergebnisse Effektmaß Reviewebene ↓ Effektmaß Studie C Ergebnisse Effektmaß Studie D Ergebnisse Effektmaß Quelle: Jo Mc. Kenzie & Miranda Cumpston cochrane training

Was ist eine Metaanalyse? • Kombiniert die Ergebnisse von 2 oder mehreren Studien • Schätzt einen ‘mittleren’ oder ‘gemeinsamen’ Effekt • Optionaler Teil eines systematischen Reviews Systematische Reviews Quelle: Julian Higgins Metaanalyse n cochrane training

Warum wird eine Metaanalyse gemacht? • Quantifizieren der Wirksamkeit einer Behandlung und der Unsicherheit • Power erhöhen • Präzision verbessern • Unterschiede zwischen Studien untersuchen • Widerspruch zwischen Studienergebnissen auflösen • Neue Hypothesen generieren Quelle: Julian Higgins cochrane training

Wann sollte keine Metaanalyse gemacht werden • Äpfel mit Birnen vergleichen • Jede Studie muss die gleiche Frage haben • Vergleich und Endpunkte betrachten • Erfordert subjektive Einschätzung • Wenn eine breitgefächerte Auswahl von Studien kombiniert wird, kann auch nur eine weitgefasste Frage beantwortet werden • Wenn Studien zu unterschiedlich, ist Antwort möglicherweise nicht aussagekräftig oder tatsächliche Studieneffekte werden nicht sichtbar Quelle: Julian Higgins cochrane training

Wann sollte keine Metaanalyse gemacht werden • “garbage in – garbage out” • Metaanalyse ist nur so gut wie die eingeschlossenen Studien • Falls Ergebnisse eingeschlossener Studien verzerrt sind: • ist Ergebnis der Metaanalyse ebenfalls nicht korrekt • führt zu höherer Glaubwürdigkeit und engerem Konfidenzintervall des Ergebnisses • Bei erheblichem Reporting-Bias führt eine nicht repräsentative Studienauswahl zu irreführenden Ergebnissen Quelle: Julian Higgins cochrane training

Wann kann eine Metaanalyse durchgeführt werden? • Mehr als eine Studie hat den gleichen Endpunkt gemessen • Studien sind hinreichend ähnlich, um in der Metaanalyse (MA) ein aussagekräftiges und nützliches Ergebnis zu erzielen • Endpunkte wurden mit ähnlichen Methoden erhoben • Daten sind in einem nutzbaren Format vorhanden cochrane training

Überblick • Prinzipien der Metaanalyse • Schritte einer Metaanalyse • Ergebnisse berichten cochrane training

Schritte einer Metaanalyse • Festlegen, welche Vergleiche betrachtet werden sollen • z. B. Aktiv versus Placebo • Festlegen, welche Endpunkte und stat. Kenngrößen benutzt werden sollen • Daten aus jeder relevanten Studie extrahieren • Ergebnisdaten kombinieren, um einen zusammengefassten (‘gepoolten’) Effektschätzer zu erhalten • Unterschiede zwischen den Studien untersuchen • Ergebnisse interpretieren cochrane training

Vergleiche auswählen Hypothetischer Review: Koffein bei Schläfrigkeit am Tag Normaler Kaffee • • • vs Dekoffeinierten Kaffee Thema in paarweise Vergleiche unterteilen Review kann einen oder mehrere Vergleiche enthalten Abwägen was in einem Vergleich zusammengefasst werden kann bzw. besser als separater Vergleich behandelt wird cochrane training

Endpunkte & Effektmaße festlegen Hypothetischer Review: Koffein bei Schläfrigkeit am Tag Normaler Kaffee vs Dekoffeinierten Kaffee • Wachzustand ja/nein (RR) • Reizbarkeit (MD/SMD) • Kopfschmerz ja/nein (RR) Für jeden Vergleich Endpunkte festlegen Für jeden Endpunkt ein Effektmaß festlegen • • • Hängt davon ab, welche Daten aus den eingeschlossenen Studien extrahiert werden können cochrane training

‘Gepoolten’ Schätzer berechnen • Aus jeder Studie, die Ergebnisdaten beiträgt, die aggregierten Effektmaße extrahieren • Wie können diese Daten zusammengefasst werden? • Als eine große Studien betrachten, d. h. Daten der Interventions- & Kontrollgruppen zusammenzählen? • Falsch, da Randomisierung durchbrochen würde • Einfacher Mittelwert? • Falsch, da alle Studien würden gleich gewichtet, aber einige Studien schätzen den ‘wahren Effekt’ besser als andere • Gewichteter Mittelwert (weighted average) cochrane training

Studien gewichten • Studien, die mehr Information beitragen, erhalten mehr Gewicht • Mehr Teilnehmer. Innen, mehr Ereignisse, mehr Präzision (engeres Konfidenzintervall) • Berechnung mittels Effektschätzer und Varianz • Methode der inversen Varianz: cochrane training

Beispiel Kopfschmerz Koffeinfrei Amore-Coffea 2000 2/31 10/34 Deliciozza 2004 10/40 9/40 Mama-Kaffa 1999 12/53 9/61 Morrocona 1998 3/15 1/17 Norscafe 1998 19/68 9/64 Oohlahlazza 1998 4/35 2/37 Piazza-Allerta 2003 8/35 6/37 Gewicht cochrane training

Beispiel Kopfschmerz Koffeinfrei Gewicht Amore-Coffea 2000 2/31 10/34 6. 6% Deliciozza 2004 10/40 9/40 21. 9% Mama-Kaffa 1999 12/53 9/61 22. 2% Morrocona 1998 3/15 1/17 2. 9% Norscafe 1998 19/68 9/64 26. 4% Oohlahlazza 1998 4/35 2/37 5. 1% Piazza-Allerta 2003 8/35 6/37 14. 9% cochrane training

Verschiedene Berechnungsmethoden für Metaanalyse • Für dichotome oder kontinuierliche Daten • inverse Varianz • Generell anwendbare Methode • Nur für dichotome Daten • Mantel-Haenszel (Standard) • Gut wenn wenige Ereignisse vorliegen (häufig in Cochrane Reviews) • Methode der Gewichtung hängt vom Effektmaß ab • Peto • Nur für Odds Ratios • Gut wenn wenige Ereignisse vorliegen und Effekte klein sind (OR ≈ 1) cochrane training

Metaanalyse: Berechnungsmethoden cochrane training

Überblick • Prinzipien der Metaanalyse • Schritte einer Metaanalyse • Ergebnisse berichten cochrane training

Ein Wald (forest) aus Linien cochrane training Trees Joyce Kilmer Forest by charlescleonard http: //www. flickr. com/photos/charlescleonard/3754931947/

Forest plot Kopfschmerz nach 24 Stunden • Definition des Vergleiches in Überschrift cochrane training

Forest plot Kopfschmerz nach 24 Stunden • Liste eingeschlossener Studien cochrane training

Forest plot Kopfschmerz nach 24 Stunden • Rohdaten aus jeder Studie cochrane training

Forest plot Kopfschmerz nach 24 Stunden • Gesamtzahl der Patient. Innen und Ereignisse in allen Studien cochrane training

Forest plot Kopfschmerz nach 24 Stunden • Gewicht, das jeder Studie gegeben wird cochrane training

Forest plot Kopfschmerz nach 24 Stunden • Zahlenangaben: Effektschätzer für jede Studie mit 95% CI cochrane training

Forest plot Kopfschmerz nach 24 Stunden • Forest plot: Effektschätzer für jede Studie mit 95% CI cochrane training

Forest plot Kopfschmerz nach 24 Stunden • Skalierung und Richtung des Effekts cochrane training

Forest plot Kopfschmerz nach 24 Stunden • Gepoolter Effektschätzer aus allen Studien, mit 95% CI cochrane training

Konfidenzintervalle interpretieren • Schätzer sollte immer mit Konfidenzintervall angegeben werden • Präzision • Punktschätzer (point estimate) kann als plausibelster Wert betrachtet werden • CI drückt Unsicherheit aus • Wertebereich, in dem der wahre Effekt mit aller Wahrscheinlichkeit enthalten ist • Signifikanz • Falls CI Nullwert einschliesst • heißt dies nur in wenigen Fällen, dass Unwirksamkeit (no effect) nachgewiesen ist • kann Effekt möglicherweise nicht mit vorhandenen Daten bewiesen oder widerlegt werden • Ab welcher Größe ist Veränderung klinisch relevant? cochrane training

Klinische Relevanz einschätzen cochrane training Based on Sanders S, Glasziou PP, Del Mar C, Rovers MM. Antibiotics for acute otitis media in children. Cochrane Database of Systematic Reviews 2004, Issue 1. Art. No. : CD 000219. DOI: 10. 1002/14651858. CD 000219. pub 2.

Ergebnisteil eines Reviews • Systematische, narrative Zusammenfassung der Ergebnisse • Forest plots • Wichtige Forest plots werden als Grafik verlinkt • in der Regel für primäre Endpunkte • Alle Forest plots werden im Anhang publiziert • Forest plots mit nur einer Studie sind zu vermeiden • Weitere Tabellen können sinnvoll sein für • Ergebnisse einzelner Studien • Mittelwerte in jeder Gruppe, Effektschätzer, Konfidenzintervalle • Studiendaten, die nicht in MA eingeschlossen werden konnten • Es ist nicht sinnvoll, triviale oder offensichtlich verzerrte Ergebnisse zu berichten cochrane training

Was sollte im Protokoll enthalten sein? • Kriterien, anhand derer Sie entscheiden wollen, ob eine Metaanalyse angemessen ist • Welche Berechnungsmethode für Metaanalyse verwendet werden soll cochrane training

cochrane training

Fazit • Durchführung einer Metaanalyse hat Vorteile ist jedoch nicht immer möglich (oder angemessen) • Metaanalyse muss gut geplant werden, inklusive Vergleiche, Endpunkte und Berechnungsmethode • Forest plots stellen die Ergebnisse einer Metaanalyse grafisch dar • Ergebnisse müssen mit Vorsicht interpretiert werden cochrane training

Quellen Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and undertaking Metaanalyses. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5. 1. 0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www. cochrane-handbook. org. Schünemann HJ, Oxman AD, Higgins JPT, Vist GE, Glasziou P, Guyatt GH. Chapter 11: Presenting results and ‘Summary of findings' tables. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5. 1. 0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www. cochranehandbook. org. • • Danksagung • • Zusammengestellt von Miranda Cumpston Basierend auf Unterlagen des Australasian Cochrane Zentrums, des UK Cochrane Zentrums und der Cochrane Statistical Methods Group. Englische Version freigegeben vom. Cochrane Methods Board Übersetzt in Kooperation zwischen dem Deutschen Cochrane Zentrum (Jörg Meerpohl, Laura Cabrera, Patrick Oeller), der Österreichischen Cochrane Zweigstelle (Barbara Nußbaumer, Peter Mahlknecht, Isolde Sommer, Jörg Wipplinger) und Cochrane Schweiz (Erik von Elm, Theresa Bengough) cochrane training