Explorando la heterogeneidad Pasos de una revisin sistemtica

Explorando la heterogeneidad

Pasos de una revisión sistemática Cochrane 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. Formular la pregunta Planificar los criterios de elegibilidad Planificar la metodología Buscar los estudios Aplicar los criterios de elegibilidad Obtener los datos Evaluar el riesgo de sesgo de los estudios Analizar y presentar los resultados Interpretar los resultados y obtener conclusiones Mejorar y actualizar la revisión cochrane training

Índice • • ¿Qué es la heterogeneidad? Asunciones sobre heterogeneidad Identificando la heterogeneidad Explorando los resultados Ver el capítulo 9 del Handbook cochrane training

¿Qué es la heterogeneidad? Variación o diferencias • Tres grandes tipos: • clínica • metodológica • estadística cochrane training

Diversidad clínica • participantes • e. g. condición, edad, género, localización, criterios de elegibilidad del estudio • intervenciones • intensidad/dosis, duración, modo de administración, componentes adicionales, experiencia profesional, control (placebo, ninguno, tratamiento habitual) • desenlaces • Duración del seguimiento, modo de medición, definición del suceso, puntos de corte cochrane training

Diversidad metodológica • diseño • e. g. aleatorizado vs no aleatorizado, cruzado vs paralelo, aleatorización individual vs por conglomerados • realización • e. g. riesgo de sesgo (ocultación de la asignación, enmascaramiento, etc. ), estratégia de análisis cochrane training

Heterogeneidad estadística • Siempre existirá cierta variabilidad aleatoria (muestral) variation entre los resultados de distintos estudios • La heterogeneidad es la variabilidad entre los efectos evaluados en los distintos estudios • Causada por diversidad clínica y metodológica • Alternativa a la homogeneidad (la intervención tiene el mismo efecto en todos los estudios) • Los resultados de los estudios difieren más unos de otros que si la variabilidad aleatoria fuera la única fuente de las diferencias entre estimaciones de efecto de la intervención cochrane training

Índice • • ¿Qué es la heterogeneidad? Asunciones sobre heterogeneidad Identificando la heterogeneidad Explorando los resultados cochrane training

Efectos fijos vs efectos aleatorios • Hay dos modelos de metanálisis disponibles en Rev. Man • Se basan en asunciones diferentes sobre la heterogeneidad • Es necesario pre-specificar en el protocolo la estratégia planificada cochrane training

Modelo de efectos fijos Error aleatorio (muestral) • Asume que todos los estudios miden un mismo efecto del tratamiento • Estima este efecto único • Si no hubiera error aleatorio (muestral), todos los resultados serían idénticos Resultado del estudio Fuente: Julian Higgins Efecto real común cochrane training

Modelo de efectos aleatorios Error aleatorio • Asume que el efecto del tratamiento varía entre estudios • Estima el promedio de la distribución de los efectos • Pondera por la variabilidad intra-estudio y entre-estudio (tau 2, 2) Efecto específico del estudio Fuente: Julian Higgins Promedio de los efectos de los estudios cochrane training

¿Cuál es la diferencia? • Los metanálisis de efectos aleatorios son: • Casi idénticos a los de efectos fijos cuando no hay heterogeneidad • Similares a los de efectos fijos pero con intervalos de confianza más amplios cuando existe heterogeneidad del tipo asumido por el modelo de EA • Diferentes a los de efectos fijos cuando los resultados están relacionados al tamaño de los estudios • El modelo EA da más peso a los estudios más pequeños que EF cochrane training

Sin heterogeneidad Fixed Random cochrane training Adaptado de Ohlsson A, Aher SM. Early erythropoietin for preventing red blood cell transfusion in preterm and/or low birth weight infants. Cochrane Database of Systematic Reviews 2006, Issue 3.

Cierta heterogeneidad Fixed Adaptado de Adams CE, Awad G, Rathbone J, Thornley B. Chlorpromazine versus placebo for schizophrenia. Cochrane Database of Systematic Reviews 2007, Issue 2. Random cochrane training

Impacto de los estudios pequeños Fixed Adaptado de Li J, Zhang Q, Zhang M, Egger M. Intravenous magnesium for acute myocardial infarction. Cochrane Database of Systematic Reviews 2007, Issue 2. Random cochrane training

¿Cuál elegir? • Planificar la estratégia en la etapa de protocolo • ¿Es razonable esperar que los resultados sean muy diversos? • Considerar las asunciones subyacentes a cada modelo • Efectos fijos • Puede ser poco realista– ignora la heterogeneidad • Efectos aleatorios • Permite la heterogeneidad • La estimació de la distribució de efectos puede ser poco precisa si existen sesgos, hay pocos estudios o pocos eventos cochrane training

Índice • • ¿Qué es la heterogeneidad? Asunciones sobre heterogeneidad Identificando la heterogeneidad Explorando los resultados cochrane training

Identificando la heterogeneidad • Inspección visual de los gráficos de árbol (forest plots) • Test de chi-cuadrado (c 2, Q test) • Estadística I 2 para cuantificar la heterogeneidad cochrane training

Inspección visual Forest plot A Forest plot B cochrane training

El test de chi-cuadrado (c 2) • Contrasta la hipótesis nula de homogeneidad • Poca potencia si hay pocos estudios • Puede detectar diferencias clínicamente irrelevantes si hay muchos estudios • Respuesta restringida (si/no) poco útil si la heterogeneidad es inevitable • Calculado automaticamente por Rev. Man cochrane training

El estadístico I 2 • El estadístico I 2 describe el porcentaje de variabilidad debida a heterogeneidad y no al azar (0% a 100%) • Valores bajos indican poca o nula heterogeneidad • Valores altos indican elevada heterogeneidad • Calculado automáticamente por Rev. Man • Debe interpretarse cautelosamente cochrane training

El estadístico I 2 cochrane training

Fuente: Julian Higgins chi 2 = 29. 55 df = 13 P = 0. 0055 I 2 = 56% chi 2 = 6. 14 df = 3 P = 0. 11 I 2 = 51%

¿Qué hacer con la heterogeneidad? • Comprobar que los datos son correctos • Tenerla en cuenta en la interpretación de los resultados • Especialmente si varía la dirección del efecto • Si la heterogeneidad es muy elevada • Interpretar con cautela los resultados de efectos fijos • Considerar análisis de sensibilidad – ¿el modelo de efectos aleatorios significaría diferencias importantes? • Se puede optar por no metanalizar • El resultado promedio puede no tener significado en la práctica • Considerar la comparabilidad clínico-metodológica de los estudios • Evitar • Cambiar la medida de efecto o el modelo de análisis • Excluir estudios con valores extremos • Explorar la heterogeneidad cochrane training

Índice • • ¿Qué es la heterogeneidad? Asunciones sobre heterogeneidad Identificando la heterogeneidad Explorando los resultados cochrane training

Explorando los resultos • ¿Qué factores parecen modificar el efecto? • Diversidad clínica (población, intervenciones, desenlaces) • Diversidad metodológica (diseño del estudios, riesgo de sesgo) • Planificar la estratégia en el protocolo • Identificar un número limitado de factores importantes para investigar • Presentar una justificación científica para cada factor elegido • Declarar cualquier exploración post-hoc cochrane training

Dos opciones disponibles • Análisis de subgrupos • Agrupar los estudios por factores pre-especificados • Buscar diferencias en los resultados y la heterogeneidad • Metaregresión • Examinar la interacción con variables categóricas y continuas • No disponible en Rev. Man cochrane training

Proceder con cautela • • • Los resultados son de tipo observacional, no aleatorio Ser crítico ante comparaciones múltiples y post hoc Pueden no ser útiles con pocos estudios Pueden no ser posibles de realizar con datos agregados Buscar posibles factores de confusión Seguir el plan especificado en el protocolo sin sobreenfatizar resultados específicos Los resultados raramente son concluyentes cochrane training

Interpretación de análisis de subgrupos • Examinar los resultados y heterogeneidad dentro de los subgrupos • ¿Los subgrupos son genuinamente diferentes? • Si son 2 subgrupos – ¿los intervalos de confianza se solapan? • Tests estadísticos de diferencias por subgrupos • Podemos estar más confiados acerca de: can be more confident about: • Análisis preespecificados pre-specified analyses • Análisis en los estudios within-study analyses cochrane training

Subgrupos de participantes cochrane training Based on Stead LF, Perera R, Bullen C, Mant D, Lancaster T. Nicotine replacement therapy for smoking cessation. Cochrane Database of Systematic Reviews 2008, Issue 1. Art. No. : CD 000146. DOI: 10. 1002/14651858. CD 000146. pub 3.

Based on Linde K, Berner MM, Kriston L. St John's wort for major depression. Cochrane Database of Systematic Reviews 2008, Issue 4. Art. No. : CD 000448. DOI: 10. 1002/14651858. CD 000448. pub 3. Subgrupos por intervención cochrane training

Análisis de sensibilidad • No es lo mismo que análisis de subgrupos not the same as subgroup analysis • Prueban la repercusión de la toma de decisiones durante la revisión testing the impact of decisions made during the review • Inclusión de estudios en la revisión inclusion of studies in the review • Definición de bajo riesgo de sesgo definition of low risk of bias • Selección de la medida de resultado choice of effect measure • Suposiciones acerca de los datos faltantes cochrane training

¿Qué incluir en el protocolo? • Evaluación de la heterogeneidad Assessment of heterogeneidad • Evaluación de la comparabilidad de los estudios antes del metanálisis assessment of comparability of studies before meta-analysis • Inspección visual y uso de estadísticas como I 2 visual inspection and use of statistics such as I 2 • Síntesis de los datos Data synthesis • Modelo de efectos fijos o de efectos aleatorios (o ambos) fixed-effect or random-effects model (or both) cochrane training

cochrane training

Mensaje clave: • La heterogeneidad estadística es la presencia de diferencias entre los efectos calculados de la intervención, que son mayores que lo que es de esperar si se debieran solamente a las variaciones al azar (muestrales) statistical heterogeneidad is the presence of differences between estimated intervention effects greater than expected because of random (sampling) variation alone • Puede estar causada por la diversidad clínica y metodológica it can be caused by clinical and methodological diversity • Los modelos de efectos fijos y aleatorios hacen diferentes suposiciones acerca de la heterogeneidad fixed and random-effects models make different assumptions cochrane training

Referencias • Deeks JJ, Higgins JPT, Altman DG (editors). Chapter 9: Analysing data and undertaking meta-analyses. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5. 1. 0 [updated March 2011]. The Cochrane Collaboration, 2011. Available from www. cochrane-handbook. org. Agradecimientos • Compilado por Miranda Cumpston. Basado en materiales de Georgia Salanti, Julian Higgins, Steff Lewis, el Cochrane Statistical Methods Group, el Australasian Cochrane Centre y el Dutch Cochrane Centre. Aprobado por Cochrane Methods Board. • Traducido por Marta Roqué. cochrane training