Evaluacin del riesgo de sesgo de los estudios

Evaluación del riesgo de sesgo de los estudios incluidos

Pasos de una revisión sistemática Cochrane 1. Formular la pregunta 2. Planificar los criterios de elegibilidad 3. Planificar la metodología 4. Buscar los estudios 5. Aplicar los criterios de elegibilidad 6. Obtener los datos 7. Evaluar el riesgo de sesgo de los estudios 8. Analizar y presentar los resultados 9. Interpretar los resultados y obtener conclusiones 10. Mejorar y actualizar la revisión cochrane training

Índice • • Riesgo de sesgo en las revisiones sistemáticas Evaluación de las fuentes de sesgo Llevándolo a la práctica: tablas de “riesgo de sesgo” Incorporación de los hallazgos en la revisión Ver el Capítulo 8 del Cochrane Handbook cochrane training

¿Qué es el sesgo? Error sistemático o desviación de la verdad • Las revisiones sistemáticas dependen de los estudios incluidos • Estudios incorrectos = revisiones con resultados engañosos • ¿Nos podemos creer los resultados? • Evaluar el riesgo de sesgo de cada estudio • No podemos medir la presencia de sesgo • Los sesgos pueden sobreestimar o subestimar el efecto • Debemos buscar métodos que minimizan el riesgo de sesgo cochrane training

Sesgo no es lo mismo que Imprecisión • Error aleatorio debido a variaciones en el muestreo • Se refleja en el intervalo de confianza Calidad Informe • Estudios desarrollados • Puede que los correctamente también métodos utilizados sean apropiados, pueden estar sesgados • No todas las debilidades pero que éstos no estén descritos metodológicas adecuadamente introducen sesgos cochrane training

Escalas de calidad y listas de verificación (checklists) • • • Hay muchas escalas disponibles No hay evidencia empírica que avale su uso Diferentes escalas llegan a diferentes conclusiones Pueden incluir criterios no relacionados con el sesgo La ponderación numérica no está justificada Puntuaciones difíciles de interpretar por los lectores Las revisiones Cochrane no deben utilizar escalas de calidad cochrane training

Herramienta de la Colaboración Cochrane para evaluar el “riesgo de sesgo” • Valora 7 dominios apoyados por evidencia científica • Valoración de los revisores: Bajo riesgo de sesgo Alto riesgo de sesgo ? Riesgo de sesgo poco claro • Apoyo para la valoración • Pruebas/citas del artículo o de otras fuentes • Explicación del autor de la revisión cochrane training

Dominios a evaluar • • Generación de la secuencia aleatoria Ocultamiento de la asignación Cegamiento de los participantes y del personal Cegamiento de los evaluadores del resultado Datos de resultado incompletos Notificación selectiva de los resultados Otras fuentes de sesgo Es IMPRESCINDIBLE consultar el Manual Cochrane antes de realizar la evaluación del riesgo de sesgo cochrane training

¿Qué ocurre con los estudios no-aleatorizados? • El riesgo de sesgo también debe evaluarse cuidadosamente • El revisor puede querer añadir dominios a evaluar • El revisor puede utilizar otro instrumento que sea apropiado • El Grupo de Revisión puede tener una opción recomendada Ver Sección 13. 5 del Manual Cochrane cochrane training

Índice • • Riesgo de sesgo en las revisiones sistemáticas Evaluación de las fuentes de sesgo Llevándolo a la práctica: tablas de “riesgo de sesgo” Incorporación de los hallazgos en la revisión Ver el Capítulo 8 del Cochrane Handbook cochrane training

Fuentes de sesgo Generación aleatoria de la secuencia Selección e Realización Ocultación de la secuencia Población diana Asignación Grupo Intervención Grupo Control Detección Desgaste Evaluación del resultado Notificación Publicación de los resultados cochrane training

Generación de la secuencia aleatoria • Se realiza al inicio del estudio, antes de la asignación de los participantes a los grupos de estudio • Evita el sesgo de selección • Determina un orden de asignación aleatorio de los participantes al grupo intervención y control • Evita diferencias sistemáticas entre los grupos • Tiene en cuenta los factores de confusión conocidos y desconocidos cochrane training

Generación de la secuencia aleatoria Bajo riesgo – no predecible • Tabla de números aleatorios • Generación de números aleatorios por ordenador • Aleatorización estratificada o en bloque • Minimización • Recursos más rudimentarios - lanzamiento de una moneda, barajar cartas o sobres, lanzar dados, sorteo de tarjetas Alto riesgo – predecible • Método cuasi-aleatorio – fecha de nacimiento, día de visita, identificador o número de registro, alternancia • Método no-aleatorio – elección por parte del clínico o del paciente, resultados de pruebas, disponibilidad Ver Sección 8. 9 del Cochrane Handbook cochrane training

Ocultamiento de la secuencia • Ocurre al inicio del estudio, durante la asignación de los participantes • Evita el sesgo de selección • Cuando una persona es reclutada para el estudio nadie puede predecir a qué grupo será asignada • Asegura una implementación estricta de la secuencia de aleatorización • Previene cambios de orden • Previene seleccionar los participantes a los que reclutar cochrane training

Ocultamiento de la secuencia Bajo riesgo – no predecible • Asignación centralizada (teléfono, página web, servicio de farmacia ) • Sobres opacos, sellados y numerados de manera secuencial • Envases de fármaco idénticos y numerados de manera secuencial Alto riesgo- predecible • Secuencia conocida previamente por parte del personal • Sobres o envases sin una protección apropiada • Secuencia no aleatoria, predecible Ver Sección 8. 10 del Cochrane Handbook cochrane training

Fuentes de sesgo Población diana Selección Realización Asignación Cegamiento de participantes, personal Grupo Intervención Grupo Control Detección Desgaste Evaluación del resultado Evaluación del resutlado Notificación Publicación de los resultados cochrane training

Cegamiento de los participantes y del personal • Evita el sesgo de realización • Trato diferente a los grupos del estudio • Diferentes expectativas de los participantes • Puede conducir a cambios en los propios resultados • Evaluar de forma cuidadosa • Evitar términos como “simple ciego” y “doble ciego” • ¿Es probable que el cegamiento se rompiera? • Considerar el impacto, incluso aunque el cegamiento no sea factible para una determinada intervención cochrane training

Cegamiento de los participantes y del personal Bajo riesgo • El cegamiento es correcto y es poco probable que se haya roto • Falta de cegamiento o cegamiento incompleto, pero no es probable que influya en los resultados Alto riesgo • Falta de cegamiento, cegamiento incompleto o roto, y es probable que influya en los resultados Ver Sección 8. 11 del Cochrane Handbook cochrane training

Fuentes de sesgo Población diana Selección Asignación Grupo Intervención Grupo Control Realización Detección Desgaste Cegamiento de los evaluadores de los resultados Evaluación del resultado Evaluación del resutlado Notificación Publicación de los resultados cochrane training

Cegamiento de los evaluadores de los resultados • Evita el sesgo de detección • Conocer la intervención recibida puede afectar la medición de los resultados • Evaluar de forma cuidadosa • Evitar términos como “simple ciego” y “doble ciego” • ¿Es probable que el cegamiento se rompiera? • Puede ser factible incluso cuando no es posible cegar a los participantes y al personal • Recordar que tanto los participantes como el personal pueden ser evaluadores del resultado cochrane training

Cegamiento de los evaluadores de los resultados Bajo riesgo • El cegamiento es correcto y es poco probable que se haya roto • Falta de cegamiento, pero no es probable que influya en la evaluación de los resultados Alto riesgo • Falta de cegamiento o cegamiento roto, y es probable que influya en la evaluación de los resultados Ver Sección 8. 12 del Cochrane Handbook cochrane training

Evaluación del cegamiento en cada variable resultado • Se puede alcanzar conclusiones distintas según la variable resultado • Puede que sólo sea ciega la medida de algunos resultados • Los desenlaces subjetivos pueden ser más vulnerables a este tipo de sesgo. Ej. muerte vs calidad de vida • Puede aplicarse tanto al sesgo de realización como al sesgo de detección • Una opción es recoger en la tabla la evaluación de dos o más variables de resultado para estas categorías cochrane training

Fuentes de sesgo Población diana Selección Asignación Grupo Intervención Grupo Control Realización Detección Desgaste Datos de resultado incompletos Evaluación del resultado Evaluación del resutlado Notificación Publicación de los resultados cochrane training

Datos de resultado incompletos • Cuando no se dispone de datos completos de los resultados para todos los participantes • Desgaste (attrition)– pérdidas durante el seguimiento (loss to follow up), abandono (withdrawals), otros datos faltantes • Exclusiones (exclusions)– algunos datos disponibles no están descritos en el informe • Puede dar lugar a un sesgo de desgaste (attrition bias) • Consideraciones: • ¿Cuántos datos de resultado incompletos por cada grupo? (incluir números en la descripción) • ¿Motivos de los datos de resultado incompletos? • ¿Cómo se analizaron los datos? cochrane training

¿Cuándo son demasiados los datos faltantes? • No existe una regla simple • Si son suficientes para afectar de forma relevante los resultados • Proporción total de datos faltantes • Riesgo de evento (resultados dicotómicos) • Posible tamaño del efecto (resultados continuos) • Cuando las razones pueden estar relacionadas con los resultados del estudio • Ej. recuperación, eventos adversos, rechazos • Las razones pueden tener significados diferentes en cada grupo • Existe un desequilibrio entre los grupos en cuanto a los datos faltantes o sus razones cochrane training

Análisis por intención de tratar • Todos los participantes se analizan en el grupo al que fueron aleatorizados • A pesar de lo que haya ocurrido durante el estudio • Temas que pueden surgir • Análisis por protocolo • Los participantes no cumplidores se excluyen del análisis • Análisis “como se trató” • Los participantes no cumplidores cambian de grupo • Imputación de valores faltantes • Las asunciones pueden ser inapropiadas- consultar con un estadístico • Es posible re-incluir algunos datos excluidos cochrane training

Evaluación de los datos incompletos para cada resultado • Se puede llegar a conclusiones diferentes para cada resultado • Puede haber más datos faltantes en distintos puntos temporales • Algunos resultados pueden tener más datos faltantes que otros. Ej. preguntas sensibles, pruebas invasivas • Una opción es recoger en la tabla la evaluación de dos o más variables de resultado para “datos incompletos” cochrane training

Datos de resultado incompletos Bajo riesgo • Se dispone de los datos completos para todos los resultados • Las razones que han motivado la falta de datos no se relacionan con el resultado • Cantidad de datos de resultado faltantes equilibrados entre los grupos de intervención, y con motivos similares; • La proporción de datos faltantes o su posible efecto no es suficiente para tener un impacto clínicamente relevante Alto riesgo • Razones relacionadas con los desenlaces, y desequilibrio en el número de datos faltantes o en las razones que han provocado los datos faltantes • La proporción de datos faltantes es suficiente para tener un efecto clínicamente relevante • Análisis “como se trató” con diferencias importantes respecto a la aleatorización • Uso inapropiado de los métodos de imputación Ver Sección 8. 13 del Cochrane Handbook cochrane training

Fuentes de sesgo Población diana Selección Asignación Grupo Intervención Grupo Control Realización Detección Desgaste Notificación selectiva de los resultados Evaluación del resultado Evaluación del resutlado Publicación de los resultados cochrane training

Notificación selectiva de los resultados • Puede dar lugar a un sesgo de notificación • Es más probable que se describan los resultados estadísticamente significativos • Tal como estaba planificado en el protocolo del estudio • Con mayor detalle • Sesgo difícil de determinar • Comparar los métodos con los resultados y buscar: • Resultados medidos (o probablemente medidos) pero no notificados • Resultados añadidos, cambios estadísticos, sólo subgrupos • Descripciones que no pueden utilizarse en una revisión (Ej. decir que no hay diferencias estadísticamente significativas sin aportar resultados numéricos) • Referencia al protocolo de estudio o al registro del ensayo • Centrarse en los resultados de interés para la revisión cochrane training

Notificación selectiva de los resultados Bajo riesgo • Se dispone del protocolo de estudio y todos los resultados de interés de la revisión están descritos de la forma prevista en el protocolo • No disponemos del protocolo, pero está claro que se notifican todos los resultados esperables y especificados previamente Riesgo poco claro • La mayor parte de los estudios entrarán en está categoría Alto riesgo • Resultados no descritos como estaba pre-especificado o era esperable • Ej. perdidos, añadidos, subconjuntos, medidas o métodos no esperados • Resultados descritos de forma incompleta por lo que no pueden utilizarse en un metanálisis Ver Sección 8. 14 del Cochrane Handbook cochrane training

Otras fuentes de sesgo • Se requiere una justificación clara de por qué un factor puede ser causa de sesgo • No incluir: • Imprecisión (Ej. tamaño de la muestra pequeño) • Heterogeneidad (Ej. dosis inadecuada, población inusual) • Otras medidas de calidad (Ej. aprobación por el comité de ética, financiación) • Siempre que sea posible, identificar factores importantes en el protocolo • Se pueden añadir filas en la tabla para evaluar factores importantes para todos los estudios cochrane training

Otras fuentes de sesgo Bajo riesgo • El estudio parece no estar afectado por otras fuentes de sesgo Alto riesgo • Factores ligados a diseño de estudio específicos: • Efecto de arrastre (carry-over) en los ensayos cruzados • Sesgo de reclutamiento en los ensayos aleatorizados por conglomerados (cluster-randomised trials) • Estudios no aleatorios • Desequilibrio inicial entre los grupos • Asignación en bloques en ensayos no cegados • Actividad diagnóstica diferencial • Otros sesgos Ver Sección 8. 15 del Cochrane Handbook cochrane training

Índice • • Riesgo de sesgo en las revisiones sistemáticas Evaluación de las fuentes de sesgo Llevándolo a la práctica: tablas de “riesgo de sesgo” Incorporación de los hallazgos en la revisión Ver el Capítulo 8 del Cochrane Handbook cochrane training

Cómo hacer la evaluación del riesgo de sesgo • Como mínimo dos evaluadores • Asegurar que los evaluadores conocen los métodos • Incluir expertos en contenido y metodólogos • Pilotar en 3 -6 estudios para comprobar la consistencia de la evaluación • Definir de antemano cómo resolver los desacuerdos • Buscar la información faltante en la publicación: • Protocolo de estudio • Contactar con los autores cochrane training

Tablas de ‘Riesgo de sesgo’ • Una tabla para cada estudio incluido • Decisión para cada dominio Bajo riesgo û Alto riesgo - considerar el sesgo material, en lugar de cualquier sesgo û ? Riesgo poco claro = no se dispone de suficiente información para emitir un juicio claro • Apoyo a la decisión • Se pueden utilizar citas directas del artículo • Comentarios adicionales • Justificar cualquier asunción (ej. , “probablemente se realizó correctamente”) • Si no se dispone de información, notificarlo de forma explícita cochrane training

cochrane training

Índice • • Riesgo de sesgo en las revisiones sistemáticas Evaluación de las fuentes de sesgo Llevándolo a la práctica: tablas de “riesgo de sesgo” Incorporación de los hallazgos en la revisión Ver el Capítulo 8 del Cochrane Handbook cochrane training

Priorizar los dominios para la revisión • Todas las revisiones evalúan todos los dominios, pero puede seleccionar uno o varios como prioritarios para la revisión • Especificarlo en el protocolo • Justificarlo, considerando: • Evidencia empírica del impacto del sesgo • Dirección probable del impacto del sesgo: • Los sesgos probablemente exageran el efecto • En caso que el sesgo subestime el efecto y observemos un efecto relevante, tiene menos importancia • Magnitud probable del impacto del sesgo en relación al efecto observado cochrane training Ver Cochrane Handbook Secciones 8. 5 -8. 14

Realizar una interpretación global • No intentar resumir todos los resultado y todos los estudios a la vez • Resumir por desenlace • Cada desenlace puede tener su evaluación propia del riesgo de sesgo (ej. cegamiento, datos de resultado incompleto) • No todos los estudios aportan información a cada desenlace • Empezar resumiendo el riesgo de sesgo dentro de cada estudio y luego entre los estudios • No agrupar los estudios de riesgo “poco claro” con los estudios de “bajo riesgo” sin una justificación cochrane training

Incorporar los hallazgos a la revisión • Hacer siempre una descripción narrativa • Puede que los lectores no la lean • No evalúa el impacto en los resultados • Se puede restringir el análisis principal a los estudios con bajo riesgo de sesgo • Basado en dominios clave elegidos de forma razonada (aunque arbitraria) • Hacer siempre un análisis de sensibilidad • Se puede presentar un análisis estratificado • También podemos explorar el impacto mediante: • Análisis de subgrupos • Meta-regresión – obtener asesoría estadística cochrane training

Resumen del riesgo de sesgo cochrane training

Gráfico del riesgo de sesgo cochrane training

¿Qué se debe incluir en el protocolo? • Consultar las normas del Grupo Cochrane de Revisión • Breve descripción de la herramienta Cochrane que se utilizará para evaluar el riesgo de sesgo • Listar los dominios • Referenciar el capítulo 8 del Cochrane Handbook • • Más de un autor evaluará el riesgo de sesgo ¿Como se resolverán las discrepancias? ¿Hay dominios específicos importantes para la revisión? ¿Cómo se incorporarán los hallazgos al análisis? cochrane training

cochrane training

Mensaje final • Estudios sesgados pueden conducir a unas conclusiones de la revisión engañosas • Se evaluarán siete dominios de sesgo • Describir detalladamente lo que ocurrió en los estudios y hacer un juicio sobre el riesgo de sesgo • Considerar los posibles efectos de los sesgos y ser cautos a la hora de interpretar los resultados cochrane training

Referencias Higgins JPT, Altman DG, Sterne JAC (editors). Chapter 8: Assessing risk of bias in included studies. In: Higgins JPT, Green S (editors). Cochrane Handbook for Systematic Reviews of Interventions Version 5. 1. 0 [updated March 2011]. The Cochrane Collaboration, 2011. Disponible en www. cochrane-handbook. org. • Agradecimientos • • Compilado por Miranda Cumpston. Basado en los materiales de Cochrane Bias Methods Group and the Australasian Cochrane Centre. Aprobado por the Cochrane Methods Board Traducido por Anna Selva, Ivan Solà y Jesús López-Alcalde cochrane training