Universidad de Sevilla Facultad de Psicologa Mster Universitario

Universidad de Sevilla Facultad de Psicología Máster Universitario en Estudios Avanzados en Cerebro y Conducta Asignatura: Diseño y Medición en Programas de Intervención Neuropsicológica Meta-análisis (III) Ponente: Prof. Julio Sánchez Meca jsmeca@um. es Facultad de Psicología Unidad de Meta-análisis Universidad de Murcia www. um. es/metaanalysis 2 -3 de Diciembre, 2015

Índice de los puntos 4 -6 4. Interpretación de resultados en meta-análisis 4. 1 Modelos estadísticos en meta-análisis 4. 2 Resultados de un meta-análisis 4. 2. 1 El efecto medio y el forest plot 4. 2. 2 Análisis de la homogeneidad 4. 2. 3 Análisis de variables moderadoras 5. El programa Rev. Man 5. 3 6. Meta-análisis: Ventajas y limitaciones 2

4. Interpretación de resultados en MA 4. 1 Modelos estadísticos en MA El análisis estadístico en un meta-análisis requiere formular previamente un modelo estadístico de la variabilidad de los tamaños del efecto de los estudios. Los dos modelos estadísticos más frecuentes son: (a) El modelo de efecto fijo (fixed-effect model) (b) El modelo de efectos aleatorios (random-effects model) 3

4. Interpretación de resultados en MA 4. 1 Modelos estadísticos en MA Modelo de efecto fijo 4

4. Interpretación de resultados en MA 4. 1 Modelos estadísticos en MA Modelo de efectos aleatorios 5

4. Interpretación de resultados en MA 4. 1 Modelos estadísticos en MA Modelo de efecto fijo versus modelo de efectos aleatorios 6

4. Interpretación de resultados en MA 4. 1 Modelos estadísticos en MA Modelo de efecto fijo versus modelo de efectos aleatorios 7

4. Interpretación de resultados en MA 4. 1 Modelos estadísticos en MA Modelo de efecto fijo versus modelo de efectos aleatorios 8

4. Interpretación de resultados en MA 4. 1 Modelos estadísticos en MA Efecto fijo versus efectos aleatorios: ¿Qué modelo elegir? Sobre una base conceptual. El meta-analista elige el modelo que considera más apropiado a la naturaleza de los estudios incluidos en el meta-análisis En función del resultado de la prueba de heterogeneidad: Si resulta significativa Modelo de efectos aleatorios Si no resulta significativa Modelo de efecto fijo Es preferible la primera estrategia 9

4. Interpretación de resultados en MA 4. 2 Resultados de un MA ¿A qué preguntas puede responder un meta-análisis? ¿Cuál es la magnitud media del efecto encontrado en los estudios meta-analizados? ¿Es significativa (estadística y prácticamente) dicha magnitud del efecto medio? ¿Son homogéneos los efectos encontrados en los estudios en torno al efecto medio? En caso contrario, ¿qué características de los estudios pueden estar provocando la heterogeneidad encontrada entre los estudios? ¿Es posible formular un modelo explicativo que contemple aquellos factores de los estudios que mejor den 10 cuenta de la heterogeneidad exhibida entre ellos?

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 1 El efecto medio y el forest plot El “forest plot” es un gráfico que representa los efectos individuales de cada estudio con su intervalo de confianza, así como el efecto medio El efecto medio global del meta-análisis, T+, se obtiene mediante una media ponderada de los efectos individuales, Ti. El factor de ponderación, wi, de cada estudio está en función del tamaño muestral 11

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 1 El efecto medio y el forest plot El Intervalo de Confianza al 95% en torno al efecto medio, T+, se obtiene mediante: Error típico del efecto medio Dependiendo de qué índice del efecto se haya utilizado (dr, rr, or, d), se observa si el efecto medio es significativamente no nulo comprobando si el valor 0 o el valor 1 (dependiendo del índice del efecto) se encuentra dentro del intervalo de confianza 12

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 2 Análisis de la homogeneidad La prueba de homogeneidad de los efectos individuales en torno al efecto medio se obtiene mediante: Si la prueba Q no es estadísticamente significativa (p > 0. 05), existe homogeneidad entre los efectos individuales y, en consecuencia, el efecto medio es una buena estimación del efecto poblacional Si la prueba Q es significativa (p < 0. 05), no existe homogeneidad entre los efectos individuales, por lo que el efecto medio no representa bien al conjunto de estudios y se hace preciso realizar análisis por subgrupos en función de 13 ciertas características de los estudios previamente determinadas

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 2 Análisis de la homogeneidad La prueba de homogeneidad se complementa con el cálculo del índice I 2, que refleja en porcentaje el grado de heterogeneidad en los tamaños del efecto debida al influjo de las características de los estudios: Los valores negativos se igualan a 0 Orientativamente, podemos interpretar valores de I 2 en torno al 25%, 50% y 75% como reflejando heterogeneidad baja, media y alta, respectivamente 14

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 2 Análisis de la homogeneidad EJEMPLO: Rosa-Alcázar, A. I. , Sánchez-Meca, J. , Gómez-Conesa, A. y Marín-Martínez, F. (2008). Psychological treatment of obsessive-compulsive disorder: A meta-analysis. Clinical Psychology Review, 28, 1310 -1325 Objetivo: Meta-analizar los estudios evaluativos sobre la eficacia de los tratamientos psicológicos del trastorno obsesivo-compulsivo adulto Medida de resultado: Escalas continuas de síntomas de obsesiones y compulsiones Índice del tamaño del efecto: La diferencia de medias estandarizada, d. Valores d positivos indican una mayor reducción de los síntomas en los pacientes que reciben el tratamiento en comparación con los del grupo de control 15

Ejemplo de forest plot

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 2 Análisis de la homogeneidad Interpretación de los resultados según el modelo de efectos aleatorios: Tamaño del efecto medio e intervalo de confianza al 95%: d+ = 1. 075. I. C. al 95%: [0. 843; 1. 306] Globalmente, los tratamientos psicológicos logran reducir significativamente los síntomas de obsesiones y compulsiones de los pacientes con TOC Según el criterio de Cohen (1988), el tamaño del efecto medio es de magnitud muy alta (por encima de 0. 80) Prueba de homogeneidad: Q(23) = 53. 452, p <. 01. I 2 = 57%. Los tamaños del efecto de los estudios no son homogéneos en torno a su media. Por tanto, debe examinarse el influjo de variables moderadoras 17

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras ¿Influyen las características de los estudios en los TEs? Cuando la hipótesis de homogeneidad se rechaza, se pasa a analizar el influjo de variables moderadoras sobre los tamaños del efecto: Si la variable moderadora es cualitativa (por ejemplo, el tipo de tratamiento, el tipo de diseño, etc. ), se aplican técnicas de análisis de varianza ponderada, mediante las cuales se comparan los efectos medios de cada categoría Si la variable moderadora es continua (por ejemplo, la duración del tratamiento, la edad media de los sujetos, etc. ), se aplican técnicas de análisis de regresión ponderada denominadas meta-regresión 18

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras ¿Influyen las características de los estudios en los TEs? ¿Qué aspectos del tratamiento pueden variar a lo largo de los estudios? : La dosis, la intensidad, el tipo de técnica, la duración del tratamiento, etc. ¿Qué características de los sujetos pueden afectar a los resultados? : el género, la edad, la gravedad de la enfermedad, su carácter crónico versus agudo, etc. ¿Qué características del contexto de aplicación pueden afectar? : el lugar de aplicación de la terapia, el país, la zona geográfica, etc. 19

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras ¿Influyen las características de los estudios en los TEs? Qué características metodológicas pueden afectar a los resultados? : el tipo de diseño, el tipo de grupo de control, la mortalidad experimental, la calidad del diseño, etc. ¿Existen características extrínsecas que pueden afectar a la variabilidad de los TEs? : fuente de publicación, formación del investigador, fuente de financiación, conflicto de intereses, etc. 20

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras ¿Influyen las características de los estudios en los TEs? Para responder a esta pregunta el modelo estadístico más apropiado es el modelo de efectos mixtos, según el cual la variable moderadora actúa como factor de efectos fijos y los estudios como factor de efectos aleatorios Este modelo implica ponderar cada tamaño del efecto por la inversa de su varianza, siendo ésta la suma de la varianza intra-estudio (debida a error de muestreo aleatorio de los participantes dentro de cada estudio) y la varianza inter-estudios residual (es decir, la queda una vez detraído el efecto de la variable moderadora) 21

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras Análisis de varianza para variables moderadoras cualitativas La prueba QB permite comprobar si los tamaños del efecto medios de cada categoría de la variable moderadora son iguales o no (siendo c el número de categorías): La hipótesis de igualdad de efectos medios se rechaza si el valor de probabilidad asociado a la prueba QB es igual o inferior a 0. 05. 22

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras Análisis de varianza para variables moderadoras cualitativas Si el valor de probabilidad, p, asociado al resultado de la prueba QB es menor que 0. 05, podemos concluir que existe una relación estadísticamente significativa entre el tamaño del efecto y la variable moderadora, por lo que los efectos medios de las categorías son diferentes La significación práctica de este resultado debe comprobarse interpretando el valor de la proporción de varianza explicada, R 2, que debería valer al menos 0. 10 (10% de varianza explicada), para poder considerarla clínicamente significativa. Valores en torno a 0. 25 (25%) implicarían una significación práctica alta 23

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras Análisis de varianza para variables moderadoras cualitativas El examen de los TEs medios para cada categoría de la variable moderadora, junto con su intervalo de confianza, permite explicar el efecto de dicha variable moderadora sobre los resultados. Por ejemplo, la comprobación de si en una categoría concreta el efecto nulo está o no contenido en el intervalo de confianza de su TE medio, permite comprobar si se ha obtenido un resultado estadísticamente significativo en dicha categoría. Es, pues, posible que para unas categorías el TE medio alcance la significación estadística, mientras que para otras no la alcance 24

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras Análisis de varianza para variables moderadoras cualitativas Además, con la prueba QW es posible comprobar si el modelo está bien especificado, es decir, si pueden existir otras variables moderadoras que estén afectando a la heterogeneidad de los tamaños del efecto: Podremos concluir que el modelo está bien especificado si el valor asociado a la prueba QW es superior a 0. 05 25

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras Análisis de varianza para variables moderadoras cualitativas La prueba QW, a su vez, se descompone en tantas pruebas Qwj como categorías tenga la variable moderadora. De esta forma, es posible valorar si los tamaños del efecto de cada categoría son homogéneos en torno a su efecto medio Si la prueba QB no resulta significativa, entonces ya no tiene sentido interpretar el resultado de la prueba QW 26

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras EJEMPLO: Meta-análisis de Sánchez-Meca et al. (2014) sobre la eficacia de los tratamientos psicológicos y/o farmacológicos en el trastorno obsesivo-compulsivo en niños y adolescentes [Véase Doc nº 10] ¿Presentan similar eficacia los tratamientos cognitivoconductuales (TCC), los tratamientos farmacológicos y los tratamientos mixtos del TOC en niños y adolescentes? 11 estudios que aplicaron TCC 10 estudios que aplicaron tratamiento farmacológico 3 estudios que aplicaron tratamientos mixtos (TCC + Farmacológico) Fuente: Sánchez-Meca, J. , Rosa-Alcázar, A. I. , Iniesta-Sepúlveda, M. y Rosa-Alcázar, A. (2014). Differential efficacy of cognitive-behavioral therapy and pharmacological treatments for pediatric obsessive-compulsive disorder: A meta-analysis. Journal of Anxiety Disorders, 28, 31 -44. 27

28

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras EJEMPLO: ¿Diferentes tratamientos producen efectos diferentes? k: nº de estudios. d+: tamaño del efecto medio. di y ds: límites confidenciales inferior y superior del intervalo de confianza al 95% en torno al TE medio. QB: estadístico de homogeneidad inter-categorías. QW: estadístico de homogeneidad intra-categoría global. Qwj: estadístico de homogeneidad intracategoría individual. GL: prados de libertad del estadístico Qwj. R 2: proporción de varianza explicada por la variable moderadora. 29

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras EJEMPLO: Interpretación de los resultados del ejemplo Los tres tipos de tratamiento presentan efectos medios de magnitud alta según el criterio de Cohen (en torno a 0, 8 o superior) y los tres son estadísticamente significativos (al no contener el 0 sus intervalos de confianza) Se observan diferencias estadísticamente significativas entre los tres efectos medios [QB(2) = 13, 96, p <. 0009], siendo TCC (d+ = 1, 78) y el tratamiento mixto (d+ = 1, 75) los más efectivos, frente al farmacológico (d+ = 0, 73). El 34% de la varianza de los TEs se explica por el efecto del tipo de tratamiento 30

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras EJEMPLO: Interpretación de los resultados del ejemplo La prueba de homogeneidad global intra-categoría resultó estadísticamente significativa [QW(21) = 97, 79, p <. 0001], lo que indica que el modelo está mal especificado. Es decir, aparte del tipo de tratamiento deben existir otras variables moderadoras relevantes para explicar la variabilidad de los TEs. Así mismo, las tres pruebas de homogeneidad intra-categoría individuales también resultaron ser estadísticamente significativas (TCC: p <. 00001; Farmacológico: p =. 02; Mixto: p =. 0001). Por tanto, ninguno de los tres tipos de tratamiento presentó TEs homogéneos en torno a su efecto medio 31

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras Análisis de regresión para variables moderadoras continuas: Meta-regresión Si la variable moderadora es continua (por ejemplo, la duración del tratamiento, la edad media de la muestra, etc. ), se aplican técnicas de análisis de regresión ponderada, mediante las cuales se comprueba si dicha variable moderadora afecta a los tamaños del efecto La prueba QR permite contrastar esta hipótesis: B es el vector de coeficientes de regresión. SB es la matriz de covarianzas de los coeficientes de regresión 32

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras Análisis de regresión para variables moderadoras continuas: Meta-regresión Si el valor de probabilidad asociado a la prueba QR es igual o inferior a 0. 05, podemos concluir que la variable moderadora en cuestión afecta a la magnitud del efecto. En caso contrario, tendremos que concluir que dicha variable moderadora realmente no modera los efectos La significación práctica de este resultado debe comprobarse interpretando el valor de la proporción de varianza explicada, R 2, que debería valer al menos 0. 10 (10% de varianza explicada), para poder considerarla clínicamente significativa. Valores en torno a 0. 25 (25%) implicarían una significación práctica alta 33

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras Análisis de regresión para variables moderadoras continuas: Meta-regresión Además, con la prueba QE es posible comprobar si el modelo está bien especificado, es decir, si pueden existir otras variables moderadoras que estén afectando a la heterogeneidad de los tamaños del efecto: Donde T es el vector de tamaños del efecto y W la matriz de ponderaciones Podremos concluir que el modelo está bien especificado si el valor asociado a la prueba QE es superior a 0. 05 El signo de la pendiente de la meta-regresión informa del sentido, positivo o negativo, de la relación entre la variable 34 moderadora y el TE

4. Interpretación de resultados en MA 4. 2 Resultados de un MA 4. 2. 3 Análisis de variables moderadoras Análisis de regresión para variables moderadoras continuas: Meta-regresión Por último, al igual que ocurría en los modelos de ANOVA, cuando el resultado de la prueba QR no ha sido significativo, entonces no tiene sentido interpretar el resultado de la prueba QE, porque ya podemos concluir que el modelo está mal especificado, independientemente de que la prueba QE dé significativa o no (aunque lo normal es que, en estas circunstancias, sí dé significativa) 35

4. Interpretación de resultados en MA EJEMPLO: Sánchez-Meca, J. , Rosa-Alcázar, A. I. , Iniesta-Sepúlveda, M. y Rosa-Alcázar, A. (2014). Differential efficacy of cognitivebehavioral therapy and pharmacological treatment of pediatric obsessive-compulsive disorder: A meta-analysis. Journal of Anxiety Disorders, 28, 31 -44 [Véase Doc nº 08] Centrando nuestra atención en los estudios que aplicaron tratamiento psicológico (CBT), ¿existe una relación estadísticamente significativa entre los tamaños del efecto y la magnitud del tratamiento? Definimos la magnitud del tratamiento como el número total de horas de CBT que recibieron los pacientes

4. Interpretación de resultados en MA

4. Interpretación de resultados en MA EJEMPLO Resultados del análisis de meta-regresión bj: coeficiente de regresión. ET: error típico Se obtuvo una relación estadísticamente significativa entre la magnitud del tratamiento y el TE: QR(1) = 5. 13, p =. 0234 La magnitud explicó el 13% de la varianza de los TEs, reflejando una significación práctica baja pero clínicamente relevante: R 2 = 0. 13 El signo positivo de la pendiente de la meta-regresión (bj = 0. 1299) indica que la relación entre la magnitud y el TE es positiva: a mayor nº de horas de tratamiento con CBT mayor TE No obstante, el modelo está mal especificado: QE(8) = 45. 72, p <. 0001

5. El programa Rev. Man 5. 3 Consúltese el documento pdf adjunto “Manual del Programa Rev. Man 5. 3” [Véase Doc nº 04]

6. Meta-análisis: Ventajas y limitaciones Ventajas: Ventajas Eficiencia: Mayor capacidad para tratar grandes cantidades de información Rigor científico: Cumple con las normas de replicabilidad de la investigación Detección de efectos pequeños: Mayor capacidad para detectar efectos que, aun siendo pequeños, pueden tener gran relevancia práctica Potencia estadística: Al aumentar el tamaño muestral, se incrementa la probabilidad de detectar efectos 40

6. Meta-análisis: Ventajas y limitaciones Ventajas: Ventajas Estimación del tamaño del efecto: Gran énfasis en la importancia que tiene considerar la magnitud del efecto, en detrimento de las pruebas de significación Aprovechamiento de resultados contradictorios: Capacidad para encontrar factores y características que den cuenta de la heterogeneidad de los efectos encontrados Seguridad: Interpretaciones más fiables al basarse en una metodología cuantitativa y objetiva 41

6. Meta-análisis: Ventajas y limitaciones Limitaciones: Limitaciones Heterogeneidad (el ‘problema de las manzanas y las naranjas’): Estudios diferentes no deberían ser combinados Pobre calidad (el ‘problema de la basura dentro – basura fuera’ o ‘garbage in – garbage out’): Si la calidad metodológica de los estudios empíricos es deficiente, entonces la validez de los resultados del meta -análisis se verá comprometida Sesgo de publicación (publication bias): Si los ensayos con resultados estadísticamente significativos tienen mayor probabilidad de ser publicados (y con menor demora) que los que presentan resultados nulos, entonces las conclusiones del meta-análisis estarán sesgadas 42

6. Meta-análisis: Ventajas y limitaciones Limitaciones: Limitaciones Sesgo de selección: Los criterios de inclusión de los estudios pueden verse influidos por el conocimiento previo que los meta-analistas puedan tener de los resultados del conjunto de estudios potenciales Sesgo de reporte: Si los estudios tienden a reportar sistemáticamente aquella variable de respuesta que alcanza los resultados más favorables, entonces el meta -análisis puede alcanzar resultados sesgados 43

6. Meta-análisis: Ventajas y limitaciones En conclusión: conclusión El meta-análisis constituye un tipo de revisión sistemática idóneo para desvelar el estado del arte sobre un determinado problema (médico, físico, psicológico, práctico, etc. ) No obstante, es preciso analizar críticamente los metaanálisis, ya que pueden estar sujetos a diversos sesgos Una correcta definición de los criterios de selección de los estudios, una búsqueda comprehensiva de los estudios y una valoración de la calidad metodológica de los mismos, son aspectos centrales para obtener conclusiones razonadas de los meta-análisis. Así desarrollados, los meta -análisis, y las revisiones sistemáticas en general, ofrecen evidencias y pruebas menos sesgadas que las revisiones narrativas tradicionales 44