Invarianza de medicin AFC con AMOS Nazira Calleja

Invarianza de medición AFC con AMOS Nazira Calleja Basado en: Furr, M. (2017). Psychometrics: An introduction. Los Angeles: Sage Publications. Gaskin, J. (2011). Measurement Model Invariance https: //www. youtube. com/watch? v=6 j 4_Zrk. Cx. Tc

Amenazas a la calidad psicométrica Sesgos de respuesta Sesgos del instrumento

Sesgos de respuesta v Aquiescencia Decir Sí, sí… No, no v Extremismo Responder sólo en los extremos (o intermedios) v Deseabilidad social Causar buena impresión v Auto conmiseración Causar una pobre impresión v Descuido Responder al azar o sin poner atención

Sesgos del instrumento Decisiones erróneas Daños graves

Sesgos del instrumento La medición tiene consecuencias trascendentales para las personas. Necesitamos instrumentos sin sesgos. § Los puntajes de un instrumento deben estar determinados únicamente por los niveles del constructo en la persona. § No deben estar contaminados por factores extraños, como el grupo de pertenencia (sexo, grupo étnico, preferencia religiosa, edad, preferencia sexual, estatus marital, idioma original. . . )

Sesgos del instrumento Las decisiones que se toman con base en los puntajes de un instrumento que tiene sesgos en favor o en contra de un grupo determinando tiene serias consecuencias.

Sesgos de un instrumento Meta fundamental de la medición psicológica: detectar la variabilidad psicológica (las diferencias entre las personas) Si los instrumentos que usamos tienen sesgos, cualquier decisión, interpretación, predicción o conclusiones que se deriven de las comparaciones será incorrecta y sin fundamento psicológico.

Tipos de sesgos 1. Sesgos EN EL USO 2. Sesgo EN EL SIGNIFICADO del instrumento Sesgo PREDICTIVO Sesgo de CONSTRUCTO o de validez diferencial o de medición o sesgo EXTERNO o sesgo INTERNO Los sesgos son independientes: un instrumento puede tener uno de los sesgos, pero no el otro.

1. Sesgo predictivo o externo Relación entre los puntajes de dos instrumentos: Predictor Criterio Si el instrumento predice más fuertemente los puntajes criterio para un grupo que para el otro tendrá sesgo predictivo. Análisis de regresión

Sesgo predictivo Pero: La existencia de diferencias entre grupos en los puntajes de un instrumento no necesariamente implica que existe sesgo. Optimismo Estatura

2. Sesgo de constructo o interno Ocurre cuando un instrumento tiene distintos significados para diferentes grupos, en términos del constructo específico que se pretende medir. Relación entre puntajes observados y puntajes verdaderos sistemáticamente para los distintos grupos.

Sesgo de constructo Test de Aptitud Mecánica (TAM) En hombres mide: • aptitud mecánica. Los puntajes observados reflejan los puntajes verdaderos del atributo. En mujeres mide: • aptitud mecánica y • amenaza de estereotipo (comportarse para confirmar estereotipos). Los puntajes observados NO reflejan los puntajes verdaderos del atributo. Sería incorrecto: • Comparar los puntajes de y • Contratar a un versus una con base en los puntajes del TAM. Spencer, S. J. , Steele, C. M. , & Quinn, D. M. (1999). Stereotype threat and women's math performance. Journal of Experimental Social Psychology, 35(1), 4 -28.

Sesgo de constructo El sesgo de un instrumento está determinado por el sesgo asociado a cada uno de sus reactivos. Se asume que no hay Se sospecha algún grado de sesgo en el instrumento en el puntaje total del si no se detecta sesgo instrumento si uno o más de sus en sus reactivos parecen estar sesgados.

Sesgo de constructo Un reactivo tiene sesgo si se cumplen dos condiciones: a) Si las personas de distintos grupos responden b) Si esas diferencias no se Y deben a las diferencias de los de forma diferente a un grupos en el constructo de reactivo. interés.

Procedimientos de evaluación del sesgo de constructo 1. Confiabilidad 2. Ranqueo (para instrumentos de dificultad) 3. Discriminación de reactivos 4. Análisis factorial exploratorio y confirmatorio 5. Análisis del funcionamiento diferencial del ítem (TRI) AFC: Herramienta de gran utilidad para conceptualizar y detectar el sesgo de constructo (invarianza de medición).

Estructura interna del instrumento § Número de factores § Patrón de cargas factoriales § Formas de relación de los reactivos entre sí

Estructura interna del instrumento Diferente estructura en distintos grupos Diferente significado de los puntajes para cada grupo Por tanto, NO es posible: La estructura NO es equivalente • Comparar significativamente los puntajes de los distintos grupos • Interpretar como válidas las correlaciones entre los puntajes del instrumento y otras variables.

Invarianza de medición Ausencia de sesgo de constructo = Invarianza de medición La estructura factorial del instrumento no varía, es equivalente en todos los grupos.

Invarianza de medición La invarianza se evalúa al comparar entre los grupos los parámetros del modelo de medición λ Lambda θ Theta τ Tau Carga factorial del reactivo Varianza de error del reactivo Intercepto del reactivo

Parámetros del modelo de medición τ1 τ2 τ3 τ4 τ5 θ 1 SV 1 λ 1 SV 2 λ 2 θ 3 SV 3 λ 3 θ 4 SV 4 λ 4 θ 5 SV 5 λ 5 θ 2 ψ Satisf. con la Vida Ejemplo: Satisfaction With Life Scale τ Tau θ Theta Intercepto del reactivo La respuesta al reactivo que se esperaría de alguien con un nivel promedio del constructo Varianza de error del reactivo Variabilidad en el reactivo no relacionada con la variabilidad en el factor λ 5 Lambda Carga factorial del reactivo Grado en el que el reactivo refleja la variable latente π ψ Psi π Pi Matriz de varianzascovarianzas Diferencia de medias en la variable latente entre los grupos.

Ejemplo Modelo de AFC para rusos Modelo de AFC para norteamericanos τ1 N τ2 N τ3 N τ4 N τ5 N θ 1 N θ 2 N θ 3 N θ 4 N θ 5 N SV 1 λ 1 N SV 2 λ 2 N SV 3 λ 3 N SV 4 λ 4 N SV 5 λ 5 N ψN τ1 R τ2 R Satisf. con la Vida τ3 R τ4 R π τ5 R θ 1 R θ 2 R θ 3 R θ 4 R θ 5 R SV 1 λ 1 R SV 2 λ 2 R SV 3 λ 3 R SV 4 λ 4 R SV 5 λ 5 R Tucker, K. L. , Ozer, D. J. , Lyubomirsky, S. , & Boehm, J. K. (2006). Testing for measurement invariance in the satisfaction with life scale: A comparison of Russians and North Americans. Social Indicators Research, 78(2), 341 -360. ψR Satisf. con la Vida π

Invarianza de medición Si los distintos grupos tienen diferentes valores de un determinado parámetro, se toma como evidencia de no invarianza. Por ejemplo, si λ 1 M ≠ λ 1 R podría significar que el reactivo refleja diferente variable latente en ambos grupos. La manera en que los interpretan y responden al reactivo SV 1 implica una característica psicológica diferente que los

Invarianza de medición En la práctica, la invarianza de medición no se examina parámetro por parámetro sino por grupos de parámetros comparados en cuatro modelos de AFC. Estos modelos reflejan niveles de invarianza de medición que van incrementando su robutez, desde el 1º, que refleja una invarianza relativamente pobre (sesgo de constructo relativamente grande) hasta el 4º, que refleja una buena invarianza (sesgo de constructo bajo).

Niveles de invarianza de medición Parámetros invariantes entre los grupos 1. Número de factores y patrón de las cargas factoriales sobre la variable latente Qué reactivos cargan en qué factores. 2. Cargas factoriales exactas Que la λ de cada reactivo sea la misma en los distintos grupos. 3. Interceptos del reactivo Que el τ de cada reactivo sea el misma en los distintos grupos. 4. Varianzas de residuales Que la θ de cada reactivo sea la misma en los distintos grupos. Niveles de invarianza Configuracional Métrica / Débil Escalar / Fuerte Estricta ✔ ✔ ✔ ✔ ✔

Niveles de invarianza de medición Implicaciones psicométricas 1. Los reactivos están afectados por la misma variable latente en los distintos grupos. Los reactivos reflejan la misma variable latente. 2. Los grupos tienen la misma unidad de medida. 3. No hay sesgos de respuesta sistemáticos entre los grupos 4. Las diferencias entre los grupos en las covarianzas, varianzas y medias de los reactivos se deben a las diferencias entre los grupos en la variable latente. Niveles de invarianza Configuracional Métrica / Débil Escalar / Fuerte Estricta ✔ ✔ ✔ ✔ ✔

Niveles de invarianza de medición Comparaciones legítimas entre los grupos 1. Asociaciones entre variables latentes. 2. Medias de variables latentes. Niveles de invarianza Configuracional Métrica / Débil Escalar / Fuerte Estricta ✔ ✔ ✔

1 er. nivel Invarianza configuracional Es el nivel menos robusto. Se permite que todos los parámetros difieran entre los grupos. Se alcanza el criterio si, entre los grupos: Si se alcanza el criterio, • el número de factores es el mismo y se concluye que: • el patrón de cargas factoriales es el • los reactivos del instrumento reflejan la mismo. [Los reactivos que cargan en un factor dado en un grupo son los mismos que cargan en ese factor en el otro grupo]. misma variable latente entre los grupos. [La misma característica psicológica]

MODELO DE CONFIGURACIÓN O LÍNEA BASE Todos los parámetros se estiman libremente Norteamericanos 1. 03 4. 6. 81 4. 8. 50 5. 4 1. 16 5. 2 1. 58 5. 6 SV 1 SV 2 SV 3 Rusos. 46 . 94 4. 6 1. 0 . 99. 82 SV 4 . 92 SV 5 1. 10 2. 09 4. 4 Satisf. con la Vida . 92 5. 5 1. 59 4. 6 -. 56 2. 01 5. 2 SV 1 SV 2 SV 3 . 94 2. 15 . 38. 72 SV 4 . 67 SV 5 . 66 Rango de respuestas: 1 a 7; media teórica: 4 χ2(10) = 5. 16, p>. 05, NNFI = 1. 04, GFI =. 98, RMSEA =. 00 ✔ Satisf. con la Vida -. 56

2 o. nivel Invarianza débil o métrica Comparación de resultados: Modelo 2 Invarianza métrica o débil (λ restringidas) versus Modelo 1 Invarianza de configuración (Línea base) Con λs similares entre los grupos No hay efecto significativo de la restricción de λs Buen ajuste del modelo 2, similar al del modelo 1

2 o. nivel Invarianza débil o métrica Es más robusta que la configuracional. Si se alcanza el criterio, se concluye que: • los reactivos del instrumento reflejan la Se alcanza el criterio si, entre los grupos: misma variable latente entre los • el número de factores es el mismo, grupos y • el patrón de cargas factoriales es el mismo y • los valores exactos de las cargas factoriales son los mismos. • los puntajes de la escala están en la misma métrica de medición. [La diferencia de una unidad en los puntajes de la escala tiene el mismo significado psicológico en ambos grupos]

MODELO DÉBIL O MÉTRICO λ restringidas (se mantienen igual para los dos grupos) Norteamericanos. 99 4. 6. 89 4. 8. 49 5. 4 1. 17 5. 2 1. 64 5. 6 SV 1 SV 2 SV 3 Rusos. 67 . 107 4. 6 1. 0 . 84. 87 SV 4 . 90 SV 5 . 98 2. 08 4. 4 Satisf. con la Vida . 91 5. 5 1. 54 4. 6 -. 50 1. 99 5. 2 SV 1 SV 2 SV 3 . 107 1. 30 . 84. 87 SV 4 . 90 SV 5 . 98 χ2(14) = 15. 03, p >. 05, NNFI =. 99, GFI =. 95, RMSEA =. 02 ✔ Satisf. con la Vida -. 50

3 er. nivel Invarianza fuerte o escalar Comparación de resultados: Modelo 3 Invarianza fuerte o escalar (λ y τ restringidas) versus Modelo 2 Invarianza métrica o débil (λ restringidas) Con τs similares entre los grupos No hay efecto significativo de la restricción de τs Buen ajuste del modelo 3, similar al del modelo 2

3 er. nivel Invarianza fuerte o escalar La invarianza débil no es suficiente para algunos análisis. La invarianza fuerte o escalar es más robusta. Se alcanza el criterio si, entre los grupos: • el número de factores es el mismo, • el patrón de cargas factoriales es el mismo y • los valores exactos de las cargas factoriales son los mismos y • los interceptos del reactivo son los mismos. Si se alcanza el criterio, se concluye que: • los reactivos del instrumento reflejan la misma variable latente entre los grupos y • los puntajes de la escala están en la misma métrica de medición y • si dos personas de diferentes grupos tienen el mismo nivel de la variable latente, su respuesta a los reactivos será la misma. [Están justificados los análisis basados en las medias de los grupos y son interpretables en términos de la variable latente].

MODELO FUERTE O ESCALAR λ y τ restringidas (se mantienen igual para los dos grupos) Norteamericanos. 99 4. 7. 88 4. 8. 51 5. 4 1. 16 5. 0 1. 62 5. 6 SV 1 SV 2 SV 3 Rusos. 71 1. 05 4. 7 1. 0 . 86. 83 SV 4 . 96 SV 5 1. 03 2. 08 4. 8 Satisf. con la Vida . 99 5. 4 1. 57 5. 0 -. 61 2. 00 5. 6 SV 1 SV 2 SV 3 1. 05 1. 27 . 86. 83 SV 4 . 96 SV 5 1. 03 χ2(18) = 23. 30, p>. 05, NNFI =. 97, GFI =. 94, RMSEA =. 06 ✔ Satisf. con la Vida -. 61

4 o. nivel Invarianza estricta Comparación de resultados: Modelo 4 Invarianza estricta (λ, τ y θ restringidas) versus Modelo 3 Invarianza fuerte o escalar (λ y τ restringidas) Con θs similares entre los grupos No hay efecto significativo de la restricción de θs Buen ajuste del modelo 4, similar al del modelo 3

4 o. nivel Invarianza estricta La invarianza estricta es la más restrictiva y robusta. Se alcanza el criterio si, entre los grupos: Con el patrón completo de resultados • el número de factores es el mismo, satisfactorias, se concluye que: • el patrón de cargas factoriales es el mismo y • la evidencia sugiere que las respuestas • los valores exactos de las cargas factoriales son los mismos y a los reactivos del instrumento en términos de correlaciones, medias y • los interceptos del reactivo son los mismos y varianzas de error son comparables en • las varianzas de error únicas de los reactivos son los mismos. aproximación justa las diferencias de las distintas muestras y darán una grupo en la variable latente.

MODELO ESTRICTO λ, τ y θ restringidas (se mantienen igual para los dos grupos) Norteamericanos. 86 4. 6 1. 41 4. 8. 72 5. 5 1. 33 5. 0 1. 84 5. 6 SV 1 SV 2 SV 3 Rusos. 86 1. 05 4. 6 1. 0 . 86. 83 SV 4 . 96 SV 5 1. 03 1. 41 4. 8 Satisf. con la Vida . 72 5. 4 1. 33 5. 0 -. 62 1. 84 5. 6 SV 1 SV 2 SV 3 1. 05 1. 35 . 86 Satisf. con la Vida . 83 SV 4 . 96 SV 5 1. 03 χ2(23) = 41. 41, p <. 05, NNFI =. 92, GFI =. 91, RMSEA =. 10 -. 62 No tan ✔

Invarianza de medición Modelo M 1. Invarianza de configuración (Línea base) M 2. Invarianza métrica o débil (λ restringidas) M 3. Invarianza escalar o fuerte (λ y τ restringidos) M 4. Invarianza estricta (λ, τ, θ y restringidos) χ2(gl) 5. 16 (10) p NNFI GFI >. 05 1. 04 RMSEA . 98 . 00 15. 03 >. 05 (14) . 99 . 95 . 02 23. 30 >. 05 (18) . 97 . 94 . 06 41. 41 <. 05 (23) . 92 . 91 . 10

Invarianza de medición Modelo χ2(gl) p NNFI GFI M 1. Invarianza de 5. 16 configuración >. 05 1. 04 (10) (Línea base) M 2. Invarianza 15. 03 métrica o débil >. 05. 99 (14) (λ restringidas) M 3. Invarianza escalar o fuerte 23. 30 >. 05. 97 (λ y τ (18) restringidos) M 4. Invarianza estricta 41. 41 <. 05. 92 (λ, τ, θ y (23) restringidos) . 98 . 95 . 94 . 91 RMSEA Comparación Δ χ2 Δ NNFI Δ GFI Δ RMSEA . 00 . 02 M 2 vs M 1 9. 87 (4) . 05 . 03 . 02 . 06 M 3 vs M 2 8. 27 (4) . 02 . 01 . 04 . 10 M 4 Vs M 3 18. 11 (5) . 05 . 03

Invarianza de medición En las comparaciones entre grupos la invarianza de medición tiene implicaciones fundamentales para: • el significado y • la interpretabilidad de los puntajes.

Invarianza de medición Antes de comparar grupos, se requiere determinar que realmente el instrumento está reflejando el mismo constructo de la misma manera en los diferentes los grupos. Sin esto, se corre el riesgo de interpretar mal los resultados de todos los análisis que se realicen (por ejemplo, comparar medias entre grupos).

Prueba de invarianza en AMOS

La prueba de invarianza se efectúa… Después de obtener los indicadores Y antes de obtener los puntajes adecuados para el modelo: compuestos. • Pesos de regresión con p<. 01 Sin probar la invarianza de medición, los puntajes no tendrían sentido porque no significarían lo mismo para los diferentes grupos. • Pesos de regresión estandarizados >. 50 • Covarianzas con p<. 01 • R 2 (varianza explicada) >. 40 • Índices de ajuste adecuados: CFI>. 95; GFI >. 90; SRMR<. 05; RMSEA <. 08. De tal manera que los análisis resultaría “defectuoso”.

Procedimiento 6. Analizar los estimados 1. Crear los grupos a comparar 7. Analizar los índices de ajuste. 2. Establecer los grupos 8. Comparar los modelos 3. Indicar las propiedades del análisis 4. Indicar el análisis multigrupo 5. Correr el análisis 9. Elaborar una tabla de resultados 10. Obtener la significancia del Δχ2

1. Crear los grupos Aquéllos entre los que se va a probar la invarianza. Grupo 1 Doble click en Grupo número 1. Anotar el nombre del primer grupo. Nuevo

1. Crear los grupos Grupo 2 Grupo número 2 Anotar el nombre del segundo grupo

2. Establecer los grupos Seleccionar el archivo para el grupo 1 Click en Variable de agrupación Seleccionar la variable de agrupación de la lista de variables OK

2. Establecer los grupos Click en Valor del grupo. Seleccionar el valor (código) del grupo 1. OK. Frecuencia del grupo 1.

2. Establecer los grupos Seleccionar el archivo para el grupo 2 (debe ser el mismo que el del grupo 1) Click en Variable de agrupación. Seleccionar la variable de agrupación (la misma que la del grupo 1) de la lista de variables. OK

2. Establecer los grupos Click en Valor del grupo. Seleccionar el valor (código) del grupo 2. Ok. Frecuencia del grupo 2.

3. Indicar las propiedades del análisis Marcar Estimar medias e interceptos. Marcar los análisis requeridos

4. Indicar el análisis multi-grupo Abrir Análisis multigrupo

4. Indicar el análisis multigrupo Análisis multigrupo Se compararán los modelos de medición: 1, 2 y 5

5. Correr el análisis 6. Analizar los estimados Correr el análisis. Analizar los índices estimados para cada grupo en cada modelo. En el Output se mostrarán los índices del modelo para uno u otro grupo, y para cada modelo, según se marquen.

7. Analizar los índices de ajuste para cada modelo: No restringido (Unconstrained) Invarianza de configuración (Línea base) Modelo de Invarianza métrica o débil (Measurement weights) λ restringidas Modelo de Invarianza escalar o fuerte (Measurement intercepts) λ y τ restringidos Modelo de Invarianza estricta (Measurement residuals) λ, τ y θ restringidos

8. Comparar los modelos Analizar la comparación de modelos. Modelo no restringido vs Modelo de Invarianza métrica vs Modelo de Invarianza escalar vs Modelo de Invarianza estricta

9. Elaborar una tabla de resultados Modelo χ2(gl) M 1. Invarianza de 60. 418 configuración (22) (Línea base) M 2. Invarianza 64. 508 métrica o débil (λ (29) restringidas) M 3. Invarianza 75. 415 escalar o fuerte (λ (37) y τ restringidos) M 4. Invarianza 106. 132 estricta (λ, τ y θ (57) restringidos) χ2/gl CFI RMSEA (IC 90%) . 996 . 038 (. 027 -. 049) . 997 . 032 (. 021 -. 042) 2. 309 . 995 . 033 (. 024 -. 042) 2. 293 . 993 . 033 (. 025 -. 040) 2. 746 2. 224 Comparación Δχ2 ΔCFI ΔRMSEA Criterios* p>. 05 ≤ 0. 015 4. 090 (7), p=. 769 . 001 . 006 . 002 -. 001 -. 002 . 000 M 2 vs M 1 M 3 vs M 2 M 4 Vs M 3 10. 907 (8), p=. 207 30. 717 (20), p=. 059 CFI (NNFI): Índice comparativo de Bentler *Cheung, G. W. & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9(2), 233 -255.

10. Obtener la significancia del Δχ2 Las chi cuadradas que se comparan y sus grados de libertad se anotan en el Probador de Diferencias con Chi cuadrada en Excel (Stats Tools Package. Gaskin). Anotar también el número de grupos.

10. Obtener la significancia del Δχ2 Puesto que el valor de p es >. 05, la diferencia no es significativa, por tanto hay invarianza métrica entre los grupos con respecto a estructura factorial. Si es así, es posible crear las variables compuestas a partir de los puntajes de los factores.

Reporte de la Prueba de invarianza Se efectuó un AFC multi-grupo para probar la invarianza de medición de la EBS-8. Inicialmente, se probó el modelo de invarianza de configuración, línea base o libre (M 1), que proponía que la EBS-8 tendría una estructura unifactorial en todos los grupos y se permitió que las cargas factoriales, los interceptos y las varianzas de error se estimaran libremente. Los índices obtenidos (CFI=. 996; RMSEA=. 038; χ2/gl= 2. 746) indicaron que el ajuste del modelo a los datos era excelente (véase tabla 1). A continuación se probó el modelo de invarianza métrica (M 2), en el que se restringieron las cargas factoriales para que fueran iguales entre hombres y mujeres. Los índices mostraron que el modelo ajustó bien y cuando se comparó con el M 1, el ΔCFI fue = 0. 01 y el ΔRMSEA resultó < 0. 015, y Δχ2 fue no significativo (p<. 05).

Reporte de la Prueba de invarianza La prueba del modelo de invarianza escalar (M 3), en el que las interceptos, además de las cargas factoriales, se restringieron para que fueran iguales entre los grupos (por sexo), mostró un buen ajuste. Al compararlo con el M 2, no se presentaron cambios significativos en CFI y RMSEA, ni en χ2. Finalmente, el modelo de invarianza estricta (M 4), en el que se restringieron, además de las cargas factoriales y los interceptos, las varianzas de error, también ajustó correctamente y, comparado con el M 3, el incremento en los índices no resultó significativo. En conjunto, los resultados apoyaron el buen ajuste de los reactivos a la dimensionalidad propuesta por la EBS-8 e indicaron que cuando los elementos de la estructura factorial se mantienen invariantes en función del sexo, los índices de ajuste fueron predominantemente comparables, por lo que la medición del BS con la EBS-8 de hombres y mujeres no varía. Por tanto, los puntajes podrían ser comparados entre los grupos y el cambio en una unidad sería equivalente entre ellos.