09 Validez Estimacin y evaluacin de la evidencia

09. Validez Estimación y evaluación de la evidencia de validez convergente y discriminante

Tipos de validez 1. Validez de contenido: Por expertos. El contenido real del instrumento y Validez de facie: Por no expertos. 2. Validez de constructo Constructo único. Constructo multidimensional. La estructura interna real del instrumento y Lo que debería incluirse en el instrumento, según la teoría La estructura que el instrumento debería poseer, según la teoría

Tipos de validez 3. Validez convergente: Concurrente Predictiva Validez discriminante Las asociaciones reales de un instrumento y Las asociaciones que el instrumento debería (o no) tener con otras medidas, según la teoría

Red nomológica Guía para evaluar la calidad convergente y divergente de un instrumento

Red nomológica � Constructos psicológicos en un contexto teórico RED NOMOLÓGICA Constructo Reac Constructo Reac Reac Red de “significados” alrededor de un constructo.

Red nomológica �Lee Cronbach y Paul Meehl en 1955. �Nomológica: Del griego que significa legítimo. �Dicta un patrón particular de asociaciones entre constructos y sus medidas.

Red nomológica Sugiere que la medida de un constructo debería estar: fuertemente asociada con medidas de algunos constructos, � pero �débilmente correlacionada con medidas de otros constructos.

Red nomológica Ejemplo: Escala de Necesidad de Pertenencia Necesidad de pertenencia Pulsión para formar y mantener al menos una cantidad mínima de relaciones interpersonales duraderas, positivas y significativas. Menos Más

Red nomológica Correlaciones de débiles a moderadas con: Necesidad de pertenencia Necesidad de afiliación Extroversión Sociabilidad

Red nomológica No correlación con: Necesidad de pertenencia Autoestima

Red nomológica Correlaciones negativas con: Necesidad de pertenencia Introversión Apertura a la experiencia Aislamiento social

Red nomológica Síntesis Red nomológica de NECESIDAD DE PERTENENCIA Correlaciones positivas con: No correlación con: Correlaciones negativas con: Necesidad de afiliación Autoestima Apertura a la experiencia Sociabilidad Aislamiento social Extroversión Introversión

Red nomológica �Predicciones con base en la red: Guía para evaluar la calidad convergente y divergente de la Escala de Necesidad de Pertenencia.

MÉTODOS PARA EVALUAR LA VALIDEZ CONVERGENTE Y DISCRIMINANTE

Métodos para evaluar la validez convergente y discriminante MÉTODOS 1. 2. 3. Asociaciones focalizadas Grupos de correlaciones Matrices multirrasgo-multimétodo

1. Método de Asociaciones Focalizadas

Métodos para evaluar la validez convergente y discriminante Enfocarse en las asociaciones entre los puntajes de la prueba y una o algunas variables específicas (variables criterio). Son asociaciones predichas cruciales. Proporcionan: Fuerte evidencia de validez o Serias dudas sobre la validez de la prueba

Métodos para evaluar la validez convergente y discriminante Asociaciones focalizadas Ejemplo: El Test de Evaluación Escolar (SAT) debe estar asociado con medidas de ejecución académica (variable criterio). 1. Un estudio con más de 110, 000 estudiantes de 25 universidades en EU reveló una correlación promedio de. 55 entre sus puntajes en el SAT y sus calificaciones.

Métodos para evaluar la validez convergente y discriminante Estas correlaciones, llamadas coeficientes de validez, son fundamentales para establecer la validez. Dan confianza a psicómetras, usuarios y evaluadores respecto de la calidad del instrumento (que mide el constructo que pretende medir).

Métodos para evaluar la validez convergente y discriminante Generalización de la validez

Métodos para evaluar la validez convergente y discriminante Generalización de la validez Proceso de evaluación de los coeficientes de validez de una prueba a través de un gran grupo de estudios. Comúnmente, se realizan estudios con muestras de 50 a 400 participantes, por limitaciones de tiempo y recursos.

Métodos para evaluar la validez convergente y discriminante PASOS: a) Aplicar la prueba. b) Evaluar la(s) variable(s) criterio relevante(s). c) Obtener la(s) correlación(es) entre a y b. Los estudios con muestras pequeñas, con un tipo específico de población, podrían proporcionar evidencia de validez convergente y discriminante, pero no se pueden generalizar a otras.

Métodos para evaluar la validez convergente y discriminante Estudios de generalización de la validez: Evalúan la utilidad predictiva de los puntajes de una prueba en diferentes ambientes, ocasiones, situaciones, etc. Combina los resultados de varios estudios individuales más pequeños en un gran análisis.

Métodos para evaluar la validez convergente y discriminante Los estudios de generalización de la validez pueden revelar: 1) El nivel general de la validez predictiva a través de todos los estudios individuales pequeños. 2) El grado de variabilidad entre los estudios (si es alto, la validez no se puede generalizar). 3) La fuente de la variabilidad entre los estudios: diferentes metodologías o criterios de medición.

Métodos para evaluar la validez convergente y discriminante Ejemplo: Aplicación del Test de Eficiencia en empleados bancarios y relacionarlo con su ejecución: válido sólo para ellos. Generalización: aplicación en maestros, vendedores, contadores, etc.

Métodos para evaluar la validez convergente y discriminante Ejemplo: En 25 estudios de generalización de la validez del Test de Eficiencia se obtuvo: 1) Correlación promedio de todos los estudios: . 30. 2) Variabilidad entre los estudios: Alta: de. 40 a. 50. Baja: de. 20 a. 40. 3) Fuente de la variabilidad: en algunos estudios los gerentes evaluaron la ejecución y en otros se evaluó con la cantidad de artículos vendidos.

Métodos para evaluar la validez convergente y discriminante MÉTODOS 1. 2. 3. Asociaciones focalizadas Grupos de correlaciones Matrices multirrasgo-multimétodo

2. Método de Grupos de Correlaciones

Métodos para evaluar la validez convergente y discriminante El constructo principal tiene diferentes niveles de asociación con una amplia variedad de constructos. �Se obtiene una gran cantidad de medidas relacionados con la prueba de interés, �se examina el patrón de correlaciones entre ellas y �se juzga el grado en el que tal patrón “tiene sentido”, a la luz del significado conceptual del constructo que está siendo evaluado por la

Métodos para evaluar la validez convergente y discriminante PASOS: a) Aplicar la prueba. b) Medir las numerosas variables criterio. c) Calcular las correlaciones entre la prueba de interés y las medidas de muchas variables criterio. d) Analizar las correlaciones y hacer un juicio subjetivo acerca del grado en el que las correlaciones corresponden a lo que se esperaba con base en la red nomológica del constructo de interés.

Métodos para evaluar la validez convergente y discriminante Ejemplo: Test de Perfeccionismo Dimensiones: Otras medidas 1. Interés en los errores (23 variables criterio): Estándares altos para los demás 3. Necesidad de aprobación 4. Organización 5. Presión paterna percibida 6. Planeación absoluta 7. Cavilación 8. Esfuerzos por la excelencia 9. Perfeccionismo consciente 10. Auto-evaluación de perfeccionismo 2. Escala de Perfeccionismo Multidimensional de Frost EP-MF Escala de Perfeccionismo Multidimensional de Hewitt y Flett EPM-HF Índice Breve de Síntomas IBS Inventario Obsesivo Compulsivo IOC Escala de Deseabilidad Social de Marlowe– Crowne EDS-MC

Métodos para evaluar la validez convergente y discriminante 1 2 3 4 5 6 7 8 9 10 Total EP-MF EPM-HF IBS IOC EDS-MC Hill et al. , 2004

Métodos para evaluar la validez convergente y discriminante Asociaciones fuertes: Dimensiones del Test de Perfeccionismo 8. Esfuerzos por la excelencia 1. Interés en los errores 3. Necesidad de aprobación 7. Cavilación Dimensiones de otros instrumentos Escala de estándares personales (altas expectativas para la ejecución propia y una inclinación para basar el autoaprecio en la ejecución) Escala de perfeccionismo autoorientada ( estándares no realistas para la ejecución y la tendencia a fijarse en imperfecciones en la ejecución propia) Temor a la evaluación negativa Frecuencia y severidad de los síntomas del desorden obsesivo compulsivo

Métodos para evaluar la validez convergente y discriminante MÉTODOS 1. 2. 3. Asociaciones focalizadas Grupos de correlaciones Matrices multirrasgo-multimétodo

3. Método de Matrices Multi-Rasgo Multi-Método MMRMM

Métodos para evaluar la validez convergente y discriminante Cronbach y Meehl (1955) establecieron un significado conceptual de la validez de constructo con base en la noción de la red nomológica. Campbell y Fiske (1959) desarrollaron la lógica de una matriz multirrasgomultimétodo (MMRMM) como una expansión estadística y metodológica del trabajo conceptual de Cronbach y Meehl. [Uno de los artículos más influyentes en la historia de la medición en psicología]

Métodos para evaluar la validez convergente y discriminante Lee J. Cronbach (1916 -2001)

Métodos para evaluar la validez convergente y discriminante Matrices multirrasgo-multimétodo (MMRMM) Se obtienen medidas de varios rasgos y cada uno a través de varios métodos. Propósito: establecer una guía clara para evaluar la evidencia de validez convergente y discriminante. Evalúa dos diferentes fuentes de varianza que podrían afectar las correlaciones entre dos mediciones (varianza de rasgo y varianza de método).

Métodos para evaluar la validez convergente y discriminante Ejemplo: Para evaluar una escala de habilidad social: 1) Medir habilidad social. 2) Medir otros rasgos: estabilidad emocional, impulsividad y conciencia.

Red nomológica Habilidad social Estabilida d emocional Conciencia Impulsividad

Métodos para evaluar la validez convergente y discriminante 3) Utilizar diferentes métodos para medir los rasgos: a) Escalas de auto-reporte. b) Evaluación de conocidos: Pedir a conocidos cercanos de los participantes que evalúen su habilidad social, impulsividad, conciencia y estabilidad emocional. c) Evaluación de entrevistadores: Pedir a estudiantes de psicología que entrevisten a los participantes para evaluar su habilidad social, impulsividad, conciencia y estabilidad emocional.

Métodos de medición Rasgos Evaluación de entrevistadores Autorreporte Evaluación de conocidos

Métodos para evaluar la validez convergente y discriminante Varios rasgos con varios métodos Habilidad social Estabilidad emocional Impulsividad Conciencia con: . : Escalas de auto-reporte Escalas de autoreporte Evaluación de conocidos Evaluación de entrevistadores Evaluación de. conocidos Evaluación de entrevistadores

Métodos para evaluar la validez convergente y discriminante r entre Autoreporte de habilidad social y Autoreporte de estabilidad emocional A Dos posibles explicaciones: a) Comparten varianza de rasgo Psicológicamente, tienen algo en común. b) Comparten varianza de método No es cuestión de interpretaciones psicológicas sino de metodología. B

Métodos para evaluar la validez convergente y discriminante a) Comparten varianza de rasgo Probables razones: �Su habilidad social les permite crear relaciones sociales que les traen beneficios sociales, como la estabilidad emocional. A B �Quienes son estables emocionalmente podrían tender a ser más hábiles socialmente. B A �Ambas pueden ser causadas por una tercera variable: quizá hay base genéticas que influyen en ambos. C A y B

Métodos para evaluar la validez convergente y discriminante b) Comparten varianza de método La r es + porque se basa en dos medidas derivadas de la misma fuente (por ejemplo, auto-reportes de los respondientes). Comparten propiedades adicionales a los constructos principales que se están midiendo. Quienes se perciben altos en las dos medidas pueden tender a percibirse positivamente en todo, y viceversa. Por tanto, la r puede ser simplemente un sesgo inherente en el método de medición de auto-reporte (artefacto debido a que las dos medidas comparten el mismo método).

Métodos para evaluar la validez convergente y discriminante Las influencias de: la varianza de rasgo y de la varianza de método complican la interpretación de las correlaciones en términos de la evidencia de validez convergente y discriminante. Es muy complejo. Hay que examinar las correlaciones cuidadosamente. La aproximación MMRMM fue diseñada: � para organizar la información relevante y � para guiar las interpretaciones.

Métodos para evaluar la validez convergente y discriminante Ejemplo: Dos correlaciones: r entre Autoreporte de habilidad social ¿Cuál de las dos debe ser más fuerte para que la nueva medida se interprete como válida? y y Reporte del conocido sobre la habilidad social del participante Auto-reporte de estabilidad emocional

Métodos para evaluar la validez convergente y discriminante r entre Autoreporte de habilidad social y y Reporte del conocido sobre la habilidad social del participante Auto-reporte de estabilidad emocional Se esperaría que fuera alta porque son dos medidas del mismo constructo. Se esperaría que fuera baja porque son medidas de dos constructos diferentes.

Métodos para evaluar la validez convergente y discriminante Sin embargo, considerando la varianza de método: r entre Autoreporte de habilidad social y y Reporte del conocido de la habilidad social del participante Auto-reporte de estabilidad emocional Esta correlación sería más débil que la otra.

Métodos para evaluar la validez convergente y discriminante Por tanto, hay diferentes tipos de correlaciones, dependiendo de la varianza de rasgo y de la de método. Campbell y Fiske (1959) señalaron cuatro tipos de correlaciones derivadas de un MMRMM.

Asociación entre los dos constructos Constructos diferentes (no asociados) Constructos iguales (o similares) (asociados) Método utilizado para medir los dos constructos Métodos diferentes Métodos iguales Denominación rs heterorrasgoheterométodo rs heterorrasgomonométodo Fuentes de varianza Varianza de rasgo no compartida y varianza de método no compartida Varianza de rasgo no compartida y varianza de método compartida Ejemplo Auto-reporte de habilidad social con reporte de un conocido sobre la estabilidad emocional Auto-reporte de habilidad social con auto-reporte de estabilidad emocional Correlación esperada Débil Moderada Denominación rs monorrasgo-heterométodo rs monorrasgo-monométodo Fuentes de varianza Varianza de rasgo compartida y varianza de método no compartida Varianza de rasgo compartida y varianza de método compartida Ejemplo Auto-reporte de habilidad social con reporte de un conocido de habilidad social Auto-reporte de habilidad social con auto-reporte de habilidad social (confiabilidad) Correlación esperada Fuerte Más fuerte

Métodos para evaluar la validez convergente y discriminante La evaluación de la validez de constructo, con la varianza de rasgo y la varianza de método, procede de enfocarse en los diversos tipos de correlaciones organizados en la MMRMM.

Matriz Multi-Rasgo / Multi-Método MMRMM Métodos Rasgos Autorreporte Habilidade s sociales Impulsivida Autod reporte Estabilidad emocional Habilidade s sociales Evaluació Impulsivida n de d conocidos Estabilidad emocional Habilidade s sociales Evaluació Impulsivida n de d entrevista dores Estabilidad emocional Impulsividad Evaluación de conocidos Estabilidad Habilidades emocional sociales Impulsividad Evaluación de entrevistadores Estabilidad Habilidades emocional sociales Estabilida Impuld sividad emociona l (. 85). 14 (. 81) . 35 . 24 (. 82) . 40 . 14 . 22 (. 76) . 13 . 32 . 19 . 18 (. 80) . 20 . 23 . 41 . 30 . 28 (. 78) . 34 . 11 . 20 . 23 . 01 . 19 (. 81) . 08 . 25 . 19 . 06 . 24 . 14 . 22 (. 77) . 14 . 16 . 33 . 12 . 19 . 44 . 38 (. 78)

1º. Evidencia de validez convergente Mono-rasgo / hetero-método Métodos diferentes Constructos iguales (o similares) (asociados) Denominación rs monorrasgo-heterométodo Fuentes de varianza Varianza de rasgo compartida y varianza de método no compartida Auto-reporte de Reporte de un conocido con habilidad social de habilidad social Ejemplo Correlación esperada Maneras diferentes de medir el mismo rasgo. Fuerte Correlaciones fuertes

Las correlaciones mono-rasgo / hetero-método son fuertes Métodos Rasgos Autorreporte Habilidade s sociales Impulsivida Autod reporte Estabilidad emocional Habilidade s sociales Evaluació Impulsivida n de d conocidos Estabilidad emocional Habilidade s sociales Evaluació Impulsivida n de d entrevista dores Estabilidad emocional Impulsividad Evaluación de conocidos Estabilidad Habilidades emocional sociales Impulsividad Evaluación de entrevistadores Estabilidad Habilidades emocional sociales Estabilida Impuld sividad emociona l (. 85). 14 (. 81) . 35 . 24 (. 82) . 40 . 14 . 22 (. 76) . 13 . 32 . 19 . 18 (. 80) . 20 . 23 . 41 . 30 . 28 (. 78) . 34 . 11 . 20 . 23 . 01 . 19 (. 81) . 08 . 25 . 19 . 06 . 24 . 14 . 22 (. 77) . 14 . 16 . 33 . 12 . 19 . 44 . 38 (. 78) Ej. , la correlación del auto-reporte de habilidad social con otras medidas de habilidad social es fuerte.

2º. Más evidencia de validez convergente y discriminante Hetero-rasgo / hetero-método Métodos diferentes Denominació n Constructos diferentes Fuentes de varianza Ejemplo Correlación esperada rs heterorrasgo-heterométodo Varianza de rasgo no compartida y varianza de método no compartida Auto-reporte de Reporte de un conocido con habilidad social sobre la estabilidad emocional Más débil Asociaciones entre medidas de diferentes constructos evaluados con diferentes métodos. Correlaciones débiles

Correlaciones hetero-rasgo / hetero-método débiles Métodos Rasgos Autorreporte Habilidade s sociales Impulsivida Autod reporte Estabilidad emocional Habilidade s sociales Evaluació Impulsivida n de d conocidos Estabilidad emocional Habilidade s sociales Evaluació Impulsivida n de d entrevista dores Estabilidad emocional Impulsividad Evaluación de conocidos Estabilidad Habilidades emocional sociales Impulsividad Evaluación de entrevistadores Estabilidad Habilidades emocional sociales Estabilida Impuld sividad emociona l (. 85). 14 (. 81) . 35 . 24 (. 82) . 40 . 14 . 22 (. 76) . 13 . 32 . 19 . 18 (. 80) . 20 . 23 . 41 . 30 . 28 (. 78) . 34 . 11 . 20 . 23 . 01 . 19 (. 81) . 08 . 25 . 19 . 06 . 24 . 14 . 22 (. 77) . 14 . 16 . 33 . 12 . 19 . 44 . 38 (. 78) Ej. , la correlación del auto-reporte de habilidad social es más fuerte con otras medidas de habilidad social que con cualquier otra.

3º. Evidencia aún más rigurosa de validez convergente y discriminante Hetero-rasgo / mono-método Métodos iguales Constructos diferentes (no asociados) Denominación rs heterorrasgo-monométodo Fuentes de varianza Varianza de rasgo no compartida y varianza de método compartida Ejemplo Correlación esperada Auto-reporte de con habilidad social estabilidad emocional Moderada Asociaciones entre medidas de diferentes constructos evaluados con el mismo método. Correlaciones moderadas

Las correlaciones mono-rasgo / hetero-método más fuertes que las hetero-rasgo / mono-método MMRMM Métodos Rasgos Autorreporte Habilidade s sociales Impulsivida Autod reporte Estabilidad emocional Habilidade s sociales Evaluació Impulsivida n de d conocidos Estabilidad emocional Habilidade s sociales Impulsividad Evaluación de conocidos Estabilidad Habilidades emocional sociales (. 85) Impulsividad Evaluación de entrevistadores Estabilidad Habilidades emocional sociales Estabilida Impuld sividad emociona l Hetero-rasgo / mono-método: Asociaciones entre medidas de diferentes constructos evaluados con el mismo método. . 14 (. 81) . 35 . 24 (. 82) . 40 . 14 . 22 (. 76) . 13 . 32 . 19 . 18 (. 80) . 20 . 23 . 41 . 30 . 28 (. 78) . 34 . 11 . 20 . 23 . 01 . 19 (. 81) . 25 . 19 . 06 . 24 . 14 . 22 (. 77) . 16 . 33 . 12 . 19 . 44 . 38 Evaluació Impulsivida n de. 08 d entrevista dores Estabilidad. 14 emocional Ej. , la correlación del auto-reporte de habilidad social es más fuerte con otras medidas de habilidad social que con medidas de auto-reporte de otros rasgos. (. 78)

Métodos para evaluar la validez convergente y discriminante El MMRMM se utiliza poco, pero es un importante desarrollo para entender y analizar la evidencia de validez convergente y discriminante.

Otros temas de Psicometría � Coeficiente de validez � Factores que afectan el coeficiente de validez � Interpretación del coeficiente de validez � Amenazas a la calidad psicométrica: � Sesgos en la respuesta � Sesgos en el instrumento � Aproximaciones � Teoría psicométricas avanzadas de la Generalizabilidad � Teoría de la Respuesta al Item (TRI) y Modelos Rasch