PSICOMETRA TEMA 6 2 VALIDEZ II Tema 6

PSICOMETRÍA TEMA 6. 2: VALIDEZ II Tema 6. 2 Evaluación del instrumento de medida: VALIDEZ II Salvador Chacón Moscoso Susana Sanduvete Chaves Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material

TEMA 6. 2: VALIDEZ II Índice 1. Validación con varios predictores y un solo indicador del criterio 1. 1. El coeficiente de validez múltiple 1. 2. El modelo de regresión lineal múltiple 1. 2. 1. Ecuaciones de regresión 1. 2. 2. La varianza residual y el error típico de estimación múltiple 1. 2. 3. Intervalos de confianza 1. 3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas 1. 3. 1. Coeficiente de determinación múltiple 1. 3. 2. Coeficiente de alineación múltiple 1. 3. 3. Coeficiente de valor predictivo múltiple 1. 4. Métodos para seleccionar las variables predictoras más adecuadas 2. Validez y utilidad de las decisiones 2. 1. Índices de validez 2. 2. Índices de selección 2. 3. ¿Dónde situar el punto de corte? 2. 4. Modelos de selección 3. Factores que influyen en el coeficiente de validez 3. 1. Variabilidad de la muestra 3. 2. Fiabilidad de las puntuaciones del test y del criterio 3. 3. Longitud del test 4. Generalización de la validez 2 5. Bibliografía comentada

1. Validación con varios predictores y un solo indicador del criterio 1. 1. El coeficiente de validez múltiple El modelo de regresión lineal simple en la práctica es insuficiente raramente se utiliza una única variable predictora para tomar decisiones. TEMA 6. 2: VALIDEZ II Cuando tenemos varios predictores (dos por ejemplo), el análogo es la correlación múltiple que viene dada por: Valor máximo: 1 3

1. Validación con varios predictores y un solo indicador del criterio 1. 1. El coeficiente de validez múltiple Se quiere averiguar si la fluidez verbal y la extraversión son variables que favorecen el número de ventas en comerciales de automóviles. Se ha seleccionado a una muestra de 6 vendedores que han sido evaluados por una prueba de extraversión (X 1) y una prueba de fluidez verbal (X 2). Calcular el coeficiente de validez TEMA 6. 2: VALIDEZ II Y X 1 X 2 4 8 6 5 6 6 7 6 5 4 7 7 8 8 4

TEMA 6. 2: VALIDEZ II 1. Validación con varios predictores y un solo indicador del criterio 1. 1. El coeficiente de validez múltiple Y X 1 X 2 Y 2 X 12 X 22 YX 1 YX 2 X 1 X 2 4 16 8 8 6 5 64 36 25 48 40 30 6 5 6 36 25 36 30 6 7 6 36 49 36 42 5 4 7 25 16 49 20 35 28 7 8 8 49 64 64 56 56 64 36 32 36 226 194 226 204 219 202 Dado que el valor máximo del coeficiente de validez es 1, se puede decir que X 1 y X 2 tienen una buena 5 capacidad predictiva.

TEMA 6. 2: VALIDEZ II 1. Validación con varios predictores y un solo indicador del criterio 1. 1. El coeficiente de validez múltiple 6

1. Validación con varios predictores y un solo indicador del criterio 1. 1. El coeficiente de validez múltiple El problema es que los predictores, además de estar relacionados con el criterio, pueden estar relacionados entre sí, lo que plantea problemas con la predicción e interpretación de resultados. TEMA 6. 2: VALIDEZ II X 1 Y X 2 ¿En qué grado la variabilidad de Y se debe a X 1 o X 2, o a la interacción? 7

1. Validación con varios predictores y un solo indicador del criterio 1. 1. El coeficiente de validez múltiple TEMA 6. 2: VALIDEZ II Una forma de controlarlo es mediante la correlación parcial y semiparcial. 1. Correlación parcial: permite interpretar el grado de correlación entre la variable criterio (Y) y una de las variables predictoras (por ejemplo, X 1), eliminando del modelo a la otra variable predictora (en este ejemplo, X 2). 8

1. Validación con varios predictores y un solo indicador del criterio 1. 1. El coeficiente de validez múltiple 2. Correlación semi-parcial: permite interpretar el grado de correlación entre la variable criterio (Y) y una de las variables predictoras (en el ejemplo, X 1), una vez la otra variable predictora (en este ejemplo, X 2) ya está en el modelo. TEMA 6. 2: VALIDEZ II X 1 Y X 2 Ejemplo: con los datos anteriores, calcular las correlaciones parciales y semiparciales. 9

1. Validación con varios predictores y un solo indicador del criterio 1. 1. El coeficiente de validez múltiple -Correlación parcial entre extraversión (X 1) y ventas (Y): TEMA 6. 2: VALIDEZ II La correlación entre extraversión y ventas (r. YX 1) era 0, 79. Eliminando la influencia de fluidez verbal, es 0, 82; es decir, ha aumentado la fluidez verbal podría estar afectando negativamente. -Correlación parcial entre fluidez verbal (X 2) y ventas (Y): La correlación entre ventas y fluidez verbal (r. YX 2) era 0, 3. Eliminando la influencia de extraversión, ahora es – 0. 46 la extraversión está afectando muy positivamente en la 10 correlación.

1. Validación con varios predictores y un solo indicador del criterio 1. 1. El coeficiente de validez múltiple -Correlación semi-parcial entre extraversión (X 1) y ventas (Y): TEMA 6. 2: VALIDEZ II La correlación entre extraversión y ventas (r. YX 1) era 0, 79. La correlación entre extraversión y ventas una vez fluidez verbal estaba en el modelo, apenas varía (0, 78). -Correlación semi-parcial entre fluidez verbal (X 2) y ventas (Y): La correlación entre fluidez verbal y ventas (r. YX 2) era 0, 30. La correlación entre fluidez verbal y ventas una vez extraversión estaba en el modelo es -0. 28. En la medida de lo posible, hay que evitar correlaciones altas entre predictores (extraversión con fluidez verbal, r. X X = 0, 65). 11

1. Validación con varios predictores y un solo indicador del criterio 1. 2. El modelo de regresión lineal múltiple TEMA 6. 2: VALIDEZ II Es habitual trabajar con múltiples predictores se pretende obtener una ecuación de predicción que pondere adecuadamente cada uno de los predictores para pronosticar el criterio, y eliminar los predictores que aportan poca información Regresión Lineal Múltiple (generalización de la simple). Donde: a = ordenada en el origen. b 1, , b 2 , . . . , bn = coeficientes de regresión ; el error aleatorio. 12

1. Validación con varios predictores y un solo indicador del criterio 1. 2. El modelo de regresión lineal múltiple 1. 2. 1. Ecuaciones de regresión En puntuaciones directas, con dos variables predictoras (X 1 y X 2): TEMA 6. 2: VALIDEZ II a: ordenada en el origen 13

1. Validación con varios predictores y un solo indicador del criterio 1. 2. El modelo de regresión lineal múltiple 1. 2. 1. Ecuaciones de regresión En puntuaciones diferenciales: b 1 y b 2 son las mismas que en la ecuación de regresión para puntuaciones directas TEMA 6. 2: VALIDEZ II En puntuaciones tipificadas: b*1 y b*2 se calcula como b 1 y b 2, pero sin multiplicar por SY/SX Ejemplo: con los datos anteriores, calcular la ecuación de regresión en puntuaciones directas. 14

TEMA 6. 2: VALIDEZ II 1. Validación con varios predictores y un solo indicador del criterio 1. 2. El modelo de regresión lineal múltiple 1. 2. 1. Ecuaciones de regresión Ejemplo: Predecir cuál sería la puntuación en el criterio (Y) para cada participante y su error de estimación asociado. 15

1. Validación con varios predictores y un solo indicador del criterio 1. 2. El modelo de regresión lineal múltiple 1. 2. 1. Ecuaciones de regresión TEMA 6. 2: VALIDEZ II Así, por ejemplo, a un participante que en extraversión obtuvo 2, y 4 en fluidez verbal, se le pronostica que venda aproximadamente 5 coches. Y X 1 X 2 Y´=a+b 1 X 1+ b 2 X 2 Y’ e = Y-Y’ 4 2 4 Y´=4, 64+0, 66*2 – 0, 36*4 4, 52 (4 -4, 52)=-0, 52 8 6 5 Y´=4, 64+0, 66*6 – 0, 36*5 6, 8 1, 2 6 5 6 Y´=4, 64+0, 66*5 – 0, 36*6 5, 78 0, 22 6 7 6 Y´=4, 64+0, 66*7 – 0, 36*6 7, 1 -1, 1 5 4 7 Y´=4, 64+0, 66*4 – 0, 36*7 4, 76 0, 24 7 8 8 Y´=4, 64+0, 66*8 – 0, 36*8 7, 04 -0, 04 36 32 36 36 0 16

1. Validación con varios predictores y un solo indicador del criterio 1. 2. El modelo de regresión lineal múltiple 1. 2. 2. La varianza residual y el error típico de estimación múltiple El coeficiente de validez indica la eficacia del predictor para estimar el criterio el coeficiente de validez múltiple indica por tanto la eficacia del conjunto de variables predictoras para estimar el criterio. TEMA 6. 2: VALIDEZ II R Y. X 1 X 2 Mejor serán las estimaciones del criterio error (Y-Y’) A la varianza de todos los errores de estimación (Y-Y´) se le denomina Varianza residual o varianza del error 17

1. Validación con varios predictores y un solo indicador del criterio 1. 2. El modelo de regresión lineal múltiple 1. 2. 2. La varianza residual y el error típico de estimación múltiple TEMA 6. 2: VALIDEZ II Al igual que en el caso de la regresión simple, la varianza total de las puntuaciones obtenidas en el criterio puede descomponerse en la varianza de las puntuaciones pronosticadas más la varianza del error: Error típico de estimación: Ejemplo: calcular el error típico de estimación y comprobar la igualdad: 18

TEMA 6. 2: VALIDEZ II 1. Validación con varios predictores y un solo indicador del criterio 1. 2. El modelo de regresión lineal múltiple 1. 2. 2. La varianza residual y el error típico de estimación múltiple Y X 1 X 2 Y’ e = Y-Y’ Y’ 2 (Y-Y’)2 4 4, 52 0, 52 20, 43 0, 27 8 6 5 6, 8 1, 2 46, 24 1, 44 6 5, 78 0, 22 33, 41 0, 05 6 7, 1 -1, 1 50, 41 1, 21 5 4 7 4, 76 0, 24 22, 66 0, 06 7 8 8 7, 04 -0, 04 49, 56 0, 00 36 32 36 36 0 222, 71 3, 03 19

1. Validación con varios predictores y un solo indicador del criterio 1. 2. El modelo de regresión lineal múltiple 1. 2. 2. La varianza residual y el error típico de estimación múltiple TEMA 6. 2: VALIDEZ II - Error típico de estimación múltiple. - Comprobar que Calculado previamente para la ecuación de regresión 20

1. Validación con varios predictores y un solo indicador del criterio 1. 2. El modelo de regresión lineal múltiple 1. 2. 3. Intervalos de confianza TEMA 6. 2: VALIDEZ II Debido a los errores de estimación, es más conveniente hacer estimaciones por intervalos que puntuales. Error típico de estimación Ejemplo: con los datos anteriores, calcular en qué intervalo se estima se encontrará el número de coches vendidos (Y) para un comercial que obtuvo 5 21 en extraversión (X 1) y 6 en fluidez verbal (X 2) (NC = 95%).

TEMA 6. 2: VALIDEZ II 1. Validación con varios predictores y un solo indicador del criterio 1. 2. El modelo de regresión lineal múltiple 1. 2. 3. Intervalos de confianza Error típico de estimación calculado en el ejercicio anterior 22

1. 3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas 1. 3. 1. Coeficiente de determinación múltiple Equivale al coeficiente de validez al cuadrado y representa la proporción de varianza de las puntuaciones de los participantes en el criterio que se puede pronosticar a partir del conjunto de variables predictoras. TEMA 6. 2: VALIDEZ II Los posibles valores del C. D. se encuentran entre 0 y 1. Cuando la varianza del error es pequeña, implica que los valores pronosticados de Y’ están próximos a los reales el error típico de estimación será pequeño y por tanto el C. D tomará valores próximos a uno. Expresa la proporción de variación de Y ligada a las variables predictoras, determinada por las variables predictoras, explicada por las variables predictoras, o que se puede predecir a partir de las variables predictoras. 23

1. 3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas 1. 3. 2. Coeficiente de alienación múltiple Indica la proporción que representa el error típico de estimación múltiple respecto a la desviación típica de las puntuaciones en el criterio. Es la inseguridad, el azar que afecta a los pronósticos. TEMA 6. 2: VALIDEZ II Los posibles valores del C. A. se encuentran entre 0 y 1. Cuando la varianza del error es alta, implica que los valores pronosticados de Y’ están lejos de los reales el error típico de estimación será elevado y por tanto el C. A. tomará valores próximos a uno. C. A. 2 expresa la proporción de variación de Y que no está ligada al conjunto de variables predictoras, determinada por las variables predictoras, explicada por las variables predictoras, o que no se puede predecir a partir de ellas. 24

1. 3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas 1. 3. 3. Coeficiente de valor predictivo múltiple Complementario al C. A. , es otra forma de expresar la capacidad de los predictores para pronosticar el criterio. TEMA 6. 2: VALIDEZ II Los posibles valores del C. V. P. se encuentran entre 0 y 1. Cuando mayor sea el C. A. , menor será la capacidad del test para pronosticar el criterio. Ejemplo: con los datos anteriores, calcular el C. D. , el C. A. y sus complementarios. Interpretar los resultados. 25

TEMA 6. 2: VALIDEZ II 1. 3. Interpretación de la evidencia obtenida acerca de la capacidad predictora del conjunto de variables utilizadas El 70% de las puntuaciones en el criterio se podría pronosticar a partir de X 1 y X 2; mientras que el restante 30% equivale a la variabilidad de las puntuaciones en el criterio que los predictores no explican. 0, 55 es la inseguridad en el pronóstico; mientras que el restante 0, 45 es la seguridad en el pronóstico o la capacidad de los predictores para pronosticar el criterio. 26

1. 4. Métodos para seleccionar las variables predictoras más adecuadas. Según Thorndike y Hagen (1989), los predictores han de ser: - Relevantes: ¿en qué medida el indicador se corresponde con el criterio? TEMA 6. 2: VALIDEZ II - Libres de sesgo: evitar seleccionar variables que afectan de manera diferencial entre grupos. - Fiables: las medidas obtenidas han de ser precisas y mantenerse estables a lo largo del tiempo. - Accesibles. 27

TEMA 6. 2: VALIDEZ II 1. 4. Métodos para seleccionar las variables predictoras más adecuadas. Cuanto más predictores mejor, dado que R aumenta. Sin embargo, hemos de prestar especial atención a la MULTICOLINEALIDAD existencia de correlaciones altas entre los predictores (un predictor puede explicarse mediante la combinación lineal de otros) información redundante, lo que hace que se sobre-estime el coeficiente de determinación 28

1. 4. Métodos para seleccionar las variables predictoras más adecuadas. -Método “Forward” (hacia delante) 1. Calcular las intercorrelaciones entre las variables. 2. Seleccionar la variable predictora cuya correlación con el criterio sea más alta y se construye la ecuación de regresión. TEMA 6. 2: VALIDEZ II 3. Se van añadiendo a la ecuación, una a una, las demás variables en función de su contribución de acuerdo con la correlación semi-parcial. 4. Cada vez que se introduce una variable, se calcula el aumento en el porcentaje de varianza explicado, analizando si es estadísticamente significativo. El proceso se detiene cuando el aumento no es significativo. 29

1. 4. Métodos para seleccionar las variables predictoras más adecuadas. - Método “Backward” (hacia atrás) TEMA 6. 2: VALIDEZ II 1. Calcular la correlación múltiple al cuadrado entre el criterio y el conjunto de variables predictoras. 2. Se van eliminando, una a una, las variables menos relevantes, calculando la reducción que se produce en el coeficiente de determinación. 3. El proceso se detiene, al contrario que en el caso anterior, cuando la reducción observada sea significativa. 30

2. Validez y utilidad de las decisiones TEMA 6. 2: VALIDEZ II Se incluye una serie de procedimientos que permiten analizar la validez de las decisiones tomadas a partir de las puntuaciones obtenidas en un test en relación a un criterio dicotómico. En este caso, las puntuación del test se dicotomizan (aptos-no aptos; enfermo-no enfermo, etc. ). Es el método que suele utilizarse en los tests referidos al criterio (TRC). Diferenciamos entre: -Punto de corte en el test: puntuación en el test que diferencia entre participantes que se encuentran por encima o por debajo del punto de corte (aptos-no aptos; clínicos-no clínicos, etc. ). -Punto de corte en el criterio: puntuación en el criterio por encima de la cual el resultado se considera un éxito, o caso clínico, por ejemplo. 31

2. Validez y utilidad de las decisiones La dicotomización del test y del criterio llevan a la clasificación de todos los participantes en una tabla de contingencia de 2 * 2: Test TEMA 6. 2: VALIDEZ II Criterio Sí (sobre el punto de No (bajo el punto de corte) Sí A (verdaderos C (falsos positivos) negativos) FN VP g = A+C No B (falsos positivos) FP D (verdadero negativos) VN h = B+D e = A+B f = C+D A+B+C+D El objetivo es que con el test se puedan tomar el mayor número de decisiones correctas; que test y criterio coincidan en las clasificaciones (A y D); y el menor número de decisiones incorrectas, es decir, que no coincidan (B y C). 32

2. Validez y utilidad de las decisiones 2. 1. Índices de validez A partir de los datos, es necesario obtener algún indicador de validez: TEMA 6. 2: VALIDEZ II 1. Coeficiente Kappa: permite evaluar la consistencia de las clasificaciones, o en qué medida las clasificaciones de test y criterio han coincidido por azar. Se expresa mediante: Donde: Fc= nº de casos en los que coinciden test y criterio (A+D) Fa= número de casos en los que coinciden por azar. N= nº de personas de la muestra. 33

2. Validez y utilidad de las decisiones 2. 1. Índices de validez Se ha aplicado un test que trata de diagnosticar demencia a una muestra de 50 participantes. Como criterio se ha utilizado la entrevista clínica realizada por un experto. Las clasificaciones realizadas han sido las siguientes: TEMA 6. 2: VALIDEZ II Test Sí No Sí 18 3 No 2 27 Criterio Calcular el coeficiente Kappa e interpretar el resultado. 34

2. Validez y utilidad de las decisiones 2. 1. Índices de validez Test Sí TEMA 6. 2: VALIDEZ II Criterio No Sí A (verdaderos positivos)=18 C (falsos negativos)=3 No D (verdaderos h = B+D = negativos)=27 29 B (falsos positivos)=2 e = A+B = 20 f = C+D = 30 g = A+C = 21 50 35

TEMA 6. 2: VALIDEZ II 2. Validez y utilidad de las decisiones 2. 1. Índices de validez Puesto que el valor máximo es 1, podemos decir que la validez de la prueba de diagnóstico (test) es alta. 36

2. Validez y utilidad de las decisiones 2. 1. Índices de validez 2. Proporción de clasificaciones correctas: grado en que test y criterio coinciden en las clasificaciones. No se tiene en TEMA 6. 2: VALIDEZ II cuenta el efecto del azar 3. Sensibilidad (tasa de verdaderos positivos): grado en que el test es bueno para detectar exclusivamente a las personas con trastorno. 37

2. Validez y utilidad de las decisiones 2. 1. Índices de validez 4. Especificidad (tasa de verdaderos negativos): grado en que el test es bueno para excluir a los que realmente no tienen el trastorno. TEMA 6. 2: VALIDEZ II 5. Razón de eficacia: grado en que el test es bueno para seleccionar a participantes que tendrán el trastorno. Ejemplo: con los datos del ejercicio anterior, calcular la proporción de clasificaciones correctas, la sensibilidad, la especificidad y la 38 razón de eficacia del test.

2. Validez y utilidad de las decisiones 2. 1. Índices de validez 2. Proporción de clasificaciones correctas: TEMA 6. 2: VALIDEZ II 3. Sensibilidad (tasa de verdaderos positivos): 39

2. Validez y utilidad de las decisiones 2. 1. Índices de validez TEMA 6. 2: VALIDEZ II 4. Especificidad (tasa de verdaderos negativos): 5. Razón de eficacia: 40

2. Validez y utilidad de las decisiones 2. 2. Índices de selección 1. Razón de idoneidad: proporción de participantes que superaron el punto de corte en el criterio TEMA 6. 2: VALIDEZ II 2. Razón de selección: proporción de participantes que superaron el punto de corte en el test. Ejemplo: con los datos del ejercicio anterior, calcular las razones de idoneidad y de selección. 41

2. Validez y utilidad de las decisiones 2. 2. Índices de selección TEMA 6. 2: VALIDEZ II 1. Razón de idoneidad: 2. Razón de selección: 42

2. Validez y utilidad de las decisiones 2. 3. ¿Dónde situar el punto de corte? Dado que es necesario dicotomizar las puntuaciones, dónde se sitúe el punto de corte va a traer consecuencias en las decisiones tomadas con el test. Falsos negativos TEMA 6. 2: VALIDEZ II Aceptados CRITERIO Rechazados Rechazos, Verdaderos negativos Rechazados Aciertos, Verdaderos positivos C A D B P. Corte del test Falsos positivos 43 TEST Aceptados

2. Validez y utilidad de las decisiones 2. 3. ¿Dónde situar el punto de corte? Consecuencias de desplazar el punto de corte del test hacia la derecha criterio más estricto -Consecuencia positiva: Disminuye la tasa de falsos positivos. -Consecuencia negativa: Aumenta la tasa de falsos negativos. Falsos negativos Aciertos, Verdadero s positivos TEMA 6. 2: VALIDEZ II Aceptados CRITERIO Rechazados C A D B Rechazos, Verdaderos negativos Rechazados TEST Falsos positivos Aceptados 44

2. Validez y utilidad de las decisiones 2. 3. ¿Dónde situar el punto de corte? Consecuencias de hacer más estricto el punto de corte del criterio: -Consecuencia positiva: Disminuye la tasa falsos negativos. -Consecuencia negativa: Aumenta la tasa de falsos positivos. Falsos negativos Aceptados TEMA 6. 2: VALIDEZ II CRITERIO Rechazados Rechazos, Verdaderos negativos Rechazados Aciertos, Verdaderos positivos C A D B Falsos positivos TEST Aceptados 45

2. Validez y utilidad de las decisiones 2. 3. ¿Dónde situar el punto de corte? En general, el punto de corte se situará en aquel punto que maximice la capacidad predictiva del test. Es decir, en aquel valor donde se cometa un menor número de errores. TEMA 6. 2: VALIDEZ II Para ello, hay que analizar las consecuencias de las decisiones tomadas, ya que no siempre tiene la misma importancia cometer un tipo de error u otro (falsos negativos, o falsos positivos). Ejemplo, tests diagnósticos de SIDA: es más grave la existencia de falsos negativos (es decir, participantes que lo padecen, pero que el test determina que no), ya que los participantes no recibirán tratamiento y el riesgo de contagio a otras personas será mayor. 46

2. Validez y utilidad de las decisiones 2. 4. Modelos de selección ¿Cómo combinar toda la información sobre un participante para tomar una decisión (tests, entrevista, actitud, . . . )? TEMA 6. 2: VALIDEZ II 1. Compensatorio: modelo aditivo, en el que al participante se le asigna una única puntuación global. Por ello, puede compensar una baja puntuación en el test, por ejemplo, con una alta puntuación en el criterio. No siempre tiene sentido, ya que la ausencia de una destreza no tiene porqué compensarse con otra. 2. Conjuntivo: se fijan previamente unos mínimos que han de cumplir los participantes en ambas pruebas. 3. Disyuntivo: sólo se exige superar un determinado nivel en alguna de las pruebas utilizadas. 47

2. Validez y utilidad de las decisiones 2. 4. Modelos de selección TEMA 6. 2: VALIDEZ II 2 -1. Conjuntivo-compensatorio: en un primer momento se aplica el modelo conjuntivo (superar todas las pruebas), y a continuación se calcula una puntuación global (compensatorio). 3 -1. Disyuntivo-compensatorio: se hace una primera selección aplicando el modelo disyuntivo (superar al menos, alguna de las pruebas), y a continuación se les aplica el compensatorio (puntuación global). 48

3. Factores que influyen en el coeficiente de validez Coeficiente de validez: correlación entre las puntuaciones del test y del criterio muy sensible a ciertos aspectos de las variables utilizadas. Schmidt y Hunter (1990) refieren 11 aspectos que pueden alterar los tamaños de las correlaciones: TEMA 6. 2: VALIDEZ II 1. Error muestral, o diferencia entre el coeficiente de correlación muestral y poblacional. 2. Error de medida, o ausencia de fiabilidad perfecta en la variable de predictora. 3. Error de medida en la variable criterio. 4. Utilizar criterios muy simplificados, reducidos a dos valores (apto-no apto). 49

3. Factores que influyen en el coeficiente de validez 5. Dicotomización de la variable predictora. 6. Cambios de variabilidad en la variable criterio en otras muestras o condiciones. 7. Cambios de variabilidad en la variable predictora en otras muestras o condiciones. TEMA 6. 2: VALIDEZ II 8. Definición incorrecta del constructo en la variable predictora. 9. Definición incorrecta del constructo en el criterio. 10. Errores de codificación, cálculo, etc. 11. Factores extraños ligados a las características de la muestra (experiencia, edad, etc. ). 50

3. Factores que influyen en el coeficiente de validez 3. 1. Variabilidad de la muestra A medida que aumenta la variabilidad de la muestra, el coeficiente de validez aumenta. Por el contrario, a medida que disminuye, el coeficiente de validez disminuye la muestra donde se calcule va a determinar el coeficiente de validez obtenido. TEMA 6. 2: VALIDEZ II Supongamos que en una Universidad se utiliza un test para seleccionar a los alumnos. Para conocer la capacidad predictiva del test, tenemos dos opciones: 1. Aplicar el test y Admitirlos a todos. Al finalizar tendríamos que evaluarles en el criterio. Entonces calcularíamos la correlación para obtener el coeficiente de validez. A continuación, habría que expulsar a los que en un principio no superaron el test. 2. Aplicar el test, y realizar la selección (muestra más homogénea). Al finalizar se aplicaría el criterio y basándonos en una serie de supuestos, hacer una estimación del coeficiente de validez que se hubiera obtenido en el grupo total de aspirantes. 51

TEMA 6. 2: VALIDEZ II 3. Factores que influyen en el coeficiente de validez 3. 1. Variabilidad de la muestra Ejemplo: suponemos que el número de aspirantes era 300 y que obtuvieron una desviación típica de 12 puntos. De entre todos ellos se seleccionaron a 40, cuya desviación típica fue de 6 puntos. Al cabo del año, fueron calificados en el criterio, siendo la correlación con el test de 0, 30. ¿Cuál sería el coeficiente de validez estimado si se hubiese calculado en la muestra total? 52

TEMA 6. 2: VALIDEZ II 3. Factores que influyen en el coeficiente de validez 3. 1. Variabilidad de la muestra Se aprecia que al estimarse en una muestra con mayor variabilidad, el incremento es notable, ya que pasa de 0, 30 a 0, 53. 53

3. Factores que influyen en el coeficiente de validez 3. 2. Fiabilidad de las puntuaciones del test y del criterio Las puntuaciones del test y criterio están afectadas por los errores de medida, que pueden estar afectando al coeficiente de validez que se estime. Spearman (1904) propuso las fórmulas de atenuación que permiten corregir la atenuación o disminución del coeficiente de validez debido a los errores de medida. TEMA 6. 2: VALIDEZ II 1. Estimación del coeficiente de validez en el caso de que tanto test como criterio tuvieran una fiabilidad perfecta calcular la correlación entre las puntuaciones verdaderas del test y del criterio. 54

3. Factores que influyen en el coeficiente de validez 3. 2. Fiabilidad de las puntuaciones del test y del criterio TEMA 6. 2: VALIDEZ II Ejemplo: aplicado un test a una muestra de participantes se obtuvo un coeficiente de fiabilidad de 0, 64. El coeficiente de fiabilidad del criterio resultó ser 0, 60 y el coeficiente de validez de 0, 56. ¿Cuál sería el coeficiente de validez estimado en el caso de que tanto las puntuaciones del test como del criterio estuvieran libres de errores de medida? 55

3. Factores que influyen en el coeficiente de validez 3. 2. Fiabilidad de las puntuaciones del test y del criterio TEMA 6. 2: VALIDEZ II 2. Estimación del coeficiente de validez en el caso de que el TEST tuviera una fiabilidad perfecta calcular la correlación entre las puntuaciones verdaderas del test y las empíricas del criterio. Ejemplo: con los datos del ejercicio anterior, ¿cuál sería el coeficiente de validez estimado en el caso de que las puntuaciones del test estuvieran libres de errores de medida? 56

3. Factores que influyen en el coeficiente de validez 3. 2. Fiabilidad de las puntuaciones del test y del criterio TEMA 6. 2: VALIDEZ II 3. Estimación del coeficiente de validez en el caso de que el CRITERIO tuviera una fiabilidad perfecta calcular la correlación entre las puntuaciones empíricas del test y las verdaderas del criterio. Ejemplo: con los datos del ejercicio anterior, ¿cuál sería el coeficiente de validez estimado en el caso de que las puntuaciones del criterio estuvieran libres de errores de medida? 57

3. Factores que influyen en el coeficiente de validez 3. 2. Fiabilidad de las puntuaciones del test y del criterio TEMA 6. 2: VALIDEZ II El coeficiente de validez aumenta en todos los casos. Sin embargo, se trata de supuestos hipotéticos ya que es imposible eliminar los errores, pero sí es posible tratar de reducirlos mejorando los coeficientes de fiabilidad. Para ello, contamos con las siguientes situaciones: 4. Estimación del coeficiente de validez en el caso de que se mejorase la fiabilidad tanto del TEST como del CRITERIO. Continuando con el ejemplo anterior, ¿cuál sería el coeficiente de validez si se consiguiera un coeficiente de fiabilidad en el test de 0, 75 y en el criterio de 0, 64? 58

3. Factores que influyen en el coeficiente de validez 3. 2. Fiabilidad de las puntuaciones del test y del criterio TEMA 6. 2: VALIDEZ II 5. Estimación del coeficiente de validez en el caso de que se mejorase la fiabilidad del TEST. Continuando con el ejemplo anterior, ¿cuál sería el coeficiente de validez si se consiguiera un coeficiente de fiabilidad en el TEST de 0, 75? 59

3. Factores que influyen en el coeficiente de validez 3. 2. Fiabilidad de las puntuaciones del test y del criterio TEMA 6. 2: VALIDEZ II 6. Estimación del coeficiente de validez en el caso de que se mejorase la fiabilidad del CRITERIO Continuando con el ejemplo anterior, ¿cuál sería el coeficiente de validez si se consiguiera un coeficiente de fiabilidad en el CRITERIO de 0, 70? 60

TEMA 6. 2: VALIDEZ II 3. Factores que influyen en el coeficiente de validez 3. 2. Fiabilidad de las puntuaciones del test y del criterio 61

3. Factores que influyen en el coeficiente de validez 3. 2. Fiabilidad de las puntuaciones del test y del criterio El valor máximo del coeficiente de validez es menor-igual que el índice de fiabilidad. Para ello, sabemos que el coeficiente de validez del test cuando se eliminan los errores de medida es menor-igual que 1: TEMA 6. 2: VALIDEZ II 1. Suponiendo que efectivamente sea 1, se deduce que el coeficiente de validez es menor-igual que el producto de las raíces del coeficiente de fiabilidad del test por el criterio: 2. Y suponiendo que el valor máximo del coeficiente fiabilidad del criterio es 1, entonces el coeficiente de validez es menor-igual que la raíz del coeficiente de fiabilidad del test. 3. Y dado que la raíz del coeficiente de fiabilidad es el índice de fiabilidad, entonces el coeficiente de validez es menor-igual que el índice de fiabilidad: 62

3. Factores que influyen en el coeficiente de validez 3. 3. Longitud del test Utilizamos la fórmula de Spearman-Brown que relaciona fiabilidad y longitud: TEMA 6. 2: VALIDEZ II Y la sustituimos en la fórmula que relaciona validez y fiabilidad: Rxx. Spearman-Brown que relaciona fiabilidad y longitud 63

3. Factores que influyen en el coeficiente de validez 3. 3. Longitud del test TEMA 6. 2: VALIDEZ II También nos puede interesar al número de veces que hay que aumentar o disminuir la longitud de un test para lograr un determinado valor del coeficiente de validez. En cuyo caso: Supongamos que un test de 30 elementos tiene un coeficiente de validez de 0, 60 y uno de fiabilidad de 0, 64. ¿Cuántos elementos habría que añadir para obtener un coeficiente de validez de 0, 70? 64

TEMA 6. 2: VALIDEZ II 3. Factores que influyen en el coeficiente de validez 3. 3. Longitud del test Para obtener un coeficiente de validez de 0, 70 a partir de uno de 0, 60, habría que añadir 84 ítems a los 30 iniciales. Habría que valorar hasta qué punto merece la pena hacer más largo un test; a veces no compensa 65

4. Generalización de la validez TEMA 6. 2: VALIDEZ II Hace referencia a la posibilidad de utilizar y aplicar la evidencia obtenida en una situación a otras similares. Este problema es de especial relevancia en los estudios a gran escala, dado que suelen utilizarse muestras muy diversas, incluso de culturas distintas. Para analizar este punto se han utilizado técnicas estadísticas derivadas del meta-análisis. Meta-análisis: síntesis cuantitativas de estudios que permiten analizar diversos estudios de validación del mismo test ya que traducen los resultados a una métrica común. 66

5. Bibliografía comentada TEMA 6. 2: VALIDEZ II 1. Barbero, I. , García, E. , Vila, E. y Holgado, F. P. (2010). Psicometría: problemas resueltos. Madrid: Sanz y Torres. Se trata de un libro de ejercicios y problemas en el que se incluye el desarrollo de la solución. El alumno podrá completar desde un punto de vista aplicado los conceptos y contenidos vistos en la parte teórica; así como adquirir las destrezas necesarias para la resolución de problemas. 2. Barbero, I. (Coord. ), Vila, E. y Holgado, F. P. (2010). Psicometría. Madrid: Sanz y Torres. En el capítulo 7, hace un repaso sobre los principales aspectos relativos a la validez de criterio cuando se dispone de más de un predictor; y en su segunda parte presenta, de manera clara y directa, la validez desde los TRC. 67

5. Bibliografía comentada 3. Martínez Arias, R. (1995). Psicometría: teoría de los tests psicológicos y educativos. Madrid: Síntesis. Se tratan los principales aspectos relacionados con la validez tanto en su vertiente teórica como aplicada. Tras una presentación conceptual de los tipos tradicionales de validez (capítulo 12), profundiza en los aspectos formales de la validez relativa al criterio (capítulos 13 al 15). TEMA 6. 2: VALIDEZ II 4. Meliá, J. L. (2000). Teoría de la fiabilidad y la validez. Valencia: Cristóbal Serrano. En el capítulo 11 se realiza un recorrido por algunas de las definiciones tradicionales de la validez. También se presentan las implicaciones de los tipos tradicionales de validez así como la relación existente entre la fiabilidad y la validez. El capítulo termina con un apartado en el que realizan algunas consideraciones generales sobre la importancia de la validez. 68