PSICOMETRA TEMA 6 1 VALIDEZ I Tema 6

PSICOMETRÍA TEMA 6. 1: VALIDEZ I Tema 6. 1 Evaluación del instrumento de medida: VALIDEZ I Salvador Chacón Moscoso Susana Sanduvete Chaves Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material

TEMA 6. 1: VALIDEZ I TEMA 6. 1. EVALUACIÓN DEL INSTRUMENTO DE MEDIDA: VALIDEZ (I) 1. Introducción al concepto de validez y su evolución histórica 2. Validación de contenido 3. Validación de constructo 3. 1. La matriz multimétodo-multirrasgo 3. 2. El análisis factorial 4. Validación referida al criterio 4. 1. El problema de la selección y medición del criterio 4. 2. Procedimientos estadísticos utilizados en la validación referida al criterio 5. Validación con un único predictor y un solo indicador del criterio 5. 1. El coeficiente de validez 5. 2. El modelo de regresión lineal 5. 2. 1. Ecuaciones de regresión 5. 2. 2. La varianza residual y el error típico de estimación 5. 2. 3. Intervalos de confianza 5. 3. Interpretación de la evidencia obtenida acerca de la capacidad predictiva del test 5. 3. 1. Coeficiente de determinación 5. 3. 2. Coeficiente de alineación 5. 3. 3. Coeficiente de valor predictivo 5. 3. 4. Ejemplo 6. Bibliografía básica 2

INTRODUCCIÓN AL CONCEPTO DE VALIDEZ Y SU EVOLUCIÓN HISTORICA -EVOLUCIÓN HISTÓRICA: TEMA 6. 1: VALIDEZ I -Según los “Standards for educational and psychological tests and manuals” (APA, AERA, NCME, 1966, 1985): la validez hace referencia al grado en que se mide aquello que se pretende medir, pudiéndose diferenciar entre validez de contenido, de criterio y de constructo visión tripartirta predominante Messick (1989), amplía el concepto: a) abre el concepto de medida no limitándolo a las puntuaciones del test, incluye las puntuaciones obtenidas en cualquier otro instrumento de evaluación; b) destaca la importancia de considerar la utilidad de las decisiones y consecuencias derivadas del procedimiento de medida, apareciendo el concepto de validez consecuencial; c) enfoque integrador del macroconcepto de validez en torno a la validez de constructo. 3

INTRODUCCIÓN AL CONCEPTO DE VALIDEZ Y SU EVOLUCIÓN HISTORICA TEMA 6. 1: VALIDEZ I -EVOLUCIÓN HISTÓRICA: -“…la validez unificada integra consideraciones de contenido, criterio y consecuencias en un marco de referencia de constructo para la evaluación empírica de hipótesis racionales acerca del significado de las puntuaciones y de relaciones relevantes desde el punto de vista teórico, incluyendo las de naturaleza científica y aplicada” (Messick, pág. 741) 4

INTRODUCCIÓN AL CONCEPTO DE VALIDEZ Y SU EVOLUCIÓN HISTORICA -Principal aportación de Messick (1994) TEMA 6. 1: VALIDEZ I Ruptura con la visión tripartita de la validez. La validez de constructo asume la relevancia y representatividad de los aspectos medidos (v. contenido) así como las relaciones con otros criterios externos de interés (v. criterio). Entendemos la validez como concepto unitario donde la Validez de constructo es el aspecto central donde convergen criterios científicos (representatividad y utilidad) y valores sociales (consecuencias de la aplicación de la medida) 5

INTRODUCCIÓN AL CONCEPTO DE VALIDEZ Y SU EVOLUCIÓN HISTORICA -En Teoría de tests, la validez, hace referencia a la adecuación de las inferencias realizadas a partir de las puntuaciones del test Validación; proceso mediante el cual el constructor, o el usuario de los tests, recoge la evidencia empírica necesaria para apoyar las inferencias que se van a realizar; entendiendo por evidencia tanto los datos, observaciones y hechos, como los argumentos que permitan apoyar y sustentar esos hechos. Según los estándares (1999), vamos a entender: TEMA 6. 1: VALIDEZ I -La validez como un concepto unitario -La validación como un proceso continuo que permitirá recoger evidencias sobre la adecuación de las inferencias Distintos “tipos de validez”, se sustituye por “distintas estrategias para obtener evidencias de validez” 6

VALIDACIÓN DE CONTENIDO: se analiza hasta qué punto los elementos de un test son: 1. Relevantes: exhaustiva especificación de todas las posibles conductas o dominios del constructo a medir. TEMA 6. 1: VALIDEZ I 2. Representativos: que todas las posibles conductas estén recogidas en el test. Distinción artificial entre Validez de Contenido y de Constructo, ya que en el momento en que se definen los dominios a medir, estaremos delimitando también el constructo 7

VALIDACIÓN DE CONTENIDO. Procedimientos para su evaluación Proceso de validación de contenido: a) Definición del dominio del constructo definir claramente cada una de las dimensiones. TEMA 6. 1: VALIDEZ I b) Elaboración de las especificaciones del test. Es decir, el dominio y objetivos que va a cubrir el test. c) Selección de un panel de expertos en el dominio. d) Establecimiento de un marco estructurado para cuantificar el grado de acuerdo entre los distintos jueces. 8

VALIDACIÓN DE CONTENIDO. Aplicaciones La validez de contenido es importante para cualquier proceso de construcción de test, pero entendemos que es absolutamente necesaria en tests de rendimiento educativo y ocupacional porque permite responder preguntas tales como: 1. ¿Está el contenido del test libre de variables irrelevantes? TEMA 6. 1: VALIDEZ I 2. ¿Cubre una muestra representativa de destrezas específicas, para algún puesto de trabajo, por ejemplo? Validez de contenido frente a validez aparente 9

TEMA 6. 1: VALIDEZ I VALIDACIÓN DE CONTENIDO. Aplicaciones Validez de contenido frente a validez aparente: los tests tienen que aparentar que están midiendo aquello que se propone, de tal forma que si el contenido del test parece poco relevante, sin sentido o infantil, podría desmotivar a los sujetos. 10

VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación TEMA 6. 1: VALIDEZ I VALIDACIÓN DE CONSTRUCTO: se entiende como la medida en que el test refleja la teoría psicológica a partir de la que se ha construido, y permite interpretar las puntuaciones dándoles un significado teórico (APA, AERA, NCME, 1999). - ¿Mide realmente el test la variable que intenta medir? - ¿Existe en realidad dicha variable? 11

VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación TEMA 6. 1: VALIDEZ I VALIDACIÓN DE CONSTRUCTO Las puntuaciones del tests no son el constructo. El constructo puede manifestarse a través de múltiples indicadores. Por ello, mediante la Validación de Constructo se acumulan evidencias que apoyan que las puntuaciones del test son una de sus posibles manifestaciones 12

VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación Fases: 1. Definir cuidadosamente el constructo a medir, para ello se suele recurrir a teorías existentes y formular hipótesis entre: - VV. latentes y observadas (validez del rasgo); - Y con otras VV. Latentes (validez nomológica). TEMA 6. 1: VALIDEZ I 2. Diseñar instrumento de medida que contengan elementos representativos y relevantes del constructo a medir. 3. Obtención de datos empíricos, y evidencias sobre las relaciones previamente hipotetizadas. 4. Establecer la estructura interna y externa del test. 13

VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación Procedimientos para la evaluación de V. constructo TEMA 6. 1: VALIDEZ I - Correlaciones con otras medidas del constructo. Es decir, correlaciones con otro test previamente validado. en la medida en que la correlación sea alta mayor será la relación del test con el construto que trata de medir. - Matrices multimétodo-multirrasgo (Campbell y Fiske, 1959). - Análisis Factorial. 14

VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación 1. Matrices multimétodo-multirrasgo (Campbell y Fiske, 1959): Se mide un mismo constructo mediante distintos procedimientos y distintos constructos mediante el mismo método. Se obtienen tres tipos de correlaciones: TEMA 6. 1: VALIDEZ I - Coeficientes de fiabilidad: son las correlaciones entre el mismo constructo medido con el mismo método. - Validez convergente (monorrasgo-heterométodo): son las correlaciones del mismo constructo medido mediante distintos procedimientos. - Validez discriminante (heterorrasgo-monométodo): son las correlaciones de distintos constructos medidos con el mismo procedimiento. 15

VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación 1. Se quieren medir tres constructos: Razonamiento Numérico (RN), Factor Espacial (FE) y Razonamiento Abstracto (RA), y se miden con pruebas de distinto formato: Verdadero-Falso (V-F); y Elección múltiple (E-M). En la tabla se presenta las correlaciones obtenidas entre los distintos constructos medidos con ambos método 1 (V-F) RN FE RA método 2 (EM) FN FE RA TEMA 6. 1: VALIDEZ I Método 1 (V-F) RN . 95 FE . 20 . 90 RA . 30 . 28 . 92 RN . 90 . 31 . 40 . 93 FE . 26 . 87 . 33 . 37 . 94 RA . 43 . 20 . 84 . 26 . 37 Método 2 (EM) . 88 16

VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación Mét. 1 (V-F) RN FE Mét. 2 (EM) RA RN FE RA TEMA 6. 1: VALIDEZ I Mét. 1(V-F) RN . 95 FE . 20 . 90 RA . 30 . 28 . 92 RN . 90 . 31 . 40 . 93 FE . 26 . 87 . 33 . 37 . 94 RA . 43 . 20 . 84 . 26 . 37. 88 Mét. 2 (EM) 1. La fiabilidad hace referencia al mismo constructo medido con el mismo método (diagonal). Así por ejemplo, la fiabilidad de razonamiento numérico medido con el método 1 es de. 95, mientras que con el método 2 es de. 93 17

VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación Mét. 1 (V-F) RN FE Mét. 2 (EM) RA RN FE RA Mét. 1(V-F) RN . 95 FE . 20 . 90 RA . 30 . 28 . 92 RN . 90 . 31 . 40 . 93 FE . 26 . 87 . 33 . 37 . 94 RA . 43 . 20 . 84 . 26 . 37. 88 TEMA 6. 1: VALIDEZ I Mét. 2 (EM) La validez convergente o coeficiente monorrasgoheterométodo, hacía referencia a que se midiera el mismo constructo pero con distinto método (verde). En teoría estas correlaciones deberían ser altas y significativas. Así por ejemplo, el razonamiento numérico medido con el método 1 y 2 obtiene un valor de. 90. 18

VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación Mét. 1 (V-F) RN FE Mét. 2 (EM) RA RN FE RA Mét. 1(V-F) RN . 95 FE . 20 . 90 RA . 30 . 28 . 92 RN . 90 . 31 . 40 . 93 FE . 26 . 87 . 33 . 37 . 94 RA . 43 . 20 . 84 . 26 . 37. 88 TEMA 6. 1: VALIDEZ I Mét. 2 (EM) 3. la validez discriminante, hace referencia a las correlaciones entre distintos rasgos con el mismo método (rojo). En teoría, éstas han de ser bajas, y menores que la fiabilidad y la validez convergente. Así por ejemplo, la correlación entre RN y FE medido con el método 1, es de. 20. 19

TEMA 6. 1: VALIDEZ I VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación Un problema es que no hay criterio estadístico para determinar si existe o no validez convergente y discriminante. Actualmente, se suele investigar este aspecto mediante procedimientos derivados del Análisis Factorial Confirmatorio. 20

VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación TEMA 6. 1: VALIDEZ I Análisis Factorial: es una de las técnicas más utilizadas para determinar la estructura interna y externa del test en relación con el constructo. El objetivo es explicar un conjunto de variables observadas (ítems de un test, por ejemplo) mediante un número menor de variables latentes inobservables denominadas factores (dimensiones teóricas). Son estos factores los que permiten dar una interpretación teórica mediante la forma en que se agrupan los ítems en función de su contenido, que deberían coincidir con las dimensiones teóricas utilizadas en la construcción de la escala. 21

VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación -Exploratorio frente Confirmatorio: TEMA 6. 1: VALIDEZ I AFE: No se tiene absoluta certeza de la dimensionalidad de la escala. Tras ejecutar un AFE, obtenemos una solución sobre el número de factores o dimensiones en las que se puede resumir las variables observadas. AFC: tenemos ciertas hipótesis sobre el número de dimensiones y la forma en que se agrupan los ítems. Reporta índices de ajuste que nos ayudan a decidir si dicha estructura se reproduce en los datos. 22

TEMA 6. 1: VALIDEZ I VALIDACIÓN DE CONSTRUCTO. Procedimientos para su evaluación 1. Todos los factores están correlacionados, o, no. 2. Todas las variables observadas están afectadas por todos los factores latentes. 3. Los errores no correlacionan entre si. 4. Los factores o variables latentes no correlacionan con los términos de error 23

TEMA 6. 1: VALIDEZ I La validación referida al criterio 24

VALIDACIÓN REFERIDA AL CRITERIO: TEMA 6. 1: VALIDEZ I obtener evidencias acerca del grado en que las puntuaciones obtenidas en el test, pueden utilizarse eficazmente para hacer inferencias sobre el comportamiento real del sujeto en un criterio que no se puede medir directamente. APA (1999). Evidencia basada en la relación con otras variables. 25

VALIDACIÓN REFERIDA AL CRITERIO Posibles Diseños: varían en función del momento en que se recogen los datos del test y criterio. 1. V. Predictiva: el criterio se mide después de haber aplicado el test. - Objetivo: predecir las puntuaciones futuras en el criterio a partir de las obtenidas en el test. TEMA 6. 1: VALIDEZ I - Ejemplo: ¿Tendrá el sujeto un trastorno depresivo? Uso predictivo del test 2. V. Concurrente: test y criterio se miden al mismo tiempo. -Ejemplo: ¿Tiene el sujeto, actualmente, un trastorno depresivo? Uso diagnóstico del test 26

VALIDACIÓN REFERIDA AL CRITERIO TEMA 6. 1: VALIDEZ I Posibles Diseños: varían en función del momento en que se recogen los datos del test y criterio. 3. V. Retrospectiva: el criterio se mide antes de administrar el test. ¿Tuvo el sujeto un trastorno depresivo hace 2 años? 27

VALIDACIÓN REFERIDA AL CRITERIO Fases: 1. Definir claramente el criterio que se quiere medir. 2. Identificar el indicador o indicadores a utilizar como medidas del criterio. TEMA 6. 1: VALIDEZ I 3. Seleccionar una muestra de sujetos representativa. 4. Aplicar el test predictor y obtener una puntuación para cada sujeto. 5. Obtener una medida de cada sujeto en el criterio. 6. Determinar el grado de relación entre las puntuaciones obtenidas en test y criterio. 28

VALIDACIÓN REFERIDA AL CRITERIO. El problema de la medición y selección del criterio. TEMA 6. 1: VALIDEZ I Un problema importante es la forma en que vamos a definir y delimitar el criterio: - Criterio o indicador simple de fácil delimitación: Un test de selección de vendedores de enciclopedias (criterio de éxito = 10 enciclopedias/semana). - Criterio o indicador complejo (delimitación más complicada): Selección de profesor de Psicometría (criterio de éxito = ¿conocimiento materia? ¿Habilidades sociales? ¿publicaciones? , . . . ¿. . . ? ). Todos los indicadores son parciales y no ofrecen una comprensión completa del criterio 29

VALIDACIÓN REFERIDA AL CRITERIO. El problema de la medición y selección del criterio. TEMA 6. 1: VALIDEZ I Para la selección del criterio Thorndike y Hagen (1989) recomiendan indicadores que: - a) Relevantes: estén relacionados con el criterio, sin embargo, no existen tests estadísticos que nos permitan concluir en este sentido recurrir a jueces expertos - b) Libres de sesgo: variables que afectan de manera diferencial entre grupos. - c) Fiables: se han de utilizar indicadores estables en el tiempo. - d) Accesibles 30

VALIDACIÓN REFERIDA AL CRITERIO. El problema de la medición y selección del criterio. Cuando operativizamos el coef. de validez mediante la correlación test-criterio aparecen problemas ligados a la naturaleza de la correlación: TEMA 6. 1: VALIDEZ I 1. Fiabilidad del predictor y del criterio: bajos coeficientes de fiabilidad del test y criterio rebajan los valores del coeficiente de validez. 2. Restricción del rango: el coeficiente de validez puede verse reducido debido a restricciones en la variabilidad de la muestra (selección de personal ya que se seleccionan a sujetos con puntuaciones altas). 3. Dicotomización en el test, criterio o ambas: reducen los valores del coeficiente de validez. 31

VALIDACIÓN REFERIDA AL CRITERIO. Procedimientos estadísticos utilizados en la validación referida al criterio. Coeficiente de validez Correlación entre las puntuaciones del test y del criterio (Crocker y Algina, 1986; Robinson y Stafford, 2006). Dependiendo del número de tests y criterios Martínez-Arias (1995) diferencia: 1. Un predictor y un criterio. Análisis de correlación; y regresión simple. TEMA 6. 1: VALIDEZ I 2. Varios predictores y un criterio. Análisis de correlación y regresión múltiple, análisis discriminante (criterios cualitativos), regresión logística (criterio dicotómico). 3. Varios predictores y varios criterios. Análisis de regresión multivariante, análisis de correlación canónica (técnicas complejas que difícilmente conduce a resultados directos) 4. Validez y utilidad de las decisiones. Investigación operativa (Técnicas maximax y minimax) (Van der Linden, 1991) optimizar las decisiones tomadas con el test. 32

VALIDACIÓN REFERIDA AL CRITERIO. Validación con un único indicador y un solo predictor del criterio. Coeficiente de validez Correlación y regresión simple: ¿hasta qué punto podemos predecir las puntuaciones en el criterio de un sujeto, dada su puntuación en el test? TEMA 6. 1: VALIDEZ I La fórmula para obtener la correlación entre test y criterio viene definida por la siguiente expresión: Importante: el tipo de correlación dependerá del tipo de variable de test y criterio. 33

VALIDACIÓN REFERIDA AL CRITERIO. El modelo de regresión lineal TEMA 6. 1: VALIDEZ I Conocida la correlación, se utiliza el modelo de regresión lineal para predecir las puntuaciones en el criterio (Y) a partir de las puntuaciones en el test (X). La función lineal viene definida por: 34

VALIDACIÓN REFERIDA AL CRITERIO. El modelo de regresión lineal Todo ello, se puede representar en la siguiente gráfica: Yi TEMA 6. 1: VALIDEZ I Y`i 3. La diferencia entre (XY) y (XY´) determina el error de predicción distancia vertical entre ambos puntos P(X, Y) = valor de y observado para xi e=yi-y`i P(X, Y`) = valor de y pronosticado para xi por la función lineal a Xi 1. a=punto donde la línea corta al eje Y, o valor esperado de Y, cuando X vale 0. 2. Para cada Xi, tenemos dos puntos (XY), y (X, Y`) pronosticado. Es decir, dicha función predice un valor de Y, que no se corresponde con el real 35

VALIDACIÓN REFERIDA AL CRITERIO. Ecuaciones de regresión. La pendiente de la recta, puede obtenerse a partir del coeficiente de validez y de las desviaciones típicas del test y del criterio. TEMA 6. 1: VALIDEZ I Con todo ello, se puede derivar la ecuación de regresión para pronosticar el valor en el criterio a partir de una puntuación en X a b 36

VALIDACIÓN REFERIDA AL CRITERIO. Ecuaciones de regresión. En puntuaciones diferenciales la ordenada en el origen pasa por el punto (0, 0) Yi Puntuaciones directas Y`i Puntuaciones diferenciales TEMA 6. 1: VALIDEZ I a a =(0, 0) Xi En puntuaciones típicas la pendiente de la recta es el coeficiente de validez 37

VALIDACIÓN REFERIDA AL CRITERIO. La varianza residual o varianza error y el error típico de estimación. El error de estimación, hace referencia a la diferencia entre el valor real obtenido por un sujeto en el criterio y el pronosticado por la función lineal: TEMA 6. 1: VALIDEZ I El promedio de los errores de todos los sujetos al cuadrado es la varianza residual o varianza error: A mayor rxy mejor estimación de menor será cada error individual y menor será el error típico de estimación (SY. X) 38

VALIDACIÓN REFERIDA AL CRITERIO. Intervalos de confianza. Debido a los errores de estimación, más que estimaciones puntuales es conveniente hacerlas por intervalos. Asumiendo que los errores se distribuyen normalmente: 1. Determinar el nivel de confianza y su puntuación típica asociada (NC. 99% Zc=2. 58). TEMA 6. 1: VALIDEZ I 2. Calcular el error típico de estimación 3. Calcular el error máximo que estamos dispuesto a asumir (Emax = Zc Sy. x). 4. Aplicar la ecuación de regresión y obtener la puntuación pronosticada. (Y`= a + b. X) 5. Establecer el intervalo de confianza. Y` Emax 39

VALIDACIÓN REFERIDA AL CRITERIO. Interpretación de la evidencia obtenida acerca de la capacidad predictiva del test. Dado que podemos establecer que la varianza de las puntuaciones del criterio es igual la varianza de las puntuaciones pronosticadas más la varianza residual: TEMA 6. 1: VALIDEZ I Si dividimos todos los miembros por la varianza de las puntuaciones en el criterio obtenemos una forma útil de obtener el error típico de estimación, ya que sólo necesitamos conocer el coef. de validez y la varianza del criterio: 40

VALIDACIÓN REFERIDA AL CRITERIO. Interpretación. Coeficiente de determinación Para interpretar las evidencias de validez de criterio, nos valemos de diversos índices: 1. Coeficiente de Determinación: equivale al coef. de validez al cuadrado. Representa la proporción de varianza de las puntuaciones de los sujetos en el criterio que se puede pronosticar a partir del test TEMA 6. 1: VALIDEZ I El C. D está acotado en el intervalo [0_1] Cuando la varianza error es pequeña, implica que los valores pronosticados de Y` están próximos a los reales; el error típico de estimación será pequeño y por tanto el C. D tomará valores próximos a uno. Expresa, la proporción de variación de Y ligada a X, determinada por X, explicada por X, o que se puede predecir a partir de X. 41

VALIDACIÓN REFERIDA AL CRITERIO. Interpretación. Coeficiente de alienación 2. Coeficiente de alienación: indica la proporción que representa el error típico de estimación respecto a la desviación típica de las puntuaciones en el criterio TEMA 6. 1: VALIDEZ I El C. A está acotado en el intervalo [0_1] Cuando la varianza error es alta, implica que los valores pronosticados de Y` están lejanos de los reales; el error típico de estimación será elevado y por tanto el C. A tomará valores próximos a uno. Expresa la proporción de variación de Y que no está ligada a X, determinada por X, explicada por X, o que no se puede predecir a partir de X inseguridad, azar que afecta a los pronósticos 42

VALIDACIÓN REFERIDA AL CRITERIO. Interpretación. Coeficiente de valor predictivo 3. Coeficiente de valor predictivo: complementario al C. A, es otra forma de expresar la capacidad del test para pronosticar el criterio TEMA 6. 1: VALIDEZ I El C. V. P está acotado en el intervalo [0_1] Cuando mayor sea el C. A menor será la capacidad del test para pronosticar el criterio. 43

VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo TEMA 6. 1: VALIDEZ I Supongamos que se quiere llevar a cabo un estudio de validación relativa al criterio de un test de aptitud mecánica (X); para ello, se aplica a una muestra de sujetos. Estos sujetos son evaluados posteriormente por sus supervisores, en una escala de 0 a 10, en función del tiempo empleado en reparar un coche con la misma avería. X Y X 2 Y 2 XY Y` (Y-Y`) 12 9 144 81 108 7. 89 1. 11 14 7 196 49 98 8. 68 -1. 68 15 10 225 100 150 9. 08 0. 92 7 8 49 64 56 5. 91 2. 09 9 5 81 25 45 6. 71 -1. 71 4 4 16 16 16 4. 73 -0. 73 61 43 711 335 473 43 0 44

VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo 1. Calcular el coeficiente de validez : TEMA 6. 1: VALIDEZ I Variables cuantitativas aplicamos Pearson. Obtenemos un valor de 0. 73, y dado que el valor máximo del coeficiente de validez es 1, se puede decir que el test tiene una buena capacidad predictiva. 45

VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo 1. Calcular la ecuación de regresión : TEMA 6. 1: VALIDEZ I 1. Hemos de calcular tanto a, como b. Y=a+b. X; Y=3. 15+0. 395 X Yx=12=3. 15+0. 395*12=7. 89 2. A continuación podemos calcular los valores pronosticados de Y, a partir de cada valor de X. Así, un sujeto que en X=12, se le pronostica en Y=7. 89 46

VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo TEMA 6. 1: VALIDEZ I Una vez construida la recta de regresión, podemos predecir para cada valor de X, cuál sería la puntuación del sujeto en el criterio (Y): X Y Y’ =a+BX; Y` (Y-Y`) 12 9 Yx=12=3. 15+0. 395*12 7. 89 (9 -7. 89)=1. 11 14 7 Yx=14=3. 15+0. 395*14 8. 68 -1. 68 15 10 Yx=15=3. 15+0. 395*15 9. 08 0. 92 7 8 Yx=7=3. 15+0. 395*7 5. 91 2. 09 9 5 Yx=9=3. 15+0. 395*9 6. 71 -1. 71 4 4 Yx=4=3. 15+0. 395*4 4. 73 -0. 73 - Una vez estimados todos los valores Y´, podemos obtener los correspondientes errores de pronóstico, si al valor real le restamos el pronosticado. Ejemplo (97. 89) 47

VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo A partir de los datos de tabla podemos calcular: -La varianza de las puntuaciones pronosticadas TEMA 6. 1: VALIDEZ I -La varianza de los errores o el error típico de estimación. Dado que Cov(e, Y`)=0 48

VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo Intervalos confidenciales. TEMA 6. 1: VALIDEZ I Supongamos queremos saber qué puntuación le correspondería en el criterio a un sujeto que en el test hubiera obtenido una puntuación de 13. 1. Nivel de confianza (95%) Zc=± 1. 96 2. Calcular el error típico de estimación: 3. Calcular el error máximo: Emax=Zc. Sy. x; Emax=1. 96*1. 46=2. 83 4. Estimar el valor en el criterio para una puntuación en el test de 13: 5. Establecer el intervalo de confianza. Y` Emax=8. 28± 2. 86=5. 42 Y 11. 14 49

VALIDACIÓN REFERIDA AL CRITERIO. Ejemplo 1. Coeficiente de determinación: la proporción de varianza de las puntuaciones de los sujetos en el criterio que se puede pronosticar a partir del test. 2. Coeficiente de alienación: proporción que representa el error típico de TEMA 6. 1: VALIDEZ I estimación respecto a la desviación típica de las puntuaciones en el criterio Es decir, el 52 % de las puntuaciones en el criterio se podría pronosticar a partir del test, mientras que el resto, el 48% equivale a la variabilidad de las puntuaciones en el criterio sin explicar por el test. 50

A MODO DE SÍNTESIS - Concepto de fiabilidad: modelo lineal de Spearman (supuestos, deducciones); factores que afectan a la fiabilidad; estimación puntuación verdadera Significado de las medidas: TEMA 6. 1: VALIDEZ I - Concepto de validez. De visión tripartita a concepto integrado que incluye las consecuencias del uso del test. - Validación de contenido (ítems relevantes y representativos) (juicios de experto). - Validación de constructo (¿refleja el test la teoría psicológica sobre la que se ha construido) (AFE, AFC, MMRM). 51

A MODO DE SÍNTESIS 4. Validación referida al criterio. (¿sirven las puntuaciones en el test para hacer inferencias sobre otras variables). Selección y medición del criterio. (métodos correlacionales). -Coeficiente de correlación (1 tests: 1 criterio) = coeficiente de validez -Regresión Estimación (puntual-intervalos) TEMA 6. 1: VALIDEZ I -Interpretación: C. Determinación; alienación; valor predictivo. En el siguiente tema abordaremos la problemática de la validez de criterio cuando existen varios predictores. Y veremos la validez en los tests referidos al criterio. 52

BIBLIOGRAFÍA COMENTADA 1. Barbero, I. , García, E. Vila, E. , y Holgado, F. P. (2010). Psicometría: Problemas resueltos. Madrid: Sanz y Torres. Se trata de un libro de ejercicios y problemas en el que se incluye el desarrollo de la solución. El alumno podrá completar desde un punto de vista aplicado los conceptos y contenidos vistos en la parte teórica; así como adquirir las destrezas necesarias para la resolución de problemas. TEMA 6. 1: VALIDEZ I 2. Barbero, I. (Coord) , Vila, E. y Holgado, F. P. (2010). Psicometría. Madrid: Sanz y Torres. En el capítulo 6 se incluye la definición y evolución del concepto de validez, así como los principales aspectos relacionados con la validez de contenido, constructo y criterio. 3. Martínez Arias, R. (1995). Psicometría: Teoría de los Tests Psicológicos y Educativos. Madrid: Síntesis. Se tratan los principales aspectos relacionados con la validez tanto en su vertiente teórica como aplicada. Tras una presentación conceptual de los tipos tradicionales de validez 53 (Capítulo 12), profundiza en los aspectos formales de la validez relativa al criterio (Capítulos 13 al 15) y de la validez de constructo (Capítulos 16 y 17).

BIBLIOGRAFÍA COMENTADA 4. Meliá, J. L. (2000). Teoría de la Fiabilidad y la Validez. Valencia: Cristóbal Serrano. En el Capítulo 11 se realiza un recorrido por algunas de las definiciones tradicionales de la validez. También se presentan las implicaciones de los tipos tradicionales de validez así como la relación existente entre la fiabilidad y la validez. El Capítulo termina con un apartado en el que realizan algunas consideraciones generales sobre la importancia de la validez. TEMA 6. 1: VALIDEZ I 5. Paz, M. D. (1996). Validez. En J. Muñíz (Coord. ), Psicometría. Madrid: Síntesis. Este Capítulo comienza con una presentación de la evolución histórica del concepto de validez. Posteriormente, se abordan, a nivel tanto conceptual como aplicado, los aspectos más relevantes de la validez de constructo, de criterio y de contenido respectivamente. 54