PSICOMETRA TEMA 5 1 FIABILIDAD I Tema 5

PSICOMETRÍA TEMA 5. 1. : FIABILIDAD I Tema 5. 1 Evaluación del instrumento de medida: FIABILIDAD I Salvador Chacón Moscoso Susana Sanduvete Chaves Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material

ÍNDICE TEMA 5. 1. : FIABILIDAD I 1. 2. 3. 4. 5. 6. El problema del error de medida. El modelo lineal de Spearman. Tests paralelos. Condiciones de paralelismo. Interpretación teórica del coeficiente de fiabilidad. Tipos de errores de medida. Factores que afectan a la fiabilidad. 6. 1. Longitud del test. 6. 2. Variabilidad de la muestra. 7. La fiabilidad como equivalencia y como estabilidad de las medidas. 7. 1. Método de las formas paralelas. 7. 2. Método test-retest. 8. Bibliografía. 2

1. EL PROBLEMA DEL ERROR DE MEDIDA Error de medida: uno de los requisitos fundamentales en cualquier proceso de medida es la precisión. TEMA 5. 1. : FIABILIDAD I “Diferencia entre la puntuación empírica obtenida por un participante en un test y su puntuación verdadera, entendiendo por test cualquier instrumento de medición psicológica”. - Si aplicamos n veces el mismo test a un mismo participante ¿Qué ocurre? las puntuaciones obtenidas nunca serán iguales, aunque sí parecidas las puntuaciones estarán afectadas por errores de medida aleatorios (motivación del participante, estado de ánimo, . . . ) que provocan que la puntuación empírica sea distinta al supuesto valor verdadero del participante. -¿Cómo podemos conocer el valor real del participante en el constructo que estamos midiendo? Modelo Lineal de Spearman 3 (TCT):

2. EL MODELO LINEAL DE SPEARMAN. TEMA 5. 1. : FIABILIDAD I La puntuación observada por un participante en un test es igual a la suma de dos componentes: su verdadero valor en el rasgo medido más el error de medida cometido X=V+E 4

2. EL MODELO LINEAL DE SPEARMAN. Supuestos TEMA 5. 1. : FIABILIDAD I 1. El valor esperado de la variable aleatoria “error de medida”, es igual a cero, para una población medida con el mismo test, o para una repetición infinita de medidas sobre la misma persona 2. las puntuaciones verdaderas y los errores de medida no están correlacionados (supuesto importante para posteriores derivaciones) no existe un patrón sistemático de errores positivos o negativos. 5

2. EL MODELO LINEAL DE SPEARMAN. Supuestos: TEMA 5. 1. : FIABILIDAD I 3. Los errores de medida de dos tests distintos no están correlacionados. Este supuesto no parece razonable en puntuaciones que se vean afectadas por factores tales como la fatiga, práctica o estado de ánimo (Allen y Yen, 1979). 4. Los e de un test no están correlacionados con las puntuaciones v de un segundo test. La TCT considera el error de medida como una desviación aleatoria, 6 no sistemática, de la puntuación verdadera.

2. EL MODELO LINEAL DE SPEARMAN. Derivaciones sobre correlaciones: esperanzas, varianzas (VAR) y TEMA 5. 1. : FIABILIDAD I 1. Dado que el E(Ei)=0, el valor esperado de las X, es igual al de las puntuaciones V las medias poblacionales son iguales. 2. Dado que el E(Ei)=0, y que los errores son independientes de las puntuaciones verdaderas, la covariación entre las puntuaciones verdaderas y los errores es cero. 7

2. EL MODELO LINEAL DE SPEARMAN. Derivaciones TEMA 5. 1. : FIABILIDAD I 3. Dado que las V y los E son independientes, la VAR de X es igual a la suma de la VAR de V más la VAR de E. 4. Dado que la COV entre los E y V es cero, la covarianza (COV) entre las X y las V es la VAR de las puntuaciones V. 8

2. EL MODELO LINEAL DE SPEARMAN. Derivaciones 5. Dado que la COV entre X y V es igual a la VAR de V, la correlación entre las X y V puede expresarse como la proporción de variabilidad de V sobre la de X. TEMA 5. 1. : FIABILIDAD I Índice de fiabilidad Si elevamos al cuadrado el índice de fiabilidad, obtenemos el coeficiente de fiabilidad Representa la proporción de VAR de X, explicada por su relación lineal con V. 9

2. EL MODELO LINEAL DE SPEARMAN. Derivaciones TEMA 5. 1. : FIABILIDAD I 6. La correlación al cuadrado entre los E y X es igual a la VAR de las X, no explicada por su relación con V, sino a partir de su relación lineal con E. 7. A partir de la formulación anterior, también se puede expresar el coeficiente de fiabilidad como 1 menos la correlación al cuadrado entre X y E. Cuando la VAR de los errores sea pequeña, el coeficiente de fiabilidad será elevado 10

2. EL MODELO LINEAL DE SPEARMAN. Ejemplos 1. La razón entre la desviación típica de los errores y la desviación típica de las puntuaciones empíricas es 0. 45. ¿Cuál es el valor del coeficiente de fiabilidad? TEMA 5. 1. : FIABILIDAD I 2. Calcular el coeficiente de fiabilidad de un test sabiendo que la VAR de las puntuaciones empíricas es igual a 36 y el error típico de medida es 3. 3. ¿Cuál es el valor del coeficiente de fiabilidad si la proporción de la VAR verdadera que hay en la VAR empírica de un test es 0. 9? 11

2. EL MODELO LINEAL DE SPEARMAN. Ejemplos TEMA 5. 1. : FIABILIDAD I 1. 2. 3. 12

3. TESTS PARALELOS. CONDICIONES DE PARALELISMO La imposibilidad de calcular empíricamente el coeficiente de fiabilidad, dado que desconocemos V, y por tanto los E, condujo a Spearman a definir el concepto de tests paralelos. Sean dos tests X y X´ que cumplen los supuestos anteriores; se denomina paralelos si: TEMA 5. 1. : FIABILIDAD I 1. Las puntuaciones verdaderas son iguales en ambos tests. Es decir: 2. La VAR de los errores de medida es igual en ambos tests: 13

3. TESTS PARALELOS. N CONDICIONES DE PARALELISMO. Deducciones TEMA 5. 1. : FIABILIDAD I 1. Dado que la E(Ei)=0, la media de las puntuaciones empíricas obtenidas en dos tests supuestamente paralelos es igual: 2. Dado que la VAR de los E es la misma, la VAR de las X obtenidas en dos tests paralelos también son iguales: 14

3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Deducciones TEMA 5. 1. : FIABILIDAD I 3. La correlación entre las puntuaciones obtenidas en dos tests paralelos es igual al cuadrado de la correlación entre las puntuaciones empíricas y las verdaderas: Consecuencias prácticas, ya que podemos expresar el coeficiente de fiabilidad como la correlación entre dos tests paralelos 4. Dados o más tests paralelos, las intercorrelaciones entre cada uno de ellos son iguales: 15

3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Deducciones Una vez estimado el coeficiente de fiabilidad se puede estimar las VAR de V y E. TEMA 5. 1. : FIABILIDAD I 5. Despejando la VAR de V de la ecuación anterior, encontramos que la VAR de las puntuaciones verdaderas es igual al producto de la VAR de las empíricas por la correlación entre las medidas paralelas: 6. Despejando de la anterior, encontramos que la VAR de E es igual al producto de la VAR de X por uno menos la correlación entre las medidas paralelas. Error típico de medida 16

3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Diagrama causal TEMA 5. 1. : FIABILIDAD I 1. Puntuación verdadera 4. Cambio en Y por cada unidad de cambio en eta. 2. Puntuación observada en test Y 1, supuesto paralelo a Y 2 3. Error de medida Bajo esta lógica, dos tests son estrictamente paralelos si: 17

3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Diagrama causal. Tests estrictamente paralelos -Es decir, Y 1 e Y 2 son estrictamente paralelos si la relación que se establece entre V y la Y es exactamente igual, así como las VAR de sus correspondientes errores de medida. TEMA 5. 1. : FIABILIDAD I 1. Bajo los supuestos de la TCT, obtenemos que la COV entre ambos tests es igual a la VAR de la puntuación verdadera. 2. La VAR de Y es igual a suma de la VAR de V más la del E. 1. VAR de cada Y 2. COV que es igual a la 18 VAR de V

3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Medidas Tau-equivalentes Medidas TAU-EQUIVALENTES TEMA 5. 1. : FIABILIDAD I ¿Realmente existen los tests paralelos o se trata de una quimera teórica? Aun en el difícil caso de que se obtengan V iguales, resulta difícil que su E sea exactamente igual Podemos flexibilizar este supuesto y obtenemos medidas Tau-equivalentes 19

3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Medidas Tau-equivalentes Medidas TAU-EQUIVALENTES TEMA 5. 1. : FIABILIDAD I 1´. Bajo los supuestos de la TCT, volvemos a obtener que la COV entre ambos tests es igual a la VAR de V. 2´. Mientras que en el segundo supuesto, la VAR de Y ahora tendría un término de error distinto específico para cada test. 1. VAR de cada Y, con su E específico 2. COV que es igual a la VAR de V 20

3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Medidas Congenéricas Tests CONGENÉRICOS TEMA 5. 1. : FIABILIDAD I Si flexibilizamos aún más los supuestos obtenemos tests congenéricos. Implica que las V obtenidas con dos tests son transformaciones lineales unas de otras 21

3. TESTS PARALELOS. CONDICIONES DE PARALELISMO. Medidas Congenéricas Tests CONGENÉRICOS TEMA 5. 1. : FIABILIDAD I 1´´. Bajo los supuestos de la TCT, ahora la COV entre Y es el producto de las respectivas Lambdas y de la VAR de V. 2´´. Mientras que la VAR de Y será igual al producto de lambda al cuadrado por la VAR de V más la VAR de E. 22

4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD …la correlación entre las puntuaciones empíricas obtenidas por una muestra de participantes en dos formas paralelas del test. TEMA 5. 1. : FIABILIDAD I Cociente entre la VAR de V y la de X la proporción de X debida a V 2. Las V se alejan de las X E aumenta 1. Las V se acercan a las X E disminuye 23

4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD 1. Las medidas no tienen E 1. La X incluye sólo E 2. X=V para todos los participantes 2. X=E para todos los participantes 3. La VAR de X es igual a la de V. E. TEMA 5. 1. : FIABILIDAD I 4. Todas las diferencias en X reflejan diferencias en V 4. Todas las diferencias en X reflejan errores de medida 5. La correlación entre X y V es =1 =0 6. La correlación entre X y E es =0 =1 24

4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD. Ejemplo TEMA 5. 1. : FIABILIDAD I Ejemplo. Calcular el coeficiente de fiabilidad de un test de razonamiento abstracto, sabiendo que la VAR verdadera de dicho test es el 80% de su VAR empírica. 25

4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD. Ejemplo TEMA 5. 1. : FIABILIDAD I Es decir, el 80% de la VAR de las puntuaciones empíricas es verdadera medida del rasgo. El coeficiente de fiabilidad también se puede expresar en función de la VAR de los errores (deducción número 7). 26

4. INTERPRETACIÓN TEÓRICA DEL COEFICIENTE DE FIABILIDAD. Ejemplo 2 TEMA 5. 1. : FIABILIDAD I Ejemplo. Podemos obtener xx’ si a 1 le restamos la VAR de las puntuaciones empíricas que se debe al error de medida Despejando en la ecuación anterior, podemos obtener el error típico de medida: medida grupal del error, es decir la diferencia entre X e V para la muestra utilizada 27

5. TIPOS DE ERRORES DE MEDIDA 1. Error de medida: diferencia entre la puntuación empírica de un participante y su puntuación verdadera. TEMA 5. 1. : FIABILIDAD I El error típico de medida es la desviación típica de los errores de medida de todos los participantes de la muestra medida grupal del error 2. Error de estimación de la puntuación verdadera: diferencia entre V de un participante y su puntuación verdadera pronosticada El error típico de estimación de la puntuación verdadera 28

5. TIPOS DE ERRORES DE MEDIDA 3. Error de sustitución: diferencia entre la puntuación obtenida por un participante en un test y la obtenida en otro paralelo. TEMA 5. 1. : FIABILIDAD I El error típico de sustitución 4. Error de predicción: diferencia entre las puntuaciones obtenidas por un participante en un test, y su puntuación pronosticada en ese El error típico de mismo test. predicción 29

6. FACTORES QUE AFECTAN A LA FIABILIDAD La fiabilidad de un test depende de factores como: • La longitud del propio test. TEMA 5. 1. : FIABILIDAD I • Variabilidad de la muestra. Decir que la precisión del instrumento depende de la variabilidad de la muestra, implica que la precisión del instrumento depende del objeto medido, lo que no resulta deseable en ningún proceso de medición 30

6. 1. FACTORES QUE AFECTAN A LA FIABILIDAD. La longitud del test A mayor número de ítems, mayor fiabilidad Cuantos más ítems se utilicen, mayor será la información acerca del rasgo a medir TEMA 5. 1. : FIABILIDAD I La relación entre la fiabilidad y la longitud viene determinada por la Fórmula de Spearman-Brown -RXX’ = coeficiente de fiabilidad del test acortado o alargado -r. XX’= coeficiente de fiabilidad del test original -n = número de veces que se ha alargado el test: n=EF/EI; donde EF = número de elementos finales; EI = número de elementos iniciales 31

6. 1. FACTORES QUE AFECTAN A LA FIABILIDAD. La longitud del test TEMA 5. 1. : FIABILIDAD I Ejemplo. Se aplica un test compuesto por 50 ítems a una muestra de participantes y se obtiene un coeficiente de fiabilidad de 0, 60. ¿Cuál será el coeficiente de fiabilidad si duplicamos la longitud del test? ¿Y si multiplicamos por 6 el número de ítems original? 32

6. 1. FACTORES QUE AFECTAN A LA FIABILIDAD. La longitud del test TEMA 5. 1. : FIABILIDAD I 1. Observamos que el coeficiente de fiabilidad pasa de 0, 60 a 0, 75 2. Si aumentamos 6 veces la longitud, obtenemos un coeficiente de 0, 9 3. Cuando n tiende a infinito, el coeficiente tiende a 1; llegando a este límite si se añadiesen infinitos ítems 33

6. 1. FACTORES QUE AFECTAN A LA FIABILIDAD. La longitud del test En la gráfica se aprecia que a medida que aumenta n, el coeficiente aumenta, pero: 1. Al principio, el aumento es más pronunciado para tests más fiables TEMA 5. 1. : FIABILIDAD I 2. A medida que n se incrementa el aumento se suaviza 3. El incremento es menor a medida que rxx’ disminuye 34

6. 1. FACTORES QUE AFECTAN A LA FIABILIDAD. La longitud del test ¿Hasta dónde resulta rentable aumentar el número de ítems para obtener una fiabilidad significativamente mejor que la original? ¿Cuántos ítems paralelos habría que añadir para alcanzar un determinado valor del coeficiente de fiabilidad? TEMA 5. 1. : FIABILIDAD I Spearman-Brown permite estimar el n que sería necesario para alcanzar un determinado valor del coeficiente de fiabilidad Para el test del ejemplo, queremos alcanzar un coeficiente de fiabilidad de 0, 90. ¿Cuántos elementos paralelos abría que añadir? 35

6. 1. FACTORES QUE AFECTAN A LA FIABILIDAD. La longitud del test TEMA 5. 1. : FIABILIDAD I Habría que aumentar la longitud 6 veces, lo que equivale a un test de 300 elementos. Por lo tanto, habría que añadir 250 ítems. 36

6. 2. FACTORES QUE AFECTAN A LA FIABILIDAD. La variabilidad de la muestra El coeficiente de fiabilidad puede variar en función de la mayor o menor homogeneidad del grupo. TEMA 5. 1. : FIABILIDAD I Fórmula que relaciona variabilidad con fiabilidad. A mayor variabilidad, mayor fiabilidad. 37

6. 2. FACTORES QUE AFECTAN A LA FIABILIDAD. La variabilidad de la muestra TEMA 5. 1. : FIABILIDAD I Ejemplo. Se ha aplicado un test a una muestra de participantes en donde la desviación típica de las puntuaciones empíricas es igual a 20. La razón entre la desviación típica de los errores y de las puntuaciones empíricas es 0, 4. Además, se ha aplicado el test a otra muestra de participantes en la que la desviación típica de las puntuaciones empíricas es igual a 10. ¿Cuál será el valor del coeficiente de fiabilidad del test en esta segunda muestra? 38

6. 2. FACTORES QUE AFECTAN A LA FIABILIDAD. La variabilidad de la muestra TEMA 5. 1. : FIABILIDAD I 1. Calcular el coeficiente de fiabilidad en la muestra original. Encontramos que vale 0, 84 2. Aplicamos la fórmula y encontramos que vale 0, 36 a menor variabilidad menor fiabilidad 39

7. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS TEMA 5. 1. : FIABILIDAD I La estabilidad hace referencia a que cuando se evalúa un rasgo con el mismo test en distintas ocasiones, siempre y cuando el rasgo no haya cambiado, se deberían obtener puntuaciones muy similares. - Los principales métodos para el cálculo del coeficiente de fiabilidad y que se basan en la aplicación directa de la correlación son: - de las formas paralelas - test-retest 40

7. 1. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS. Método de las formas paralelas Fases: 1. Construir dos formas paralelas de un test: X y X’. 2. Aplicar las dos formas del test a una muestra de participantes lo suficientemente amplia. TEMA 5. 1. : FIABILIDAD I 3. Calcular el coeficiente de correlación de Pearson. Coeficiente de equivalencia (grado en que ambas formas son equivalentes) Ventaja: la posibilidad de aplicar ambas formas en el mismo momento posibilita un mayor control de la situación. Inconveniente: es realmente difícil construir formas paralelas. 41

7. 2. LA FIABILIDAD COMO EQUIVALENCIA Y COMO ESTABILIDAD DE LAS MEDIDAS. Método test-retest Se aplica el mismo test a la misma muestra de participantes en dos ocasiones diferentes. A continuación, calculamos el coeficiente de correlación (coeficiente de estabilidad). -Ventaja: no requiere la elaboración de dos formas paralelas del mismo test. TEMA 5. 1. : FIABILIDAD I - Inconvenientes: - memorización de algunos ítems: provoca aumento irreal de la puntuación de los participantes. - intervalo temporal: es deseable incrementar el tiempo, pero se corre el peligro de que el rasgo cambie. - actitud de los participantes, ya que un cambio en la cooperación puede provocar una puntuación más alta o baja. 42

8. BIBLIOGRAFÍA TEMA 5. 1. : FIABILIDAD I 1. Barbero, I. , García, E. Vila, E. , y Holgado, F. P. (2010). Psicometría: Problemas resueltos. Madrid: Sanz y Torres. Se trata de un libro de ejercicios y problemas en el que se incluye el desarrollo de la solución. El alumno podrá completar desde un punto de vista aplicado los conceptos y contenidos vistos en la parte teórica; así como adquirir las destrezas necesarias para la resolución de problemas. 2. Barbero, I. (Coord. ) , Vila, E. y Holgado, F. P. (2010). Psicometría. Madrid: Sanz y Torres. En el capítulo 4 se introduce el modelo lineal clásico y el concepto de tests paralelos, así como la interpretación del coeficiente de fiabilidad y distintos métodos para su estimación. 3. Gómez-Benito, J. (1996). Aportaciones de los modelos de estructuras de covarianza al análisis psicométrico. En J. Muñíz (Coord. ), Psicometría. Madrid: Universitas. El capítulo 10, define conceptos fundamentales como coeficiente de fiabilidad y tests paralelos desde modelos de ecuaciones estructurales. 43

8. BIBLIOGRAFÍA 4. Meliá, J. L. (2000). Teoría de la Fiabilidad y la Validez. Valencia: Cristóbal Serrano. En los Capítulos 3 y 4 expone el modelo lineal clásico de los errores de medida, el concepto de coeficiente e índice de fiabilidad y la definición de tests paralelos. El Capítulo 6 destaca algunas de las críticas. En el Capítulo 7 se trata la consistencia interna y los factores que afectan a la estimación de la fiabilidad. TEMA 5. 1. : FIABILIDAD I 5. Muñíz, J. (1996). Fiabilidad. En J. Muñíz (Coord. ), Psicometría. Madrid: Universitas. En el Capítulo 1 se resumen los conceptos fundamentales del modelo lineal clásico y la definición de paralelismo. 6. Nunnally, J. C. y Bernstein, I. J. (1995). Teoría Psicométrica. México: Mc. Graw Hill. El Capítulo 6 se presentan aspectos sobre supuestos y deducciones del modelo clásico. En el Capítulo 7 presentan algunas limitaciones y extensiones del modelo lineal clásico. 44