PSICOMETRA TEMA 5 2 FIABILIDAD II Tema 5

PSICOMETRÍA TEMA 5. 2 : FIABILIDAD II Tema 5. 2 Evaluación del instrumento de medida: FIABILIDAD II Salvador Chacón Moscoso Susana Sanduvete Chaves Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboración en la elaboración de este material

TEMA 5. 2 : FIABILIDAD II TEMA 5 LA FIABILIDAD DE LAS PUNTUACIONES (II) 1. La fiabilidad como consistencia interna 2. Métodos basados en la división del test en dos mitades 2. 1. La ecuación de Spearman-Brown 2. 2. La fórmula de Rulon 2. 3. La fórmula de Guttman-Flanagan 3. Métodos basados en la covariación entre los ítems 3. 1. Coeficiente alfa de Cronbach 3. 1. 1. Estimador insesgado de alfa 3. 1. 2. El coeficiente alfa como límite inferior del coeficiente de fiabilidad 3. 1. 3. Inferencias sobre alfa 3. 2. Casos particulares del coeficiente alfa 4. Coeficientes basados en el análisis factorial de los ítems: Theta ( ) y Omega ( ) 5. El coeficiente beta ( ) de Raju 6. Estimación de la puntuación verdadera de los sujetos en el atributo de interés 6. 1. Estimación basada en la desigualdad de Chebychev 6. 2. Estimación basada en la distribución normal de los errores 6. 3. Estimación basada en el modelo de regresión lineal 7. Valoración de la Teoría Clásica de los Tests 8. Introducción a la fiabilidad en los tests referidos al criterio. 9. Otras aproximaciones al estudio de la fiabilidad. La fiabilidad en la metodología observacional 10. A modo de síntesis 5. 13. Bibliografía básica 2

LA FIABILIDAD COMO CONSISTENCIA INTERNA TEMA 5. 2 : FIABILIDAD II FIABILIDAD COMO CONSISTENCIA INTERNA: En el tema 5. 1, vimos que el coeficiente de fiabilidad se obtenía a partir de la correlación entre formas paralelas de un test, o mediante la correlación entre dos aplicaciones del mismo test (test-retest) En la mayoría de las ocasiones, sólo es posible llevar a cabo una única aplicación del test (evita problemas asociados con la repetición del test y con la dificultad de construir formas paralelas). Métodos que requieren una sola aplicación del test: 1. División del test en dos mitades. 2. Covariación entre todos los ítems del test. 3

LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del test en dos mitades: no siempre es fácil, ya que se requiere que las mitades sean iguales en cuanto a dificultad y contenido. Distintos procedimientos: TEMA 5. 2 : FIABILIDAD II 1. Asignar todos los elementos pares a la forma 1 y los impares a la forma 2. Sin embargo, en muchos test los ítems fáciles suelen aparecer al principio. 2. Ordenar los ítems por su dificultad: a continuación asignar los pares a la forma 1 y los impares a la forma 2. 3. Asignación aleatoria a cada una de las mitades. 4. Asignar ítems a las mitades de forma que estén emparejadas en contenido. Tantos coeficientes de fiabilidad como divisiones del test en dos mitades se puedan hacer 4

LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del test en dos mitades. Spearman-Brown Ecuación de Spearman-Brown para elementos paralelos: es el método más antiguo y fue propuesto casi al mismo tiempo por Spearman y Brown. 1. Se aplica el test a una muestra de sujetos. 2. Se divide el test en dos mitades (paralelas). TEMA 5. 2 : FIABILIDAD II 3. Se calcula la correlación. Dicho valor equivale al rxx’ para cada una de las mitades habría que aplicar la fórmula de corrección para el caso de un test con longitud doble. 5

LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del test en dos mitades. Spearman-Brown En la siguiente tabla, se muestran las puntuaciones de una muestra de participantes en los ítems pares e impares de un test. TEMA 5. 2 : FIABILIDAD II Participantes par impar 1 8 4 2 7 7 3 8 6 4 5 8 7 6 6 6 Total 42 34 Calcular la fiabilidad utilizando la fórmula de Spearman-Brown. 6

LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del test en dos mitades. Spearman-Brown En la siguiente tabla, se muestran las puntuaciones de una muestra de participantes en los ítems pares e impares de un test TEMA 5. 2 : FIABILIDAD II Participantes par impar 1 8 4 64 16 32 2 7 7 49 49 49 3 8 6 64 36 48 4 5 4 25 16 20 5 8 7 64 49 56 6 36 36 36 Total 42 34 302 241 1. Calcular el coeficiente de correlación entre ambas mitades. Obtenemos que vale 0, 35 2. Aplicamos la fórmula de corrección de Spearman. Brown. Obtenemos un valor de 0, 52 7

LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del test en dos mitades. Rulon TEMA 5. 2 : FIABILIDAD II Ecuación de Rulon (1939): se utiliza cuando las dos mitades no son estrictamente paralelas, pero se entiende que son tauequivalentes (igualdad de varianzas verdaderas); o congenéricas (V transformaciones lineales) La equivalencia entre Spearman-Brown y Rulon depende del grado de paralelismo de las formas, de forma que cuanto más parecidas sean, más se aproximan los valores. 8

LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del test en dos mitades. Rulon TEMA 5. 2 : FIABILIDAD II En la siguiente tabla, se muestra las puntuaciones de una muestra de participantes en los ítems pares e impares de un test Participantes X Par Impar A 4 3 1 B 1 1 0 C 6 3 3 D 2 1 1 E 3 1 2 F 5 2 3 Calcular la fiabilidad utilizando la fórmula de Rulon. 9

LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del test en dos mitades. Rulon TEMA 5. 2 : FIABILIDAD II En la siguiente tabla, se muestra las puntuaciones de una muestra de participantes en los ítems pares e impares de un test Participantes X Par Impar (P-I)=d A 4 3 1 2 B 1 1 0 1 C 6 3 3 0 D 2 1 1 0 E 3 1 2 -1 F 5 2 3 -1 1. Calcularíamos la varianza de las diferencias. En este caso es 1. 14. 2. A continuación, podríamos aplicar directamente la fórmula de Rulon. Y de esta forma obtendríamos que el coef. De fiabilidad vale. 61 10

LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del test en dos mitades. Guttman-Flanagan TEMA 5. 2 : FIABILIDAD II Guttman (1937) y Flanagan (1945): Llegaron de manera independiente a una fórmula equivalente a la de Rulon, pero de más fácil aplicación. Con los datos del ejercicio anterior, calcular el coeficiente de fiabilidad utilizando Guttman-Flanagan. 11

TEMA 5. 2 : FIABILIDAD II LA FIABILIDAD COMO CONSISTENCIA INTERNA. División del test en dos mitades. Guttman-Flanagan Observamos que llegamos al mismo resultado, sin necesidad de calcular las puntuaciones referidas a las diferencias. 12

LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados en la covariación de los ítems. TEMA 5. 2 : FIABILIDAD II Métodos basados en la covariación de los ítems: uno de los principales problemas con la división del test en dos mitades, es que existen numerosas formas de obtener dos mitades, obteniendo tantas estimaciones del coeficiente de fiabilidad como diferentes dos mitades puedan hacerse. Una forma de resolver este problema es estudiar la covariación de los ítems. Métodos: - Coeficiente alpha de Cronbach, y sus casos particulares: KR 20 y KR 21 de Kuder-Richardson 13 (1937).

TEMA 5. 2 : FIABILIDAD II LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados en la covariación de los ítems. Coeficiente alpha de Cronbach. - Coeficiente alpha de Cronbach: expresa la fiabilidad del test en función del número de ítems y de la proporción de la varianza total del test debida a la covariación de los ítems cuanto más covaríen los ítems, mayor será la fiabilidad del test. 14

LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados en la covariación de los ítems. Coeficiente alpha de Cronbach. Se ha aplicado un test de percepción visual a 6 sujetos. Calcular el valor del coeficiente de fiabilidad del test. TEMA 5. 2 : FIABILIDAD II Sujeto 1 2 3 4 5 A 3 4 3 3 4 B 2 3 2 4 4 C 4 2 2 3 3 D 2 1 1 2 1 E 1 1 1 2 1 F 0 0 1 15

LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados en la covariación de los ítems. Coeficiente alpha de Cronbach. Se ha aplicado un test de percepción visual a 6 sujetos. Calcular el valor del coeficiente de fiabilidad del test. TEMA 5. 2 : FIABILIDAD II Sujeto 1 2 3 4 5 X A 3 4 3 3 4 17 B 2 3 2 4 4 15 C 4 2 2 3 3 14 D 2 1 1 2 1 7 E 1 1 1 2 1 6 F 0 0 1 1 1 3 1. Calcular la varianza de cada ítems (puntuaciones de cada columna) 2. También habrá que calcular la varianza de las puntuaciones en el test total (última columna) 3. Por último, habrá que obtener el alpha de Cronbach. Que en este caso vale. 94 16

LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados en la covariación de los ítems. Coeficiente alpha de Cronbach. Estimador insesgado TEMA 5. 2 : FIABILIDAD II El estimador insesgado: alpha no es más que un estimador o aproximación al valor real del coeficiente de fiabilidad. Sin embargo, existe una aproximación más exacta de dicho valor que se expresa mediante la siguiente fórmula: En la práctica, a partir de 100 sujetos las diferencias son insignificantes. 17

LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados en la covariación de los ítems. Coeficiente alpha de Cronbach. Inferencias Alpha proporciona una estimación del coeficiente de fiabilidad de un test a partir de la muestra en que se ha aplicado, pero a veces interesa plantearse si: 1. ¿Puede tomar alpha un valor concreto en la población a partir del valor muestral obtenido? TEMA 5. 2 : FIABILIDAD II 2. ¿Existen una diferencia significativa entre el valor de alpha de dos muestras independientes? 3. ¿Es significativa la diferencia entre dos valores de alpha para una misma muestra? - DESARROLLO DE LA TEORÍA MUESTRAL DEL COEFICIENTE ALPHA (Feldt, 1965; Kristof, 1963) 18

LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados en la covariación de los ítems. Coeficiente alpha de Cronbach. Inferencias - ¿Puede tomar alpha un determinado valor en la población a partir del valor muestral obtenido? TEMA 5. 2 : FIABILIDAD II Kristof (1963) y Feldt (1965), proponen el siguiente estadístico basado en la distribución F 19

LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados en la covariación de los ítems. Coeficiente alpha de Cronbach. Inferencias ¿Existen una diferencia significativa entre el valor de alpha de dos muestras independientes? TEMA 5. 2 : FIABILIDAD II Feldt (1969), propone el estadístico de contraste W basado en la distribución F con (N 1 -1; y N 2 – 1; grados de libertad) que permite probar la H 0: 1= 2 20

LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados en la covariación de los ítems. Coeficiente alpha de Cronbach. Inferencias ¿Existen una diferencia significativa entre el valor de alpha de dos muestras dependientes? TEMA 5. 2 : FIABILIDAD II Feldt (1969), propone el estadístico de contraste t basado en la distribución t con (N-2) g. l 21

LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados en la covariación de los ítems. Coeficiente alpha de Cronbach. Casos particulares de Alpha fórmulas de Kuder-Richardson (1937): hacen referencia a la estimación de la fiabilidad de un test en el caso de que los ítems sean dicotómicos la varianza viene determinada por: TEMA 5. 2 : FIABILIDAD II Donde ph es la proporción de aciertos; mientras que qh es la de errores. En tal caso alpha se puede definir mediante KR 20 , o KR 21 (cuando los ítems presentan igual dificultad; es decir, la misma proporción de aciertos) Donde; n= es el número de ítems p= es la proporción de aciertos q= es la proporción de errores S 2 x= es la varianza total de test. 22

LA FIABILIDAD COMO CONSISTENCIA INTERNA. Métodos basados en la covariación de los ítems. Coeficiente alpha de Cronbach. Casos particulares TEMA 5. 2 : FIABILIDAD II Supongamos un test compuesto por 6 ítems, y al que responden 6 sujetos A B C D E F 1 1 1 1 2 1 1 1 0 1 1 3 1 0 1 1 4 0 1 0 1 5 0 0 0 6 1 0 0 0 p 4/6 3/6 . . q 2/6 3/6 2/6 VAR . 22 . 25 . 22 4/6 2. Y a continuación aplicar KR 20. Se observa que el valor obtenido es de. 82 1. Primero habría que calcular la varianza de los ítems, que al ser dicotómicos es p*q. 23

COEFICIENTES BASADOS EN EL ANÁLISIS FACTORIAL DE LOS ÍTEMS TEMA 5. 2 : FIABILIDAD II Los coeficientes Theta ( ) de Carmines y Omega ( ) constituyen dos indicadores de la consistencia interna de los ítems de un test, basados en el Análisis Factorial de los ítems. En general, para los mismos datos se verifica que 24

EL COEFICIENTE BETA ( ) DE RAJU El coeficiente Beta ( ) de Raju (1977). Cuando un test se divide en varios subtests con distinto número de items, infraestima el coeficiente de fiabilidad, si se calcula a partir de la puntuación total de cada subtest. TEMA 5. 2 : FIABILIDAD II Por el contrario, supera este problema y proporciona una estimación de la fiabilidad de un test compuesto por distintos subtest (batería de test), a partir de las puntuaciones totales en ellos. K=número de subtests. 2 Sx=varianza del test total. S 2 j=varianza de cada subtest. nj=número de ítems de cada subtest. n= número total de items del test. 25

EL COEFICIENTE BETA ( ) DE RAJU. Ejemplo Se ha aplicado un test compuesto por 4 subtest a una muestra de 200 empleados de correos. Los subtests están compuestos por A=18; B=30; C=45 y D=55 ítems. La varianza total del test es 50 y la de los subtest es. Calcular alfa y Beta TEMA 5. 2 : FIABILIDAD II 1. A partir de las puntuaciones totales calculamos alpha, y encontramos que vale. 48. Sólo, en el caso de que los distintos subtests, contengan el mismo número de ítems, alpha y beta serán iguales. 2. Sin embargo, cuando aplicamos de Raju encontramos que dicho valor es. 50 26

TEMA 5. 2 : FIABILIDAD II 27 Procedimientos para estimar la puntuación verdadera de los sujetos 27

ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA Tras obtener un valor del coeficiente de fiabilidad, la siguiente pregunta relevante que nos podemos hacer es: TEMA 5. 2 : FIABILIDAD II ¿Cómo hacer estimaciones acerca del puntuación verdadera de un sujeto? : valor de la 1. Desigualdad de Chebychev. 2. Estimación basada en la distribución normal de los errores. 3. Estimación basada en el modelo de regresión. 28

ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA. Estimación mediante la desigualdad de Chebychev TEMA 5. 2 : FIABILIDAD II Desigualdad de Chebychev: no asume ningún tipo de distribución ni de las puntuaciones empíricas ni de los errores de medida y permitió, por primera vez, hacer estimaciones. Establece que la probabilidad de que una variable aleatoria esté distanciada de su media en menos de K veces su desviación típica es mayor o igual que 1 -1/K^2. Es decir se expresa mediante: 29

ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA. Estimación mediante la desigualdad de Chebychev Desigualdad de Chebychev TEMA 5. 2 : FIABILIDAD II Traducido en términos psicométricos, basándonos en las derivaciones del modelo lineal de Spearman: 1. Tendríamos que sustituir la media, por la puntuación verdadera, ya que: 2. La desviación típica, por el error típico de medida ya que: 30

ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA. Estimación mediante la desigualdad de Chebychev Se ha administrado un test cuyo rxx =0. 73 a 200 sujetos (Media=52; y sd=7). Con los datos obtenido, estimar la puntuación verdadera de un sujeto que obtuvo una puntuación de 65 (NC 95%). TEMA 5. 2 : FIABILIDAD II 1. Primero tendríamos que calcular el error típico de medida. Vale 3. 64 2. Despejamos y calculamos el valor de K. En este caso es 4. 5 3. Sustituimos todos los valores en la desigualdad. Y comprobamos que con una Prob. del 95% la puntuación verdadera de un sujeto que ha obtenido una X=65, se encuentra entre 48. 62 y 81. 38 (intervalo muy amplio) 31

ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA. Estimación basada en la distribución normal de los errores: Asume la distribución normal de E y de las X empíricas condicionadas a un determinado valor de V. Fases: 1. Se fija un nivel de confianza y se determina el valor de Z correspondiente. TEMA 5. 2 : FIABILIDAD II 2. Se calcula el error típico de medida. 3. Se calcula el error de medida máximo (Emax): Emax=Zc Se 4. Se calcula el intervalo confidencial de la puntuación verdadera: IC=X±Emax 32

ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA. Estimación basada en la distribución normal de los errores Con los datos del ejemplo anterior calcular el intervalo según la distribución normal de los errores. TEMA 5. 2 : FIABILIDAD II 1. Primero tendríamos que fijar el NC, y determinar la Z asociada. En este caso para un NC del 95%, la Z, asociada es de 1. 96 2. A continuación Se. 3. 64 3. El Emax; que es resultado del producto de los anteriores. 7. 13 4. Finalmente el IC de V. Que para X=65, estará entre 57. 87 y 72. 13. 48. 62≤ V ≤ 81. 38 57. 87 ≤ V ≤ 72. 13 Este intervalo es menos amplio que el anterior, debido a que estamos asumiendo cierta distribución de probabilidad en los datos, cosa que no ocurría antes. 33

ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA. Estimación basada en el modelo de regresión: Dado que X siempre está afectada por errores de medida (E) podríamos hacer estimaciones puntuales de V, y a posteriori establecer intervalos de confianza en torno a ella. Es decir, utilizar V’ en lugar de X para construir el Intervalo de Confianza. TEMA 5. 2 : FIABILIDAD II En este caso, la predicción de una variable Y, a partir de otra X, viene expresada mediante la siguiente ecuación: Donde: rxy es la correlación entre ambas variables. Sy, Sx son las respectivas desviaciones típicas 34

ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA. Estimación basada en el modelo de regresión: Si lo traducimos en términos psicométricos: 3. Y la Media de Y, por la de V. TEMA 5. 2 : FIABILIDAD II 1. La Y, sería sustituida por V´ 2. La Sy, por la Sv Y dado que la razón entre las Sv y la Sx, es el índice de fiabilidad; y que la media de X y V son iguales, la ecuación se simplifica: 35

ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA. Con los datos del ejemplo anterior calcular el intervalo según el método de regresión. TEMA 5. 2 : FIABILIDAD II 1. Primero, hacemos una estimación de la V´, de un sujeto que ha obtenido una X=65. Obtenemos 61. 49 Probablemente dicho valor no coincida con el valor real del sujeto. A dicha diferencia se denomina error de estimación, y a la desviación típica de todas ellas, error típico de estimación conveniencia de usar intervalos. 36

ESTIMACIÓN DE LA PUNTUACIÓN VERDADERA. 1. Primero tendríamos que fijar el NC, y determinar la Z asociada. En este caso para un NC del 95%, la Z, asociada es de 1. 96 2. A continuación calcular el error típico de estimación. 3. 09 (más pequeño que Se) TEMA 5. 2 : FIABILIDAD II 3. El Emax; que es resultado del producto de los anteriores. 6. 06 4. Finalmente el IC de V. Que para V`=61. 49, estará entre 55. 43 y 67. 55. 48. 62≤ V ≤ 81. 38 57. 87 ≤V ≤ 72. 12 55. 43 ≤V ≤ 67. 55 Si comparamos este intervalo con los anteriores, es el menos amplio de todos a la larga los errores de pronóstico serán los mínimos. 37

VALORACIÓN DE LA TEORÍA CLÁSICA DE LOS TEST VALORACIÓN DE LA TCT Ventajas: Parsimonia y enjundia psicológica. Aplica a una amplia diversidad de situaciones a las que ha sabido dar soluciones prácticas (Muñiz, 2001). Limitaciones: TEMA 5. 2 : FIABILIDAD II 1. Los supuestos no se pueden comprobar empíricamente 2. Concepto de error de medida: a) homogéneo a lo largo del continuo de aptitud; b) errores independientes; c) concepto global que engloba todas las fuentes de variabilidad. 3. Medidas estrictamente paralelas. 4. Carácter variante y dependiente de sus índices. 38 5. Estimación de la fiabilidad múltiples procedimientos

VALORACIÓN DE LA TEORÍA CLÁSICA DE LOS TEST TEMA 5. 2 : FIABILIDAD II Encontramos una ventaja inherente a sus propias limitaciones ya que dichas limitaciones han promovido el desarrollo de otras importantes teorías, que han intentado superar: - Problemas relacionados con el error de medida, o -Dependencia de los instrumentos de medida sobre los propios objetos de medida y viceversa. No debemos olvidar que la TCT supone la primera formulación matemática de una teoría sobre las puntuaciones de los tests, y por tanto su posición en la mayoría de los programas docentes y manuales que se publican está más que justificado 39

INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS REFERIDOS AL CRITERIO TEMA 5. 2 : FIABILIDAD II FIABILIDAD EN LOS TRC TRN: ordenar a los sujetos respecto a su grupo según su nivel en el rasgo medido un sujeto que ocupa el P 90 está por encima del 90% de sujetos de su grupo en el rasgo medido por el test. En los años 60, en evaluación educativa, surge la necesidad de construir tests que evalúen directamente el conocimiento de los estudiantes sobre los objetivos programados. A partir de lo que surgen los TRC ¿qué tipo de problemas es capaz de resolver? ¿qué tipo de resolución requieren? ¿cuál es el límite de la capacidad del sujeto? : “Un test referido al criterio se utiliza para evaluar el status absoluto del sujeto con respecto a algún dominio de conductas bien definido” (Popham, 1978) 40

INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS REFERIDOS AL CRITERIO TRN vs TRC (Martínez-Arias, pág 657): 5 diferencias -1. Finalidad de la evaluación: TRC (rendimiento); TRN(diferencias individuales) -2. Construcción: TRN(teorías existentes); TRC(especificación del dominio). TEMA 5. 2 : FIABILIDAD II -3. Selección de los ítems: TRN(maximizar diferencias individuales); TRC(de acuerdo con los objetivos) -4. Significado de las puntuaciones; TRN(indicador de la puntuación verdadera); TRC(estimador del rendimiento del sujeto en el dominio). -5. Interpretación de las puntuaciones: TRN(se compara con su grupo normativo); TRC(tiene significado en 41 términos absolutos).

INTRODUCCIÓN A LA FIABILIDAD EN LOS TRC TEMA 5. 2 : FIABILIDAD II FIABILIDAD EN LOS TRC Impulso de algunos aspectos como: 1. Definir con mayor claridad los objetivos de interés 2. Muestrear exhaustivamente los objetivos a evaluar. 3. Nuevas formas de evaluar la fiabilidad y validez 4. Establecer los puntos de corte más apropiados. 5. Detectar los puntos fuertes y débiles de los sujetos. 42

INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS REFERIDOS AL CRITERIO. Fiabilidad: determinar el grado de error presente en las mediciones. TEMA 5. 2 : FIABILIDAD II Objetivo en los TRC: clasificar a las personas entre las que dominan el criterio y las que no. Fiabilidad consistencia o precisión clasificaciones realizadas por el test Dos aplicaciones del test en las Una sola aplicación del test 43

INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS REFERIDOS AL CRITERIO. Fiabilidad. Formas paralelas Dos aplicaciones: en este caso podemos aplicar el mismo test a una muestra; o dos formas paralelas. Fiabilidad perfecta clasificación idéntica en ambas aplicaciones. Procedimientos para su evaluación: TEMA 5. 2 : FIABILIDAD II 1. Coeficiente p 0 de Hambleton y Novick: Donde; Fc= número de personas en la que ambos tests coinciden en la clasificación. N= número total de personas. 2. Coeficiente Kappa: Donde; Fc= número de personas en la que ambos tests coinciden en la clasificación. Fa=coincidencia por azar N= número total de personas. 44

INTRODUCCIÓN A LA FIABILIDAD EN LOS TESTS REFERIDOS AL CRITERIO. Fiabilidad. Formas paralelas Se ha aplicado dos tests paralelos de Psicometría a 20 sujetos. Las clasificaciones realizadas se muestran en la siguiente tabla. Calcular la fiabilidad de la clasificación. Test B TEMA 5. 2 : FIABILIDAD II Test A Apto No-apto Total (N) Apto 2 3 5 No-apto 1 14 15 Total (N) 3 17 20 1. Aplicando p 0 vemos que los tests coinciden en clasificar a 2 aptos y 14 noaptos la fiabilidad es 0. 80 2. Aplicando K vemos la fiabilidad se reduce considerablemente al considerar las clasificaciones realizadas por azar. 45

OTRAS APROXIMACIONES AL ESTUDIO DE LA FIABILIDAD. LA FIABLIDAD EN LA METODOLOGÍA OBSERVACIONAL OTRAS APROXIMACIONES AL ESTUDIO DE LA FIABILIDAD Fiabilidad: Grado de precisión de la medida, o del instrumento de medida utilizado TEMA 5. 2 : FIABILIDAD II En Metodología observacional, por ejemplo, el instrumento de medida más común es un “Sistema de categorías” que análogamente a un test pretende “recoger la variabilidad del comportamiento del sujeto en el dominio comportamental que se esté estudiando”. Procedimientos más habituales en su cálculo se basan en los mismos principios utilizados bajo la lógica de los TRC medir la consistencia en las clasificaciones, en este caso de distintos observadores: Índice de Acuerdo (aproximación exploratoria); Coeficiente Kappa. 46

TEMA 5. 2 : FIABILIDAD II OTRAS APROXIMACIONES AL ESTUDIO DE LA FIABILIDAD. LA FIABLIDAD EN LA METODOLOGÍA OBSERVACIONAL SOLO PRETENDEMOS INDICAR QUE LA FIABILIDAD NO ES EXCLUSIVA DE LA TEORÍA DE TESTS, SINO, QUE EL PROBLEMA DE LA PRECISIÓN ES COMÚN A CUALQUIER APROXIMACIÓN CIENTÍFICA QUE IMPLIQUE MEDICIÓN. LO EXCLUSIVO ES QUE CADA APROXIMACIÓN ADAPTA EL MÉTODO A SUS PECULIARIDADES DE ESTUDIO 47

A MODO DE SÍNTESIS -El error de medida presente en todo proceso de medición. Fiabilidad; modelo lineal de Spearman (supuestos y derivaciones); factores que afectan a la fiabilidad; formas paralelas y test-retest. Apoximaciones al estudio de la fiabilidad 1. Fiabilidad como consistencia interna - Dos mitades (Spearman-Brown; Rulon; Guttman-Flanagan) TEMA 5. 2 : FIABILIDAD II - Covariación ítems ( , KR 20 KR 21; , ; de Raju) 2. Estimación de la puntuación verdadera: - Desigualdad de Chebychev. - Distribución normal de los errores. - Método de regresión 48

A MODO DE SÍNTESIS Apoximaciones al estudio de la fiabilidad: 3. Fiabilidad en los TRC. - P 0 de Hambleton y Novick TEMA 5. 2 : FIABILIDAD II - Kappa de Cohen. 4. Otras aproximaciones al estudio de la fiabilidad. 5. Reflexión general sobre el concepto de fiabilidad. 49

50 BIBLIOGRAFÍA COMENTADA 1. Barbero, I. , García, E. Vila, E. , y Holgado, F. P. (2010). Psicometría: Problemas resueltos. Madrid: Sanz y Torres. TEMA 5. 2 : FIABILIDAD II Se trata de un libro de ejercicios y problemas en el que se incluye el desarrollo de la solución. El alumno podrá completar desde un punto de vista aplicado los conceptos y contenidos vistos en la parte teórica; así como adquirir las destrezas necesarias para la resolución de problemas. 2. Barbero, I. (Coord) , Vila, E. y Holgado, F. P. (2010). Psicometría. Madrid: Sanz y Torres. En el capítulo 4 se introduce el modelo lineal clásico y el concepto de tests paralelos, así como la interpretación del coeficiente de fiabilidad y distintos métodos para su estimación. Y el capítulo 5 se centra en la fiabilidad de los TRC. 3. Gómez-Benito, J. (1996). Aportaciones de los modelos de estructuras de covarianza al análisis psicométrico. En J. Muñíz (Coord. ), Psicometría. Madrid: Universitas. El capítulo 10, define conceptos fundamentales como coeficiente de fiabilidad y tests paralelos desde modelos de ecuaciones estructurales. 50

4. Martínez Arias, R. (1995). Psicometría: Teoría de los Tests Psicológicos y Educativos. El Capítulo 3 presenta de una forma clara los conceptos básicos del modelo clásico. Los tres primeros apartados del Capítulo 4 también se pueden consultar para la preparación de este tema. Presenta numerosos ejercicios que permiten aplicar los conocimientos teóricos adquiridos. 5. Meliá, J. L. (2000). Teoría de la Fiabilidad y la Validez. Valencia: Cristóbal Serrano. En los Capítulos 3 y 4 expone el modelo lineal clásico de los errores de medida, el concepto de coeficiente e índice de fiabilidad y la definición de tests paralelos. El Capítulo 6 destaca algunas de las críticas. En el Capítulo 6 se trata la consistencia interna y los factores que afectan a la estimación de la fiabilidad. TEMA 5. 2 : FIABILIDAD II 7. Muñíz, J. (1996). Fiabilidad. En J. Muñíz (Coord. ), Psicometría. Madrid: Universitas. En el Capítulo 1 se resumen los conceptos fundamentales del modelo lineal clásico y la definición de paralelismo. 6. Nunnally, J. C. y Bernstein, I. J. (1995). Teoría Psicométrica. México: Mc. Graw Hill. El Capítulo 6 se presentan aspectos sobre supuestos y deducciones del modelo clásico. En el Capítulo 7 presentan algunas limitaciones y extensiones del modelo lineal clásico. 51