Procedimientos para recoleccin de datos construccin de tests

Procedimientos para recolección de datos: construcción de tests y cuestionarios 1

Recomendaciones básicas • Especialmente útil cuando hay tantos participantes que no es viable obtener información por otros medios (entrevista en profundidad, observación, etc. ). • NO CONSTRUIR UN INSTRUMENTO SI YA EXISTE ALGUNO: – Que mida el mismo constructo. – Con evidencias de calidad. 2

Evidencias de calidad • Fiabilidad. • Validez de: – Contenido. – Constructo (estructura factorial). – Criterio. • País donde se validó y lengua. Cuantas más evidencias fallen, más dudosa será la adecuación del uso del instrumento. 3

Ejemplo • Supongamos que nuestra empresa nos encarga la evaluación de un curso de formación que ha hecho para mejorar el desempeño en el puesto de trabajo de sus empleados/as. Ya existe un cuestionario que mide la satisfacción de los empleados/as con el curso recibido y evidencias de calidad: 4

Holgado, F. P. , Chacón-Moscoso, S. , Barbero, M. I. , & Sanduvete. Chaves, S. (2006). Training satisfaction rating scale: development of a measurement model using polychoric correlations. European Journal of Psychological Assessment, 22(4), 268 -279. doi: 10. 1027/1015 -5759. 22. 4. 268 - Fiabilidad. Validez de contenido. Validez de constructo. Validez de criterio. Elaborado en España y en español. 5

• Sanduvete-Chaves, S. , Holgado, F. P. , Chacón. Moscoso, S. , & Barbero, M. I. (2013). Measurement invariance study in the Training Satisfaction Questionnaire (TSQ). Spanish Journal of Psychology, 16, 1 -12. doi: 10. 1017/sjp. 2013. 49 • Invarianza factorial: – Entre empresas. – Entre tipo de formación: presencial / online 6

COM. UTILIDAD VALORAC. METODOLOGÍA AMBIENTE OBJETIV. CONTENI. VALORE DE 1 A 5 (1: Nunca; 2: A veces; 3: Regular; 4: Bastante; 5: Siempre) 1 A su juicio se han alcanzado los objetivos previstos 1 2 3 4 5 2 Los temas se han tratado con la profundidad que permitía la duración del curso 1 2 3 4 5 3 La duración del curso se ha adecuado a los objetivos y contenidos 1 2 3 4 5 4 La metodología se ha adecuado a los objetivos y contenidos 1 2 3 4 5 5 La metodología ha permitido la participación activa de los asistentes 1 2 3 4 5 6 Esta acción formativa me ha facilitado compartir experiencias profesionales con otros compañeros 1 2 3 4 5 7 La acción formativa ha sido realista y práctica 1 2 3 4 5 8 La materiales didácticos entregados han sido de calidad 1 2 3 4 5 9 Los recursos utilizados han sido adecuados para facilitar el proceso formativo 1 2 3 4 5 10 La acción formativa recibida es útil para mi puesto de trabajo 1 2 3 4 5 11 La acción formativa recibida es útil para mi formación personal 1 2 3 4 5 12 La acción formativa recibida merece una valoración óptima 1 2 3 4 5 13 Señala al menos un aspecto para mejorar la calidad de esta acción formativa: 1. 2. 7

Pasos recomendados Una vez elegido el instrumento y recogidos los datos, los pasos serían los siguientes: 1. Confirmar que no hay errores: – Mediana (por ser variables ordinales). – Mínimo y máximo. 2. Sumar, si se puede (dependerá de la estructura factorial) 3. Fiabilidad: - En base a la estructura factorial. - Porque depende de la muestra: - Más variabilidad, más fiabilidad. 4. Análisis de datos que interese. 8

Ejemplo • Se mide la satisfacción con un curso de prevención de riesgos laborales en el ámbito sanitario, obteniéndose los datos del archivo “DATOS. SAV”. 1. Confirmar que no hay errores: – ¿Cuántos participantes hay? – ¿Las variables están bien definidas? – Mediana. – Mínimo y máximo. Analizar – estadísticos descriptivos – frecuencias estadísticos 9

2. Sumar (si se puede) Transformar – calcular variable 10

3. Calcular la fiabilidad (en base a la estructura factorial). Analizar – escala – análisis de fiabilidad Criterio: 0, 7 se considera aceptable. 11

4. Realizar análisis de interés: - Descriptivos: media y desviación típica de la puntuación global y de las tres dimensiones. - Suponiendo que los 100 primeros son personal médico y los demás personal de enfermería, ¿existen diferencias en la satisfacción global de los participantes en función de su profesión? (NC: 95%) 12

a. Comprobación de supuestos. b. Análisis de datos. c. Interpretación. ***** ¿Qué ocurre si no hay disponible un instrumento que mida el constructo de interés, con evidencias de su calidad psicométrica, adecuado para nuestra muestra y contexto? 13

ELABORACIÓN DE UN INSTRUMENTO DE MEDIDA 14

Pasos para elaborar un instrumento de medida (Croker & Algina, 1986) – Definición del objetivo. – Definición del constructo: proceso inductivo o deductivo. – Descripción de los componentes del constructo: pueden variar desde uni-dimensional (constructo muy específico) hasta multidimensional (constructo muy general). – Diseño del instrumento. – Redacción de ítems: claridad, no ambigüedad, brevedad. – Análisis de la calidad de los ítems: información descriptiva y estadística. – Fiabilidad: estabilidad de las puntuaciones del test y consistencia interna. – Validez: adecuación de las inferencias realizadas a partir de las puntuaciones obtenidas en el test. – Desarrollo de las reglas de implementación, interpretación y 15 baremación.

PASO 1. Definición del objetivo – Qué – A quién – Por qué vamos a medir 16

Qué vamos a medir: definición del constructo • Variable psicológica (e. g. , habilidad verbal). • No observable directamente (teórico). • Se muestra a través de un conjunto de conductas que pueden ser observadas directamente, por lo que pueden medirse (e. g. , número de palabras conocidas para nombrar un objeto; adecuación en la elección de una palabra en función del contexto). • Estas conductas, para ser consideradas manifestaciones del constructo, han de ser más o menos uniformes y constantes a lo largo del tiempo, y en una amplia variedad de situaciones. • Todo el contenido referido al constructo habría de estar representado por los ítems del test. 17

A quién vamos a medir: población diana • Dependiendo de cuál sea, el test diferirá en: – Contenido. – Vocabulario. – Longitud. – Condiciones de aplicación. – Etc. • E. g. , población infantil – adulta. 18

Por qué vamos a medir: uso que se dará a la prueba • Hay que considerar las decisiones que se tomarán en base a las puntuaciones obtenidas. • E. g. , para detectar a niños superdotados - ítems especialmente difíciles; para detectar a niños con necesidades especiales – ítems especialmente fáciles. • Posibles usos: selección de personal, clasificación, diagnóstico, certificación, orientación/consejo, descripción/información. 19

PASO 2. Definición del constructo y de sus componentes • Conjunto de conductas consideradas manifestaciones del constructo. • Para delimitar estas conductas: – Análisis de contenido. – Revisión bibliográfica. – Observación directa. – Opinión de expertos. • Uni o multi-dimensional. 20

PASO 3. Diseño del instrumento • • Instrucciones de administración Formato de presentación Tipo de ítems Longitud (número de ítems): – Ni muchos ni pocos. – El doble de los que se quiera tener al final. – Al menos, 6 por dimensión (podrían acabar siendo 3). • Formato de la hoja de respuestas 21

PASO 4. Redacción de los ítems Recomendaciones generales • Evitar enunciados ambiguos. • Usar enunciados cortos, directos y precisos. • Evitar enunciados que puedan conllevar sesgo de respuesta: una opción es elegida con mayor probabilidad independientemente de la opinión del participante; e. g. , si el participante tiene que admitir una conducta socialmente inapropiada. 22

• Expresar una sola idea en cada enunciado (evitar dobles preguntas); e. g. , ¿estás a favor de reducir el consumo de alcohol en adolescentes y subir las tasas de las bebidas alcohólicas? • Evitar dobles negaciones en un enunciado; e. g. , ¿piensa usted que es imposible que el hombre nunca hubiera llegado a la luna? 23

Recomendaciones para ítems con dos alternativas de respuesta • Asegurarse de que el ítem es indudablemente verdadero o falso; e. g. , Dalí fue el mejor pintor del siglo XX. • Evitar palabras en el enunciado que pudieran llevar a la respuesta correcta aun cuando el participante no la supiera; e. g. , el uso de “siempre” o “nunca”. • Situar de manera aleatoria, a lo largo del test, los enunciados que son verdaderos para evitar el reconocimiento de patrones de respuesta por parte de los participantes. 24

Recomendaciones para ítems de elección múltiple • • • Asegurarse de que el enunciado del ítem formula el problema de manera clara. Incluir la mayoría del texto en el enunciado para evitar repeticiones innecesarias en las opciones de respuesta. Asegurarse de que los distractores (alternativas incorrectas) son plausibles. Evitar opciones de respuesta tales como “ninguna de las anteriores” o “todas las anteriores”. Habrá sólo una opción correcta a no ser que se especifique claramente lo contrario. Todas las alternativas han de ser uniformes en longitud y presentar una construcción gramatical similar. Colocar las alternativas correctas de manera aleatoria. Hacer que todas las opciones de respuesta parezcan igualmente atractivas. Asegurarse de que cada alternativa es gramaticalmente consistente con el enunciado del ítem. 25

Ejemplo ¿Habría algo que mejorar? Ítem 1. Actualmente no encuentro muy difícil no perder la esperanza de no llegar a ser algo. V F 26

Respuesta: demasiadas negaciones. *** Ítem 2. A continuación, se presenta un término y cinco definiciones. Indique cuál es la correcta (solo una de ellas lo es). LIPOTIMIA a. Máquina de componer que contiene todas letras de una línea. b. Desmayo con pérdida de sentido. c. Son ciertas la a y la b. d. Es cierta la b. e. Acumulación de grasa en la piel. 27

Respuesta: - Más de una respuesta correcta, aunque el enunciado decía que sólo había una. - Uso de opciones dependientes de otras; por ejemplo, “son ciertas a y b”. 28

PASO 5. Estudio de validez de contenido • Es preferible que los expertos del estudio de validez de contenido no hayan participado en la elaboración de los ítems. De este modo, podrán opinar no sólo acerca del ajuste de cada ítem con la dimensión que pretende medir, sino también sobre su claridad, formato, etc. • Explicitar los criterios de inclusión de la muestra. • Número de expertos (Prieto y Muñiz, 2000): 10 ≤ N ≤ 30 - aceptable > 30 - adecuado 29

• El índice de congruencia propuesto por Osterlind puede utilizarse para determinar si los ítems son útiles para medir una dimensión concreta del constructo: Xijk = Puntuación en el ítem i de la dimensión k propuesta por el juez j. N = número de dimensiones del instrumento. n = número de jueces. 30

• Se obtiene un índice de congruencia para cada ítem. • Los resultados posibles oscilan entre ± 1, dependiendo del grado de congruencia entre las respuestas de los expertos: – -1 supondría que todos los expertos están de acuerdo en considerar que el ítem no se ajusta a la dimensión que pretende medir. – +1 implicaría que todos los expertos asignaron el mayor grado de ajuste a la relación ítem-dimensión. – 0 sería el menor grado de acuerdo entre la opinión de los diferentes expertos. • Los ítems que obtiene 0, 5 o una puntuación mayor son usualmente incluidos en el instrumento propuesto. 31

Ejemplo: Construimos una escala para medir la calidad metodológica de las intervenciones en psicología, con ítems referidos a 3 dimensiones diferentes: características extrínsecas, sustantivas y metodológicas. Estamos interesados en conocer si los ítems “Momentos de medida: a. después de la intervención; b. antes de la intervención” (ítem 1); y Periodo de tratamiento: a. <6 meses; b. ≥ 6 meses” (ítem 2) son útiles para medir la dimensión metodológica del constructo calidad. La tabla que a continuación se presenta, muestra el número de expertos que eligieron cada opción (-1: no útil; 0: ni útil ni inútil; +1: útil) : 32

Categorías -1 0 +1 ítem 1 0 70 130 ítem 2 30 100 70 • Calcular el índice de congruencia de los ítems 1 y 2. • ¿Deberíamos eliminar alguno de los ítems? 33

• 0, 2 < 0, 5 → El ítem 2 debería ser eliminado. 34

• Software recomendado para su cálculo: Excel 35

PASO 6. Análisis de ítems Discriminación: proporción de aciertos en función del nivel de aptitud de los participantes Alta aptitud Proporción de aciertos 4. Discriminación inversa: los participantes con menos competencia tienden a acertarlo en mayor grado que los más hábiles Baja aptitud Alta aptitud 3. Discriminación nula: La proporción de aciertos no es función del nivel de aptitud de los participantes Proporción de aciertos Baja aptitud Proporción de aciertos 2. Discriminación moderada: A pesar de que permite separar entre participantes con distinto nivel, hay participantes con baja aptitud que tienden a acertar el ítem, y de entre los participantes con alta aptitud existen otros tantos que tienden a fallarlo. 1. Alta discriminación: A medida que el nivel de habilidad de los participantes se incrementa la probabilidad de acertar es mayor. El grupo de alta aptitud lo acierta en mucha mayor proporción que los de baja aptitud. Baja aptitud 36 Alta aptitud

Índice de discriminación Interpretación D 0, 40 El ítem presenta un gran poder discriminativo 0, 30 D 0, 39 Discriminación aceptable 0, 20 D 0, 29 Discrimina poco y necesita una revisión 0, 10 D 0, 19 Ítems no adecuados, que deber ser modificados o eliminados del test D 0, 0 Ítems que deben eliminarse directamente En tests de actitud, una discriminación de 0, 2 se considera adecuada 37

Ejemplo Con los datos del archivo “DATOS. SPV”, calcular la discriminación de los ítems, e interpretar el resultado. Analizar – escala – análisis de fiabilidad – estadísticos – descriptivos para… escala si se elimina el elemento. Resultado de discriminación en columna “correlación-elemento total corregida” 38

Paso 7. Validez de constructo Se entiende como la medida en que el test refleja la teoría psicológica a partir de la que se ha construido, y permite interpretar las puntuaciones dándoles un significado teórico (APA, AERA, NCME, 1999). - ¿Mide realmente el test la variable que intenta medir? - ¿Existe en realidad dicha variable? 39

El análisis factorial: software recomendado - LISREL 1. Todos los factores están correlacionados o no. 2. Todas las variables observadas están afectadas por todos los factores latentes. 3. Los errores no correlacionan entre si. 40

Información necesaria para el análisis Método de extracción: • Análisis de componentes principales. Método para la extracción de factores utilizada para formar combinaciones lineales no correlacionadas de las variables observadas. El primer componente tiene la varianza máxima. Las componentes sucesivas explican progresivamente proporciones menores de la varianza y no están correlacionadas unas con otras. El análisis principal de las componentes se utiliza para obtener la solución factorial inicial. No se puede utilizar cuando una matriz de correlaciones es singular. • Método de mínimos cuadrados no ponderados. Método de extracción de factores que minimiza la suma de los cuadrados de las diferencias entre las matrices de correlación observada y reproducida, ignorando las diagonales. No exige que las variables cumplan normalidad. • Método de Mínimos cuadrados generalizados. Método de extracción de factores que minimiza la suma de los cuadrados de las 41 diferencias entre las matrices de correlación observada y reproducida.

• • Método de máxima verosimilitud. Método de extracción factorial que proporciona las estimaciones de los parámetros que con mayor probabilidad ha producido la matriz de correlaciones observada, si la muestra procede de una distribución normal multivariada. Factorización de ejes principales. Método para la extracción de factores que parte de la matriz de correlaciones original con los cuadrados de los coeficientes de correlación múltiple insertados en la diagonal principal como estimaciones iniciales de las comunalidades. Las saturaciones factoriales resultantes se utilizan para estimar de nuevo las comunalidades que reemplazan a las estimaciones previas de comunalidad en la diagonal. Las iteraciones continúan hasta que el cambio en las comunalidades, de una iteración a la siguiente, satisfaga el criterio de convergencia para la extracción. Alfa. Método de extracción factorial que considera a las variables incluidas en el análisis como una muestra del universo de las variables posibles. Este método maximiza el Alfa de Cronbach para los factores. Factorización imagen. Método para la extracción de factores, desarrollado por Guttman y basado en la teoría de las imágenes. La parte común de una variable, llamada la imagen parcial, se define como su regresión lineal sobre las restantes variables, en lugar de ser una función de los factores hipotéticos. 42

• Método de rotación: - Varimax. Método de rotación ortogonal que minimiza el número de variables que tienen saturaciones altas en cada factor. Simplifica la interpretación de los factores. - Oblimin directo. Método para la rotación oblicua (no ortogonal). Si delta es igual a cero (el valor predeterminado) las soluciones son las más oblicuas. A medida que delta se va haciendo más negativo, los factores son menos oblicuos. Para anular el valor predeterminado 0 para delta, introduzca un número menor o igual que 0, 8. - Quartimax. Método de rotación que minimiza el número de factores necesarios para explicar cada variable. Simplifica la interpretación de las variables observadas. 43

- Equamax. Método de rotación que es combinación del método varimax, que simplifica los factores, y el método quartimax, que simplifica las variables. Se minimiza tanto el número de variables que saturan alto en un factor como el número de factores necesarios para explicar una variable. - Promax. Rotación oblicua que permite que los factores estén correlacionados. Esta rotación se puede calcular más rápidamente que una rotación oblimin directa, por lo que es útil para conjuntos de datos grandes. 44

Ejemplo Con los datos del archivo “DATOS. SAV”, calcular la estructura factorial. Analizar – reducción de dimensiones – factor – extracción – mínimos cuadrados no ponderados, gráfico de sedimentación – rotación – promax – opciones – ordenados por tamaño, suprimir valores absolutos menores que 0, 30. 45

• Criterios de decisión: – Primero, sustantivo. – Segundo, metodológico. 46

Hay dos factores (por eso sólo hay números en dos filas) Hay dos factores (apenas existen diferencias entre el tercer punto y los demás) Los números representados corresponden a la primera columna de la tabla 47

Factor 1: ítem 2, 5, 12, 6, 1 y 9. Factor 2: ítem 11, 7, 8, 4, 10 y 3. 48

Paso 8. Fiabilidad En base a la estructura factorial. Analizar – escala – análisis de fiabilidad Criterio: 0, 7 se considera aceptable. 49

Ejemplo • Calcular la fiabilidad con los datos anteriores teniendo en cuenta la estructura factorial obtenida: Factor 1: ítem 2, 5, 12, 6, 1 y 9. Factor 2: ítem 11, 7, 8, 4, 10 y 3. Analizar – escala – análisis de fiabilidad (introducir los ítems de F 1 y calcular; luego, hacer lo mismo para F 2) 50

F 1 F 2 Reliability Statistics Cronbach's Alpha Reliability Statistics N of Items , 852 6 Cronbach's Alpha N of Items , 775 6 51

Paso 8. Validez de criterio Supone obtener evidencias acerca del grado en que las puntuaciones obtenidas en el test pueden utilizarse eficazmente para hacer inferencias sobre el comportamiento real del participante en un criterio que no se puede medir directamente. APA (1999): evidencia basada en la relación con otras variables. 52

Ejemplo • Con el archivo “Datos. Con. Y. SAV”, estudiar la validez de criterio: Factor 1: ítem 2, 5, 12, 6, 1 y 9. Factor 2: ítem 11, 7, 8, 4, 10 y 3. 1. Obtener F 1, F 2 y X: 2. Transformar – calcular variable 2. Correlaciones bivariadas entre F 1, F 2, X e Y: Analizar – correlaciones – bivariadas 3. Regresión múltiple (F 1, F 2 e Y): Analizar – regresión – lineales – Estadísticos – correlaciones parciales y semiparciales 53

Correlaciones escala 1 Correlación de Pearson escala 2 1 , 845** , 237** , 012 , 000 , 001 203 203 Correlación de Pearson , 175* 1 , 674** , 102 Sig. (bilateral) , 012 , 000 , 148 N 203 203 , 845** , 674** 1 , 233** Sig. (bilateral) , 000 N 203 203 , 237** , 102 , 233** 1 Sig. (bilateral) , 001 , 148 , 001 N 203 203 N esc_total criterio_Y , 175* Sig. (bilateral) escala 2 esc_total Correlación de Pearson , 001 203 *. La correlación es significante al nivel 0, 05 (bilateral). **. La correlación es significativa al nivel 0, 01 (bilateral). 54

Tamaño de efecto muy bajo: ≤ 0, 18 – bajo [0, 38 – 0, 58] – medio ≥ 0, 67 – alto Resumen del modelo Modelo R dimens 1 R cuadrado , 245 a R cuadrado Error típ. de la corregida estimación , 060 , 051 8, 16872 ion 0 a. Variables predictoras: (Constante), escala 2, escala 1 ANOVAb Modelo Suma de cuadrados 1 Regresión Media gl cuadrática 850, 812 2 425, 406 Residual 13345, 582 200 66, 728 Total 14196, 394 202 F 6, 375 Sig. , 002 a a. Variables predictoras: (Constante), escala 2, escala 1 b. Variable dependiente: criterio_Y 55

Significativo Tamaño de efecto alto Tamaño de efecto bajo El efecto probablemente existe La significación puede deberse excesiva potencia estadística No significativo La no significación puede deberse a baja potencia estadística El efecto probablemente no existe 56

Significativo Tamaño de efecto alto Tamaño de efecto bajo El efecto probablemente existe La significación puede deberse excesiva potencia estadística No significativo La no significación puede deberse a baja potencia estadística El efecto probablemente no existe 57

Coeficientesa Modelo Coeficientes no estandarizados B 1 (Constante) tipificados Error típ. Correlaciones Beta 17, 774 3, 921 escala 1 , 354 , 109 escala 2 , 135 , 151 t Orden cero Sig. Parcial Semiparcial 4, 532 , 000 , 226 3, 246 , 001 , 237 , 224 , 223 , 062 , 895 , 372 , 102 , 063 , 061 a. Variable dependiente: criterio_Y 58