Tema 4 La validez en la investigacin Marta

Tema 4. La validez en la investigación Marta Beranuy Fargues 11/10/2014

Introducción • La validez está relacionada con la veracidad de los resultados. • Estará condicionada por la estrategia de investigación que utilicemos y de lo cuidadosos y rigurosos que seamos. • Existen cuatro conceptos de validez que merece que tengamos en cuenta para valorar las distintas estrategias de investigación entre las que podemos optar: 1. 2. 3. 4. Validez de conclusión estadística Validez interna Validez de constructo Validez externa

Validez: concepto • Podemos definir la VALIDEZ como el grado de confianza que puede adoptarse respecto a la veracidad o falsedad de una determinada investigación. • En un inicio se asumía que la mera asignación aleatoria de los sujetos a los tratamientos permitía controlar los sesgos de la investigación y llegar a conclusiones “solidas y validas”. Campbell y Stanley (1966) introducen los conceptos de VALIDEZ INTERNA Y EXTERNA como sesgos posibles que no se podían controlar con la asignación aleatoria. Sobre todo la externa. Cook y Campbell (1979) introducen otros dos conceptos, la VALIDEZ DE CONCLUSIÓN ESTADÍSTICA y la VALIDEZ DE CONSTRUCTO.

Validez: concepto • La validez se evalúa en función de la CALIDAD de la INFERENCIA (causal o no) y el GRADO de GENERALIZACIÓN de ésta. ¿Existe relación entre dos variables? Validez de conclusión estadística Si existe, ¿es de naturaleza CAUSAL o puede darse sin Validez interna tratamiento? Si es causal, ¿cuáles son los constructos implicados? Validez de constructo ¿qué relación mantienen con las variables? ¿en qué medida son representativas de sus respectivos constructos? Si se da todo lo anterior, ¿en qué medida puede generalizarse la inferencia causal a otros sujetos y contextos? Validez externa

1. Validez de conclusión estadística o inferencial Concepto: Es el grado de confianza que podemos tener a la hora de hacer afirmaciones sobre las hipótesis que planteamos en nuestros diseños de investigación. Hace referencia a dos inferencias estadísticas: • Si la VI y VD covarían • En caso de que covaríen, ¿cuál es la magnitud empírica de su covariación? Pueden derivan en error Tipo I y error Tipo II. Covarianza: el estadístico que nos permite analizar la variación conjunta de dos variables.

1. Validez de conclusión estadística o inferencial Error tipo I: Se concluye que existe una relación entre las variables y en realidad no es así. ¿Covarían la VI y la VD? Error tipo II: Se concluye que NO existe una relación entre las variables y en realidad sí es así. Validez de conclusión estadística o inferencial ¿cuál es la magnitud de esta covariación? Infra o sobre estimar el tamaño de la covariación.

1. Validez de conclusión estadística o inferencial Amenazas: • Violación de los supuestos del modelo estadístico Existen ciertos supuestos básicos que deben cumplir los datos para que se puedan aplicar unas u otras pruebas estadísticas. Violar estos supuestos puede sobreestimar o infraestimar el tamaño y la significación del efecto del tratamiento. Para controlar esta amenaza es necesario elegir adecuadamente una prueba estadística paramétrica o no paramétrica dependiendo de si los datos cumplen o no los supuestos del modelo paramétrico.

1. Validez de conclusión estadística o inferencial Amenazas: • Baja potencia estadística La potencia estadística se refiere a la probabilidad de obtener significación estadística en el caso de que el tratamiento sea efectivo. Si la prueba estadística tiene baja potencia (es decir, baja probabilidad de detectar el efecto del tratamiento cuando sí ha sido realmente efectivo) aumenta la probabilidad de cometer error tipo II. Esta amenaza se controla eligiendo adecuadamente el nivel de significación estadística y el tamaño de la muestra necesario para no cometer error tipo II.

2. Validez interna Concepto: Hace referencia a la probabilidad de obtener conclusiones correctas sobre el efecto de la VI en la VD. Una inferencia causal será válida en la medida en que el diseño de investigación sea capaz de establecer una contigüidad temporal entre las dos variables y de eliminar todas las hipótesis explicativas rivales, de forma que se demuestre que VD es exclusivamente efecto de la VI. Para esto, además de controlar todas la V. S. S. (vvee), es necesario distinguir la dirección de la causalidad: VI VD. Que dependerá de la secuencia temporal que tengan las variables (relativamente fácil en el método experimental).

2. Validez interna Concepto: Tendremos que controlar la V. S. S. , que los grupos solo difieran entre sí por el tratamiento, y que la medición de la variables sea válida, fiable y sensible. Amenazas: 1. 2. 3. 4. 5. 6. 7. 8. 9. Ambigüedad en la contigüidad temporal de la causa Historia Maduración Administración de pruebas Instrumentación Regresión estadística Selección diferencial Mortalidad experimental Posibles interacciones de todas las anteriores con la selección diferencial (tema 6).

2. Validez interna Amenazas: 1. Ambigüedad en la contigüidad temporal de la causa Falta de claridad que se puede dar sobre cuál es la causa y cuál es el efecto, debida a la ambigüedad en la contigüidad temporal de las variables de estudio. Suele ocurrir en investigaciones no experimentales y post facto (que usan variables de selección de valores). Para controlar esta amenaza se pueden hacer diseños longitudinales y utilizar algunas técnicas de análisis de datos como las ecuaciones estructurales y el path análisis.

2. Validez interna Amenazas: 2. Historia Acontecimientos que ocurren durante el desarrollo del estudio, dentro o fuera del mismo, que pueden afectar a la VD y confundir los resultados. Se debe a factores: ambientales, sociales, personales. En algunos diseños cuasiexperimentales, puede darse interacción entre la selección de la muestra y la historia de ésta (historia local). En este caso, los acontecimientos externos pueden afectar de forma diferente a cada uno de los grupos, debido a que éstos proceden de contextos diferentes. Para controlar esta amenaza podemos utilizar grupos de control o utilizar la técnica de constancia, eliminación y aleatorización (mantener constantes las variables extrañas o eliminarlas de los grupos y repartir grupos al azar).

2. Validez interna Amenazas: 3. Maduración Se pueden dar procesos internos en los participantes debido al transcurso del tiempo. Cambios debidos al tiempo, independientes del tratamiento (VI). Muy probables cuando el tiempo entre la aplicación del tratamiento y la medición es largo; o cuando los sujetos son niños porque cambian muy rápidamente. Una forma de controlar esta amenaza es reducir el tiempo del experimento y añadir un grupo control que no reciba el tratamiento.

2. Validez interna Amenazas: 4. Administración de pruebas La familiaridad producida por la administración de una prueba puede distorsionar la respuesta de los sujetos en la siguiente prueba. Suele darse en diseños intersujetos, si se usan medidas pretest y postest y en diseños intrasujetos por los efectos de orden y de arrastre. Se puede controlar en los diseños intersujetos prescindiendo de la medida pretest o utilizando grupos de control sin tratamiento con medida pre y post. En los diseños intrasujetos, con las técnicas de contrabalanceo.

2. Validez interna Amenazas: 5. Instrumentación Proceso de medición de la variable dependiente. Provocada por los cambios que pueden darse en los instrumentos (laboratorio) o procedimientos de registro o medida (observadores humanos). Tiene que ser PRECISA y CONSISTENTE A lo largo de toda la investigación. Para controlar esta amenaza se puede entrenar a los observadores y utilizar instrumentos estandarizados, válidos y fiables.

2. Validez interna Amenazas: 6. Selección diferencial Relacionada con la formación de los grupos. Los grupos deben ser EQUIVALENTES, antes de la aplicación del tratamiento, en la VD y en otras variables relacionadas con el objetivo de la investigación. Si no, no podremos saber si las diferencias en la VD se deben a la VI o a las diferencias iniciales entre los grupos. Amenaza muy frecuente en los diseños cuasiexperimentales porque usan grupos ya formados. Para controlar esta amenaza hace falta que: en diseños intersujetos, los participantes se asignen a los grupos mediante técnicas de asignación aleatoria o bloques aleatorios. En los diseños intrasujetos, la muestra debe seleccionarse aleatoriamente de la población. En diseños no experimentales, muestras amplias y representativas (con aleatorización).

2. Validez interna Amenazas: 7. Mortalidad experimental Relacionada con la pérdida de participantes durante el experimento. Hay participantes que, por lo que sea, abandonan el experimento. Esto puede variar los resultados. La forma de controlar esta amenaza es tener grupos de sujetos lo suficientemente grandes como para que pudiera seguir actuando el azar.

2. Validez interna Amenazas: 8. Regresión estadística Relacionada con la selección de sujetos. A veces los sujetos no se asignan aleatoriamente, si no en función de los valores obtenidos en una variable. Cuando seleccionamos a un grupo de sujetos en función de las puntuaciones obtenidas (por ejemplo en un examen o a los mismos sujeto les tomamos una medida pre y otra post). Puede ocurrir que si las puntuaciones en el examen o en la medida pretratamiento son muy extremas, en las medidas posteriores se obtengan puntuaciones más parecidas a la media y no tan extremas. Por eso se llama la amenaza "regresión estadística" porque “regresan a valores más normales", más que por el efecto del tratamiento es por el efecto de esta amenaza. Suele deberse a la falta de fiabilidad de los instrumentos, por eso, la forma de controlar esta amenaza es utilizar instrumentos fiables o tomar varias medidas antes de seleccionar a los sujetos.

3. Validez de constructo Concepto: Relacionada con el grado de correspondencia entre: La manipulación de la variable independiente y la medida la variable dependiente. El constructo teórico que se pretende estudiar o medir. Dos tipos: - Validez de constructo de una causa: grado en que la variable independiente representa el constructo teórico al que se pretende atribuir el efecto del tratamiento en la conducta (¿realmente inducimos lo queremos inducir? ). - Validez de constructo de un efecto: grado en que la variable dependiente representa el constructo teórico que se pretende medir (¿medimos lo queremos medir? ).

3. Validez de constructo Amenazas: Se ve amenazada cuando existe una deficiente comprensión, explicación o definición del constructo por parte de los investigadores; o cuando se lleva a cabo una inadecuada medición de los constructos. Estas amenazas se controlan si se desarrolla una teoría adecuada del constructo que lo relacione con otros constructos y con otras posibles operaciones. También puede afectar a esta validez la reactividad a los dispositivos experimentales de las personas. Esta amenaza se puede controlar con la técnica del simple o doble ciego.

4. Validez externa Concepto: - Validez poblacional. Posibilidad de generalizar los resultados obtenidos en una muestra determinada a otras poblaciones o a la población de referencia. - Validez ecológica. Posibilidad de generalizar los resultados obtenidos en un contexto determinado a otros contextos, situaciones o ambientes. - Validez histórica. Posibilidad de generalizar los resultados obtenidos en un momento determinado a otros momentos temporales. Es fundamental que la muestra sea representativa de la población de referencia y que se haya seleccionado aleatoriamente.

4. Validez externa Amenazas: Amenazas relacionadas con la interacción, amenazas que interaccionan con el tratamiento. Otras amenazas Interacción entre selección y tratamiento: Atacan la validez poblacional. Sucede cuando la relación hallada entre las variables es específica de los participantes del estudio. El tratamiento provoca efectos en el grupo muestra por sus características concretas, que no representan la población. Control: definiendo o acotando con exactitud las características de la población de referencia y seleccionando aleatoriamente la muestra. Si no, incluir una muestra formada por muchos sujetos heterogéneos en las variables relacionadas con el tratamiento y replicar el experimento con muestras diferentes. Resumen tabla 4. 2. (p. 141)

4. Validez externa Amenazas: Amenazas relacionadas con la interacción, amenazas que interaccionan con el tratamiento. Otras amenazas Interacción entre situación y tratamiento: Atacan la validez ecológica. Sucede cuando la artificialidad, a veces excesiva, interacciona y hace imposible la generalización a otras situaciones. Frecuente en experimental, poco frecuente en observacional o cualitativo. Control: replicar la investigación en ambientes diferentes y procurar que la situación experimental sea lo más natural posible. Interacción entre historia y tratamiento: Atacan la validez histórica. Sucede cuando ocurren acontecimientos que interactúan con el tratamiento, los resultados estarían directamente vinculados a ese momento temporal y no podrían generalizarse a momentos diferentes. Control: aplicar experimento en diferentes momentos temporales.

4. Validez externa Amenazas: Amenazas relacionadas con la interacción, amenazas que interaccionan con el tratamiento. Otras amenazas Interferencia de tratamientos múltiples Sucede cuando se aplican distintos tratamientos a los mismos participantes, la respuesta de un participante puede estar condicionada por los tratamientos anteriores. Disminuye la validez interna y la externa. Control: contrabalanceo. Efecto reactivo de las pruebas Sucede cuando el pretest puede sensibilizar a los participantes disminuyendo la validez interna y la externa. Control: grupo control y contrabalanceo. Efecto reactivo de los dispositivos experimentales Sucede cuando el participante es consciente de que está siendo evaluado y observado. Éste puede desarrollar suposiciones sobre lo que el investigador está buscando y evitar respuestas que cree que pueden suscitar una valoración negativa. No está respondiendo al tratamiento sino a lo que cree que desea el experimentador. Control: simple y doble ciego.