Fortalezas y debilidades de las pruebas estandarizadas como

Fortalezas y debilidades de las pruebas estandarizadas como mecanismos inclusivos de admisión a la educación superior Richard P. Phelps Pontificia Universidad Católica de Chile, Santiago Programa Talento y Inclusión 16 de diciembre de 2015

¿Qué es una prueba estandarizada? Una evaluación con al menos un aspecto - su contenido o administración – que es el mismo para todos quienes la rinden ¿Cuál es la principal ventaja de las pruebas estandarizadas? ¡Que es estandarizada!

¿Cuál es la principal desventaja de las pruebas estandarizadas? ¡Que es estandarizada!

Hay tres tipos de pruebas estandarizadas utilizadas en el contexto del ingreso a la universidad Contenidos Aptitud No cognitiva

Pruebas de contenidos - Historia Al comienzo, eran versiones más extensas de pruebas escolares ~ 1900 – pruebas “científicas” de rendimiento (Alemania y EE. UU. ) J. M. Rice – analizó sistemáticamente la estructura y efectos de las pruebas E. L. Thorndike – desarrolló escalas de puntuación

Pruebas de contenido en general Objetivo: medir el dominio de los contenidos o habilidades Desarrolladas: sobre la base del currículum (alineación curricular) Mayoría de las pruebas en el aula (desarrolladas por docentes) son de contenido

Pruebas de contenido para el acceso a la universidad ¿Cómo se validan? Por su alineación con el currículo de la escuela secundaria Correlación con otras medidas, como las notas de educación media y ranking Asume que todos tienen la misma oportunidad de aprender contenidos equidad Son, en alguna medida, entrenables - dominio de contenido se conoce de antemano

Pruebas de Aptitud - Historia A. Binet y T. Simon 1890 s (Francia) Niños en edad preescolar con discapacidad mental - Imposible evaluarlos a través de pruebas de contenido - Buscó desarrollar pruebas de capacidades mentales libres de contenido : asociación, atención, memoria, habilidades motoras, razonamiento

Pruebas de Aptitud - Historia 1917 Adaptadas por el Ejército de Estados Unidos para seleccionar y asignar soldados en la Primera Guerra Mundial Estados Unidos entró en la guerra tarde, Paris estaba bajo amenaza, y necesitaba movilizar tropas muy rápidamente

Pruebas de aptitud, en general Objetivo: predecir cuánto puede ser aprendido Desarrolladas: mediante el análisis de las habilidades necesarias para llevar a cabo ciertas tareas, ampliamente utilizado en la industria Empleadas para identificar estudiantes talentosos o alumnos con necesidades especiales También se llaman pruebas de razonamiento Los pruebas de inteligencia son un tipo de pruebas de aptitud y utilizan la escala desarrollada originalmente por Binet y Simon

Las pruebas de aptitud para el acceso a la universidad ¿Como son validadas? Validez predictiva: correlación con actividad futura (ej. rendimiento universitario). Poco énfasis en contenidos: - Contenido utilizado es básico, amplio, comúnmente conocido por todos - Prueba mide lo que los estudiantes son capaces de hacer con los contenidos No puede ser fácilmente entrenado: - Dominio del contenido es de conocimiento común: demasiado amplio como para ser foco de estudio

Las pruebas de aptitud para el acceso a la universidad – Historia Década de 1930 El presidente de la U. de Harvard, J. Conant … - Quería una nueva prueba de admisión para identificar alumnos de las clase socio-económica baja con potencial para tener éxito en Harvard : "diamantes en bruto” - Alentó al desarrollo de la primera Scholastic Aptitude Test (SAT)

Las pruebas de aptitud para el acceso a la universidad Las pruebas de aptitud, bien construidas, pueden identificar: - alumnos que se aburren en la educación media, pero que estudian lo que les interesa por su cuenta - alumnos desadaptados a la cultura de la escuela secundaria, pero que pueden adaptarse bien a la cultura universitaria - alumnos de alta capacidad perjudicados por haber asistido a escuelas de mala calidad

Pruebas no-cognitivas - Historia ( miden actitudes, preferencias, comportamientos y circunstancias de vida ) En realidad, más una encuesta que una prueba. Utilizado por las organizaciones empresariales para predecir el "ajuste" entre un solicitante de empleo y la cultura de la organización

Pruebas no-cognitivas Se desarrollan a través de cuestionarios, entrevistas personales. El contenido es personal, no requiere de estudio Involucra más sentimientos que conocimientos Aborda comportamientos y circunstancias de vida.

Pruebas no-cognitivas en general Distintos tipos: pruebas de integridad, exploración de carrera, búsqueda de pareja, evaluación de fortalezas y debilidades para ambientes particulares (ej. universidades, empleo en ciertas carreras, programas militares) Validado por validez predictiva, tasas de éxito en actividades futuras. Muy fácilmente falseables - "fingir" puede ser fácil; postulantes pueden simular ser honestos y trabajadores, incluso si no lo son.

Las pruebas no-cognitiva para el acceso a la universidad Muchos factores no cognitivos son aplicables para predecir el éxito universitario: por ejemplo, la perseverancia, la confianza, la ambición, la curiosidad, la estabilidad familiar, la estabilidad laboral. Pruebas no cognitivas se validan a través de la correlación con los resultados futuros, tales como la permanencia en la universidad Al ser fácilmente falsificables, las pruebas no cognitivas se administran normalmente después de la admisión a la universidad: sus resultados son usados para brindar apoyo estudiantil y no con fines de selección

Más información suele ser mejor Si la universidad fuera igual que la enseñanza media, las notas de la enseñanza media y una prueba de contenidos bastarían para fines de admisión Pero la universidad no sólo es más desafiante académicamente que la enseñanza media, también es muy diferente en otros aspectos. . .

¿Cómo es diferente la universidad? … tiene una más amplia variedad de estudiantes y profesores … está más lejos de casa, requiere mayor tiempo de desplazamiento … tiene profesores que además de enseñar hacen investigación … tiene menos estructura, lo que requiere de más organización por parte de los alumnos … tiene menos supervisión, requiere de más iniciativa de los estudiantes … demanda un menor número de horas de clase, pero requiere de más horas de estudio personal … el (la) estudiante elige lo que estudia (estudio focalizado), entre otros.

Para fines de admisión hay que maximizar la información disponible con el fin de mejorar el calce entre el alumno y la institución Tres medidas son importantes: 1. Validez predictiva 2. Diferencias entre grupos 3. Cobertura de contenidos

Validez predictiva Mide si las puntuaciones en una prueba de admisión se correlacionan con los resultados en la universidad (por ejemplo, buenas calificaciones en los cursos, graduación oportuna) Validez predictiva incremental Mide la cantidad de información única que provee una prueba de admisión, más allá de la información disponible a partir de otras medidas.

Los valores de validez predictiva van desde -1, 0 a +1, 0 -1, 0 representa la más alta correlación negativa posible 0 representa ausencia total de correlación +1. 0 representa la mayor correlación positiva posible La correlación se puede representar gráficamente con un diagrama de dispersión

Correlación positiva: De la población de parejas casadas: la edad de la mujer y la edad del marido coeficiente de correlación, r = + 0, 97

Más ejemplos de diagramas de dispersión y coeficiente de correlación: + 1, 0 - 0, 50 + 0, 85 + 0, 15

Validez Predictiva de accesso a la universidad Mide cuán bien los puntajes en las pruebas de admisión predicen mejores resultados en la universidad (por ejemplo, notas graduación) Una prueba con baja validez predictiva provee poca información

Validez predictiva: SAT y PSU 0. 6 0. 5 0. 4 SAT 0. 3 PSU 2010 0. 2 0. 1 0 Language Mathematics SAT Writing PSU Social Science SOURCE: Pearson, Final Report Evaluation of the Chile PSU, January 2013; SAT data from College Board.

Validez predictiva: SAT y PSU (Carrera: Administración) 0. 6 0. 5 0. 4 0. 3 0. 2 0. 1 0 Language Mathematics SAT Writing PSU Social Science PSU Administracion SOURCE: Pearson, Final Report Evaluation of the Chile PSU, January 2013; SAT data from College Board.

Validez predictiva: SAT y PSU (Carrera: Arquitectura) 0. 6 0. 5 0. 4 0. 3 0. 2 0. 1 0 Language Mathematics SAT Writing PSU Social Science PSU Arquitectura SOURCE: Pearson, Final Report Evaluation of the Chile PSU, January 2013; SAT data from College Board.

Validez predictiva: SAT y PSU (Carrera: Educación) 0. 6 0. 5 0. 4 0. 3 0. 2 0. 1 0 Language Mathematics SAT Writing PSU Social Science PSU Educacion SOURCE: Pearson, Final Report Evaluation of the Chile PSU, January 2013

Diferencias entre subgrupos Las diferencias en las puntuaciones entre los subgrupos de población (por ejemplo, género, etnia y tipo de escuela) deben responder sólo a diferencias en aquello que la prueba debe medir y no a factores ajenos (sesgos sistemáticos) debidos a la pertenencia a un grupo específico

Media de puntuación de PSU Matemática por tipo de escuela secundaria, 2001 -2010 650 600 550 500 450 400 350 300 2001 2002 2003 2004 Private 02 -03 -2021 2005 2006 Municipal SH 2007 2008 Municipal TP 2009 2010

SOURCE: OECD (2011 a), Education at a Glance 2011: OECD Indicators, OECD, Paris

Cobertura de Contenidos (valores entre 0% y 100%) La cobertura completa del plan de estudios de la educación media es más importante en asignaturas como las matemáticas o la música donde los conocimientos son acumulativos. Importa mucho menos en las asignaturas que se inician en el ámbito universitario, como la arquitectura, la medicina o la educación. 34

Cobertura de Contenidos Cuestión de la equidad ¿Cuánto del contenido de una prueba se ha cubierto en la enseñanza media? No es justo esperar que los estudiantes dominen contenidos a los cuales no han estado expuestos. . . o comparar estudiantes que han estado expuestos al contenido con otros que no lo han estado La oportunidad de aprender es un requisito de equidad, particularmente en países en que el retorno de la inversión en educación superior es alto 35

Retorno de la inversión la educación superior Los retornos a la inversión en la educación superior en Chile es, proporcionalmente, el más alto entre los 35 países de la OCDE. Los beneficios para la sociedad de más graduados universitarios es alto – p. ej. en un pueblo rural tener un médico por primera vez. Los beneficios para los graduados universitarios como individuos es aún mayor: reciben salarios mucho más altos que los menos educados.

SOURCE: Education at a Glance 2014: OECD Indicators, OECD, Paris

La necesidad de más graduados de la educación superior Es mayor en Chile que en otros 35 países de la OCDE. Dos posibles soluciones: 1. Matricular a más estudiantes 2. Aumentar la eficiencia de la búsqueda y calce de estudiantes e instituciones de educación superior, lo que aumenta la eficiencia del proceso de enseñanzaaprendizaje, y aumenta la retención. ¿Cómo? ¡Maximizando la validez predictiva!