Evaluacin Nacional del Logro Acadmico en Centros Escolares

Evaluación Nacional del Logro Académico en Centros Escolares Mayo, 2008 Septiembre, 2007

Temas ü Propósito y características de la prueba ü Interpretación adecuada y uso de los resultados ü Alcances y limitaciones de la prueba ü Uso pedagógico de los resultados. ü Reportes y materiales para coadyuvar al logro educativo

Propósitos Generar información de los temas y contenidos que los alumnos evaluados han logrado aprender bien y así como detectar deficiencias en Español, Matemáticas y Ciencias, que permitan desarrollar acciones, a: üPadres de familia üDocentes y directivos üAutoridades educativas del país üSociedad en general

¿Qué es ENLACE y cuáles son sus objetivos? ü Reforzar y mejorar las habilidades y conocimientos de los alumnos ü Aportar información para la gestión escolar. ü Estimular la participación de los padres de familia. ü Sustentar procesos efectivos y pertinentes de planeación educativa y políticas públicas. ü Atender requerimientos específicos de capacitación a docentes y directivos. ü Brindar información a jefes de sector, supervisores y Directores para realizar análisis y focalizar esfuerzos. ü Informar a padres de familia, docentes, directivos, autoridades educativas y la sociedad respecto del estado actual y la evolución de los esfuerzos y resultados escolares.

En la oscuridad… o en los promedios …todos los alumnos y escuelas parecen iguales …

Pero con un poco de luz… o sea, mayor información. ¡…se hacen visibles diferencias importantes…. !

Principales Cuestionamientos respecto a su concepción ü ¿Para qué realizar una evaluación censal, si basta una muestra rigurosamente calculada para generar resultados representativos? ü ¿Es válido que la SEP aplique evaluaciones, si para este fin se creó un Instituto Nacional de Evaluación? ü ¿Es realmente necesario realizar tantas evaluaciones: EXCALE, PISA, IDANIS, Olimpiada del Conocimiento, ENLACE? ü En su caso, ¿Qué diferencias presenta ENLACE con el resto de las evaluaciones y principalmente con las evaluaciones que se realizan por el profesor en el aula?

Programas Evaluativos de los aprendizajes alumnos de educación básica Organismo Evaluador Anteriormente Actualmente INEE üEstándares Nacionales üEXCALE Secretaría de Educación Pública Dirección General de Evaluación de Políticas OCDE üPAREIB üEscuelas de Calidad üFAE de CM primarias üDiagnóstica üOCI üIDANIS üPISA üENLACE üOCI üIDANIS üPISA

ENLACE y las políticas públicas en materia educativa Reflexiones ü ü Ha sido concebida para coadyuvar a la mejora de educativa ü ü Su implantación ha generado controversias, posturas favorables y desfavorables. ü Las evaluaciones por sí solas no mejoran la calidad educativa. Indirecta e intencionalmente se relaciona con: ü Rendición de cuentas ü Transparencia ü Participación social. Un grave riesgo es que las políticas giren en torno a ENLACE y no a la inversa. Sus resultados no deben soslayarse ni sobre valorarse, sino darles su justo valor. Se requiere conocer mejor sus características, alcances y limitaciones, para evitar prejuicios.

ENLACE ha mostrado ü Que es un instrumento que permite conocer el nivel de aprendizaje de los niños. ü Que al menos la mitad de los resultados educativos dependen del apoyo y participación de los padres. ü Que falta mucho por hacer pues sólo 1% de los evaluados está en el nivel de logro de excelencia, basta con analizar los resultados. ü Que la ciudadanía desea rendición de cuentas y evaluación permanente, que podemos y debemos construir una cultura de evaluación. ü Que el resultado educativo es compromiso de todo: los directores de los planteles, los jefes de sector, las autoridades educativas, la sociedad civil y los gobiernos locales.

Altas ambiciones Oportunidades educativas integradas Rendición de cuentas la escuela como centro de la acción Aprendizaje individualizado Acceso a las mejores prácticas y desarrollo profesional de calidad

Principales Cuestionamientos respecto a Su diseño, características y fechas de aplicación ü Si ENLACE es un instrumento para evaluar el logro educativo ¿porqué se aplica en Abril si el ciclo escolar concluye hasta julio? ü ¿No es injusto aplicar el mismo instrumento a población de áreas rurales marginadas al igual que a alumnos que estudian en escuelas de las ciudades capitales y que por tanto poseen un mayor capital cultural? ü En este mismo tenor ¿no es injusto aplicar una prueba en español a población monolingue o con un bajo grado del manejo del español? ü ¿Es confiable el sistema de detección de copia? ¿No es injusto darle el mismo tratamiento a la persona que copia que a la fuente de la información?

Principales características de las pruebas ü Objetivas, estandarizadas, de opción múltiple. ü Extensión: Entre 50 y 70 reactivos como máximo para cada asignatura-grado, suficiente para constituir una muestra representativa de los contenidos a evaluar en cada grado-asignatura. ü Contenido: Responde al diseño explicitado en la matriz de especificaciones para cada asignatura-grado y se ajusta a los contenidos establecidos en los planes y programas de estudios oficiales vigentes. ü Comparabilidad. cada año se evalúan en pretest los reactivos a utilizarse de manera operativa al año siguiente y permiten una referencia nacional. ü Volatilidad alta, lo cual implica la necesidad de construir el mismo volumen de reactivos cada año. Elaboración de Reactivos ü De acuerdo al Manual de Normas y Tablas de Contenidos y Especificaciones: Taller de Jueceo, piloteo y selección de reactivos

Temas y contenidos que se evalúan en ENLACE Básica ü Asignaturas de Español, Matemáticas y en 2008, incluye Ciencias. ü La tabla de contenidos es diseñada por la Sub. Secretaría de Educación Básica considerados como “prioritarios” de todo el plan y programas de estudio oficiales vigentes. La DGEP: ü Contextualiza el contenido en los planes y programas de estudio. ü Reflexiona sobre su importancia en el contexto escolar mexicano. ü Revisa y reconoce los contenidos que colindan entre sí. ü Analiza sus límites y ejecución deseable ü Define su nivel de generalidad así como su nivel de dificultad.

Decidiendo qué evaluar. . . ver hacia atrás, hacia lo que se espera que los estudiantes hayan aprendido o… ver hacia adelante, hacia qué tan bien estos pueden extrapolar lo que han aprendido y aplicar sus conocimientos y habilidades a nuevos escenarios.

Métodos de calificación Toma como base una escala subyacente, basada en la Teoría de Respuesta al Item (TRI), utilizando el modelo de tres parámetros: adivinación, dificultad y discriminación. Valor en puntaje. Se asigna a cada alumno no sólo por la cantidad de respuestas correctas sino en base a cuáles se respondieron. Este valor se presenta de forma estandarizada. En una escala de 200 a 800 con media 500 y desviación estándar de 100 para cada gradoasignatura. Dado que la escala se establece para cada grado-asignatura, es incorrecto hacer comparaciones de estos puntajes entre niveles, asignaturas y grados diferentes

Calificaciones de ENLACE Valor en puntaje. Se asigna a cada alumno un valor, considerando no sólo la cantidad de respuestas correctas sino su grado de dificultad. Este valor se presenta para cada grado-asignatura en una escala entre 200 y 800 con una media de 500 y desviación estándar de 100. Para 2006 la media fue de 500 puntos. Para 2007, los valores de las medias nacionales se incrementaron en todos los grados de ambas asignaturas de 500 a 504. 7 como mínimo para 4º de español y hasta 513. 7 para 3º de secundaria español Un puntaje mayor a la media nacional de 500 puntos, se considera en el nivel de logro “bueno”. Mayor a los 670 se ubica en “excelente”. (La escala tradicional de calificación hace pensar que 500 es reprobado, 600 es suficiente y 700 -800 es regular) por ello, el reporte de resultados en puntaje se acompaña siempre del nivel de logro ü ü

Escuelas primarias

Puntajes máximos y mínimos por escuela Secundarias

MÁXIMOS POR GRADOASIGNATURA Y MODALIDAD EDUCATIVA

Niveles de Logro EXCELENTE BUENO ELEMENTAL INSUFICIENTE

Niveles de logro üSe ha construido partiendo de la calibración de los ítems y se identifican 4 niveles. üEn cada nivel se establecen las competencias de los alumnos en un punto medio. üEl contenido de estas competencias se obtiene a partir del análisis de las comunalidades de los ítems

Más difícil Más fácil

Niveles de logro ü Los especialistas determinan para cada materia y grado, a la vista de los contenidos curriculares de los ítems ordenados, dos puntos de corte. ü El primero se establece identificando los contenidos mínimos que debe dominar un alumno en ese grado al término del curso.

Más difícil Primer punto de corte Más fácil

Más difícil Segundo punto de corte Primer punto de corte Más fácil

Más difícil Segundo punto de corte Primer punto de corte Nivel 1 Más fácil

Más difícil Segundo punto de corte Nivel 2 Primer punto de corte Nivel 1 Más fácil

Más difícil Nivel 3 Segundo punto de corte Nivel 2 Primer punto de corte Nivel 1 Más fácil

Niveles de logro ü Se establecen cuatro niveles de acuerdo al dominio de los conocimientos y habilidades evaluados en ENLACE, ubicando a cada alumno en uno de los cuatro niveles de logro, de acuerdo al grado de dificultad de las preguntas que contestaron correctamente. ü El más bajo, Insuficiente, significa que el alumno necesita adquirir los conocimientos y desarrollar las habilidades de la asignatura evaluada (alumnos que obtienen en promedio entre 200 y 350 puntos) ü Elemental, significa que el alumno requiere fortalecer la mayoría de los conocimientos y desarrollar las habilidades de las asignatura evaluada. (obtienen en promedio entre 350 y menos de 500 puntos) ü Bueno, significa que el alumno muestra un nivel de dominio adecuado de los conocimientos y posee las habilidades de la asignatura evaluada. (Entre 500 y 650 puntos apro ü El nivel más alto, Excelente, significa que el alumno posee un alto nivel de dominio de los conocimientos y las habilidades de la asignatrura evaluada. (más de 650 puntos)

Monitoreo anual Metas anuales considerando los resultados ENLACE 2007 Español Resultado s 2006 Español Resultado s 2007 Español Estimado 2008 Español Estimado 2009 Español Estimado 2010 Español Estimado 2011 Español META 2012 Primaria 0. 6% anual 20. 7% 20. 1 19. 5% 18. 9% 18. 3% 17. 7% 18% Secundaria 1. 5% anual 40. 7% 36. 3% 35% 34. 5% 32. 5% 31% 30% Matemáticas Resultados 2006 Matemáticas Resultados 2007 Matemáticas Estimado 2008 Matemáticas Estimado 2009 Matemáticas Estimado 2010 Matemáticas Estimado 2011 Matemáticas META 2012 Primaria 0. 8% anual 21. 0% 20. 2 19. 5% 18% 17. 5% 17% Secundaria 2% anual 61. 1% 57. 1% 55% 53% 51% 49% 47%

ENLACE 2007 Cifras Nacionales Porcentaje de alumnos de primaria y secundaria por niveles de logro, grado y asignatura

Alcances y limitaciones de ENLACE Alcances: Permite realizar comparaciones, en una misma escala nacional, entre grupos de un mismo grado-asignatura de una misma escuela, entre escuelas de la misma modalidad educativa, región, zona, entidad o nacional, de resultados generados por grado-asignatura y compararlos a través del tiempo Limitaciones: ü No es un examen que aprueba o reprueba o que pueda ser utilizado para emitir juicios de valor, calificar o descalificar la calidad de los servicios educativos de las escuelas, ya que no es una evaluación escuelas o maestros ü Es una evaluación de bajo impacto (no es apta para la toma de decisiones administrativas o que beneficien o perjudiquen a los alumnos) ü Dado que la escala se establece para cada grado-asignatura, es incorrecto hacer comparaciones de estos puntajes entre niveles, asignaturas y grados diferentes

Enfoque pedagógico de los resultados ü ü Al docente se le proporciona porcentaje de sus alumnos que contestaron incorrectamente o correctamente cada pregunta. Se presentan recursos de enseñanza del tema evaluado. El reporte impreso contiene sugerencias y recomendaciones para apoyar a los alumnos así como orientar a los padres de familia para que estimulen a su hijo a lograr mejores resultados. También proporciona orientación sobre fortalezas y debilidades de las prácticas docentes y posibles necesidades de capacitación. ü Al Director de una escuela, información de todos los grupos del plante, para analizar resultados entre grupos de un mismo grado y asignaturas ü A un Supervisor escolar, a realizar análisis de fortalezas y debilidades de las escuelas de su zona, principalmente aquellas cuyo capital cultura y condiciones socioeconómicas sean similares. Se sugiere promover intercambio de prácticas exitosas en las escuelas de la misma zona. ü A un Jefe de Sector, a contar con información sobre los resultados obtenidos por los alumnos de las escuelas que pertenecen a una misma zona, pudiendo comparar resultados entre gados-asignaturas y focalizar esfuerzos realizando visitas a aquellas que merecen mayor atención

Fundamentos de los métodos de detección de copia üBasados en análisis de respuestas incorrectas üEn principio, la copia de respuestas correctas es indetectable üLos métodos tratan de estimar la probabilidad de que los patrones de respuestas incorrectas, o

Estatus de copia Resultado del análisis Copió No copió Positivo Verdadero Positivo Falso Positivo Negativo Falso Negativo Verdadero Negativo Total Positivos Total Negativos

Objetivo de la detección de copia üTratamos de maximizar: üSensibilidad=Verdaderos Positivos/Total de Positivos üEspecificidad=Verdaderos Negativos/Total de Negativos

Consideración final üPara cada etapa del proyecto se ha utilizado la metodología más avanzada disponible, de modo que se facilitase tanto la interpretación de los resultados como la precisión técnica necesaria para garantizar futuras comparaciones

Principales Cuestionamientos respecto a Reportes de Resultados y material de apoyo ü ¿Qué material se enviará en 2008? ü ¿Cómo los resultados de ENLACE pueden realmente apoyar la labor docente y directiva? ü ¿Cómo puedo mejorar los resultados de mi escuela?

Control para accesar el resultado de un alumno en el Sistema de Consulta de Resultados

Contenido de los Reporte para padres de familia sobre los resultados de su hija(o) Reporte para docentes del grupo evaluado y del nuevo grupo sobre los resultados de los Cartel para la comunidad educativa. alumnos del grupo con los resultados de todos los alumnos evaluados de la escuela

Reporte para padres de familia o tutores Recomendaciones

Información 415 10 32 521 10 32

Reporte de la Escuela para la Comunidad Escolar Información comparativa por puntaje y nivel de logro por gradoasignatura 20062007 con escuelas del mismo tipo de la entidad y del país Porcentaje de escuela del mismo tipo por gradoasignatura que se encuentran por debajo de la escuela a nivel entidad y país.

¿Cómo puedo mejorar los resultados de mi escuela? Realizar un ejercicio de identificación de las debilidades y fortalezas de la escuela, sus posibles causas y definir prioridades y un plan de acción. Principales insumos para realizar este ejercicio: ü Diagnóstico de grupo que cada maestro de la escuela ü Cartel de los Resultados de la escuela ü Indicadores que identifican cómo inciden en los resultados ü educativos de la escuela factores de infraestructura y otras variables de contexto (resultado del análisis del cuestionarios de contexto aplicados con ENLACE) El plan de acción deberá ser acordado por la comunidad educativa escolar, estableciendo un plan de seguimiento y evaluación de las metas que se establezcan.

Sistema de Consulta de Resultados 2008 www. enlace. sep. gob. mx

Sistema de Apoyo didáctico en el marco del programa ENLACE Diagnóstico de la escuela Modelo Auto-evaluación Escolar ESCUELA Diagnóstico del grupo üLibros de análisis de reactivos üGenerador de exámenes. MAESTRO Diagnóstico del Sistema Educativo CURSOS DE CAPACITACIÓN üTalleres Generales de Actualización üDiplomado para el fortalecimiento del Español y las Matemáticas Ejercicios y reforzamiento de temas educativos Apoyos para el aprendizaje a través de ligas con programas ü PUEMAC “Proyecto Universitario de Enseñanza de las Matemáticas asistida por Computadora” UNAM-Sociedad Mexicana de Matemáticas ü Chicos y Escritores F. C. E. Diagnóstico del alumno ü “Mi Ayudante” UPN-Sociedad Mexicana de Matemáticas. ALUMNO ü “Programas para Escuelas Secundarias SIGLO XXI”

Materiales y reportes que se entregan en las escuelas Libros para docentes 2008

ENLACE BÁSICA

ENLACE Matemáticas Reactivos con alto grado de dificultad

ENLACE Reactivos con alto grado de dificultad en Español

Ejemplo análisis de reactivo 3° Primaria ESPAÑOL

Ejemplo Análisis de Reactivo 4° Primaria MATEMÁTICAS

Los instrumentos, temas y contenidos a evaluar RETOS ü Se están trabajando los Perfiles de desempeño de estudiantes y docentes por cada grado. ü Impacto de la reforma curricular de la educación básica en la comparabilidad de ENLACE

¿Qué tanto afectan los problemas familiares en el desempeño escolar? ¿ENLACE considera estos factores en la presentación de los resultados? Septiembre, 2007

Cuestionarios de contexto ü Padres de familia. Aplicación muestral Información relativa al contexto sociocultural de la familia ü Alumnos. Aplicación muestral. Información con respecto a hábitos que inciden el proceso de aprendizaje. ü Docentes. Aplicación muestral. Identifica los factores que inciden en el proceso de enseñanza. ü Directores. Aplicación censal Obtiene datos del contexto, social y cultural de la escuela así como indicadores que permitan su caracterización y la realización de análisis de escuelas similares “cluster” de escuelas El fin último de estos cuestionarios es la realización de estudios de factores asociados al logro académico de los estudiantes.

. El análisis de datos se llevó a cabo a través de modelos multinivel. 1. Marco analítico Niveles asociados a los resultados educativos

Construcción del índice de capital familiar del alumno

3. Resultados destacables RESULTADOS DESTACABLES ü El capital social y cultural de la familia así como las expectativas educativas y la trayectoria escolar del alumno, son las variables que tienen mayor influencia sobre los aprendizajes. ü El contexto sociocultural ejerce una influencia mayor sobre Español que sobre Matemáticas. ü Las actitud y disposición del alumno hacia el aprendizaje, particularmente la asistencia y su gusto por estudiar, tienen un efecto significativo sobre los resultados. ü Destaca el efecto positivo significativo en el aprendizaje asociado a la percepción de los alumnos sobre el clima escolar y las relaciones con su familia y su maestro. ü Se observó un efecto positivo significativo de la experiencia de los directores y la estabilidad de los maestros en la escuela. ü En el caso de secundaria, se observó que el grado de exigencia académica y la percepción colectiva del clima del aula, son dos procesos escolares asociados positivamente al nivel de aprendizaje.

ENLACE Básica Aplicación y procesamiento de la información Retos ü Continuar aplicando los métodos de detección de copia y eliminarlos de los cálculos de resultados, sin embargo proporcionar diagnóstico y calificación a los alumnos, docentes y padres de familia ü Analizar impacto en los resultados por la incorporación de la tercer asignatura a evaluarse ü Generar información de “valor esperado” que contemple otros elementos de análisis como indicadores de procesos, de gestión, infraestructura etc. que le permitan a las escuelas mejorar sus propios resultados. ü El costo de ENLACE por alumno es de $17. Los mayores beneficios se traducen en un mejor y mayor aprovechamiento de los recursos disponibles ya orientan la focalización de esfuerzos

Estudio de Ganancia Educativa Estrategia: Enlazar la prueba ENLACE Básica de 6 o de primaria con 3 ro. Secundaria y ésta con 3 o de ENLACE EMS a través de una prueba Alfa ENLACE Secundaria Primaria EMS Prueba alfa Estructura ENLACE Primarias Estructura ENLACE Secundaria

Resúmen de pruebas EMS a aplicarse Equiparación horizontal Equiparación vertical Piloteo reactivos

Conclusiones finales

üLa indulgencia no eleva los estándares; las Conclusiones aspiraciones, síAltas ambiciones y estándares claros üENLACE y los factores asociados al logro dicen… … que los alumnos y los centros rinden mejor en un clima caracterizado por las altas expectativas y la predisposición al esfuerzo de sus maestros, el disfrute con el aprendizaje, un fuerte clima de disciplina y unas buenas relaciones entre alumnos y profesores Acceso a las mejores – Entre estos aspectos, la percepción por parte prácticas y desarrollo de los estudiantes relaciones con los profesionalde desus calidad profesores y el clima disciplinario del aula son los que muestran una relación más estrecha con el rendimiento

Niveles de exigencia VS niveles de apoyos Alto nivel de apoyo Bajo rendimiento Alto rendimiento Mejoras de carácter particular Mejora sistemática Bajo nivel de exigencia Alto nivel de exigencia Bajo rendimiento Conflicto Estancamiento Desmoralización Bajo nivel de apoyo

La calidad de un sistema educativo no es mayor a la calidad de sus maestros O. C. D. E

Agradezco su atención. Sesión de Preguntas y Respuestas Mayo, 2008 Septiembre, 2007