La evaluacin de habilidades socioemocionales en Aristas la

La evaluación de habilidades socioemocionales en Aristas, la Evaluación Nacional de Logros Educativos en Uruguay Dra. Cindy Mels Directora de proyectos Unidad de Evaluación de Aprendizajes y Programas INEEd

índice Contextualizando el caso: ¿Qué es el INEEd? ¿Qué es Aristas? Recorrido de etapas de diseño y validación ¿Para que evaluar? ¿Qué evaluar? ¿Cómo evaluar? ¿Qué reportar y como analizar?

¿Qué es el INEEd? • Generado por la nueva Ley de Educación en 2008; empieza a funcionar en 2013 • Depende del MEC, pero independiente del consejo educativo y ANEP • Aportar al debate y la construcción de políticas educativas en nuestro país, en base de información relevante, rigurosa e independiente • Evaluación externa de los logros del sistema educativo

Aristas, ¿Qué es?

Una evaluación de logros del sistema educativo que da voz a diversos actores. Estudiantes Docentes Centros educativos en áreas rurales y urbanas, tanto públicos como privados Sistema educativo Directores Familias

Con múltiples dimensiones Contexto familiar y opiniones de los padres Desempeño en lectura y matemática Entorno escolar Derecho a la educación de los estudiantes Convivencia y Participación Oportunidades de aprendizaje Habilidades socioemocionales

Dimensiones de contexto familiar Caracterización de la familia • Identificación (parentesco, tipo de hogar) • Idioma en el hogar • Inmigración Estatus socioeconómico y cultural (INSE + Capital cultural) • Ubicación de la vivienda • Composición del hogar • Ingresos • Atención de salud • Servicio doméstico • Propiedad • Características de la vivienda • Bienes del hogar • Capital cultural del hogar • Trabajo de los padres Clima educativo del hogar • Hábitos de lectura • Supervisión parental del estudio • Estudio del estudiante en el hogar (espacio y tiempo)

Dimensiones de entorno escolar Caracterización del centro Caracterización docente • Entorno centro educativo - barrio • Modalidad del centro • Infraestructura (centro y salón de clase) • Recursos materiales del centro • Servicios del centro • Recursos humanos • Relaciones profesionales • Uso de TIC en las clases • Identificación (edad, sexo, lengua materna) • Experiencia • Relación laboral • Dedicación horaria • Multiempleo • Formación docente Caracterización estudiantes • Rezago escolar (edad) • Identificación • Trayectoria escolar (movilidad, asistencia preescolar, repetición) • Asistencia al centro • Expectativas sobre trayectoria del estudiante • Vínculo con el mercado laboral • Tareas en el hogar Soportes escolares • Liderazgo escolar • Lazos padres comunidad • Capacidad profesional • Clima de aprendizaje centrado en el estudiante • Relaciones de confianza

Formación ciudadana Dimensiones Convivencia y Participación (primaria/media) DDHH* Dimensión práctica de la ciudadanía Calidad de las relaciones interpersonales Sistema de normas y reglas Convivencia Resolución de conflictos Sentido de pertenencia Dispositivos formales Dispositivos no formales Participación estudiantil y familiar Actitudes hacia la participación Voz del estudiante Medios de comunicación

Dimensiones de oportunidades de aprendizaje Matemáticas/Lengua

Con base en los logros de aprendizaje esperados (CETP) y en las expectativas de logro (CES) Lectura Matemática • Intenciones de los textos: • Narrar • Describir • Persuadir • Exponer • Contenidos: • Medida • Estadística y probabilidad • Geometría • Álgebra • Aritmética • Dimensiones de la competencia: • Lectura literal • Lectura inferencial • Lectura crítica • Dimensiones de la competencia: • Información • Aplicación • Comprensión

Vinculados con la culminación de 3° y 6° de educación primaria así como con la culminación de 3° de educación media Educación primaria Educación media 2016 2017 2018 2019 2020 Aplicación 3° Piloto 15 años Aplicación 3° y 6° Piloto 11 años 2017 2018 2019 2020 2021

Decisiones metodológicas - políticas Muestral y no censal - Es posible relevar mayor cantidad de información - La calidad de la información para reportes a nivel agregado es mejor en muestras que en censos - Resulta menos costoso - El censo se justifica si se busca información a nivel individual - “El censo nunca es un censo”, ¿cómo solucionamos los problemas de cobertura? Autoevaluación EN centros, no evaluación DE centros Basado en insumos del sistema educativo mismo

Características generales de la aplicación Aplicación en línea de todos los instrumentos para actores educativos: directores, adscriptos, docentes y estudiantes Aplicación en papel de cuestionarios para las familias Cada grupo seleccionado lleva dos días de aplicación de cuatro horas en cada día

Características de la muestra Objetivos del muestreo: • Brindar información representativa a nivel nacional de los logros del sistema educativo en tercer y sexto grado de educación primaria. • Poder realizar estimaciones con la posibilidad de generar aperturas demográficas y por contexto de las escuelas. Muestreo con selección aleatoria: • Se realiza en tres etapas: • se seleccionan centro educativos de manera aleatoria, en diferentes estratos • se seleccionan grupos de manera aleatoria dentro de dichos centros • se seleccionan todos los estudiantes de dichos grupos

Habilidades Socioemocionales

Habilidades socioemocionales en el contexto educativo nacional • El sistema educativo da cuenta de un interés para abordarlos, pero no hay un marco claro – Ej. Marco curricular de referencia – PISA • Existen antecedentes de intervención y evaluación en el sistema educativo, pero no dentro de una política educativa – Ej. ONG´s, Red Global de Aprendizajes – Grupos académicos evalúan componentes

¿Para que evaluar? Objetivo del componente Relevar información sobre el estado de las habilidades socioemocionales de los estudiantes, su relación con otras variables (contexto familiar, entorno escolar, convivencia y participación) y su relación con los resultados de aprendizaje escolar Ø Evaluación ajustada al contexto educativo y cultural, con potencial de aportar a políticas y practicas Ø Con solvencia empírica Y ahora, ¿qué y cómo?

Proceso de desarrollo y validación Proceso cíclico de qué y cómo / marco e instrumento Revisión bibliográfica/ Entrevistas informantes clave Ajuste Grupos focales docentes Selección y Definición de dimensiones Ajuste Selección de ítems Validación expertos Entrevistas cognitivas estudiantes Validación plan de análisis Piloto 1 Validaci ón marco Ajustes marco e Aplicación definitiva Piloto 2 Cuestionario definitivo ítems

¿Que evaluar? la construcción de nuestro marco conceptual – Nuestros insumos iniciales: • Revisión de antecedentes internacionales y regionales (evaluación educativa y trabajos académicos) • Entrevistas con informantes claves: identificar referentes nacionales, experiencias de evaluación • Relevamiento prácticas educativas – Desafíos: falta de un marco y terminología común, mucho solapamiento, diferentes enfoques/intereses, inconsistencias, practicas poco definidas

Afinando el Qué y Para Qué Desarrollo de un marco propio, con las siguientes características: • Con base en evidencia empírica internacional y nacional • Desde una visión pedagógica: MALEABILIDAD • Entendidas como aprendizajes significativos • Y como promotores del aprendizaje • Desde una visión sistémica del desarrollo del ciclo vital

¿Que evaluar? Selección inicial - Identificar marcos teóricos internacionales de referencia (criterios: con definición operativa de sus dimensiones, apoyo empírico) - CASEL - Consortium on Chicago School Research - OCDE - Comparación y análisis de sus componentes, contrastando con desarrollo nacional - Selección de componentes, con los siguientes criterios: - Impacto en el desempeño y vida escolar - Impacto sobre desarrollo y bienestar - Maleabilidad - Determinar definiciones operacionales

Definición habilidades socioemocionales Las habilidades socioemocionales son entendidas como una serie de herramientas cognitivas, emocionales y sociales que tienen como función la adaptación al entorno, y que facilitan el desarrollo personal, el relacionamiento social, el aprendizaje y el bienestar. Se van configurando de forma dinámica a partir de la interacción del individuo con el contexto, a través de experiencias y aprendizajes, y en ese sentido son considerados como el resultado de procesos de desarrollo, que se extiende a través de todo el ciclo vital.

Marco inicial

¿Cómo evaluar? la construcción y validación de nuestro instrumento • Nuestros insumos inciales: – instrumentos de evaluación educativa a nivel internacional – instrumentos desarrollados desde la academia • Selección de ítems, en función de nuestra definición. Criterios: – Características psicométricas solidas – Preferencias para antecedentes nacionales – Adecuación para la edad • Traducción y retrotraducción (en caso necesario) • Complementado por ítems propios

Diseño de ítems “Estoy seguro de que puedo aprender lo que nos enseñan en matemática” (autoeficacia) “Ayudo a mis compañeros cuando tienen un problema” (empatía) “Para mí es difícil esperar mi turno” (autocontrol) Respuesta: escala 4 puntos

¿Cómo evaluar? : la construcción y validación de nuestro instrumento • Validación cualitativa – validación de los ítems por expertos (formulario) – Por docentes: grupos focales – Por estudiantes: entrevistas cognitivas (criterios de codificación problemas) • Ajustes constante • Desafíos: incorporación de distintas visiones, ajustar a distintos contextos y a diferentes niveles de comprensión lectora • Validación cuantitativa: estudio piloto

Desarrollo de pruebas piloto Primaria Media 2016 2017 Noviembre 2017 Agosto-Setiembre 2018 Centros públicos y privados 119 escuelas de todo el país 118 liceos y UTU 4. 227 estudiantes 4. 910 estudiantes

¿Cómo evaluar? : la construcción y validación de nuestro instrumento • Validación cuantitativa – A nivel ítem: problemas para entender, discriminar – A nivel subescala: consistencia interna, estructura factorial y correlación interna • Desafíos: unidimensionalidad de las subescalas, carga ítems inversos, poca discriminación en ciertas escales, 2 escalas con ítems insuficientes (piloto 2)

Volviendo al Cómo y Qué: Marco definitivo Primaria

Tamaño de la muestra definitiva Aristas en Primaria 2017 Muestra Calculada a Priori Centros Grupos 251 775 Estudiantes 3 Estudiantes 6 Estudiantes total 8485 8474 16959 Muestra ajustada en campo Centros Grupos 250 769 Estudiantes 3 Estudiantes 6 Estudiantes total 8. 562 8. 478 Tasa aplicación CHSE Estudiantes esperados Estudiantes aplicados Tasa aplicación 8. 478 7. 277 85, 9% 17, 040

Resultado instrumento final Primaria

¿Cómo analizar y reportar los datos? : la elaboración de los primeros informes de resultados • Nuestros insumos: – Nuestro marco conceptual y antecedentes internacionales – Comités de opinión con expertos y actores educativos • Desafíos técnicos: – ¿Cómo reportar datos sin contar con antecedentes o criterios claros sobre los niveles de habilidades socioemocionales deseados? – ¿Cómo abordar un tema tan complejo de una forma sencilla? • Desafíos políticos: – ¿Cómo responder a una variedad de expectativas de distintos actores? – ¿Cómo aportar a las practicas educativas? – Plazos

Desafíos para el futuro: ¿Cómo seguimos adelante para que nuestro trabajo sea pertinente y actualizado? • ¿Cómo contribuir al desarrollo de propuestas educativas para la formación de habilidades socioemocionales? • Ampliar la evaluación a tercer año de primaria. • Formatos alternativos para difundir los resultados, para distintos públicos. • Insumos generados: • Observatorio socioemocional y grupos de trabajo • Nuestros propios datos empíricos (etapa validación) • Comité de validación marco

Dimensiones de habilidades socioemocionales (piloto media) Motivación y autorregulación del aprendizaje • Autorregulación metacognitiva • Mentalidad de crecimiento • Motivación intrínseca • Perseverancia académica • Valoración de la tarea* • Autoeficacia* Habilidades interpersonales • Empatía • Habilidades de relacionamiento Habilidades intrapersonales Conductas de riesgo* • Regulación emocional • Problemas internalizantes • Autocontrol • Problemas externalizantes • Habilidades en redes sociales* Validación marco por expertos

Dimensiones y componentes de nuestra evaluación

Motivación y y autorregulación del aprendizaje • Habilidades centrados en el abordaje de tareas academicas • Implica creencias sobre si misma y la tarea, y conductas y actitudes dirigidas a metas academicas • Rol importante de la maduración neurologica, pero también experiencia acumulada y contexto • Autorregulación: proceso que permite llevar a cabo conductas dirigida a metas • Motivación: activa y sostiene autorregulación, a la vez de ser sujeto a procesos de autorregulación

Motivación y autorregulación del aprendizaje • Autorregulación metacognitiva • Resolución de problemas • Mentalidad de crecimiento • Motivación intrínseca • Perseverancia académica • Autoeficacia académica* • Valoración de la tarea*

Habilidades interpersonales • Habilidades centradas en la interacción social • Relevante para los aprendizajes, siendo un proceso social; y la vida escolar, siendo una comunidad donde conviven varios actores • Producto cultural y normativo – Conducta valorada en alumnos y la sociedad – Componente promovido en el aula – o no

Habilidades interpersonales • Cooperación • Responsabilidad • Empatía • Habilidades de relacionamiento • Habilidades en redes sociales*

Habilidades intrapersonales • Habilidades centradas en sí mismo: el manejo de las emociones y la conducta • Relevante para los aprendizajes y las relaciones interpersonales, superando a los contextos educativos • Importancia maduración neurológica, hasta en la vida adulta, y aprendizaje por experiencia • Queda menos claro su rol en el modelo conceptual-empirico • Regulación emocional • Autocontrol

Conductas de riesgo • No so habilidades, pero si son de relevancia para aprendizajes y procesos sociales • Se relaciona con habilidades intrapersonales • Conductas que realiza el sujeto, que pueden tener consecuencias psicológicas o sociales negativas para él mismo o para otros. • Conductas internalizantes • Conductas externalizantes

¡Muchas gracias!