III Congreso Nacional de Acreditacin Evaluacin herramienta de

III Congreso Nacional de Acreditación “Evaluación: herramienta de cambio” Lima- Perú 15 diciembre 2017

CULTURA DE LA EVALUACIÓN PARA LA MEJORA ¿Puede un sistema de acreditación ponerse al servicio del sentido formativo de la evaluación? Gloria Contreras P. Pontificia Universidad Católica de Valparaíso, Chile.

Estructura de la presentación ¿Qué es la evaluación? Sentidos de la evaluación Ejemplos de usos formativos y sumativos Algunas dificultades que enfrenta la evaluación en su sentido formativo Sugerencias

¿Qué es la evaluación? Consiste en la determinación del valor de algo (Popham, 1980). Consiste en la determinación sistemática de la calidad o el valor de algo (Scriven, 1990). Es, en primer lugar, la búsqueda de lo bueno y lo malo (Stake, 2001). Consiste en la búsqueda de la calidad del evaluando (Stake, 2006).

Algunas preguntas para la reflexión (I) La evaluación implica un juicio sobre la calidad del evaluando • ¿Es la calidad una propiedad intrínseca del evaluando? • ¿Es la calidad una propiedad atribuida por las personas al evaluando?

Criterios (y estándares) El juicio es construido Información acerca del evaluando

Criterio • Propiedad o característica distinguible de alguna cosa, mediante la cual su calidad puede ser juzgada o estimada, o por la cual una decisión o clasificación puede ser hecha (Sadler, 2005). Estándar • Especificaciones acerca del grado de calidad que debe presentar el objeto de evaluación (Sadler, 2017). Evidencia • Información proveniente del objeto de evaluación (o evaluando).

Un ejemplo Objeto de evaluación (evaluando) Carrera de Pedagogía en Educación Básica. Criterio Estándar Información Personal docente La carrera o programa dispone de un núcleo de docentes / académicos de alta dedicación y permanencia, que en su conjunto lideran y le dan sustentabilidad en el tiempo al proyecto educativo, y permiten cubrir las necesidades del plan de estudio en todas las sedes, jornadas y modalidades. • • Curriculum vitae de los docentes Contratos de los docentes Cantidad de horas de docencia en la carrera Relación de horas de docencia necesarias y de docentes

Los juicios que se construyen a partir de un sistema de evaluación dependen de los criterios, estándares, evidencia, pero también de otros aspectos.

1. Ejemplos de criterios para juzgar la calidad de un programa de formación profesional: - Infraestructura - Personal académico - Personal administrativo - Satisfacción de los empleadores - Etc.

2. Ejemplos de fuentes de evidencia - Estudiantes - Profesores - Personal administrativo - Documentos - Etc.

3. Ejemplos de niveles de uso de los resultados. - Ministerio de Educación - Institución educativa (universidad, escuela, instituto) - Profesores - Etc.

4. Ejemplos de evaluadores - Agencia externa - Ministerio de Educación - Profesores - Estudiantes - Etc.

- Se generan distintas representaciones de la calidad del evaluando. - Impacto en los usos y consecuencias de la evaluación.

Los diferentes involucrados en un sistema de evaluación (por ejemplo, Ministerio de Educación, institución educacional, profesores, estudiantes) deben conocer y comprender las implicancias que tienen las distintas formas de representar la calidad del evaluando, su sentido y los usos de sus resultados.

Algunas preguntas para la reflexión (II) • ¿Es la evaluación un proceso subjetivo? • ¿Existe algo así como una evaluación objetiva?

La evaluación es una práctica social y técnica de recolección e interpretación de información, para construir juicios acerca de la calidad del evaluando (Greene, 2017). La evaluación se usa para tomar mejores decisiones que las que se tomarían en ausencia de dicha evaluación.

Algunas preguntas para la reflexión (III) ¿Por qué se hace la evaluación?

Sentidos de la evaluación Formativo Sumativo

¿A qué obedece la distinción entre lo formativo y lo sumativo? Evaluación formativa: orientada a mejorar la calidad de un programa. Evaluación sumativa: orientada a determinar la eficacia global de un programa. Michael Scriven (1967) realizó esta distinción de acuerdo al rol de la evaluación, aludiendo a las razones por las cuales se hace una evaluación.

La razón por la cual se realiza una evaluación constituye un eje vertebrador de cualquier sistema de evaluación. Orienta la metodología de trabajo, criterios de evaluación e instrumentos de recolección de información, su posterior interpretación y toma de decisiones. Afecta a las distintas personas y/o instituciones involucradas, a tal punto que en ocasiones condiciona su accionar produciendo un efecto retroactivo. La clave está en el uso que se dará a los juicios construidos en el proceso de evaluación.

Usos formativo y sumativo (Newton, 2007). Los usos de los resultados dependerán del sentido para el cual fue diseñado originalmente un sistema de evaluación en particular. Evaluación formativa MEJORAR Acreditar Seleccionar Clasificar Evaluación sumativa Premiar o castigar Otorgar recursos Jerarquizar Predecir Otros

Combinación de lo formativo y sumativo: distintas posturas El uso combinado de Los sentidos combinados, formativo y sumativo, en sistemas de evaluación a gran escala parecen no dar resultados (Phopam, 2013). Suele imponerse el sentido sumativo por sobre el formativo. En el ámbito educacional, claramente debe intentarse hacer el mejor uso de la evaluación en sus dos sentidos (Scriven, 1996). Un mismo proceso de evaluación puede servir a los dos sentidos.

Combinación de lo formativo y sumativo: distintas posturas El uso combinado de Los Es muy difícil que una institución de educación no haga esfuerzos para mejorar ante los resultados de una evaluación (Stake, Contreras y Arbesú, 2011)

Un concepto que puede ayudar a iluminar esta tensión: Validez consecuencial - Messick (1998): alude a las implicancias de las inferencias basadas en los resultados de la evaluación, especialmente en lo referido a las fuentes de sesgo, equidad y justicia, como también a los efectos retroactivos. - Shepard (1997): se deben investigar tanto las consecuencias positivas y negativas, intencionadas y no intencionadas, para ponderar adecuadamente la validez de un sistema de evaluación.

Un ejemplo de un sistema de evaluación que combina ambos sentidos de la evaluación y que apoya a Popham SIMCE Sistema de medición de la calidad de la educación (Chile)

Propósito (Agencia de Calidad de la Educación, 2017) Su principal propósito consiste en contribuir al mejoramiento de la calidad y equidad de la educación, informando sobre los logros de aprendizaje de los estudiantes en diferentes áreas de aprendizaje del currículo nacional, y relacionándolos con el contexto escolar y social en el que estos aprenden.

¿Quiénes usan los resultados del SIMCE? Gobierno Investigadores Políticos Los que menos los usan… • Para orientar las políticas educativas. • Para desarrollar investigaciones. • Para atacar o defender al gobierno de turno. • Profesores, • Estudiantes.

Usos del SIMCE. Clasificar establecimientos educacionales. Ranquear establecimientos educacionales. Cerrar establecimientos educacionales. Otorgar recursos de manera focalizada. Informar a diversas audiencias. Establecer planes de mejora. Ofrecer perfeccionamiento docente. Predecir rendimientos de los estudiantes.

Pareciera ser que el propósito formativo está lejos de cumplirse Mezcla de sentido formativo y sumativo. Tipo de instrumento utilizado (en su mayoría , de respuesta cerrada). Usos perversos de los resultados. Falta de cultura evaluativa en los colegios.

Un ejemplo de un sistema de evaluación que combina ambos sentidos de la evaluación y que apoya a Scriven Uso individual de puntajes obtenidos durante años en cuestionarios de opinión estudiantil (sistema de evaluación docente). Profesor universitario que registró durante años los resultados de los cuestionarios aplicados a sus estudiantes. Registró además un conjunto de variables, profesionales y personales, que a su juicio podrían influir en dichos resultados. (Fuente: Ludlow, 2005).

¿Hay alguna relación entre los puntajes que me otorgan los estudiantes y la manera de organizarlos en clases?

¿Hay alguna relación entre los puntajes que me otorgan los estudiantes y el tamaño de los cursos?

¿Hay alguna relación entre los puntajes que me otorgan los estudiantes y la profundidad en que se tratan los conceptos en los distintos cursos?

¿Hay alguna relación entre los puntajes que me otorgan los estudiantes y aspectos de mi vida personal?

¿Mejora la percepción de mis estudiantes en el tiempo?

El ejemplo ilustra no solo la capacidad del profesor de reflexionar a partir de los resultados, sino también de sistematizar y analizar sus propios resultados. No obstante, se trata de un esfuerzo individual.

Algunas preguntas para la reflexión (IV) ¿Quién debe responsabilizarse porque la evaluación cumpla con el o los sentidos para los cuales fue diseñada o implementada?

Algunas dificultades que enfrenta la evaluación en su sentido formativo

§ Falta de cultura evaluativa. § ¿Evaluar para mejorar o evaluar para controlar? § Conflictos en los usos que le pueden o quieren dar los distintos usuarios a los resultados. § Manejo ético de los resultados. § Falta de financiamiento y de preparación de parte de quienes evalúan.

§ Concepciones sobre la evaluación § Efectos reactivos de la evaluación. § Falta de consideración a los contextos particulares. § Tiempo concedido efectivamente a las instituciones para mejorar a partir de los resultados. § A veces se usan los resultados para comparar carreras e instituciones.

§ Formas de presentar los resultados. § Sobre simplificación de la información. Por ejemplo, promedios de puntajes. § Relevancia de la información. § Cantidad y calidad de instrumentos de recolección de información.

Algunas preguntas para la reflexión (IV) ¿De qué factores depende que una evaluación pueda ser efectivamente formativa? ¿Qué posibilidades tiene un sistema de evaluación, como lo es un sistema de acreditación, de servir al sentido formativo de la evaluación?

Algunas sugerencias

Los sistemas de evaluación en el campo de la educación suelen tener como uno de sus propósitos, expresado de distintas maneras, el mejoramiento. En muchos países se encuentran los propósitos sumativo y formativo combinados.

Un sistema de evaluación no solo debe identificar los aspectos buenos y deficitarios, sino que también especificar la naturaleza de dichos aspectos deficitarios, de manera tal de ayudar a comprender los pasos a seguir (ya sea por las instituciones educativas, docentes, directores o sistema en general).

Tránsito deseable Retroalimentación Autoevaluación

¿Qué es la retroalimentación? Se trata de información sobre la brecha entre un estado de referencia y un estado deseable, la que es usada para cerrar dicha brecha (Sadler, 1989, citando a Ramaprasad, 1983). Puede concebirse como un proceso de comunicación de información referida a algún desempeño. Por lo tanto, hay emisor y receptor de la comunicación.

Características deseables de la retroalimentación Tiempo adecuado entre la evaluación y la entrega de la retroalimentación Foco en los criterios y estándares que orientaron la evaluación Describe aspectos positivos y deficitarios y otorga sugerencias Considera los contextos particulares Entrega la información de manera que sea comprensible Entrega información completa y útil

¿Qué es la autoevaluación? La autoevaluación puede comprenderse como un proceso que capacita a las instituciones para reflexionar sobre qué y cómo han aprendido, en contraste con criterios y estándares conocidos y comprendidos.

Características deseables de la autoevaluación Comprensión de los criterios y estándares de evaluación Tiempo adecuado Trabajo colectivo para reflexionar Conocimiento y comprensión de experiencias exitosas Apoyo de expertos

La evaluación es un medio para comprender nuestro trabajo. Implica recolectar información, interpretarla y construir juicios acerca de cuales acciones tomar para mejorar. Debe realizarse para desarrollar competencias profesionales y para la comprensión acerca de cómo aprenden las instituciones.

MUCHAS GRACIAS POR SU ATENCIÓN

Bibliografía consultada • Agencia de Calidad de la Educación (2017). SIMCE. Disponible en http: //www. agenciaeducacion. cl/evaluaciones/que-es-el-simce/ • Ludlow, L. (2005). A longitudinal approach to understanding course evaluations. Practical Assessment, Research & Evaluation. 10 (1). Disponible en http: //pareonline. net/pdf/v 10 n 1. pdf • Messick, S. (1998). Test validity: a matter of consequence. Social Indicators Research, 45, 35– 44. • Newton, P. (2007). Clarifying the purposes of educational assessment, Assessment in Education: Principles, Policy & Practice, 14 (2), 149 -170. DOI: 10. 1080/09695940701478321 • Popham, J. (1980). Problemas y técnicas de la evaluación educativa. Madrid: Anaya • Popham, J. (2013). On serving two masters. Principal Leadership, 13 (7), 1822 • Sadler, R. (1989). Formative assessment and the design of instructional systems Instructional Science 18, 119 -144. • Sadler, R. (2005). Interpretations of criteria-based assessment and grading in higher education. Assessment & Evaluation in Higher Education, 30 (2), 175– 194. DOI: 10. 1080/0260293042000264262

• Sadler, R. (2017). Academic achievement standards and quality assurance, Quality in Higher Education, 23 (2), 81 -99. DOI: 10. 1080/13538322. 2017. 1356614 • Shepard (1997). La evaluación en el aula. Traducción del Capítulo 17 de la obra Educational Measurement (4ª Edición) Editado por Robert L. Brennan ACE/ Praeger Westport. pp. 623 -646. Disponible en http: //www. oei. es/historico/noticias/spip. php? article 3149 • Scriven, M. (1967). The methodology of evaluation. En Tyler, R. R. , Gagné, R. M. , and Scriven, M. (Eds. ). Perspectives of curriculum evaluation (pp. 3983). Chicago: Rand Mc. Nally. • Scriven, M. (1996). Types of Evaluation and Types of Evaluator. Evaluation Practice, 17 (2) 151 -161. • Stake, R. (2001). Representing quality in evaluation. In Alexis P. Benson, D. Michelle Hinn and Claire Lloyd (ed. ) Vision of Quality: How Evaluators Define, Understand Represent Program Quality (Advances in Program Evaluation, Volume 7), Emerald Group Publishing Limited, pp. 3 -11. • Stake, R. (2006). Evaluación comprensiva y evaluación basada en estándares. Barcelona: Graó. • Stake, R. , Contreras, G. , Arbesú, I. (2011). Evaluando la calidad de la universidad, particularmente su docencia. Perfiles Educativos, 23: 155 -168.

CULTURA DE LA EVALUACIÓN PARA LA MEJORA ¿Puede un sistema de acreditación ponerse al servicio del sentido formativo de la evaluación? Gloria Contreras P. Pontificia Universidad Católica de Valparaíso, Chile.