Conversatorio Internacional Aseguramiento de la Calidad en la

Conversatorio Internacional Aseguramiento de la Calidad en la Educación Superior La acreditación y la mejora continua de programas académicos Dr. Teófilo J. Ramos Noviembre 19, 2015 1

Contexto Institucional www. itesm. edu • El Tecnológico de Monterrey fue fundado en 1943 por un grupo de empresarios mexicanos, bajo el liderazgo de Don Eugenio Garza Sada • Institución privada sin fines de lucro • Independiente • Genera los recursos necesarios para su operación 2

Contexto Institucional • 31 Campus y una Universidad Virtual • 95, 124 estudiantes: Preparatoria: 27, 326 Profesional: 55, 211 Posgrado: 12, 587 • 2. 25% de la educación superior de México • 54% con beca o apoyo financiero • 9, 431 profesores (2, 876/6, 555) • 10, 697 estudiantes del Tec de Mty estudiaron el extranjero • 4, 892 estudiantes extranjeros estudiaron el Tec de Mty 3

Contexto Institucional • 54 carreras profesionales • 16 programas de especialidades médicas • 30 programas de maestría • 10 programas de doctorado 220, 229 egresados de carreras profesionales 60, 842 egresados de programas de posgrado 4

Componentes esenciales de la Calidad Académica en el Tecnológico de Monterrey Evaluación del Aprendizaje Seguimiento de Egresados Efectividad Institucional Acreditaciones Evaluación de Programas Académico Mejora Continua Selección de Alumnos 5

Calidad Académica en el Tecnológico de Monterrey üEstándares de admisión üPruebas estandarizadas (College Board) üAntecedentes académicos Mejora Continua Selección de Alumnos 6

Calidad Académica en el Tecnológico de Monterrey Evaluación del Aprendizaje üEstándares de admisión üPruebas estandarizadas (College Board) üAntecedentes académicos üExámenes estandarizados üPruebas nacionales Mejora Continua Selección de Alumnos 7

Resultados en CENEVAL 2014 Profesional 155, 659 alumnos de 574 instituciones tomaron EGEL 6, 717 alumnos fueron del Tec (4. 31%) EGEL: Examen General de Egreso de Licenciatura 8

Resultados en CENEVAL 2014 21% (386/1, 832) de los alumnos que obtuvieron el Premio CENEVAL al Desempeño de Excelencia-EGEL son del Tec de Mty. de nuestros alumnos obtienen 5. 7%(386/6, 717) el Premio CENEVAL al Desempeño de Excelencia-EGEL mientras que a nivel nacional se otorga solo al 1. 2% de los sustentantes (1, 832/155, 659) 9

CENEVAL Padrón de Programas de Licenciatura de Alto Rendimiento 2013 -2014 91% 32% (175/192) de los programas del Tec de Mty (que cumplen con el requisito del mínimo número de egresados), se encuentran incorporados al Padrón de Programas de Licenciatura de Alto Rendimiento. (175/550) de los programas que se encuentran en el Padrón de Programas de Licenciatura de Alto Rendimiento son del Tec de Mty. Nivel 1 (330) 80% o mas de los sustentantes del programa obtienen desempeño sobresaliente o satisfactorio Nivel 2 (220) 60 -80 % 10

Calidad Académica en el Tecnológico de Monterrey Evaluación del Aprendizaje Seguimiento de Egresados üEstándares de admisión üPruebas estandarizadas (College Board) üAntecedentes académicos üExámenes estandarizados üPruebas nacionales ü Estudios de egresados: Candidatos a graduarse, 3 meses de graduados, Trayectoria de graduados 5, 10, 15, 20 y 25 años ü Empleadores Mejora Continua Selección de Alumnos 11

Trayectoria de Egresados de Profesional A los 5 años A los 25 años Encuesta 2014 Egresados que son o han sido socios o dueños de una empresa 40% 64% Egresados que ocupan un cargo directivo 28% 74% Egresados que estudiaron o estudian un posgrado 42% 60% Egresados con al menos una experiencia laboral en extranjero 23% 34% 12

Calidad Académica en el Tecnológico de Monterrey Evaluación del Aprendizaje Seguimiento de Egresados Efectividad Institucional üEstándares de admisión üPruebas estandarizadas (College Board) üAntecedentes académicos üExámenes estandarizados üPruebas nacionales ü Estudios de egresados: Candidatos a graduarse, 3 meses de graduados, Trayectoria de graduados 5, 10, 15, 20 y 25 años ü Empleadores üIndicadores de Excelencia Académica, Tableros üJuntas de Evaluación Mejora Continua Selección de Alumnos 13

Efectividad Institucional: Indicadores Alumnos • Asuntos estudiantiles • Perfil de ingreso y trayectoria • Evaluación del servicio académico • Internacionalización • Egresados • Competencias profesionales Profesores • Perfil del profesor • Capacitación y desarrollo • Aplicación del Modelo Educativo Directivos • Opiniones sobre el ambiente laboral • Opiniones sobre los directivos • Perfil y desempeño de los directivos Programas Académicos • Acreditaciones • Alumnado y crecimiento por programa Servicios de apoyo • Biblioteca • Infraestructura computacional 14

Calidad Académica en el Tecnológico de Monterrey Evaluación del Aprendizaje Seguimiento de Egresados Efectividad Institucional Acreditaciones üEstándares de admisión üPruebas estandarizadas (College Board) üAntecedentes académicos üExámenes estandarizados üPruebas nacionales ü Estudios de egresados: Candidatos a graduarse, 3 meses de graduados, Trayectoria de graduados 5, 10, 15, 20 y 25 años ü Empleadores üIndicadores de Excelencia Académica: IDEA (alumnos, profesores, directivos), Tableros üJuntas de Evaluación üInstitucionales y de Programas üNacionales e Internacionales Mejora Continua Selección de Alumnos 15

ACREDITACIÓN Es un proceso de evaluación mediante el cual es posible determinar si una institución, programa o carrera satisface un conjunto de estándares y parámetros de buena calidad relativos a su quehacer académico, establecidos previamente. En el caso de que esto ocurra, se otorga al programa un reconocimiento que constituye una garantía publica de la satisfacción de dichos estándares y parámetros. 16

Características fundamentales de las acreditaciones Cada acreditadora tiene procedimientos y estándares a seguir. En general representan una revisión profunda de los procesos mas importantes para ofrecer un programa académico – – – – Misión Programas académicos y procesos de enseñanza-aprendizaje Estudiantes y egresados Profesores e investigación Contribución a la comunidad Infraestructura, recursos y administración Extensión, difusión del conocimiento y vinculación Internacionalización 17

Características fundamentales de las acreditaciones (cont. ) • Enfocadas al aseguramiento de la calidad • Puede ser no gubernamental • Puede ser voluntaria u obligatoria • Requiere de una auto-evaluación • Es un proceso de revisión continua (por lo general cada 5 años) • Está relacionada con los propósitos institucionales • Se fundamenta en una revisión de pares 18

Tendencia internacional de las acreditaciones � � Énfasis en la medición de resultados del aprendizaje y en general de resultados esperados en todos los procesos de la institución (vs. métricas fijas principalmente de insumos utilizadas en modelos anteriores ) uso de los resultados para la mejora continua del programa ¿Cómo se logra? A través del cumplimiento del perfil de egreso de los programas, expresado en: � Competencias de egreso (“learning outcomes”) � Logros esperados del egresado (“program objectives”) 19

Consejo para la Acreditación de la Educación Superior Las atendidasreconocida actualmente Es disciplinas la única instancia y son: facultada por el Gobierno Mexicano, a través de la Secretaría de Educación Pública, SEP, para conferir reconocimiento formal a organizaciones cuyo fin sea acreditar programas académicos que ofrezcan Instituciones de Educación Superior (IES) públicas y privadas, (en cualquier modalidad) previa valoración de su capacidad organizativa, técnica y operativa. Copaes acredita a quienes acreditan

Organizaciones acreditadoras Actualmente Copaes ha reconocido 28 organizaciones acreditadoras, las disciplinas atendidas actualmente son: • • Actividad Física y Deporte Agronomía Arquitectura Artes Biología Ciencias Del Mar Ciencias Sociales Contabilidad y Administración • • Derecho Diseño Economía Enfermería Humanidades Informática y computación Ingeniería Física • • • Medicina Nutriología Odontología Optometría Pedagogía y educación Psicología Química Turismo Medicina veterinaria

¿Qué elementos se revisan para acreditar un programa? Categorías % 1. Personal académico 20 2. Alumnos 20 3. Plan de estudios 14 4. Infraestructura y equipamiento 10 5. Investigación 5 6. Vinculación 7. Normatividad institucional que regule la operación del programa 8. Conducción académico-administrativa del programa 8 9. Proceso de planeación y evaluación 5 10. Gestión administrativa y financiera 8 5 5

Programas acreditados 2002 a 2014 Fuente: COPAES, 2014

Acreditaciones 2014 Descripción Total de programas acreditados* No. 2, 920 Total de programas (Educación Superior) 20, 506 Porcentaje del total 14. 2% Total alumnos en programas acreditados* 1, 255, 467 Total de alumnos (Educación Superior) 3, 071, 643 Porcentaje de alumnos cursando programas acreditados. 40. 9% *Fuentes: Copaes 2014 (Incluye programas vigentes y con prorroga para la reacreditación) y SEP / SES / DGESU /Dirección de Planeación y Evaluación/Subdirección de Sistematización y Análisis de Indicadores. 09 de Enero de 2013.

Acreditaciones en el Tecnológico de Monterrey a junio 2014 Programas de profesional Institucional • Nacional: • FIMPES • Internacional: • SACS • Nacional: • 100% de los programas de profesional acreditados por organismos de COPAES (195) o evaluados en el Nivel 1 por CIEES (10) • Internacional • 31 programas acreditados: AACSB(6), ABET(23), CLAEP/ACEJMC (2) Programas de posgrado • Nacional: • 42 programas reconocidos por el PNPC-CONACYT • Internacional: • 10 programas: AACSB, AMBA, EQUIS 25

Calidad Académica en el Tecnológico de Monterrey Evaluación del Aprendizaje Seguimiento de Egresados Efectividad Institucional Acreditaciones Evaluación de Programas Académicos üEstándares de admisión üPruebas estandarizadas (College Board) üAntecedentes académicos üExámenes estandarizados üPruebas nacionales ü Estudios de egresados: Candidatos a graduarse, 3 meses de graduados, Trayectoria de graduados 5, 10, 15, 20 y 25 años ü Empleadores üIndicadores de Excelencia Académica: IDEA (alumnos, profesores, directivos), Tableros üJuntas de Evaluación üInstitucionales y de Programas üNacionales e Internacionales üMedición de competencias de egreso “Learning outcomes” (Programas académicos) Mejora Continua Selección de Alumnos 26

27 Programas basados en competencias y su evaluación

Contexto de programas basados en competencias Fortalecimiento de la rendición de cuentas Énfasis en la medición del aprendizaje versus medición de la infraestructura y los procesos académicos Tendencia internacional de las acreditaciones 28

Objetivo Asegurar el cumplimiento del perfil de egreso de los programas académicos. 29

ABET Criterion 2. Program Educational Objectives 30 The program must have published program educational objectives that are consistent with the mission of the institution, the needs of the program’s various constituencies, and these criteria. There must be a documented and effective process, involving program constituencies, for the periodic review and revision of these program educational objectives.

ABET Criterion 3. Student Outcomes The program must have documented student outcomes that prepare graduates to attain the program educational objectives. Student outcomes are outcomes (a) through (k) plus any additional outcomes that may be articulated by the program. (a) an ability to apply knowledge of mathematics, science, and engineering (b) an ability to design and conduct experiments, as well as to analyze and interpret data (c) an ability to design a system, component, or process to meet desired needs within realistic constraints such as economic, environmental, social, political, ethical, health and safety, manufacturability, and sustainability (d) an ability to function on multidisciplinary teams (e) an ability to identify, formulate, and solve engineering problems (f) an understanding of professional and ethical responsibility (g) an ability to communicate effectively (h) the broad education necessary to understand the impact of engineering solutions in a global, economic, environmental, and societal context (i) a recognition of the need for, and an ability to engage in life-long learning (j) a knowledge of contemporary issues (k) an ability to use the techniques, skills, and modern engineering tools necessary for engineering practice. 31

ABET Criterion 4: Continuous Improvement “The program must regularly use appropriate, documented processes for assessing and evaluating the extent to which both the program educational objectives and the student outcomes are being attained. The results of these evaluations must be systematically utilized as input for the continuous improvement of the program. Other available information may also be used to assist in the continuous improvement of the program. ” 32

ABET Definiciones 33 Assessment – Assessment is one or more processes that identify, collect, and prepare data to evaluate the attainment of student outcomes and program educational objectives. Effective assessment uses relevant direct, indirect, quantitative and qualitative measures as appropriate to the objective or outcome being measured. Appropriate sampling methods may be used as part of an assessment process. Evaluation – Evaluation is one or more processes for interpreting the data and evidence accumulated through assessment processes. Evaluation determines the extent to which student outcomes and program educational objectives are being attained. Evaluation results in decisions and actions regarding program improvement.

SACS The institution identifies expected outcomes, assess the extent to which theses outcomes, and provides evidence of improvement based on analysis of the results in each of the following areas: Educational programs, to include student learning outcomes. Academic and student support services Administrative support services Research within its mission Community/public service within its mission 34

Nuestra definición de Assessment es la evaluación sistemática de los programas académicos con base en resultados del aprendizaje (learning outcomes*) y utilizando los resultados de la evaluación para la mejora continua *En el Tecnológico de Monterrey las denominamos competencias de egreso 35

36 Evaluación de programas Evaluación de programa y ciclos de mejora Evaluación a nivel curso Semestres Logros esperados 1 er 2 do 3 er 4 to 5 to …. 9 no Al momento de graduarse M 11 M 12 M 13 M 14 …. M 19 M 21 M 22 M 23 M 24 …. M 29 Competencias de Egreso (CE’s): M 31 M 32 M 33 M 34 …. M 39 Alumnos … … … . . . … Mn 1 Mn 2 Mn 3 Mn 4 …. Mn 9 • En cada materia, los profesores y departamentos académicos evalúan objetivos de aprendizaje del curso: conocimientos, habilidades, actitudes y valores. Esto es lo que ya se hace • • • Generales Comunes del área De la especialidad • Para ser evaluadas las CE´s, tienen que ser expresadas en criterios de desempeño. Esto se añade

Proceso de evaluación de programas Competencias de egreso Criterios de desempeño Plan de Evaluación Cursos, actividades co-curriculares, programas de apoyo, recursos de aprendizaje Definición Acciones educativas Medición Indirecta Directa Valoración Decisión de mejora continua Evaluación 37

38 Etapas del proceso de evaluación de programas Etapa 1. Perfil de egreso basado en competencias Etapa 2. Plan de evaluación del programa Etapa 3. Evaluación y Resultados Etapa 4. Acciones de mejora

Etapa 1. Perfil de Egreso basado en Competencias

Etapa 1. Perfil de Egreso basado en competencias Personales: 1. Dominio del Inglés 2. Ética 3. Ciudadanía 4. Capacidad emprendedora y de innovación 5. Liderazgo 6. Confianza en sí mismo 7. Compromiso con el medio ambiente 8. Comunicación oral y escrita 9. Perspectiva global Profesionales: • Básicas de la Profesión • Administración • Ingeniería • Ciencias Sociales y Humanidades • Ciencias de la Salud Profesionales: • De la Especialidad • Mecánico Administrador • Mecatrónica • Biotecnología • Médico Cirujano • Psicología Laboral • Arquitecto • Ciencia Política • Etc.

Etapa 1. Perfil de Egreso basado en competencias Competencias de Egreso (CEs) Combinación de atributos — con respecto al conocimiento y su aplicación, a las actitudes y a las responsabilidades— que hacen referencia a las capacidades que un estudiante debe haber desarrollado al momento de su graduación.

Etapa 1. Perfil de Egreso basado en competencias Criterios de Desempeño (CDs) Enunciados específicos medibles que identifican comportamientos observables que evidencian el desarrollo de una competencia. Se definen al menos 2 por cada CE

Ejemplo: Carrera Ingeniero Industrial y de Sistemas Competencia de egreso: El alumno resolverá problemas del área de ingeniería industrial y de sistemas utilizando herramientas matemáticas y científicas. Criterios de desempeño: § El alumno será capaz de resolver problemas de ingeniería industrial de manera satisfactoria haciendo uso de métodos matemáticos (rúbrica). § El alumno obtiene un resultado Satisfactorio o Sobresaliente en la sección de Gestión de la Cadena de Suministros del examen del CENEVAL (examen).

Etapa 2. Plan de Evaluación de cada carrera Vicerrectoría Académica Junio 2012

Etapa 2. Plan de Evaluación de cada carrera § Es la guía para realizar la evaluación del programa. § Para cada criterio de desempeño de cada una de las competencias de egreso, identificar: o o o Frecuencia de la medición Método de medición Dónde medir Forma de cumplimiento y metas Responsable de la medición

Etapa 2. Plan de Evaluación de cada carrera Consideraciones metodológicas: § Es una tarea adicional a la evaluación del curso pero puede hacerse sobre el producto de un curso (course embedded assessment) § También es posible realizarlo en un evento especial (assessment center)

Etapa 2. Plan de Evaluación de cada carrera Consideraciones metodológicas: § Se evalúa el programa académico, y no al alumno o al profesor en lo individual, a través de evidencias del desarrollo de las competencias a nivel programa.

Etapa 2. Plan de Evaluación de cada carrera Consideraciones metodológicas: § Se pueden utilizar los siguientes métodos de medición: o Métodos indirectos: mediante los resultados de encuestas. Ejemplo: Instrumento de Competencias Éticas y Ciudadanas o Métodos directos: se observa de primera mano el desempeño del alumno. Ejemplos: • Examen estandarizado (EGEL, TOEFL). • Aplicación de rúbrica (evaluación de un ensayo, proyecto, presentación oral).

Etapa 2. Plan de Evaluación de cada carrera Consideraciones metodológicas: § No se requiere medir todo, ni todo el tiempo: o La medición puede ser semestral o anual o La medición se realiza sobre una muestra aleatoria

Etapa 3. Evaluación y Resultados

Etapa 3. Evaluación y resultados Ejecutar el plan de evaluación § Realizar la medición de las competencias de egreso de acuerdo con el plan de evaluación. § Integrar reportes para el análisis colegiado y la toma de decisiones de mejor.

Etapa 4. Documentación de Acciones de Mejora Vicerrectoría Académica Junio 2012

Etapa 4. Documentación de Acciones de Mejora § Realizar el análisis de resultados de la medición y la definición de acciones de mejora y su implementación (se recomienda integrar esas actividades dentro del plan semestral de trabajo departamental) § Documentar y dar seguimiento a los acuerdos § Asegurar el inicio de un nuevo ciclo de medición y mejora

Sistema para Administrar la Evaluación de Programas Académicos (SAEP)

SAEP Herramienta de apoyo para administrar la evaluación: Sistema en línea Permite dar seguimiento a la evaluación de programa Enlaza los resultados de evaluaciones oficiales (pruebas nacionales, encuestas institucionales y externas) con criterios de desempeño Facilita la evaluación de evidencias a través de rúbricas Documenta los resultados del desarrollo de competencias y las acciones de mejora establecidas

SAEP como herramienta de ayuda en el proceso de evaluación de programas académicos Etapa 1: Perfil • Permite agregar por criterio de desempeño acciones de mejora • Funcionalidad de documentar información adicional Etapa 4: Acciones de mejora • Permite a los profesores evaluar trabajos de alumnos a través de rúbricas • Obtiene de fuentes oficiales resultados de exámenes (TOEFL, CENEVAL) y encuestas (Trayectoria, ICEC, NSSE) • Permite generar reportes de avance en word o html • Funcionalidad de exportar a Excel los resultados Proceso de evaluación en SAEP Etapa 3: Evaluación • Se visualiza el perfil de egreso por carrera • Permite generar reportes en word o html Etapa 2: Plan de evaluación • Se define el plan de evaluación por carrera -campus: • Métodos de evaluación (encuestas, rúbricas y exámenes) • Formas de cumplimiento, responsables y metas • Permite generar reportes en word o html

Algunos resultados de estos procesos Ø Enfoque al aseguramiento de la calidad académica Ø Reconocimiento y prestigio nacional e internacional por la acreditación externa de los programas académicos. Se facilitan las conversaciones con aliados académicos internacionales (actuales y potenciales). Ø Garantía del cumplimiento de objetivos. 57

Ø Identificación de áreas de oportunidad para mejorar. Ø Se refuerza la visión del quehacer importante, desde el cumplimiento de la Misión hasta los Perfiles de Egreso y de que hay que demostrar que se está logrando (rendición de cuentas) Ø Desarrollo de la cultura de la “documentación”. 58

59 Muchas gracias Dr. Teófilo J. Ramos tramos@itesm. mx