Evaluacin Acadmica Sistema de Evaluacin Acadmica Institucional Objetivo

Evaluación Académica Sistema de Evaluación Académica Institucional

Objetivo del encuentro Presentar resultados de la prueba diagnóstica, articulado al Sistema Integral de Evaluación Académica-SIEA a docentes de la Universidad Manuela Beltrán, así como el enfoque de evaluación con el fin de articularlo a la práctica pedagógica, en el marco de la calidad de la educación superior.

Agenda 1. Presentación de resultados 2. Calidad en Educación Superior 3. Enfoque pedagógico y de evaluación de la Universidad 4. Diseño de evaluaciones (Redacción de ítems) 5. Manejo plataforma de evaluación

1. REPORTE DE RESULTADOS

Prueba Diagnóstica La prueba diagnóstica, a partir de competencias genéricas, permite identificar conocimientos, habilidades y destrezas evidenciadas por los educandos en su vinculación a la universidad, orientados a implementar actividades de fortalecimiento y potencialización de acuerdo con el perfil del estudioso. Aulas virtuales Seguimiento virtual a tareas Tutorías académicas y pedagógicas Programas para el manejo del tiempo libre Técnicas de estudio

Presentación de resultados En las siguientes diapositivas, encontrará los resultados de la prueba diagnóstica aplicada en 2019 -191. En cada diapositiva encontrará cada competencia evaluada y la discriminación por programa académico con el porcentaje de respuestas incorrectas. La escala de colores resalta los desempeños por programas, siendo rojo el mayor porcentaje de errores y verde, en promedio, el menor porcentaje de errores.

Programa Derecho Dirección y Producción de Cine y Tv Enfermería Fisioterapia Fonoaudiología Ingeniería Ambiental Ingeniería Biomédica Ingeniería de Software Ingeniería Electrónica Ingeniería Industrial Profesional en Ciencias del Deporte Psicología Tecnología en Investigación Criminal Terapia Cardiorrespiratoria Terapia Ocupacional Media Institucional COMPRENSIÓN DE LECTURA Error CL Diferencia 47, 9% 44, 8% 49, 8% 50, 7% 50, 5% 46, 7% 44, 9% 44, 1% 44, 0% 48, 0% 50, 3% 48, 5% 50, 9% 44, 6% 52, 9% 47, 4% -0, 5% 2, 6% -2, 4% -3, 3% -3, 1% 0, 7% 2, 5% 3, 3% 3, 4% -0, 6% -1, 1% -3, 5% 2, 8% -5, 5% En promedio, los estudiantes del primer semestre, respondieron un poco más de la mitad de la prueba en Comprensión de lectura de manera acertada, dado que el porcentaje de errores es menor al 50%. En esta competencias se reconoce que el programa que mejor desempeño tuvo fue Ingeniería de Software.

Programa Derecho Dirección y Producción de Cine y Tv Enfermería Fisioterapia Fonoaudiología Ingeniería Ambiental Ingeniería Biomédica Ingeniería de Software Ingeniería Electrónica Ingeniería Industrial Ciencias del Deporte Psicología Tecnología en Investigación Criminal Terapia Cardiorrespiratoria Terapia Ocupacional Promedios Institucional HABILIDADES NUMÉRICAS Error NF Error NA 81% 79% 83% 80% 86% 88% 82% 81% 83% 80% 82% 74% 82% 63% 61% 66% 62% 52% 63% 57% 55% 63% 62% 61% 65% 68% 62% Promedio competencia 71% Nivel Bajo 69% Nivel Bajo 74% Nivel Bajo 70% Nivel Bajo 68% Nivel Bajo 74% Nivel Bajo 69% Nivel Bajo 67% Nivel Bajo 73% Nivel Bajo 71% Nivel Bajo 72% Nivel Bajo 71% Nivel Bajo 73% Nivel Bajo 71% Nivel Bajo En promedio, los estudiantes del primer semestre, respondieron más de la mitad de la prueba en Habilidades Numéricas de manera errada, dado que el porcentaje de errores es mayor al 70%. En esta competencias se reconoce que el programa que mejor desempeño tuvo fue Ingeniería de Software.

Programa Derecho Dirección y Producción de Cine y Tv Enfermería Fisioterapia Fonoaudiología Ingeniería Ambiental Ingeniería Biomédica Ingeniería De Software Ingeniería Electrónica Ingeniería Industrial Ciencias Del Deporte Psicología Tecnología En Investigación Criminal Terapia Cardiorrespiratoria Terapia Ocupacional Media Institucional ENTENDIMIENTO INTERPERSONAL Error Diferencia 19, 5% 23, 0% 30, 1% 26, 2% 20, 0% 25, 8% 22, 9% 23, 3% 14, 0% 23, 0% 25, 1% 20, 6% 25, 7% 19, 4% 32, 0% 23, 2% 3, 6% 0, 2% -7, 0% -3, 0% 3, 2% -2, 7% 0, 2% -0, 2% 9, 2% 0, 2% -2, 0% 2, 5% -2, 5% 3, 8% -8, 8% En promedio, los estudiantes del primer semestre, respondieron más del 70% de la prueba en Entendimiento Interpersonal de manera acertada, dado que el porcentaje de errores es menor al 30%. En esta competencias se reconoce que el programa que mejor desempeño tuvo fue Ingeniería Electrónica.

Programa Derecho Dirección y Producción de Cine y Tv Enfermería Fisioterapia Fonoaudiología Ingeniería Ambiental Ingeniería Biomédica Ingeniería De Software Ingeniería Electrónica Ingeniería Industrial Profesional en Ciencias Del Deporte Psicología Tecnología en Investigación Criminal Terapia Cardiorrespiratoria Terapia Ocupacional Promedio Institucional INGLÉS Error Diferencia 58, 1% 43, 3% 74, 5% 62, 8% 72, 4% 62, 8% 55, 0% 55, 8% 72, 0% 65, 3% 65, 1% 57, 8% 65, 6% 61, 7% 81, 8% 63, 5% 5, 4% 20, 1% -11, 1% 0, 7% -8, 9% 0, 7% 8, 5% 7, 6% -8, 5% -1, 9% -1, 7% 5, 7% -2, 1% 1, 8% -18, 3% En promedio, los estudiantes del primer semestre, respondieron más de la mitad de la prueba en Habilidades Numéricas de manera errada, dado que el porcentaje de errores es mayor al 63%. En esta competencias se reconoce que el programa que mejor desempeño tuvo fue Dirección y Producción de Cine y TV, con una diferencia significativa (20, 1%) de la media institucional.

Programa Derecho Dirección y Producción de Cine y Tv Enfermería Fisioterapia Fonoaudiología Ingeniería Ambiental Ingeniería Biomédica Ingeniería de Software Ingeniería Electrónica Ingeniería Industrial Ciencias del Deporte Psicología Tecnología en Investigación Criminal Terapia Cardiorrespiratoria Terapia Ocupacional Media Institucional Error INFORMÁTICA BÁSICA Diferencia 46, 7% 40, 5% 52, 9% 49, 6% 54, 3% 41, 7% 38, 8% 33, 3% 38, 0% 41, 0% 47, 1% 47, 9% 48, 1% 50, 7% 45, 2% -1, 5% 4, 7% -7, 8% -4, 4% -9, 1% 3, 5% 6, 4% 11, 8% 7, 2% 4, 2% -1, 9% -2, 8% -3, 0% -5, 5% En promedio, los estudiantes del primer semestre, respondieron un poco más de la mitad de la prueba en Informática Básica de manera acertada, dado que el porcentaje de errores es menor al 50%. En esta competencias se reconoce que el programa que mejor desempeño tuvo fue Ingeniería de Software.

Consolidado Resultados La tabla muestra los resultados promedios de los programas, la diferencias relatan los desempeños con respecto a la media de la institución. Entre mayor sea la diferencia positiva (verde) el programa se encuentra con mejores desempeños con respecto al promedio. Por otro lado, entre mayor sea la diferencia negativa (rojo) significa que el programa tuvo desempeños por debajo del promedio institucional. PROGRAMA DIFERENCIAS Derecho -1, 2% Dirección y Producción de Cine y Tv Enfermería Fisioterapia Fonoaudiología Ingeniería Ambiental Ingeniería Biomédica 2, 8% -5, 0% -2, 7% -0, 8% 1, 1% 4, 6% Ingeniería de Software Ingeniería Electrónica Ingeniería Industrial Ciencias del Deporte Psicología Tecnología en Investigación Criminal Terapia Cardiorrespiratoria Terapia Ocupacional 7, 2% 2, 4% 0, 9% -1, 0% -1, 2% -1, 8% -1, 1% -5, 9%

2. CALIDAD EN EDUCACIÓN SUPERIOR

Concepto de calidad “… un programa académico tiene calidad en la medida en que haga efectivo su proyecto educativo, en la medida en que se aproxime al ideal que le corresponde, tanto en relación con sus aspectos universales, como con el tipo de institución al que pertenece y con el proyecto específico en que se enmarca y del cual constituye una realización”. CNA (2006)

Concepto de calidad Para la Universidad Manuela Beltrán, calidad es “la condición bajo la cual debe impartirse el servicio educativo, articula las demandas de la sociedad, su proyecto educativo y la organización institucional para el desarrollo de la ciencia, la tecnología y el conocimiento. UMB (2015)

La evaluación es concebida como un proceso sistemático y planificado que busca identificar la apropiación del conocimiento. Se configura como un Técnicas e Instrumentos Proceso continuo Ordenado Sistemático Recolección de información válida objetiva fiable útil Permite construir juicios de valor fundamentados. PEI (2015)

Objetivos de la Evaluación en la UMB Análisis Procesos de formación Saberes Evaluación Formativa Evidencias Asignaturas Estándares Educacionales

Competencia Conjunto de conocimientos, habilidades y destrezas, tanto específicas como transversales, que debe reunir un titulado para satisfacer plenamente las exigencias sociales. Red Iberoamericana de Aseguramiento Calidad en Educación Superior-RIACES (2019)

3. ENFOQUE PEDAGÓGICO Y DE EVALUACIÓN DE LA UNIVERSIDAD

Plan de Evaluación Planes de curso Ejercicio formativo Planes de Evaluación Forma de evaluar las competencias … corresponde a las estructuras de los procesos de evaluación propios de cada asignatura y permite revisar la coherencia entre los contenidos y los perfiles propios de cada programa.

Sistema Integrado de Evaluación Académica SIEA Es el conjunto de herramientas, ejes de trabajo y acciones, en el marco de unos principios rectores, por medio de los cuales la Universidad obtiene información sobre el desarrollo del proceso educativo por parte de los estudiosos, el impacto de la enseñanza y de las herramientas pedagógicas, los arquetipos de aprendizaje, etc. Inventarios de evaluación basados en rúbricas Planes de Evaluación Diseño de ítems o preguntas La Arquitectura de la Evaluación Aplicación de pruebas Reflexión Pedagógica Construcción y Validación de Pruebas Objetivas

Pruebas Objetivas Diseño Construcción Divulgación de resultados Validación Calificación Aplicación Procesamiento de resultados La evaluación de los estudiantes también se realiza a través de pruebas objetivas pensadas como instrumentos pedagógicos que posibilitan el aprendizaje y consolidación de saberes al resolverla.

4. REDACCIÓN DE ÍTEMS

Definición del constructo Construcción provisional del cuestionario Validación de los ítems Aplicación de la prueba Cuantificación de las respuestas

Definición del Constructo El primer paso consiste en proporcionar una definición operacional del constructo o rasgo que pretendemos medir y establecer los objetivos que se pretenden conseguir con el cuestionario.

Construcción Provisional del Cuestionario De la definición del constructo y de la delimitación de sus componentes debemos llegar a establecer un conjunto de elementos o ítems (frases, preguntas, tareas, etc. ) que representan estos componentes o las conductas mediante las que se manifiestan los diversos componentes del constructo. Ejemplo de ítem: “deberíamos facilitar la integración de los gitanos en nuestro país”

Ø Formato de respuesta: El formato de respuesta de estos ítems se ajusta a uno de los siguientes tres formatos de tipo de rendimiento óptimo (se mide el rendimiento máximo al que llega cada persona ante una serie de preguntas). a) Elección Binaria (No aplica para pruebas objetivas): De dos alternativas, se elige la que se considera correcta. Ej: Un ítem de un test de rendimiento en Arte puede ser: “El Jardín de las delicias es la creación más compleja y enigmática del Bosco”. (V) – (F)

b) Elección múltiple: Entre más de dos alternativas se elige la que se considera correcta. Ej: Un ítem de un test de actitud verbal puede ser: “Automóvil es a volante como bicicleta es a…” a) Pedal b) Sillín c) Manillar d) Parrilla

c) Emparejamiento: Consiste en encontrar las parejas entre dos conjuntos de conceptos. Ejemplo: un ítem de un cuestionario sobre conocimientos de políticos españoles contemporáneos puede ser. “Enlace mediante una línea el nombre del político con el partido político al que pertenece” J. A. Durán i Lleida PSOE Carlos Solchaga CIU Iñaki Anasagasti PNV Rodrigo Rato PP

Cuantificación de las respuestas En general para los ítems de cuestionarios de rendimiento óptimo se cuantificará con 1 el acierto y con 0 el error, de tal manera que la puntuación directa de un estudioso en un cuestionario determinado será igual al número de ítems que estudioso acierta.

Recomendaciones para la redacción de ítems 1. La idea principal del ítem debe estar en el enunciado. 2. Simplicidad en el enunciado, esto no quiere necesariamente decir corto. 3. Evitar los conocimientos excesivamente triviales o “rebuscados” para complejizar las situaciones o hacerlas muy evidentes. 4. Evitar información irrelevante en el enunciado. 5. Evitar dar indicio sobre la solución. 6. Evitar cuestiones sobre opiniones y juicios de valor subjetivos. 7. No encadenar unos ítems con otros, mantener la independencia.

Recomendaciones para la redacción de ítems 8. Anticipar la dificultad e incluir preguntas de todo rango de complejidad. 9. La dificultad no debe estar en la comprensión del ítem. 10. Minimizar el tiempo de lectura si el interés no se centra en ella. 11. Evitar el uso de negaciones (si se incluyen subrayarlas), errores gramaticales y ortográficos. 12. El número de preguntas debe ser proporcional a la importancia dada a cada tema. 13. Se deben evitar los “ítems defectuosos” que son aquellos ítems con más de una respuesta correcta. 14. Cuantos más ítems mejor, pero considere la pertinencia y el tiempo.

Recomendaciones para la redacción de respuestas 1. En cuanto al número de opciones, con dos distractores es suficiente. Pero si la prueba es corta, es necesario un mayor número de distractores para evitar los efectos de los aciertos aleatorios. 2. Todos los distractores deben de ser de longitud y lenguajes parecidos. 3. Se debe evitar las opciones de respuesta “todas las anteriores son correctas” o “ninguna de las anteriores es correcta”. 4. Las alternativas incorrectas, no deben ser posibilidades absurdas de respuesta que se puedan eliminar con cierto grado de sentido común. 5. Evitar en todo momentos alternativas de respuesta “graciosas”. 6. Una buena recomendación sería el uso de alternativas de respuesta que son verdaderas para otras preguntas incluidas en el cuestionario. 7. Corregir los aciertos obtenidos por azar.

5. Manejo plataforma de evaluación

Proceso de aplicación pruebas asistidas por computador SEPARACIÓN DE ESPACIOS CONSTRUCCIÓN DE PREGUNTAS CONSTRUCCIÓN DEL CUESTIONARIO JORNADA DE APLICACIÓN CERTIFICACIÓN DE PREGUNTAS

Elaboración de cuestionarios en plataforma Construcción de preguntas Repeticiones Digitación de notas

1. Construcción de cuestionarios Para ello, ingresamos a Aulanet con nuestros datos de usuario asignados. Link: http: //aulanet. umb. edu. co/aulanet_jh/docentes/ 1. Ingreso a la Sesión de Asignaturas UMB en el menú principal: 2. En el listado de Asignaturas, ingresar al Sistema de Evaluación tal como se muestra en la siguiente imagen:

1. Construcción de cuestionarios Al ingresar al Sistema de Evaluación podremos visualizar el listado de evaluaciones, en él encontramos la opción para realizar un nuevo cuestionario, tal como se muestra en la siguiente imagen: Mayor Info:

2. Construcción de preguntas Dentro del Sistema de Evaluación, en el listado de evaluaciones podrá ingresar al banco de preguntas dando clic en la opción Banco de Preguntas tal como se muestra en la siguiente imagen: Mayor Info: Menú Al ingresar al Banco de Preguntas podremos visualizar el listado de preguntas creadas para la asignatura, este listado se compone de las siguientes partes:

2. Construcción de preguntas Al ingresar al Banco de Preguntas podremos visualizar el listado de preguntas, a continuación damos clic en la opción (Crear Pregunta), tal como se muestra en la siguiente imagen: Mayor Info.

Repeticiones Publicación Primer Examen Creación Examen de Repetición Creación Repeticiones AULANET Coordinador de cada programa Solicitud Por parte del Estudiante Mayor Info:

3. Repeticiones Los documentos donde se encuentran descritos los paso a paso de cada proceso será remitido a cada director del programa académico.

3. Repeticiones Los documentos donde se encuentran descritos los paso a paso de cada proceso será remitido a cada director del programa académico. Asignaturas Teórico practicas Teóricas Examen Virtual 85% Actividades 15% Prácticas 1 Grupo Definitiva Práctica 2 Grupos 100% Examen Virtual Guía de Laboratorio Evaluación de Ejecución 50% 25% Grupo Teórico [A 1] 50% Examen Virtual Grupo Practico [A 1 A] Guía de Laboratorio Evaluación de Ejecución 25%

Teórica 85% Tomado de Manera Automática Examen Virtual [HOJA DE CALIFICACIÓN] 25% Digitado por el docente [HOJA DE CALIFICACIÓN]

Teórico-práctica 1 Grupo 50% 25% Digitado por el docente [MATRIZ EXCEL]

Teórico-práctica 2 Grupos 50% 25% Tomado de Manera Automática Examen Virtual [NO DEBE DIGITAR NOTAS] Digitado por el docente [MODULO DIGITACIÓN DE NOTAS]

Muchas Gracias Coordinación Técnica SIEA: sebastian. carvajal@umb. edu. co Coordinación de Pruebas: ginna. bernal@umb. edu. co Dirección de Evaluación y Medición: yadira. mesa@umb. edu. co