Revisin de literatura sobre evaluaciones no presenciales Selfreported
Revisión de literatura sobre evaluaciones no presenciales
Self-reported Instrument for Measuring Student Learning Outcomes (Theresa L. Jones, 2003) The University of Texas, Austin USA. • Instrumento para documentar el aprendizaje auto-reportado por los estudiantes • QQI (Quality, Quantity and Improvement) Escala Likert (5)
Self-reported Instrument for Measuring Student Learning Outcomes (Theresa L. Jones, 2003) The University of Texas, Austin USA. Principales resultados: • Tener en cuenta que esto sólo extrae la percepción de logro de los estudiantes • Existe literatura que apoya que las “self-reported gains” son indicadores confiables del logro de aprendizajes de los estudiantes • Se validó la confiabilidad del instrumento (Alpha de Cronbach = 0, 85) • Siguientes pasos: generarla online
An e-assessment approach for evaluation in engineering overcrowded groups (Mora et al. , 2012) Universitat Jaume I, España. • Estudio realizado con 60 ingeniero civiles industriales en un curso de mecánica • 2 ejercicios, uno se resolvía de manera tradicional (paper-test) y otro digitalmente (e-test) • La idea era encontrar qué componentes evaluativos del curso podían ser online para reducir la carga de correcciones del profesor
An e-assessment approach for evaluation in engineering overcrowded groups (Mora et al. , 2012) Universitat Jaume I, España. • 8 resultados de aprendizaje definidos y en base a ello se hicieron 2 ejercicios • E-test: entendimiento matemático abstracto en el que había que escoger la alternativa correcta sobre las ecuaciones necesarias para resolver cierto problema • Paper-test: problema tradicional con su resolución para llegar a un resultado numérico • Análisis • Correlación entre notas de ambos test • Identificar diferencias siignificativas entre notas de ambos test por cada participante
An e-assessment approach for evaluation in engineering overcrowded groups (Mora et al. , 2012) Universitat Jaume I, España. Principales resultados: • No existe correlación entre las notas de ambos test (paper-test notas continuas, e-test discretas) • Diferencias significativas en notas para cada estudiantes en algunos ítems, no se puede decir que miden lo mismo, sino que son más bien complementarios • Se propuso el siguiente esquema de evaluación:
How well do engineering students retain core mathematical knowledge after a series of high threshold online mathematics tests? (Carr et al. , 2017) – Dublin Institute of Technology, Irlanda. • Aplicación de test de diagnóstico online • Aplicada a estudiantes de tercer año y cuarto año de ingeniería • Para 3 ero era de selección múltiples y para 4 to fue de preguntas abiertas • Se recolectó opinión de estudiantes respecto a estos test Principales resultados: • Se vio una disminución en el desempeño entre tercero y cuarto año debido a la diferenciación en la forma de respuesta de las pruebas • alumnos en cuarto año consideraron que el hacer pruebas de diagnóstico en línea les ayudó en cierta forma a tener un mejor desempeño para futuros exámenes • , todos los estudiantes consideraron que se debieran seguir aplicando pruebas de estilo para retener de mejor forma la información que se entrega en clases.
Engineering Online: Assessing Innovative Education (Haag, 2002) - Universidad Estatal de Arizona, Universidad de Arizona del Norte y Universidad de Arizona, USA • En un curso de Fibra Óptica, se decidió empezar a llevarlo a cabo en modalidad de libre elección, la que podía ser online o presencial. Se grabaron cápsulas de video para los estudiantes y se entregaron actividades a través de sistemas para asignar actividades en línea • El foco del estudio fue obtener las percepciones de los estudiantes respecto a las modalidades. Principales resultados: • 40% de la clase migró a las clases en línea. Los que usaron la modalidad en línea se sintieron más satisfechos con el cronograma de clases, la comunicación existente y aspectos técnicos del curso. La tasa de retención del curso en línea fue de un 95%. • La decisión de los estudiantes que optaron por modalidad online dependió mucho del factor “conveniencia”. Esto se vincula de igual forma a “que era más fácil” y que “es flexible” • Quienes optaron por una modalidad regular prefirieron esa opción por considerarla “familiar”, donde “se concentraban más” y “los mantiene organizados” • No hubieron diferencias significativas en las calificaciones entre estudiantes con estudios tradicionales y quienes optaron por modalidad en línea
Students' and Instructors' Perspectives regarding E-Assessment: A Case Study in Introductory Digital Systems (Noguera et al. , 2019) – Universitat Oberta de Catalunya, España • Curso de introducción a sistemas digitales, con cuatro evaluaciones en línea • la primera y la segunda giran en torno al desarrollo de sistemas digitales en base a ejercicios • la tercera requirió el análisis y diseño de un circuito secuencial • la cuarta requirió que los estudiantes diseñaran una especificación como una máquina de estado finito y sintetizar posteriormente el circuito secuencial correspondiente • Las 3 últimas actividades contenían un video corto que fue procesado con las tecnologías de reconocimiento facial y por voz. Dicho video era una actividad complementaria para cada una de éstas actividades, la que debía ser respondida en dos minutos de forma oral, mediante el uso de una cámara web. Además, debían responder una prueba en forma escrita a través de la plataforma Moodle, la que usó dinámica de pulsación de teclas y sistemas antiplagio. • Se hicieron 4 encuestas para captar las percepciones de los participantes sobre las evaluaciones en línea • (1) demografía, (2) experiencias de aprendizaje y enseñanza y comportamiento (por ejemplo, hacer trampa), (3) expectativas (incluyendo preguntas sobre discapacidades) y (4) privacidad y ética
Students' and Instructors' Perspectives regarding E-Assessment: A Case Study in Introductory Digital Systems (Noguera et al. , 2019) – Universitat Oberta de Catalunya, España Principales resultados: • Los profesores tienen un poco más de experiencia respecto a educación en línea que los estudiantes (85, 7% vs 73, 1%). • La mayoría de profesores y la mitad de los alumnos no tienen experiencia alguna en cursos donde todas las evaluaciones se han hecho en línea (71, 4% vs 53, 8%). • Tanto como profesores y estudiantes mostraron una alta satisfacción con los tipos de evaluaciones diseñadas para el curso piloto (100% y 87, 5%) • Los profesores creen que hay una carga laboral mayor referente a la realización del piloto, dada a la creación de actividades y el proceso de correcciones, lo que “se alínea con la literatura revisada” • Respecto a la confianza en las evaluaciones en línea, los estudiantes vieron aumentada su confianza tras la experiencia, especialmente si se implementaban instrumentos de seguridad como los utilizados • En cuanto a los profesores, el 60% de igual forma dice que no cambió mucho su visión respecto a las pruebas online tras el piloto. Esto puede deberse a que aún hay un escepticismo motivado a que no recibieron alguna información respecto al comportamiento de los estudiantes en la prueba.
- Slides: 10