SABER PRO Examen de Estado de la Calidad
SABER PRO Examen de Estado de la Calidad de la Educación Superior TALLER CONSTRUCCIÓN DE ITEMS INGENIERIAS Bogotá, Agosto 13 de 2012
AGENDA 1. CONTEXTO GENERAL 2. PROCESO DE CONSTRUCCION DE PRUEBAS. 3. PROCESO DE CONSTRUCCIÓN DE ITEMS - METODOLOGIA DEL TALLER. 4. APLICATIVO.
ASPECTOS LEGALES PRUEBA SABER PRO Evalúa las competencias necesarias para el adecuado desempeño profesional o académico, incluyendo las competencias genéricas que todo egresado de la educación superior debe tener, independientemente del programa que haya cursado. La totalidad de los estudiantes de programas a evaluar que hayan aprobado por lo menos el 75% de los créditos académicos. Mediante la aplicación de pruebas estandarizadas.
OBJETIVOS Ley 1324 de julio de 2009 y Decreto 3963 de octubre de 2009 • Comprobar el desarrollo de las competencias de los estudiantes de educación superior que están próximos a graduarse • Producir indicadores de valor agregado de la educación superior • Proporcionar información para comparar programas, instituciones y metodologías, y mostrar su evolución en el tiempo
1. Balance de trabajo 2010 - 2012 – I
Estructura de los exámenes Los exámenes SABER PRO se estructuran por módulos de evaluación de dos tipos de competencias: 1. Competencias genéricas (sesión de la mañana) 2. Competencias específicas comunes a grupos de programas (sesión de la tarde)
Marco de Referencia y Especificaciones de prueba 2010: Se elaboró el marco de referencia con 5 dimensiones a evaluar: Habilidades matemáticas y científicas en ingeniería Investigación y manejo de la información Formulación de proyectos de ingeniería Diseño en ingeniería Naturaleza de la ingeniería
Aplicación de pruebas 2011 – I Dimensión Componentes Ítems/ componente dimensión Indagación, Indagación modelamiento Modelamiento e incertidumbre Manejo de incertidumbre 15 Investigación y estudios manejo de Herramientas informáticas para el manejo información de información 10 Diseño en ingeniería Formulación de proyectos 8 30 7 8 Diseño conceptual 8 Identificación del problema de diseño 8 Identificación y caracterización de los proyectos 5 Formulación de proyectos de ingeniería 11 TOTAL 18 16 16 80
Aplicación de pruebas 2011 – II Módulo No. de preguntas Indagación 2 (módulo de ingeniería) 30 Modelamiento (módulo compartido por ingeniería y ciencias naturales) 30 Diseño en ingeniería* 24 Formulación de proyectos Naturaleza de la ingeniería 24 TOTAL **
Aplicación de pruebas 2011 – II Categorías Diseño en Ingeniería No. de preguntas Diseño de infraestructura 24 Diseño de procesos agroalimentarios 24 Diseño de procesos industriales 24 Diseño de software 24 Diseño de sistemas productivos y logísticos 24 Diseño de sistemas de control 24 Diseño de sistemas de desarrollo sostenible 24 Diseño de sistemas mecánicos 24 Diseño de sistemas productivos agropecuarios ---
Aplicación de pruebas 2012 – I Módulo No. de preguntas Indagación 35 Modelamiento Formulación de proyectos Naturaleza de la ingeniería 35 Diseño en ingeniería* 24 35 TOTAL **
Aplicación de pruebas 2012 – I Categorías Diseño en Ingeniería No. de preguntas Diseño de infraestructura 24 Diseño de procesos agroalimentarios 24 Diseño de procesos industriales 24 Diseño de software 24 Diseño de sistemas productivos y logísticos 24 Diseño de sistemas de control 24 Diseño de sistemas de desarrollo sostenible 24 Diseño de sistemas mecánicos 24 Diseño de sistemas productivos agropecuarios 24
PROCESO DE EVALUACIÓN FUNDAMENTACIÓN CONCEPTUAL APLICACIÓN DE PRUEBAS PROCESAMIENTO RESULTADOS CONSTRUCCIÓN DE PRUEBAS ANALISIS DE ÍTEMS DIVULGACIÓN Y SOCIALIZACIÓN
ELEMENTOS DEL MODELO BASADO EN EVIDENCIAS Analizar Dominio (Componentes) Propósito Definir Tareas Construir Actividades Afirmaciones Plantear Evidencias
Validez: Que mida lo que pretende medir Condiciones de una Prueba Confiabilidad: Que se obtengan medidas precisas y repetitivas. Objetividad: Independiente de la población a evaluar y del ente evaluador.
PROCESO DE CONSTRUCCIÓN DE ÍTEMS Definición y distribución de los ítems Ingreso al Banco de ítems - Identificador Taller de capacitación Diagramación Construcción individual Revisión de estilo Revisión Validación Revisión ICFES
¿QUE SE ESPERA CONSTRUIR? DIMENSIÓN CASOS 5 -6 preguntas Diseño en Ingeniería (por cada contexto) 6 Formulación de proyectos TOTAL INDIVIDUALES 1 de septiembre 35 40 40
ÍTEMS DE SELECCIÓN MÚLTIPLE CON ÚNICA RESPUESTA Este tipo de preguntas consta de un enunciado y de cuatro opciones de respuesta entre las cuales debe escogerse la que se considera válida. La opción válida es aquella que además de ser correcta desde lo disciplinar, responde o da solución al problema/tarea planteado en el enunciado.
ESTRUCTURA DE UN ÍTEMS CASO Se desprenden varias preguntas que se componen de UN ENUNCIADO CUATRO OPCIONES DE RESPUESTA
CASO Representa la descripción, basada en diferentes fuentes de información, de una situación problemática próxima a situaciones reales profesionales. Se busca que el caso brinde al estudiante la oportunidad de demostrar sus competencias en la solución de un problema de ingeniería.
CARACTERÍSTICAS DE UN CASO • • Coherencia con la tarea de evaluación. Coherencia con las condiciones logísticas de la evaluación (tiempo y complejidad). La selección del contexto es una labor exigente en cuanto a su propósito es justamente contextualizar y no confundir al evaluado. De acuerdo con el marco de referencia para la prueba de ingeniería: – Debe plantear un problema o situación realista en Ingeniería que el estudiante pueda resolver. – Debe ser lo suficientemente genérico para que cualquier estudiante de Ingeniería lo pueda resolver. – Debe contener información suficiente para poder generar entre tres y cuatro preguntas. – No debe contener información irrelevante, al menos que se quiera – No todos los casos deben tener preguntas con todos los tipos de conocimiento.
ENUNCIADO Es el planteamiento de la problemática que se espera sea resuelta por el evaluado. En el enunciado se expone la tarea de evaluación elegida para dar cuenta del objeto evaluado y por tanto dirige el esfuerzo del evaluado para generar o seleccionar una respuesta 1 Puede ser presentados en forma de • Pregunta, afirmación, solicitud • Acción o proceso cognitivo • Conocimiento disciplinar 1 AERA, APA, NCME. (1999). Standards for educational and Psychological testing. Washington.
OPCIONES DE RESPUESTA Son posibles respuestas a la problemática planteada en el enunciado. Para el tipo de pregunta de selección múltiple con única respuesta sólo una de ellas es válida (conocida como Clave)
• Ejemplo ítems liberados
REGLAS PARA LA CONSTRUCCIÓN DE ÍTEMS
REGLAS GENERALES • Verificar que el ítem corresponda con los propósitos de la evaluación, la estructura de la prueba y los valores taxonómicos definidos.
REGLAS GENERALES • Todos los ítems de una prueba deben ser independientes entre sí. La información de uno no debe servir de pauta para contestar otro, ni la respuesta a un ítem debe depender de haber encontrado primero la de uno anterior.
REGLAS GENERALES • Evitar los ítems que pueden contestarse por sentido común y aquellos cuya respuesta depende únicamente de recordar un término, un símbolo, un dato o la fecha en que ocurrió un evento, a menos que esa sea la tarea a evaluar.
REGLAS GENERALES • Evitar expresiones rebuscadas que puedan confundir. Se recomienda emplear un lenguaje directo, sencillo y comprensible.
REGLAS GENERALES • Los ítems no deben contener juicios de valor explícitos o implícitos.
REGLAS GENERALES • Coherencia gramatical y ortográfica de cada uno de los ítems
REGLAS GENERALES PRUEBA INGENIERIA • Las preguntas pueden evaluar conocimientos declarativo, procedimental y esquemático. Se sugiere incluir preguntas para cada tipo de conocimiento a evaluar. • Las preguntas solamente se pueden contestar leyendo y entendiendo el caso. • Las preguntas pueden evaluar diferentes dimensiones, componentes y evidencias.
REGLAS SOBRE LOS ENUNCIADOS • Presente en el enunciado la tarea de evaluación.
REGLAS SOBRE LOS ENUNCIADOS • Los enunciados deben ser afirmativos, en caso de ser necesaria la negación , se debe llamar la atención hacia la formulación negativa con el uso de la mayúscula y negrilla.
REGLAS SOBRE LOS ENUNCIADOS • La doble negación puede afectar la comprensión, por ejemplo. : “No es cierto que no procedan los recursos”.
REGLAS SOBRE LOS ENUNCIADOS • Evitar enunciados demasiado extensos y poco atractivos ya que desmotivan la lectura, disminuyen el tiempo de respuesta y fatigan.
REGLAS SOBRE LOS ENUNCIADOS • Garantizar la coherencia interna del enunciado y de este con las opciones de respuesta.
REGLAS SOBRE LAS OPCIONES • Deben pertenecer al mismo campo semántico y asegurar la concordancia gramatical entre la proposición del enunciado y cada opción.
REGLAS SOBRE LAS OPCIONES • No deben dar indicaciones sobre la clave por ofrecer un cierto contraste en cuanto a Ø longitud Ø precisión / imprecisión Ø uso común / técnico Ø generalización / particularización
REGLAS SOBRE LAS OPCIONES • No se deben repetir expresiones si éstas se pueden incluir en el enunciado del ítem; repetir una palabra del enunciado, en cualquiera de las opciones, puede llevar a que sea elegida como respuesta, sin serlo.
REGLAS SOBRE LAS OPCIONES • Se deben evitar expresiones como “todas o ninguna de las anteriores, nunca, siempre, totalmente, absolutamente, completamente”, en su lugar construir alternativas de respuesta plausibles.
REGLAS SOBRE LAS OPCIONES • Mantener la independencia entre las opciones. • No deben ser sinónimas.
REGLAS SOBRE LAS OPCIONES • Evite opciones fácilmente descartables.
REGLAS SOBRE LAS OPCIONES • Justifique cada una de las opciones, lo cual ayudará a que solo hay solo una válida y que las demás son plausibles para quienes no dominan completamente la tarea de evaluación.
COMO GARANTIZAR LA CONFIDENCIALIDAD • Durante los talleres de revisión y ajuste de los ítems se deberán aplicar los mecanismos de seguridad establecidos, para evitar que los ítems sean conocidos por personas ajenas al grupo responsable de la construcción. • Garantizar que no queden en circulación colectiva las versiones impresas o magnéticas, de los ítems generados durante el proceso de construcción, de revisión y ajuste de los mismos. Finalizado este proceso, las versiones de los ítems que no vayan a ser incluidos en la prueba deben ser destruidos, y borrados de los discos duros de los computadores, memorias USB, CDs, etc. , verificando que se eliminen de la papelera.
METODOLOGÍA DE CONTRUCCIÓN DE ITEMS • Se inicia con la presentación y discusión de los casos previamente elaborados por los constructores. • Elaboración de un ítem en forma individual o en grupo. • Trabajo por contexto de diseño, para discutir y seleccionar varios ítems y diligenciados. • Selección preguntas • Plenaria: Presentación de los casos y preguntas elaborados en cada contexto de diseño.
¡Muchas gracias! Equipo de trabajo ICFES Stella Sierra Salinas Yanneth Castelblanco Marcelo Luis Alfredo Posada Delgado Juan Francisco Velázquez www. icfes. gov. co
- Slides: 50