Proposta de modelo bsico de avaliao de cursos
Proposta de modelo básico de avaliação de cursos e ofertas Responsável: Augusto Campos unasus. gov. br
Contexto A UNA-SUS • A partir de 2008 o Ministério da Saúde inicia esforço para aumentar vagas de cursos de especialização à distância em saúde da família • A UNA-SUS é institucionalizada em 2010 • A partir de 2011 passa a ofertar cursos auto-instrucionais • A partir de 2013 programas complexos de formação • Atualmente, 430 ofertas (100 abertas) de 150 cursos (especialização, atualização, capacitação profissional, etc). • 580 mil (195 mil ativas) matrículas de 255 mil (120 mil ativos) alunos unasus. gov. br 2
Contexto A UNA-SUS • Estrutura: − Sistema de informação: profissionais de saúde, históricos profissionais e educacionais (Plataforma Arouca), − Acervo de recursos educacionais de acesso aberto (ARES) − Rede de IES − Secretaria Executiva • Objetivos: − atender às necessidades de capacitação e educação permanente do SUS; − induzir e orientar a oferta de cursos e programas de especialização, aperfeiçoamento e outras espécies de qualificação; − disseminar de meios e tecnologias que possibilitem ampliar a escala e o alcance; − contribuir para a redução das desigualdades; − Contribuir para integração ensino-serviço; unasus. gov. br 3
Contexto A UNA-SUS • A rede de instituições públicas de ensino superior: − Desenvolve e oferta cursos • Realiza a gestão acadêmica dos cursos e técnica dos ambientes de aprendizado − Disponibiliza recursos educacionais de acesso livre no ARES − Informa sobre seus cursos, ofertas, inscrições e desligamentos através Plataforma Arouca para fins de monitoramento e avaliação • A Secretaria Executiva: − Coordena, monitora e avalia − Elabora e propõe padrões tecnológicos − A partir de 2014 reúne grupo de pesquisadores e técnicos de várias instituições para elaboração de uma proposta de modelo de avaliação de ofertas para a UNA-SUS unasus. gov. br 4
Processo de construção e realização Ciclos de avaliação • Evolução progressiva do modelo de avaliação de cursos • Ciclos de avaliação − Foco em aspectos de interesse − Comparabilidade e continuidade temporal − Evolução conceitual e metodológica Objetivos • Atividades dos ciclos − − Revisão do estado da arte Ajuste de objetivos do ciclo Ajuste do modelo conceitual Análise de informações disponíveis e coleta de novas informações − Operacionalização: metadados, indicadores, instrumentos, métodos e análises unasus. gov. br Modelo conceitual Operacionalização 5
Monitoramento e avaliação 1º ciclo • Interesses: − − − − − Quem são nossos alunos? Como eles chegaram até nós? Com qual propósito eles se inscreveram nos cursos? De que forma eles estão interagindo com nossos conteúdos? Em quais condições estão interagindo com nosso conteúdo? Qual o nível de aprendizado dos alunos? Há aplicação do aprendizado no trabalho? O quão satisfeitos os alunos estão? Quais barreiras existem para a interação, o aprendizado e a satisfação? Quais características diferencia concluintes de não concluintes? unasus. gov. br 6
Modelo conceitual Dimensional Curso Interação Aprendizado Aluno Situação Aplicação Percepção Cadeia de dependência unasus. gov. br 7
Modelo conceitual Temporal Conclusão Percepção Aprendizagem Aplicação Interação Evasão Divulgação Inscrição Desistência Pré-curso unasus. gov. br Interação Conclusão Pós-curso 8
Modelo conceitual Fontes de dados • Base de dados de BI − Plataforma Arouca (aluno) • • Informações demográficas Perfil ocupacional Perfil educacional Informações sobre atuação no momento do curso − Log do AVA - Moodle e PPU • Interação com o curso • Desempenho e aprendizado do aluno (avaliações) − Enquetes • Motivações, objetivos, expectativas, etc. • Experiência e avaliação do aluno • Outras informações não disponíveis nas outras bases unasus. gov. br C P F e I D d e C P F C e P F Plataforma I Arouca D e I D o Enquetes f d e e r t o a f e r t d e o f e r t a Log de curso 9
Metadados e indicadores • Mais de 120 variáveis (dimensões, medidas e indicadores) • Perfil de alunos (idade, sexo, escolaridade, etc. ) − Histórico educacional (matrículas UNA-SUS anteriores, conclusão de cursos, etc. ) − Atividade educacional (matrículas UNA-SUS ativas, carga horária ativa, etc. ) − Histórico profissional (experiência profissional registrada, número de vínculos, dispersão ocupacional, etc. ) − Atividade profissional (número de vínculos ativos, dispersão ocupacional, carga horária ativa, etc) • Interação − Tempo de interação com o conteúdo − Número de interações com o conteúdo − Percentual de interação com o conteúdo unasus. gov. br 10
Metadados e indicadores • Desempenho − Nota no curso − Número de tentativas para acerto de avaliações ou questionários − Desemprenho em testes (pré e pós cursos) • Avaliação e experiência − − − Acesso Motivação Barreiras Adequação do conteúdo Avaliação dos recursos educacionais Aprendizado e conhecimento reportado unasus. gov. br 11
Tipos de enquetes • Enquetes regulares − − − Realizados em todas as ofertas Questionário curto Informações básicas com objetivo de comparabilidade entre ofertas e cursos Informações específicas conforme características da oferta e do curso Enquetes de ingresso e de desligamento • Enquetes específicas − Realizados em momentos e com amostras específicas − Questionário mais extenso − Temas de interesse específico para compreensão aprofundada (perfil de aluno, hábitos de estudo, formas de interação com tipos de objeto de aprendizagem, etc. ) unasus. gov. br 12
Enquetes regulares Modelo misto Enquetes de entrada • Linha de base de aprendizagem • Condições de acesso • Motivação e expectativa • Situação de realização do curso • Informações complementares Pré-curso unasus. gov. br Enquetes de desligamento: • Experiência e avaliação do curso • Barreiras • Aprendizagem • Utilização do conhecimento • Motivos de evasão (barreiras) Interação Conclusão Pós-curso 13
Enquetes regulares Modelo específico Enquetes de entrada • Linha de base de aprendizagem • Adesão e acesso • Motivação e expectativa • Situação de realização do curso • Informações complementares Pré-curso unasus. gov. br Enquetes de concluintes: • Experiência e avaliação do curso • Barreiras • Aprendizado • Utilização do conhecimento Enquetes de evadidos: • Experiência e avaliação do curso • Motivos de evasão e barreiras • aprendizado • Utilização do conhecimento Interação Conclusão Pós-curso 14
Enquetes específicas • Exemplos de tema − Interface (navegação, utilização de vídeos e outras modalidades de objeto educacional, etc. ) − Design instrucional (estrutura do curso, etc. ) − Hábitos e preferências de estudo − Expectativas e necessidades educacionais e profissionais − Complementação cadastral e demográfica − Avaliação de conhecimento e aprendizado (pré e pós-testes) − Etc. • Recortes: curso, oferta, projeto, perfil do aluno (educacional, profissional, etc. ), território, tipo de objeto educacional, etc. unasus. gov. br 15
Atualmente e próximos passos • • • BI de dados e metadados das várias fontes Questionários e ferramentas de distribuição das enquetes Ferramentas de tabulação de dados Ferramentas para análises estatísticas Análises de 7 ofertas educacionais realizadas em 2015 e 2016 Novo ciclo de desenvolvimento do modelo, ferramentas e análises unasus. gov. br 16
Resultados preliminares • 4 cursos e 7 ofertas • Atualização do Manejo Clínico da Dengue − 01/12/2015 -12/06/2016 − 13/07/2015 -20/12/2015 • Hanseníase na Atenção Básica − 06/07/2015 -20/12/2015 − 28/10/2014 -19/07/2015 − 25/01/2016 -12/06/2016 • Manejo da Coinfecção Tuberculose. HIV (TB-HIV) − 18/11/2015 -12/06/2016 • Saúde da População Negra Número de alunos Número de matrículas Percentual de médicos Percentual de profissionais de enfermagem Taxa de conclusão Taxa de evasão primária Taxa de evasão segundária Percentual de avanço no curso Nota Conhecimento inicial Conhecimento final Delta de aprendizado Relato de utilização no trabalho Score de ajuste de conteúdo Avaliação geral da oferta positiva 46. 534 61. 290 18, 27% 58, 15% 29, 74% 45, 40% 24, 86% 53, 61% 0, 54 5, 18 8, 13 2, 73 98, 20% 69, 53% 96, 95% − 03/08/2015 -20/12/2015 unasus. gov. br 17
Obrigado Responsável: Augusto Campos augustocampos@unasus. gov. br 18
- Slides: 18