Ncleo de Estudos de Polticas Pblicas Universidade Estadual

Núcleo de Estudos de Políticas Públicas Universidade Estadual de Campinas AVALIAÇÃO INSTITUCIONAL DO PROFAE Estudo Finalizado em Outubro 2004 Nilson do Rosário Costa Escola Nacional de Saúde Pública/FIOCRUZ UFF Unicamp (Instituto de Economia)

OBJETIVOS DA AVALIAÇÃO INSTITUCIONAL DE PROGRAMAS: DESCRIÇÃO DAS CONDIÇÕES ORGANIZACIONAIS INICIAS DE IMPLEMENTAÇÃO, ADERÊNCIA ÀS METAS PROPOSTAS E ANALISE DA PERCEPÇÃO DOS “STAKEHOLDERS”

OBJETIVOS DO PROFAE: QUALIFICAÇÃO DE PROFISSIONAIS DE NÍVEL MÉDIO NA ÁREA DE ENFERMAGEM

COMPONENTE I: OFERTA DE CURSOS DE QUALIFICAÇÃO PROFISSIONAL PARA AUXILIAR DE ENFERMAGEM, TÉCNICO DE ENFERMAGEM E COMPLEMENTAÇÃO DO ENSINO FUNDAMENTAL

COMPONENTE II: CAPACITAÇÃO INSTITUCIONAL PARA A PROMOÇÃO DE CURSOS DE FORMAÇÃO E PARA A REGULAÇÃO DE ORGANIZAÇÕES FORMADORAS

EVIDÊNCIAS SOBRE A IMPLEMENTAÇÃO DO COMPONENTE I DEMANDA E ACESSO AOS CURSOS DE FORMAÇÃO

Avaliação do PROFAE META PROFAE / BID * METAS BUSCADAS PELO PROFAE A PARTIR DO DIAGNÓSTICO DO DEFICIT DE QUALIFICAÇÃO • Curso de Auxiliar de Enfermagem (QP) = 225. 000 • Curso de Técnico em Enfermagem (CQP) = 90. 000 • Comp. do Ensino fundamental (CEF) = 95. 000 • Total (QP + CQP) = 315. 000 • Total (QP + CEF) = 410. 000

Avaliação do PROFAE DEMANDA* Profissionais inscritos no PROFAE

Avaliação do PROFAE ACESSO* Acesso da População Alvo em Relação à Meta Proposta pelo PROFAE / BID

Avaliação do PROFAE Matrículas Efetuadas - Distribuição por Grandes Regiões Brasileiras

Avaliação do PROFAE ACESSO* Indicador de acesso por região e tipo de curso - jul/04

COMPONENTE I PROCESSO DE IMPLEMENTAÇÃO: MECANISMOS DE GOVERNANÇA HORIZONTAL: MULTIPLICIDADE ORGANIZACIONAL DAS OPERADORAS

Avaliação do PROFAE A. CAPACIDADE INSTITUCIONAL PRÉ-EXISTENTE A 1. Tempo de existência da instituição*

Avaliação do PROFAE A. CAPACIDADE INSTITUCIONAL PRÉ-EXISTENTE A 2. Capacidade de estabelecimento de articulações e parcerias*

Avaliação do PROFAE A. CAPACIDADE INSTITUCIONAL PRÉ-EXISTENTE A 3. Grau de experiência da instituição na oferta de cursos profissionalizantes de saúde*

Avaliação do PROFAE C. CAPACITAÇÃO DOCENTE C 1. Quantidade de docentes que fizeram ou estão fazendo o curso de Formação Pedagógica do PROFAE*

Avaliação do PROFAE C. CAPACITAÇÃO DOCENTE C 2. Quantidade de docentes que atuam nos serviços*

Avaliação do PROFAE E. ESFORÇO DE RECRUTAMENTO DOS ALUNOS*

Avaliação do PROFAE G. MONITORAMENTO E AVALIAÇÃO G 1. Esforço da escola para avaliar os alunos*

Avaliação do PROFAE H. ESTÁGIO H 1. Variedade de estabelecimentos que oferecem estágio aos alunos da escola*

Avaliação do PROFAE H. ESTÁGIO H 2. Cumprimento das horas de estágio previstas no projeto pedagógico*

Avaliação do PROFAE H. ESTÁGIO H 3. Adequação do estágio às necessidades de formação*

COMPONENTE I DESEMPENHO: APROVAÇÃO, REPROVAÇÃO E EVASÃO

Avaliação do PROFAE DESEMPENHO Matrículas efetuadas por tipo de instituição – QP e CQP – jul/04

Avaliação do PROFAE DESEMPENHO QP - Taxas de Aprovação por Instituição e Região - jul/04

Avaliação do PROFAE DESEMPENHO QP - Taxas de Evasão por Instituição e Região - jul/04

Avaliação do PROFAE DESEMPENHO QP - Taxas de Reprovação por Instituição e Região - jul/04

Avaliação do PROFAE DESEMPENHO CQP - Taxas de Aprovação por Instituição e Região - jul/04

Avaliação do PROFAE DESEMPENHO CQP - Taxas de Evasão por Instituição e Região - jul/04

Avaliação do PROFAE DESEMPENHO CQP - Taxas de Reprovação por Instituição e Região jul/04

Avaliação do PROFAE SUPERVISÃO DOS CURSOS DO PROFAE – AR* Problemas na Operacionalização dos Cursos (1)

Avaliação do PROFAE SUPERVISÃO DOS CURSOS DO PROFAE - AR Problemas na Operacionalização dos Cursos (2)

Avaliação do PROFAE SUPERVISÃO DOS CURSOS DO PROFAE – AR* Necessidades de Aprimoramento · Regularização do repasse dos recursos financeiros do PROFAE · Melhora no processo de capacitação dos profissionais (gestores e docentes) · Troca de experiência institucional · Apoio para obtenção do estágio · Melhora na capacidade de operacionalização do SIG · Suporte técnico por parte da equipe central do PROAFE

Avaliação do PROFAE SUPERVISÃO DOS CURSOS DO PROFAE – AR* Experiências Inovadoras • Realização de atividades coletivas e estabelecimento de parcerias • Centralização da alimentação do SIG; criação de revista eletrônica • Criação de banco de dados internos • Criação de instrumentos de avaliação • Implantação de rodízio de supervisoras • Sistematização do registro da supervisão • Visitas in loco com filmagem

COMPONENTE II CAPACITAÇÃO INSTITUCIONAL PARA A PROMOÇÃO DE CURSOS DE FORMAÇÃO E PARA A REGULAÇÃO DE ORGANIZAÇÕES FORMADORAS

SUB COMPONENTES II: i) FORMAÇÃO PEDAGÓGICA (COORDENADORES DE NAD, TUTORES, EGRESSOS) ii) MODERNIZAÇÃO E FORTALECIMENTO DAS ESCOLAS TÉCNICAS DO SUS iii) CERTIFICAÇÃO DE COMPETÊNCIAS

SUBCOMPONENTE DE FORMAÇÃO PEDAGÓGICA INOVAÇÃO: FERRAMENTA DA EDUCAÇÃO À DIST NCIA

Avaliação do PROFAE DESEMPENHO DO CURSO DE FORMAÇÃO PEDAGÓGICA – META 12. 000 DOCENTES; 8% EVASÃO; 80% CAPACITADOS EM POR EAD

FORMAÇÃO PEDAGÓGICA COORDENADORES DE NAD

Avaliação do PROFAE COORDENADORES DE NAD - PERFIL Atribuições

Avaliação do PROFAE COORDENADORES DE NAD Experiência da Instituição na Oferta de Cursos

Avaliação do PROFAE COORDENADORES DE NAD Material Didático

Avaliação do PROFAE COORDENADORES DE NAD Tutores • Os tutores são docentes das instituições sediadoras do NAD (27) • Os tutores são selecionados por meio de análise de currículo (23) e entrevista (5) • A quantidade de tutores (relação tutor/aluno) é considerada suficiente pela maioria dos coordenadores (24) • Ocorreram oficinas de treinamento de tutores em todos os NADs • Em 13 NADs, menos da metade dos tutores participaram das oficinas de acompanhamento

Avaliação do PROFAE COORDENADORES DE NAD Monitoramento e Avaliação • Há mecanismos para monitorar a freqüência do contato dos tutores com os alunos em 21 NADs • Existe cadastro atualizado e informatizado em 26 NADs • Apenas 3 NADs possuem mecanismo de acompanhamento da trajetória profissional dos egressos • 17 NADs contam com procedimentos implantados para avaliação do curso e dos tutores, 8 realizam apenas avaliação do curso e 5 não adotam qualquer procedimento avaliativo

Avaliação do PROFAE COORDENADORES DE NAD Dificuldades • Dispersão geográfica, dificultando a localização dos alunos • Falta de afinidade de tutores e alunos com a modalidade de ensino à distância • Alunos sem acesso a computadores e correio eletrônico - problemas de comunicação • Excesso de atribuição dos tutores na instituição sediadora do NAD • Alunos e tutores com pouco tempo para dedicação às atividades do curso • Recursos financeiros escassos; Atrasos no repasse; Baixa remuneração dos tutores

Avaliação do PROFAE COORDENADORES DE NAD Sugestões • Aumento da carga horária dos coordenadores • Aumento do número de momentos presencias • Capacitação prévia dos alunos e dos tutores ao manejo dos equipamentos de informática • Formação continuada dos professores egressos • Construção de um módulo metodológico específico à elaboração do TCC • Maior integração entre o Componente II • Flexibilizar o ordenamento dos módulos • Flexibilizar o cronograma de entrega dos trabalhos (prazo de execução) • Obtenção de maior apoio das Agências Regionais • Aumento do nº de reuniões entre os NAD´s e a coordenação geral do Componente II do PROFAE e da oordenação pedagógica da EAD/ENSP

FORMAÇÃO PEDAGÓGICA TUTORES

Avaliação do PROFAE TUTORES - PERFIL Experiência e Vinculação com o NAD

Avaliação do PROFAE TUTORES Material Didático

Avaliação do PROFAE TUTORES Material Didático - Dificuldades dos Alunos • Complexidade do material didático frente à formação escolar do público atendido • Falta de tempo por parte dos alunos para realizar as leituras propostas • Dificuldades no manejo do material didático; • Dificuldades de compreensão do conteúdo proposto • Não utilizam a internet, dificultando o contato • Intervalo de tempo grande em que estiveram sem estudar, sem ter contato com leitura contínua • Não cumprimento dos prazos de entrega dos trabalhos • Modalidade EAD: alunos demandaram maior número de momentos presenciais.

Avaliação do PROFAE TUTORES Contato com Alunos

Avaliação do PROFAE TUTORES Dificuldades na Interação com os Alunos • 56, 3% dos tutores sentiram dificuldade de adaptação dos alunos ao método de ensino à distância • 56, 3% afirmaram que seus alunos tem dificuldades de entendimento das propostas apresentadas no material didático utilizado no curso • 60, 7% dos entrevistados apresentaram dificuldades em manter contato com seus alunos; • 46, 4% tiveram dificuldade para localizar o aluno • 20, 5% tiveram outras dificuldades: falta de comparecimento dos alunos aos plantões de dúvidas; falta de comprometimento com os prazos estabelecidos para a entrega dos trabalhos; desistência/abandono; mudança de endereço, dificultando a localização do aluno.

Avaliação do PROFAE TUTORES Motivos de Desistência dos Alunos • Falta tempo e impossibilidade de conciliação com as atividades desempenhadas no Componente I (70, 5% dos respondentes) • Interrupção do contrato por parte do aluno (38, 4%) • Dificuldade manifesta do aluno no cumprimento das atividades programadas (33%) • Mudança de emprego ou de cidade (31, 3%) • Insatisfação ou deinteresse manifesto do aluno (13, 4%) • Dificuldade de compreensão aprendizagem (6, 3%) dos conteúdos de

Avaliação do PROFAE TUTORES Monitoramento e Avaliação • A principal forma de avaliação do trabalho dos tutores é a reunião (67, 9%), que se realiza mensalmente (26, 8%) e ao final de cada módulo (25%). • 36, 6% dos tutores nunca foram avaliados por questionário, 35, 7% não foram avaliados por entrevista e 29, 5% nunca foram avaliados por meio de observação • 58, 9% afirmaram que o processo de avaliação contribuíu para reorientação de suas atividades: – no cumprimento das atividades – na orientação e esclarecimentos sobre o TCC – para maior reflexão em relação aos aspectos qualitativos de ensinoaprendizagem – na troca de experiências com os demais tutores

FORMAÇÃO PEDAGÓGICA EGRESSOS

Avaliação do PROFAE EGRESSOS Dificuldades dos alunos ao longo do curso 1º) realizar as atividades programadas no prazo previsto 2º) falta de tempo para estudar 3º) manter contato com o tutor 4º) adaptação ao método de ensino à distância 5º) de entendimento do conteudo apresentado no material didático 6º) falta de acesso aos meios para entrar em contato com o tutor

Avaliação do PROFAE EGRESSOS Avaliação do Curso de Formação Pedagógica

Avaliação do PROFAE EGRESSOS Facilidades da Modalidade EAD • não exige participação presencial; • Permite adequação à disponibilidade do aluno para estudar, possibilitando a continuidade do trabalho; • estimula a leitura, reflexão, pesquisa; • melhor preparo das aulas, valorização dos alunos e experiências dos textos para leituras; • baixo custo

Avaliação do PROFAE EGRESSOS Dificuldades da Modalidade EAD • Há momentos em que a presença do professor é fundamental; • dificuldade em manter contato com o tutor em função de incompatibilidade de horários; • Há dificuldade em tirar as dúvidas • Há necessidade de troca de conhecimento em grupo • Há dificuldade em estudar sozinha

Avaliação do PROFAE EGRESSOS Aspectos Positivos do Curso (1) • • • a gratuidade a clareza da metodologia a qualidade dos conteúdos módulos a qualidade dos materiais didáticos a adaptação da especialização ao trabalho o tempo destinado ao estudo ser de escolha pessoal/própria a padronização no planejamento das aulas a qualidade dos tutores a flexibilidade de horários facilidade de busca de textos complementares

Avaliação do PROFAE EGRESSOS Aspectos Positivos do Curso (2) • proporcionou oportunidade de melhoria no nível de formação • motivou para a melhoria do desempenho profissional • preencheu lacunas de formação • valorização das experiências vividas por cada participante/aluno • oportunidade dada aos profissionais do interior e locais mais distantes • ofereceu uma nova aproximação com o meio acadêmico • valorizou a categoria da enfermagem • valorizou o profissional na sua instiutição

Avaliação do PROFAE EGRESSOS Aspectos Negativos do Curso (1) • falta de maior número de aulas presenciais • necessidade de se trabalhar os módulos cada vez melhor • necessidade de ampliação da carga horária • necessidade de maior e melhor contato com os tutores • necessidade de mais momentos de discussão • a adoção pelos tutores de uma única linha de orientação • necessidade de maior tempo para a realização das tarefas • possibilitar a continuidade dessa e nessa formação: outros cursos e mestrado/doutorado

Avaliação do PROFAE EGRESSOS Aspectos Negativos do Curso (2) • melhorar a avaliação do aprendizado real de cada aluno • descentralizar os pólos • receber rapidamente o certificado de conclusão do curso • ter mais fácil acesso à Internet • ter local organizado para reclamações • maior utilização/acesso a sistemas informatizados de comunicação

Avaliação do PROFAE EGRESSOS Impactos do Curso de Formação Pedagógica • Melhorou o desempenho em sala de aula (85, 1%) • Melhorou o planejamento das aulas (80, 9%) • Ampliou a valorização da prática e dos conhecimentos já adquiridos (77, 1%) • Preencheu lacunas na formação (71, 8%) • Propiciou maior clareza às explicações dadas pelos docentes (56, 9%) • Possibilitou alterar outras atividades (36, 2%) – avaliação integral dos alunos – melhoria na didática de ensino – motivação e meios para a procura de novos conteúdos, recursos didáticos, dinâmicas, etc.

Avaliação do PROFAE EGRESSOS Impactos do Curso na Instituição do Egresso • • • adotou-se uma nova metodologia e uma nova visão de ensino maior compromisso com os docentes treinados pelo curso estimulou a discussão dos métodos de ensino utilizados aumentou o tempo de permanência na instiutição aumentou a possibilidade de capacitação dos recursos humanos iniciou trabalhos com grupos de discussão a partir do conhecimento do aluno valorização dos conhecimentos anteriores dos alunos maior contato com a equipe da instituição melhora nas atividades práticas possibilidade de troca de experiências vaslorização do ensino-aprendizagem maior valorização do conhecimento próprio e do aluno

SUBCOMPONENTE DE MODERNIZAÇÃO E FORTALECIMENTO DAS ESCOLAS TÉCNICAS DO SUS (ETSUS)

Avaliação do PROFAE MODERNIZAÇÃO E FORTALECIMENTO DAS ETSUS Capacitações Oferecidas pelo PROFAE às ETSUS* Avaliação das Oficinas de Planejamento Estratégico

Avaliação do PROFAE MODERNIZAÇÃO E FORTALECIMENTO DAS ETSUS Projetos de Investimento: dificuldades de execução* § § § Dificuldade para contratação de serviços de consultoria (4) Quantidade e qualidade de RH para acompanhar o processo (2) Morosidade por conta das normas da administração pública (2) Falta de entendimento sobre a utilização dos recursos (1) Atraso no cumprimento das ações centralizadas MS/UNESCO (1) Recursos financeiros: § § § falta de autonomia financeira para gerir os recursos (2) encargos não foram previstos nos subprojetos (1) dificuldade na comprovação de despesas efetuadas capacitação e aquisição de material (1)

Avaliação do PROFAE MODERNIZAÇÃO E FORTALECIMENTO DAS ETSUS Mudanças após o PROFAE (1)*

Avaliação do PROFAE MODERNIZAÇÃO E FORTALECIMENTO DAS ETSUS Mudanças após o PROFAE (2)*

Avaliação do PROFAE MODERNIZAÇÃO E FORTALECIMENTO DAS ETSUS Necessidades de Aprimoramento*

SUBCOMPONENTE DE SISTEMA DE CERTIFICAÇÃO DE COMPETÊNCIAS

Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIA · Meta: 80% de profissionais egressos do PROFAE certificados · Teste Piloto – 914 egressos do curso de QP no estado do Espírito Santo (primeiras turmas do PROFAE) – 190 profissionais localizados e convidados a participar do teste piloto – 183 profissionais realizaram inscrição para a prova – 49, 7% dos inscritos compareceram à prova escrita – 34, 7% dos inscritos compareceram à prova prática

CERTIFICAÇÃO DE COMPETÊNCIAS O TESTE PILOTO

Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Elaboração dos Instrumentos de Avaliação • Elaboração, pela Coordenação e Equipe Técnica do Subcomponente, de uma Matriz Avaliativa para elaboração das provas • Contratação de 150 profissionais da área de Enfermagem, em diversas especialidades, como Consultores para elaboração das questões • Elaboração da Prova Teórica com 30 Questões, divididas em 5 áreas • Elaboração da Prova Prática com 8 tipos de desempenhos, retirados de um “check list” de 40 itens

Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Organização do Teste Piloto (1) • Licitação da Instituição Avaliadora: Fundação Cesgranrio • Treinamento de 41 profissionais para aplicação da prova prática • Definição dos locais para as provas práticas: instituições públicas de saúde (hospitais e unidades básicas)

Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Organização do Teste Piloto (2) • Local: municípios de Vila Velha, Cachoeiro do Itapemirim e Linhares, localizados no Estado do Espírito Santo • Período: mês de setembro de 2002 (22/11 - Prova Escrita; 24 a 27/11 – Prova Prática) • Participantes: 91 profissionais egressos dos Cursos PROFAE de um total de 914, sendo um grupo do interior e um da capital e região metropolitana

Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Organização do Teste Piloto (3) • Foi constituída uma equipe de apoio ou de coordenação local formada por três enfermeiras, profissionais do próprio Estado do Espírito Santo • Foram selecionados e treinados os chamados “mobilizadores”, grupo de 10 pessoas encarregadas de fazer os contatos, os convites, o cadastramento e a inscrição dos egressos • Participariam do teste egressos residentes ou trabalhadores de 12 cidades. As inscrições foram concluídas no início de setembro de 2002

Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Organização do Teste Piloto (4) · Os enfermeiros/avaliadores da prova prática foram capacitados no período de 6 a 9 de setembro de 2002, em Vila Velha · A prova teórica foi aplicada na cidade de Vitória, num mesmo dia, local e horário, e os candidatos tiveram que ser deslocados para lá, com apoio do SCC-PROFAE-Cesgranrio

Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Resultados (4) · Indicaram que as dificuldades para a implantação do Sistema serão: · · Necessidade de apoios e parcerias Basear-se em experiências anteriores A diversidade e escala do país A qualidade da divulgação · Apenas 25% concordam com o papel certificador do MS · Sugeriram o substituto do MS no papel de Certificador · Instituições autônomas · Os profissionais dos conselhos profissionais

Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Conclusões · Há necessidade de uma decisão políticoinstitucional favorável a aplicação de um sistema de certificação para a área da saúde · Há necessidade de se disponibilizar recursos financeiros · Há necessidade de parcerias e acordos interinstitucionais para a execução de um Sistema desse porte · Há pendências relativas às demais áreas de formação sejam elas da saúde ou não – um sistema público deve evitar privilégios · Não se pode perder o esforço empreendido pelo SCC/PROFAE com a construção do Sistema de Certificação de Competências

Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Questões para Discussão (1) • O que fazer com os egressos do PROFAE que não possuem as capacitações desejadas? O que fazer com esse profissional – No âmbito legal – No âmbito da formação – No âmbito profissional • O que fazer com as instituições formadoras? • A Certificação de Competências poderá ser ampliada aos demais profissionais dos serviços de saúde e/ou outras profissões?