Avaliao de Projectos Alguns Modelos de Avaliao Modelos

Avaliação de Projectos Alguns Modelos de Avaliação

Modelos de avaliação Predomínio n n n Abordagens centradas na verificação do cumprimento de objectivos de aprendizagem (Tyler) Abordagens centradas no processo formativo (Stufflebeam) Abordagens centradas nos resultados/benefícios da formação para os destinatários (Kirkpatrick)

Modelos de avaliação n Multinível de Kirk. Patrick RACR n CIRO de Warr n CIPP de Stufflebeam n Hadji, Figari e Roegiers n R. Brinkerhoff (sete áreas de intervenção FDRAAGM) n Abordagem P E R T A

Donald Kirkpatrick Modelo hierárquico de resultados da formação n Visa medir a qualidade de uma intervenção formativa a partir da análise de quatro níveis de avaliação: n Nível 1 - Avaliação da reacção dos participantes n Nível 2 - Avaliação das aprendizagens dos participantes n Nível 3 - Avaliação do comportamento dos participantes n Nível 4 - Avaliação dos resultados da formação

Donald Kirkpatrick Pressupostos do modelo hierárquico de resultados da formação n n n Cada nível é importante e tem impacto no nível seguinte Conforme se avança nos níveis, o processo torna-se mais complexo Nenhum dos níveis deve ser ignorado, por considerar o nível seguinte mais importante

Donald Kirkpatrick Nível 1 - Avaliação do grau de satisfação n Os formandos gostaram do curso? n É uma das formas mais utilizadas na avaliação n É fácil, rápida e com baixo custo de aplicação n Os resultados negativos podem significar dificuldades de aprendizagem no curso

Donald Kirkpatrick Nível 1 - Avaliação do grau de satisfação n Tem por objectivos: n n n Recolher as reacções, as opiniões dos formandos sobre determinados aspectos da formação (formador, métodos. . . ) Detectar disfuncionalidades no sistema de formação Regular as práticas formativas, tendo em conta as necessidades do público alvo

Donald Kirkpatrick Nível 1 - Avaliação do grau de satisfação n n Pode ser efectuada de forma contínua. . . Assim os formandos são avaliados de acordo com vários critérios: n n A forma como participam na acção O desempenho nas actividades propostas A forma como utilizam os recursos disponibilizados A capacidade de interacção com o grupo de formação

Donald Kirkpatrick Nível 1 - Avaliação do grau de satisfação n n A generalidade as avaliações efectuadas consiste na recolha de opinião e do grau de satisfação dos formandos com determinados aspectos da formação Neste sentido, importa considerar diferentes tipos de reacção: n n n As reacções afectivas, de satisfação As reacções instrumentais, de utilidade As reacções de dificuldade, da aprendizagem

Donald Kirkpatrick Nível 1 - Avaliação do grau de satisfação n Técnicas mais utilizadas: n n n Inquéritos por questionário sobre o grau de satisfação Realização de focus group Inquérito por entrevista Registo de comentários em fóruns de discussão Realização de observações de comportamentos dos participantes

Donald Kirkpatrick Nível 1 - Avaliação do grau de satisfação n Dimensões de análise nos questionários de satisfação: n n n n n Expectativas iniciais Objectivos de aprendizagem Desempenho do formador Conteúdos programáticos Estratégicas pedagógicas Suportes de apoio utilizados na formação Documentação de apoio à formação Apoio logístico Espaços/instalações

Donald Kirkpatrick Nível 2 - Avaliação das aprendizagens n n Os formandos aprenderam objectivos do curso? com base nos Objectivos: n n n Verificar se os formandos estão a adquirir as aprendizagens pretendidas Proporcionar ao formando um feedback sobre o modo como está a evoluir na auto-aprendizagem orientada Permitir a reformulação da acção, corrigindo eventuais fragilidades, e a melhoria constante dos formandos

Donald Kirkpatrick Nível 2 - Avaliação das aprendizagens n n Diz respeito à aquisição, aumento ou melhoria das competências e atitudes dos formandos Este nível pode-se realizar-se através de uma abordagem mais completa: n n Que contempla a recolha de dados antes, durante e após a formação Que não se circunscreve apenas ao aprofundamento de conhecimentos, mas inclui a demonstração prática de aptidões e competências apreendidas

Donald Kirkpatrick Nível 2 - Avaliação das aprendizagens n Técnicas mais utilizadas n n n n n Testes escritos (de entrada/de progresso/finais) e orais Role playing (simulação/dramatização sobre situações) Elaboração de projectos Jogos pedagógicos para a resolução se situações/problemas Estudos de caso (análise de situações e construção de planos) Aplicação de instrumentos de auto-avaliação Realização de observações Registo e análise de incidentes críticos Elaboração de portefólios de competências Elaboração de mapas conceptuais

Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação n O que mudou ao nível dos comportamentos dos indivíduos? n n Sinalizar com rigor antes da formação que comportamentos se pretendem alterar. . . Em que medida as alterações nos comportamentos contribuíram para alcançar os objectivos individuais de desempenho? n Determinar quais os indicadores para avaliar o impacto da formação nos desempenhos dos formandos

Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação n Objectivo: n n Averiguar em que medida os formandos transferem para o contexto de trabalho as aprendizagens (conhecimentos, competências e comportamentos) Requer o desenvolvimento de planos que permitam comparar o comportamento antes e depois da formação, podendo ser feito através de: n n n Auto-relatos Observações de superiores hierárquicos Pares

Donald Kirkpatrick (1998) Nível 3 - Avaliar a transferência da formação n Técnicas mais utilizadas: n n n n Entrevista de chegada (quando o formando regressa. . . ) Aplicação de questionários para avaliar a transferência e resultados no desempenho individual Aplicação do instrumento LTSI - Learning Transfer System Inventory www. edholton. com; http: //reviewing. co. uk/reviews/evaluation-transfer. htm Construção de um plano de intervenção específico Observações no posto de trabalho Análise de performance (através de avaliação inter-pares) Registo de análise de incidentes críticos (análise comparativa) Auto-avaliação

Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação n Modelo de análise da transferência da formação n Características dos formandos n Design da formação (características do projecto de mudança, (motivação, experiência profissional, prontidão para mudar, atitude face à formação, autoeficácia modelos pedagógicos, conteúdos, conhecimento e oportunidade para transferir) n Contexto organizacional (valores e cultura, política de recursos humanos, apoio e suporte, consequências da transferência)

Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação n Características dos formandos n Competências n n capacidade cognitiva (tempo, energia, disponibilidade mental no trabalho para transferir) experiência profissional (nível de proficiência atingido, cargo ocupado e antiguidade na organização) Factores de personalidade - satisfação com o trabalho, crenças de auto-eficácia, atitude face à mudança Variáveis motivacionais - Motivação para aprender e motivação para transferir

Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação n Concepção/design da formação n n n Garantir o ajustamento dos conteúdos (relevância aprofundamento) às exigências do trabalho dos formandos e Assegurar que os modelos e práticas pedagógicas permitem aos formandos aprender o que se pretende que aprendam Incluir conhecimentos sobre o modo de transferir a aprendizagem para o local de trabalho

Donald Kirkpatrick Nível 3 - Avaliar a transferência da formação n Contexto organizacional n n Capaz de promover a aprendizagem contínua dos trabalhadores terá maior probabilidade de obter comportamentos pós-formativos Capaz de propiciar um clima facilitador de transferência concretizado: n pela frequência de feedback sobre o desempenho n pelo apoio dos pares e da hierarquia n pela percepção das consequências positivas da utilização das aprendizagens no desempenho profissional

Donald Kirkpatrick Nível 4 - Avaliação de Resultados n n Qual o impacto da formação nos resultados da organização? Objectivos: n n Avaliar o impacto da formação em termos de resultados na actividade da organização Ou avaliar a variação de indicadores concretos previamente estabelecidos que resultaram da análise de necessidades

Donald Kirkpatrick Nível 4 - Avaliação de Resultados n Indicadores de eficácia da formação: n Mais reuniões de trabalho em equipa entre professores n Melhoria nas práticas pedagógicas e de avaliação n Menor número de reclamações por relativamente às avaliações dos alunos parte dos n Melhoria no sucesso escolar dos alunos n Aumento da procura da escola por parte dos pais e alunos pais

Donald Kirkpatrick Nível 4 - Avaliação de Resultados n Técnicas mais utilizadas: n Análise dos resultados de intervenção específicos n Análise de painel de indicadores de performance n Aplicação da fórmula ROI (Return of Investment) n Análise custo-benefício

Donald Kirkpatrick n Segundo a American Society for Training and Development (2002): n 78% das organizações avaliam as acções formativas ao nível da satisfação dos formandos - nível 1 reacção; n Somente 32% avaliam o nível 2, aprendizagem; n 9% o nível 3, comportamento; n 6% o nível 4, resultados n Assim, os níveis mais interessantes são os menos utilizados

Retorno do investimento (ROI) n Não basta obter bons resultados n n É preciso garantir a recuperação do investimento feito Objectivos do cálculo do Retorno do Investimento n n Conhecer se a implementação de uma acção é rentável para a organização do ponto de vista financeiro Identificar as vantagens e os inconvenientes de uma dada acção formativa

Retorno do investimento (ROI) n Não confundir Retorno do Investimento com Índice custo/benefício n n ICB= benefícios brutos da formação/custos do programa ROI= benefícios líquidos da formação/custos do programa

Retorno do investimento (ROI) Benefícios da formação n Evidentemente que a formação em organização gera benefícios e custos qualquer n É mais complexa a identificação dos benefícios n Existem três tipos de benefícios n Melhorias no trabalho (mais fácil de quantificar) n Inovação e a criatividade n Satisfação/realização (mais difícil de quantificar)

Retorno do investimento (ROI) n Exemplo: n Os custos de um dado programa de formação são 20. 000 euros (custos podem ser relativos a viagens, à realização da formação, à preparação material. . . ) e os benefícios são de 100. 000 euros (os benefícios podem ser relativos ao aumento da produtividade, à redução do absentismo. . . ) n ICB = 100. 000/20. 000 = 5 Benefícios brutos n ROI = 80. 000/20. 000 x 100% = 400% Benefícios líquidos

Kirkpatrick Quais os objectos de avaliação? n A satisfação dos formandos n O desempenho dos formadores n A adequação dos programas aos formandos n A aplicação dos conhecimento adquiridos n Os efeitos inesperados da formação n O impacto nos resultados da instituição

Modelo CIRO de Warr Domínios da avaliação n Contexto ou ambiente de partida da formação n Inputs a mobilizar para a intervenção educativa n Reacções dos participantes à formação n Outcomes (resultados) da formação

Modelo CIRO de Warr n A avaliação do contexto pretende compreender: n As razões que justificam a intervenção formativa n A distância entre as competências reais dos formandos e as desejadas n O tipo de saber a desenvolver na formação n O que se deseja modificar com a intervenção

Modelo CIRO de Warr n A avaliação dos inputs pretende analisar: n O processo de selecção dos formandos e dos formadores n Os conteúdos e a estratégia de formação n Os recursos materiais, humanos e financeiros de apoio

Modelo CIRO de Warr n A avaliação das reacções pretende: n Averiguar o grau de satisfação dos participantes em relação à formação desenvolvida

Modelo CIRO de Warr n n A avaliação dos outcomes visa aferir os resultados da formação em termos: n Das competências desenvolvidas n Da aplicação das competências nos contextos de trabalho Importa responder à questão: que mudanças ocorreram após a realização da formação?

Stufflebeam Modelo CIPP n n n A intenção da avaliação n é servir de guia à tomada de decisões A avaliação n tem por finalidade o aperfeiçoamento do processo formativo n a partir do levantamento de necessidades O processo de decisão n não acaba num dado momento é cumulativo e orientado n por reajustamentos constantes rumo ao aperfeiçoamento

Modelo CIPP Domínios de análise n Contexto n Inputs da formação n Processo formativo n Produtos resultantes da formação

Modelo CIPP n A avaliação de contexto incide sobre: n As suas características n As necessidades de formação n As características dos participantes da formação n Os problemas que originaram as necessidades identificadas n A coerência entre necessidades sinalizadas e os objectivos de aprendizagem propostos

Questões para avaliar o contexto n n n Que objectivos se pretendem alcançar ao realizar o diagnóstico de necessidades? Que tipo de informação se obtém quando se efectua o diagnóstico? De quem se obtém essa informação e com que métodos? n Quanto tempo é necessário? n Como se processam os dados?

Modelo CIPP n A avaliação de inputs incide sobre: n A suficiência de recursos materiais e humanos n Medidas alternativas à formação n A capacidade de resposta do sistema de formação n A sinalização de eventuais entraves à formação n A adequação da proposta formativa e as estratégias de intervenção

Questões para avaliar os “inputs” n n Quais os critérios para formandos e os formadores? seleccionar os Os formadores têm provas dadas na área da formação? Quais são as expectativas dos formandos? Qual o conhecimento, os interesses, as atitudes e as preocupações dos formandos?

Modelo CIPP n A avaliação do processo incide na: n Implementação das intervenções formativas n Observação de processos de ensino-aprendizagem n n n Conduta do formador Conduta dos formandos Relação entre formador e formandos Interacção dos formandos com os materiais pedagógicos Sinalização de eventuais aspectos a melhorar

Questões para avaliar o processo n Como está a decorrer a formação? n Os conteúdos planificados estão a ser desenvolvidos? n O formador demonstra conhecimento e competência? n Os formandos tiveram oportunidade de praticar (simulações)? n Houve um equilíbrio entre as componentes teóricas e práticas? n Qual foi o ambiente durante a formação? n Os conteúdos têm aplicabilidade nos contextos de trabalho?

Modelo CIPP n A avaliação dos produtos incide sobre: n Resultados da formação (satisfação) n Resultados face a objectivos pré-definidos n Resultados face a necessidades do contexto

Questões para avaliar o produto n O que muda em consequência da proposta formativa: n n n A formação proporcionou aos formandos conhecimentos, competências, atitudes que antes não possuíam ? Teve repercussões no contexto de trabalho (melhor desenvolvimento das tarefas, maior motivação e satisfação) ? Teve repercussões na instituição (coesão, organização, participação, trabalho em equipa, resolução de conflitos) ?

Modelo CIPP n Segundo Roegiers (1997) este modelo teve sucesso na avaliação da formação devido: n À associação entre a avaliação e a tomada de decisão n À superação da avaliação reduzida aos produtos n À ênfase dada ao contexto

Hadji (1994) Modelo de “avaliação plural” n n n Remete para a dimensão pragmática e instrumental da avaliação: para que é que serve ? Realça a temporalidade que é inerente ao processo de avaliação de uma acção (antes, durante e depois) Destaca as diversas funções da avaliação

Hadji Funções na sequência da acção Temporalidade Antes Durante Depois Avaliação Diagnóstica Prognóstica Formativa “Progressiva” Sumativa Terminal Função Orientar Adaptar Regular Aperfeiçoar Verificar Certificar Centrada No produtor e suas características Nos processos Nas actividades Nos produtos

Hadji e os dispositivos de avaliação n Dispositivo é o conjunto das modalidades previstas de levantamento e tratamento da informação: n n Circunstâncias e momentos Natureza das informações a recolher Instrumentos de ajuda nesse trabalho Não pode haver dispositivo sem plano prévio

Hadji e os dispositivos de avaliação n Construir um dispositivo é organizar os meios (instrumentos, actores) de acordo com um plano estruturado em função: n Da natureza do projecto de avaliação n Da natureza do projecto de formação

Operações essenciais para construir dispositivos de avaliação n Questionar-se sobre o projecto de avaliação n Precisar o projecto de formação n Prever os procedimentos

Questionar-se sobre o projecto de avaliação n Qual é a intenção dominante do projecto de avaliação n n n Medir, apreciar, interpretar? Controlar, regular, compreender? Que concepção dominante se tem da realidade avaliada (Para que serve? ) n Modelo de funcionamento privilegiado

Precisar o projecto de formação n Finalidades n Transformações desejadas (a que níveis? ) n Tipo de expectativa em relação aos formandos n Actualização de conhecimentos? n Competências? n Qualidades pessoais? n Atitudes?

Prever os procedimentos n Determinar a informação útil n n Explicitar como é recolhida a informação útil n n Porquê é que nos vamos interessar (objecto)? Quem vai efectuar a recolha? Quando? Por meio de que Instrumentos? Definir o quadro de interpretação dessa informação

Hadji Objectos na avaliação das acções n O processo de formação n Os efeitos da formação

O processo de formação n O dispositivo n n O projecto (coerência e rigor) O plano (exequibilidade) Formadores (Quem? Lugar e papel? Formação? Competências? Função? Estatuto? O processo pedagógico (acção propriamente dita) n n Trabalho dos formadores (escolha dos conteúdos, das actividades) Funcionamento da acção (métodos de trabalho, técnicas de animação e dispositivo de avaliação)

Os efeitos da formação n Efeitos pedagógicos (resultados formandos) n n Aprendizagens realizadas Evoluções assinaláveis Satisfação dos formandos Impactes (consequências) n n Evolução das práticas Eficácia das práticas

Figari e os conceitos em cascata Referente, referencialização n Para Lesne (1984) “avaliar é por em relação, de forma explícita ou implícita, um referido (o que é constatado ou aprendido de maneira imediata, o que é objecto de uma investigação sistemática) com um referente (o que desempenha o papel de norma, o que deve ser, o objectivo pretendido. . . )

Figari e os conceitos em cascata Referente, referencialização n Referencial n n Modelo geral preexistente Sistema de referências construído em torno da experiência e que apela a critérios elaborados em função da situação específica a tratar, representando a combinação de um conjunto de factores: n n População em formação Contexto económico e técnico Competências dos professores e formadores Meios e métodos. . .

Referencialização: o que é? n “ (. . . ) é um processo de elaboração do referente (. . . ). A referencialização consiste em assinalar um contexto e em construir, fundamentando-o com os dados, um corpo de referências relativo a um objecto (ou a uma situação), em relação ao qual poderão ser estabelecidos diagnósticos, projectos de formação e avaliações (. . . ). n Pretende ser um método de delimitação de um conjunto de referentes e nisso se distingue do referencial que, por sua vez, designa um produto acabado e, mais exactamente, uma formulação momentânea da referencialização” (Figari, 1996, 52)

Referencialização como metodologia de avaliação n n n Operação de avaliação = elucidação do pedido n Qual a origem? n Qual é o contexto e as finalidades da avaliação? Objecto a avaliar n O quê avaliar? n Que dimensões do objecto vão ser avaliadas? Referentes n n Em relação a quê se vai atribuir um sentido à informação? (leis, projectos, contexto nacional e internacional) Critérios n Que aspectos representativos do objecto a avaliar vão ser escolhidos para proceder ao julgamento?

Referencialização como metodologia de avaliação n Indicadores n n Que índices, que características observáveis são escolhidas para verificar o grau de alcance do critério Itens de recolha de dados n Quais serão, para cada critério, os descritores tomados em linha de conta? n Que instrumento(s) construir ? Interpretação dos resultados n Que cruzamento de dados efectuar? n Que significados atribuir aos resultados Divulgar os resultados n Que dizer aos diferentes actores da avaliação? Como? n Como explorar os dados?

Modelo ICP de Figari Dimensões Lógica de Gestão Função de Avaliação Sequência temporal Contexto de Análise Induzido Projecto Prognóstica Antes Social, profissional e individual Construído Aprendizagem Formativa Durante Institucional e as estratégias de liberdade Produzido Avaliação Sumativa Depois Pedagógico Efeitos e Resultados

Características do modelo de Figari n Dinâmico n n Indissociável n n Embora haja uma sequencialidade temporal irreversível (antesdurante-depois) as dimensões têm um carácter relacional e interaccional Porque não só as dimensões estão imbricadas entre si e têm zonas de intersecção, como também se legitimam mutuamente Iterativo n As várias dimensões são interdependentes e mutuamente enriquecedoras: o “induzido” é a base do “construído” que, por sua vez, dá origem ao “produzido” e este novamente ao “induzido”

Roegiers (1997) Modelo de “caixa aberta” n n A construção de um dispositivo de formação é um processo de “referencialização progressiva”, atendendo à diversidade de referentes Esta referencialização procura responder à necessidade de: n n Situar o dispositivo de avaliação no seu contexto Relacionar as diversas componentes internas a partir dos dados do contexto

Roegiers (1997) Modelo de “caixa aberta” n É assim caracterizado por duas razões: n n Porque há uma permamente interacção com o meio, numa lógica de mútua influência Porque permite delimitar os seus componentes internos para efeitos de análise de uma acção de formação

Roegiers (1997) Modelo de “caixa aberta” n Existe assim um duplo conjunto de elementos na análise de uma acção de formação: n n Os referenciais que contribuem para contextualizar a acção (elementos externos) Os componentes que caracterizam a acção (elementos internos)

Roegiers (1997) Modelo de “caixa aberta” n O autor distingue quatro tipos de referenciais em interacção: n O contexto geral n As necessidades dos actores n O funcionamento da instituição n O quadro normativo

Roegiers (1997) Modelo de “caixa aberta” n O contexto geral n n n Contexto alargado e abrangente No qual devem ser considerados os aspectos sociais, culturais, económicos e políticos Que directa ou indirectamente influenciam o funcionamento da instituição ou do dispositivo de formação

Roegiers (1997) Modelo de “caixa aberta” n As necessidades dos actores n Trata-se das “necessidades que estão ligadas às estratégias dos actores, às pessoas e às histórias, ao funcionamento quotidiano, às interacções de diversa natureza, aos desafios e aos projectos”

Roegiers (1997) Modelo de “caixa aberta” n O funcionamento da instituição n É o conjunto de desafios que se consubstancia na política oficial da instituição (plano estratégico, política educativa, projecto educativo, plano de formação. . . ) e nas informações sobre o seu funcionamento (organigramas, regulamentos. . . ).

Roegiers (1997) Modelo de “caixa aberta” n O Quadro normativo n É constituído pelo conjunto de dispositivos normativos (legislativos, jurídicos, éticos, deontológicos. . . ) aos quais a instituição está submetida, quer sejam de natureza externa, quer sejam de natureza interna.

Roegiers (1997) Modelo de “caixa aberta” n O autor identifica os seguintes componentes internos que caracterizam uma acção: n Os objectivos n Os produtos n Os meios n Meios previstos e meios efectivos

Roegiers (1997) Modelo de “caixa aberta” n Os objectivos n Dizem respeito à definição das acções a desenvolver, tendo em vista a modificação de um contexto esperado.

Roegiers (1997) Modelo de “caixa aberta” n Os produtos n Embora se possam distinguir vários tipos (os resultados, os efeitos indirectos e os produtos intermédios), este elemento constitui os efeitos do desenvolvimento da acção.

Roegiers (1997) Modelo de “caixa aberta” n Os meios n É o conjunto de estratégias e recursos através do qual se realiza o trânsito entre os objectivos e os produtos, garantindo o sucesso da acção de formação

Roegiers (1997) Modelo de “caixa aberta” n Meios previstos e meios efectivos n É a diferença relevante entre o que se previu potencialmente utilizar e o que efectivamente se realizou, relacionando-se desenvolvimento da acção. com o próprio

Roegiers (1997) Modelo de “caixa aberta” n n Para compreender a importância deste modelo não podemos ficar por esta apresentação analítica e estática Trata-se de um modelo complexo e dinâmico, que implica uma combinatória de elementos e factores que entram em jogo numa acção de formação

Modelo de R. Brinkerhoff Sete áreas de intervenção n Focalizar a avaliação n Desenhar a estratégia avaliativa n Recolher informação n Analisar e interpretar a informação recolhida n Apresentar resultados n Gerir o processo avaliativo n Avaliar a avaliação (atenção à checklist que agora vamos desenvolver por área cf. pag. 27 do Guia de avaliação da formação)

Modelo de R. Brinkerhoff Focalizar a avaliação/questões críticas n Que dimensões avaliar? n Qual a finalidade da avaliação? n Quem será avaliação? implicado no processo n Que factores poderão afectar o processo? n Quais as principais questões avaliativas? n de A avaliação tem potencial para ser bem sucedida?

Modelo de R. Brinkerhoff Desenhar a estratégia/questões críticas n n Quais as abordagens disponíveis? avaliativas Que aspectos deve contemplar uma estratégia avaliativa?

Modelo de R. Brinkerhoff Recolher informação /questões críticas n n n Que tipo de informação deverá ser recolhida? Que procedimentos utilizar na recolha de informação? Que quantidade de informação é preciso recolher? Que instrumentos serão seleccionados? Como proceder para recolher informação ao mais baixo custo?

Modelo de R. Brinkerhoff Analisar informação /questões críticas n Como se pretende tratar os dados recolhidos? n Vale a pena tratar os dados recolhidos? n Como se pretende analisar a informação e interpretar os resultados obtidos ?

Modelo de R. Brinkerhoff Apresentar resultados /questões críticas n Quem deverá receber os resultados da avaliação? n Qual deverá ser a estrutura do relatório? n Como poderão ser apresentados os relatórios? n Como poderão ser ajudados os destinatários na interpretação dos resultados? n Quando devem ser apresentados os relatórios?

Modelo de R. Brinkerhoff Gerir o processo /questões críticas n Quem pode acompanhar o processo de avaliação? n A quem compete a responsabilidade pelo processo? n Quanto custa implementar o processo? n Como poderão ser sequenciadas e calendarizadas as actividades avaliativas? n Que obstáculos poderão surgir no processo?

Modelo de R. Brinkerhoff Meta-avaliação /questões críticas n Em que circunstâncias deverão ser implementados processos meta-avaliativos? n A quem compete desenvolver o processo meta-avaliativo? n Que critérios deverão ser definidos? n Como poderá ser implementado um processo meta-avaliativo? n Que procedimentos podem ser associados ao processo?

Questões para orientar a Meta-avaliação 0’ Sullivan, Jones e Reid (1990) n A avaliação foi suficientemente abrangente? n Foram obtidos dados suficientes através de múltiplas fontes? n Podem ser tomadas decisões com base nas avaliações? n O desenho da avaliação teve qualidade técnica? n Os dados foram apresentados de forma clara e compreensível? n Os resultados foram válidos? n A avaliação foi realizada de modo adequado? n Os participantes foram implicados?

Modelos de avaliação Abordagem PERTA n Preparar a intervenção avaliativa n Elaborar e testar instrumentos para recolha de dados n Realizar a estratégia de avaliação n Tratar e analisar os dados n Apresentar os resultados da avaliação (ver guia de avaliação da formação que enviei em pdf , sobretudo a parte que diz respeito ao desenvolvimento de uma estratégia avaliativa pag. 83 -111 )

Fase I - Preparar a intervenção avaliativa n Conhecer o contexto de partida da formação n Planear as intervenções avaliativas

Conhecer o contexto n n Compreender as razões que deram origem à formação Analisar a proposta de formação Sinalizar e compreender as características dos destinatários da formação Sinalizar as características da organização de acolhimento

Planear as intervenções avaliativas n Quais os objectivos da avaliação pretendida? n Quais as questões avaliativas a efectuar? n Em que momentos deverão ser desenvolvidas as intervenções avaliativas? n Quem são os actores da avaliação? n Qual o quadro de referência avaliativo ? n Que métodos de avaliação são os mais adequados? n Como serão apresentados os resultados?

Fase II - Elaborar e testar instrumentos para recolher dados Construir instrumentos para aplicar nas actividades de avaliação n n n Que tipo de informação deverá ser recolhida? n Que procedimentos utilizar na recolha de informação? n Que quantidade de informação é preciso recolher? n Que instrumentos serão seleccionados? n Como proceder para recolher informação ao mais baixo custo? Analisar os instrumentos de avaliação do ponto de vista da validade e fidelidade

Fase III - Realizar a abordagem avaliativa n n n Realizar intervenções avaliativas antes da execução da formação (avaliação ex-ante) Realizar intervenções avaliativas durante a execução da formação (avaliação on-going) Realizar intervenções avaliativas após a execução da formação (avaliação ex-post)

Realizar intervenções avaliativas antes Avaliação ex-ante Ter presente as várias perspectivas da avaliação diagnóstica n n Os objectivos que norteiam a realização de uma avaliação diagnóstica n Reanalisar resultados de diagnósticos de necessidades já realizados n Decidir qual a abordagem mais adequada para o contexto em análise n Informar os vários actores dos objectivos da avaliação a realizar n Decidir a intervenção de avaliação diagnóstica Preparar resultados para serem comparados com resultados intermédios e finais da formação n n Reanalisar os resultados da avaliação diagnóstica no decurso da formação n Reanalisar os resultados da avaliação diagnóstica no final da formação

Realizar intervenções avaliativas durante Avaliação on-going Preparar e realizar as avaliações de reacções (nível 1) n n Ter presente o âmbito de uma avaliação de reacção n Verificar se são contempladas na avaliação as dimensões críticas da formação n Considerar a diversidade de técnicas disponíveis n Preparar os formandos para participarem na avaliação n Realizar as intervenções antes e no final Preparar as avaliações de aprendizagens (nível 2) n n Ter presente o âmbito de uma avaliação de aprendizagens n Verificar se são contempladas na avaliação os saberes e competências a desenvolver n Considerar a diversidade de técnicas disponíveis n Preparar os formandos para participarem na avaliação n Realizar as intervenções antes, durante e no final

Realizar intervenções avaliativas após Avaliação ex-post Preparar uma avaliação de 3º nível n n Ter presente o âmbito de uma avaliação de 3º nível n Sinalizar os factores que podem inibir ou facilitar o processo de transferência n Mobilizar os actores para a realização de actividades que potenciam a transferência n Sinalizar as técnicas a aplicar numa avaliação de 3º nível n Reflectir sobre a importância da entrevista de “saída” Realizar a intervenção (uma proposta possível) n n Realizar uma entrevista de “chegada” n Elaborar um plano de acção n n Disponibilizar ao ex-formando um instrumento para autoavaliação e acompanhamento de progressos Realizar uma reunião de acompanhemento/avaliação de progressos

Realizar intervenções avaliativas após Avaliação ex-post Generalizar as mais valias da formação no contexto da organização n n Definir estratégias de acção n Mobilizar os actores a implicar na execução das estratégias pré-definidas Avaliar impactes da formação na organização (nível 4) n n n Ter presente as razões fundamentais que conduziram à formação Analisar os indicadores susceptíveis de sofrerem impacte na sequência da formação n Sinalizar outras medidas que possam ter impactes nos mesmos indicadores n Estimar os benefícios da formação (valor acrescentado percepcionado pelos vários actores directos ou indirectos da formação)

Realizar intervenções avaliativas após Avaliação ex-post Generalizar as mais valias da formação no contexto da organização n n Definir estratégias de acção n Mobilizar os actores a implicar na execução das estratégias pré-definidas Avaliar impactes da formação na organização (nível 4) n n n Ter presente as razões fundamentais que conduziram à formação Analisar os indicadores susceptíveis de sofrerem impacte na sequência da formação n Sinalizar outras medidas que possam ter impactes nos mesmos indicadores n Estimar os benefícios da formação (valor acrescentado percepcionado pelos vários actores directos ou indirectos da formação)

Fase IV - Tratar e analisar os dados e produzir relatórios de avaliação Tratar os dados recolhidos n n n Decidir que tipo de dados tratar e como tratar Validar os dados seleccionados Codificar os dados seleccionados para respectivo tratamento Verificar se a amostra de respondentes é representativa Verificar se os métodos de recolha de dados foram adequados Analisar os dados após respectivo tratamento n n n Verificar se as questões avaliativas pré-estabelecidas foram respondidas Aferir sobre o tipo de análise mais adequada Verificar se da análise efectuada resulta informação relevante para a tomada de decisão Verificar se a informação produzida é suficientemente credível

Fase IV - Tratar e analisar os dados e produzir relatórios de avaliação Produzir os conteúdos do relatório n n n Discutir com os actores a natureza e os conteúdos relatórios Destacar as mensagens mais importantes do processo de avaliação Apresentar vários cenários para propostas de melhoria de práticas Utilizar uma linguagem acessível Optar por uma estrutura adequada Elaborar recomendações n n n Elaborar recomendações com base nas informações produzidas Considerar os custos associados à concretização de cada recomendação Considerar na elaboração das considerações a capacidade de decisão dos actores para as pôr em prática Sinalizar os resultados a alcançar com a concretização das recomendações

Fase IV - Tratar e analisar os dados e produzir relatórios de avaliação Produzir os conteúdos do relatório n n n Discutir com os actores a natureza e os conteúdos relatórios Destacar as mensagens mais importantes do processo de avaliação Apresentar vários cenários para propostas de melhoria de práticas Utilizar uma linguagem acessível Optar por uma estrutura adequada Elaborar recomendações n n n Elaborar recomendações com base nas informações produzidas Considerar os custos associados à concretização de cada recomendação Considerar na elaboração das considerações a capacidade de decisão dos actores para as pôr em prática Sinalizar os resultados a alcançar com a concretização das recomendações

Fase V - Apresentar os resultados da avaliação Definir uma estratégia para apresentar os resultados da avaliação n n Decidir a quem, como, quando, quem e onde devem ser apresentados os resultados Ter presente as várias possibilidades para apresentação dos resultados Recolher informação sobre a satisfação relativa à forma como foram apresentados os resultados Elaborar planos de acção n n n Sinalizar previamente recomendações de melhoria a implementar Sinalizar acções e os actores que vão implementar as medidas propostas Identificar os resultados que se espera alcançar Desenvolver o calendário mais adequado à produção dos resultados

Bibliografia Consultar textos: Barbier (1990). A avaliação em formação. Porto: Ed. Afrontamento Figari (1996). Avaliar: que referencial? Porto: Porto Editora Flor Cabrera, A. (2003). Evaluación de la formación. Madrid: Ed. Síntesis Garcia (1999). Formação de Professores. Porto Editora (pp. 212 -222) IQF (2006). Guia para a avaliação da formação (pp. 78 -110). Rodrigues (2002). Avaliação da formação pelos participantes em entrevista de investigação. Lisboa: FCG