Avaliao de Projectos Noes Essenciais Planificao Gesto e

Avaliação de Projectos Noções Essenciais Planificação, Gestão e Avaliação de Projectos

Objectivos n n n Geral n Analisar as problemáticas da avaliação Específicos n Distinguir os sentidos da avaliação n Caracterizar as modalidades de avaliação n Conhecer alguns modelos de avaliação Comportamental n Construir um plano de avaliação que possa apoiar o desenvolvimento do projecto ou de acções educativas

Conteúdos n Avaliação de projectos n Algumas definições de avaliação n Introdução às modalidades de avaliação n Estudo de alguns modelos de avaliação n Construção de um plano de avaliação

Estratégias n Exposição participativa com recurso ao power-point e a debates em torno do conceito, das modalidades e dos modelos de avaliação n Desenvolvimento de ideias sobre os trabalhos-projecto n Supervisão dos trabalhos-projecto a realizar em grupo

Projecto n É projéctil “que se lança sobre, proeminente, saliente, transbordante…” Machado (1977). Dicionário Etimológico da Língua Portuguesa. Lisboa: Livros Horizonte n “O que se pretende fazer = plano. (…) Empreendimento que alguém se propõe levar a cabo dentro de um determinado esquema e visando objectivos bem definidos. ” Dicionário da Língua Portuguesa Contemporânea (2001). Academia das Ciências de Lisboa e FCG (II Vol. ). Editorial Verbo

Projecto n n n “(…) é um problema programado para ser resolvido” Juran (s. d) “(…) é um trabalho a ser executado, com um objectivo final bem definido” Duffy (2006) “(…) escolar é sempre uma actividade (uma tarefa ou conjunto de tarefas), seja ela realizada por alunos, por professores ou por ambos”. “(…) procura responder a uma interrogação, simples curiosidade ou expressão de um problema; (…) é normal que para o desenvolver se forme um grupo. ” (Freitas, 1997) n “(…) educativo traduz-se na formulação de prioridades de desenvolvimento pedagógico, em planos anuais de actividades (…), devendo ser avaliado” (Freitas, 1997…)

Conceito de avaliação n n n Existem entendimentos diferentes sobre o conceito de avaliação Os vários paradigmas que sustentam as abordagens remetem os avaliadores para diferentes conceitos A pluralidade de sentidos remete para diferentes estratégias e propostas de intervenção

Sentidos atribuídos à avaliação n Avaliar é determinar determinado projecto a n Remete para os resultados n Donald Kirkpatrick (1959) eficácia de um

Sentidos atribuídos à avaliação n Avaliar é averiguar os efeitos de determinado programa em relação aos objectivos pré-estabelecidos, de forma a apoiar a tomada de decisões que resultem na introdução de melhorias n n Remete para tomada de decisões relativas ao processo formativo Weiss (1972), Peter Rossi e Howard Freeman (1993)

Sentidos atribuídos à avaliação n n Avaliar é uma recolha sistemática de informação sobre um conjunto de dimensões de um projecto, sobre as quais se emitem juízos de valor. Remete para a recolha de informação - função utilitária da avaliação n Posição defendida por Michael Patton (1978), R. Brinkerhoff (1983), Barbier (1985)

Sentidos atribuídos à avaliação n Avaliar é uma acção sistemática que permite determinar o valor, o mérito de determinada actividade ou processo de intervenção n n Remete para a apreciação com base em critérios Posição defendida por Jack Phillips (1991) e Stufflebeam & Shinkfield (1995)

Definição de avaliação n “A avaliação educativa é um processo sistemático de obter informação objectiva e útil para apoiar o juízo de valor sobre a planificação, desenvolvimento e os resultados da formação, com o fim de servir de base à tomada de decisões pertinentes e de promover o conhecimento e compreensão dos êxitos e fracasso da formação” (Cabrera, 2003).

Definição de avaliação n Para Stufflebeam (citado por Garcia, 1999) a avaliação “é o processo de conceber, obter e utilizar informação que descreva e julgue o valor, o mérito dos objectivos, concepção, implementação e impacto de um determinado programa, para promover o seu aperfeiçoamento, servir a necessidade de controlo e aumentar o conhecimento”

Duas lógicas avaliativas n Scriven (1967) distingue entre a função formativa e a sumativa: n A primeira tem como propósito o aperfeiçoamento de uma actividade ou programa em funcionamento n n O feedback é integrado no processo formativo A segunda pretende fazer um balanço depois de várias sequências de um ciclo de formação n O feedback é terminal relativamente aos resultados alcançados n Estes são julgados com base nos critérios estabelecidos

Modalidades de avaliação Avaliação diagnóstica n n Avaliação formativa n Avaliação sumativa n Avaliação do impacto

Avaliação diagnóstica n É feita normalmente no início da formação n Tem por objectivos: n n n Orientar os formandos e formadores Verificar os pré-requisitos e o nível de conhecimentos dos formandos Traçar um perfil de entrada dos formandos

Avaliação formativa n É feita ao longo da formação n Tem por objectivos: n n n Fazer com que o formando identifique as suas dificuldades Regular a aprendizagem e a acção do formador Permitir avaliar o grau de envolvimento e interesse dos formandos

Avaliação sumativa n É feita no final da formação n Tem por objectivos: n Verificar o que foi aprendido n Apurar a qualidade da relação pedagógica n Avaliar o resultado final da formação n Certificar

Avaliação de impacto n É feita no local de trabalho n Tem por objectivo: n n Apurar a influência da aprendizagem na valorização humana e técnico-profissional dos formandos e na organização Procura responder às seguintes perguntas n n Os formandos mudaram o seu comportamento? E a organização também mudou?

Componentes da avaliação n n Segundo Figari (1996), a avaliação, com vista à emissão de juízos, põe em confronto duas ordens de dados: o referido e o referente. -transformação de representações factuais em normalizadas… Referido n O que é constatável ou apreensível através do referente n n É o conjunto de elementos representativos do objecto observáveis O que serve para ajuizar sobre um desempenho considerados

Componentes da avaliação Referente n Diz respeito aos critérios que orientam a leitura do objecto a avaliar n É um modelo que estipula o desejado, o esperado, o ideal n Desempenha um papel instrumental na produção de um juízo de valor

Características dos critérios de avaliação n Critério é uma formulação que serve para discriminar, para distinguir os êxitos dos fracassos, ou para emitir um juízo de valor de forma a medir a qualidade de uma avaliação. n abstracção (a evidência, a clareza, a rapidez. . ) n discriminação n Relativamente à clareza convém saber como discriminar uma frase clara de uma pouco clara ou uma frase mais clara do que outra

Características dos critérios de avaliação n operacionalização através de indicadores n Um indicador é uma característica quantitativa ou qualitativa que dá informação sobre o estado e as mudanças de grandeza de um dado objecto n Exemplo - 95% dos alunos sabem diferenciar de um conjunto de frases as mais claras

Avaliação de Projectos Critérios n Os critérios estabelecidos pelo Joint Committee on Standards for Educatinal Evaluation, que visam a orientação, o controlo e regulação do processo avaliativo, agrupam-se em 4 grandes eixos: n O rigor n A utilidade n A exequibilidade n A justiça

Avaliação de Projectos O Rigor n Inclui alguns aspectos, como sejam: n Análise do contexto da formação n Descrição dos objectivos e dos processos de avaliação n Fontes de informação defensáveis (quantitativa e qualitativa) n Informação válida, fiável e sistemática n Conclusões justificadas n Relatório imparcial

Avaliação de Projectos A Utilidade n Reporta-se essencialmente à(ao): n Identificação das audiências e respectivas necessidades n Credibilidade do avaliador n Selecção e abrangência da informação n Identificação e clarificação dos juízos de valor n Conclusão atempada, clareza e difusão do relatório n Impacto da avaliação

Avaliação de Projectos A Exequibilidade n Como a avaliação decorre em contextos reais, exige conduzi-la com: n n n Procedimentos práticos (não perturbadores e facilitadores de cooperação) Validade política (requer imparcialidade na representação de todas as perspectivas e grupos de interesse) Custo-eficácia (de modo que os benefícios justifiquem os recursos dispendidos)

Avaliação de Projectos A Justiça n A avaliação deve: n n n Ser orientada legalmente e eticamente com base num acordo formal que considere e ausculte todos os interessados Considerar os direitos e o bem estar das pessoas envolvidas (respeito pela dignidade humana, auto-estima e pelos sentimentos) Ser completa, apresentando os pontos fortes e fracos

Critérios e indicadores de avaliação de um programa de formação Critérios Indicadores Pertinência Relação com o projecto da organização; Análise prévia de necessidades; Precisão na definição do perfil dos destinatários; Resultados que se esperam alcançar Coerência Relação com o sistema de promoção e desenvolvimento pessoal; Compatibilidade com o funcionamento da organização, dos departamentos. . . Consistência interna Congruência entre os objectivos do plano e outros componentes da formação; Seleccão de modalidades de formação variadas e inovadoras. . . Adequada cobertura Adequação às necessidades de formação de todos os participantes; Variabilidade de actividades formativas

Critérios e indicadores de avaliação de um programa de formação Critérios Indicadores Aceitação Implicação dos actores na planificação; Realização de negociações e de compromissos pertinentes; Adequação dos canais de informação Legalidade Respeito pelas disposições legislativas e regulamentares do sistema de formação; Consistência entre os regulamentos da formação e da organização Eficiência Pertinência dos meios utilizados com os objectivos; Coerência entre os meios aplicados na formação e os meios da organização; Adequação dos meios às necessidades formativas Processo de revisão Actualização do processo formativo; Introdução de actividades inovadoras; Apoio e acompanhamento sistemático

Construção do referencial de avaliação (Figari, 1996) Operação de avaliação = elucidação do pedido n n Qual a origem? n Qual é o contexto e as finalidades da avaliação? Objecto a avaliar n n O quê avaliar? n Que dimensões do objecto vão ser avaliadas? Referentes/Critérios n n Que aspectos representativos do objecto a avaliar vão ser escolhidos para proceder ao julgamento?

Construção do referencial/dispositivo de avaliação (Figari, 1996) Indicadores n n Que índices, que características observáveis são escolhidas para verificar o grau de alcance do critério? Momentos e fontes de informação n n Quando recolher os dados ? n Que instrumento(s) construir ? Interpretação dos resultados n n Que cruzamento de dados efectuar? n Que significados atribuir aos resultados? Divulgar os resultados n n Que dizer aos diferentes actores da avaliação? Como? n Como explorar os dados?

Dificuldades na implementação de dispositivos de avaliação n n Complexidade de alguns modelos Fraca apropriação da teoria avaliativa - “avaliar para aprender a avaliar” A problemática da subjectividade Implementação de intervenções avaliações após o desenvolvimento das acções n Fraco envolvimento dos vários actores n Uso indevido e inconsistência dos dados recolhidos n Fraca sustentabilidade dos processos de avaliação

Olhar sobre as práticas de avaliação n n Definição de um quadro conceptual no domínio da avaliação clarificação de estratégias de intervenção Maior investimento na fase de caracterização do contexto de partida, no momento “antes” do projecto Construção/adaptação de instrumentos determinados aspectos de um projecto que visem avaliar Envolvimento dos vários actores na construção e implementação das estratégias de avaliação (antes, durante e após)

Avaliação de Projetos Formativos O que tem sido? n Tem-se limitado a analisar: - algumas variáveis de entrada (características dos formandos e formadores) - alguns efeitos nos formandos ao finalizar o programa a partir de respostas a questionários n n É preciso juntar outras investigações directas e sistemáticas para indagar os verdadeiros efeitos da formação Sabemos muito pouco o que acontece nos contextos de trabalho

Dimensões da avaliação da formação Barbier (1990) Objecto Meios Perfil de partida: Conjunto de indivíduos no meios, materiais estado Y do utilizados no desenvolviment quadro da sua acção de personalidade transformação no momento pessoal que começa a (Proposta acção de formativa) transformação Relações Resultados Distribuição específica dos papéis e funções mantidos pelos diferentes actores implicados (Proposta pedagógica) Perfil de chegada: indivíduos no estado y+1 do desenvolviment o da sua personalidade no momento em que acaba essa acção

Níveis de avaliação da formação Ryan e Crowell (1982) Níveis de avaliação Exemplos Percepções dos professores Relatórios do professor sobre o que aprendeu Conhecimento do professor Aquisição de conhecimento necessário para aplicar uma nova competência Conduta do professor Capacidade do professor para aplicar uma estratégia, exigindo observação. . . Conduta dos alunos Capacidade do professor para mudar o comportamento dos alunos, para os motivar Rendimento dos alunos Aquisição de conhecimentos, competências ou valores através da utilização de estratégias

Níveis de avaliação da formação Ryan e Crowell (1982) Níveis de avaliação Exemplos Percepções dos professores Relatórios do professor sobre o que aprendeu Conhecimento do professor Aquisição de conhecimento necessário para aplicar uma nova competência Conduta do professor Capacidade do professor para aplicar uma estratégia, exigindo observação. . . Conduta dos alunos Capacidade do professor para mudar o comportamento dos alunos, para os motivar Rendimento dos alunos Aquisição de conhecimentos, competências ou valores através da utilização de estratégias

Que informação recolher em cada nível de avaliação ? Mudanças /Métodos Conhecim ento Pre e Pos teste x Questionár Observaçã io o x Opiniões/ sentiment os x Conduta dos alunos x x x Análise Document al Outros métodos x x Competên cias Rendimen to alunos Entrevista x x x x x

Bibliografia Barbier (1990). A avaliação em formação. Porto: Ed. Afrontamento Figari (1996). Avaliar: que referencial? Porto: Porto Editora Flor Cabrera, A. (2003). Evaluación de la formación. Madrid: Ed. Síntesis Freitas, C. V. (1997). Gestão e avaliação de projectos nas escolas. Lisboa: Instituto de Inovação Educacional Garcia (1999). Formação de Professores. Porto Editora (pp. 212 -222) IQF (2006). Guia para a avaliação da formação. Lisboa: IQF Kirkpatrick, D. & Kirkpatrick, J. (2005). Evaluating training programs - The four levels. San Francisco: Berrett-Koehler Publishers Rodrigues P. (2002). Avaliação da formação pelos participantes em entrevista de investigação. Lisboa: FCG