CFeL Centro de Formao eLearning aco de formao

CFe-L Centro de Formação e-Learning acção de formação A Avaliação na Educação Permanente Cláudia Preguiça Frederico Serrano Lina Pereira

Introdução currículo Objectivos Projectos Programas de Educação

Mas… como conhecer a qualidade e a eficiência deste trabalho? A Avaliação é a resposta, pois ela permite conhecer os resultados do processo ensino – aprendizagem e ao mesmo tempo estabelecer os ajustes necessários. � A avaliação não é uma tarefa pontual; é um instrumento que permite captar o que se aprendeu no sentido mais genuíno. � As organizações educativas (formais e informais) acontecem em contextos sociais de natureza dinâmica e interactiva. �

Uma finalidade primordial está patente nos projectos de Educação Permanente: desencadear uma aprendizagem significativa nos discentes. � A avaliação da realidade educativa é sistemática, o que significa considerá-la como Ordem/Organização; desta forma introduz o conceito de avaliação do currículo e portanto, na Avaliação da Educação Permanente não serão objecto de contraste só os processos de ensino aprendizagem, mas todas as variáveis contextuais que incidem com estes processos.

Indicam-se as diferentes posições teóricas a respeito do sentido da avaliação qualitativa do currículo e analisam-se os problemas subjacentes à definição estratégica da avaliação, os descritores seleccionados e a recolha de dados. � Finalmente, analisam-se as provas que se podem utilizar em cada caso. � Os instrumentos Qualitativos devem integrar-se com outros que sejam de natureza Quantitativa. �

O Sentido de Avaliação e as Escalas de Medida

� A avaliação para além de ser considerada como sistema na perspectiva da educação permanente, pode ser analisada através da acção do formador cujo efeito se reflecte nos formandos. Valorizar esta acção supõe sempre uma forma de avaliação e neste caso o que há a destacar será avaliar a qualidade do processo ensino-aprendizagem.

� A tarefa de avaliar é uma tarefa difícil porque se centra em grande parte nos comportamentos humanos e sociais que não são observáveis directamente. Neste sentido o avaliador terá que fazer uma avaliação mais técnica utilizando indicadores que sejam do seu interesse: guias verbais lógicos ou numéricos segundo regras específicas.

� A realidade da formação que se deseja avaliar é complexa na medida em que há um conjunto de pessoas com características biológicas diversificadas e contextos de vida também eles diversos. � A componente humana e social tem grande importância na educação permanente e o educador/formador social tem que estar apto a avaliar não só o currículo explícito/exterior mas também o currículo oculto dos seus formandos.

� É criticável a impossibilidade de se fazer uma avaliação estritamente empírica/prática uma vez que os comportamentos humanos e sociais não são directamente mensuráveis; sendo isto uma realidade a avaliação acaba por se realizar a partir de análises elaboradas expressamente ao comportamento dos formandos.

� Perante esta dificuldade o educador deve definir os objectivos específicos que facilitarão a tarefa de encontrar as competências que se devem avaliar; como se pretende avaliar sobretudo o comportamento o avaliador terá que utilizar verbos de acção que permite a concretização da sua tarefa.

� A expressão humana e social manifesta-se pela comunicação sendo esta uma dimensão fundamental de onde emerge a necessidade de criar um sistema de signos que expliquem a realidade e a relação entre significante e significado. Os modelos básicos, icónicos e análogos são modos de expressar a realidade, modos de representação do real. Através destes indicadores o formador pode colocar questões às quais o aluno deve responder, questões essas que serão de natureza diversa: verbal, numérica, plástica, dinâmica, humana, social, transcendental…

� Para a avaliação do programa da educação permanente não só a natureza dos indicadores e o nível dos dados obtidos têm importância, mas também outras propriedades que se devem avaliar por exemplo ao nível de conhecimentos. Para tal existem possíveis níveis de medição: numérica, ordinal, de intervalo e de inteligência.

� Os dados que são obtidos a nível numérico caracterizam-se por uma propriedade: a distinção. Por exemplo: numa turma assinalar as alunas com o número 1 e os alunos com 0. � O indicador numérico só expressa a distinção entre homens e raparigas. Permite fazer a comparação entre um e outro conjunto; subdividindo-os em subconjuntos a partir de uma turma definida. Esta classificação serve apenas para distinguir e não apenas para dar um valor superior aos homens ou às mulheres.

� Quanto à medição nominal ela caracteriza-se pela distinção e pela ordem o que permite indicar diferenças a respeito de um atributo ou propriedade de uma coisa. Exemplo: numa prova de conhecimentos de matemática esta medição permitirá afirmar que o estudante A conhece melhor os objectivos que o B e o C. Assim conhece-se a relação que cada um ocupa na turma relativamente aos demais colegas.

� A escala de intervalo caracteriza-se pela distinção pela ordem e pela identidade o que significa que identifica diferenças relativas a uma dada característica ou atributo. Não é uma escala convencional no absoluto, de tal maneira que o pontuação de 0 não significa a ausência total de uma competência que se queira avaliar. A escala de intervalo caracteriza-se por ter uma unidade de medida comum e constante.

� Em quarto lugar temos a medida de razão ou quociente constituído pelas características da medida anterior (distinção, ordem e identidade). Este nível não é utilizado no âmbito da educação permanente. � Utilizam-se com frequência as escalas nominal, ordinal e por vezes a escala de intervalo e em todos os níveis podem ser usados descritores numéricos.

Crítica à avaliação � A avaliação tem sofrido uma crítica sobretudo no passado mais imediato, pela ênfase do avaliador em controlar o resultado, ao tomar esta atitude retira qualidade à avaliação. Preocupa-se demasiado com a técnica e não reflecte sobre os objectivos, projectos e programas fundamentais da educação permanente; estes factores contribuíram para uma visão negativa a nível pedagógico. A perspectiva curricular de natureza racional, o sentido antropológico e principalmente a ausência de reflexão sobre os objectivos da educação (a partir do séc. XIX) e a euforia científico-tecnológica deram lugar a uma avaliação primordialmente social e não tanto pedagógica.

� A avaliação do formador social necessita de fundamentar-se e partir de uma avaliação dos programas e projectos educativos desde a perspectiva antropológica e social a todos os níveis dimensões e variáveis, tendo-os em conta na sua planificação e realização temporal. Deve-se ter em conta os parâmetros da estrutura da pessoa humana com o objectivo de incorporar na sua planificação não só os valores históricos e culturais mas também a natureza ontológica do ser humano. A avaliação para ser formativa tem que se orientar principalmente a partir do que acontece em contexto de aula, isto é, deve começar com um diagnóstico inicial prévio das necessidades (potencialidades e carências às quais o projecto e o programa da educação permanente serve).

� Para além disto o sistema de avaliação tem que considerar que esta é realizada de forma progressiva e contínua, através de todo um processo que exige avaliar aspectos menos positivos e os resultados finais. � Considerar a avaliação de forma sistemática implica compreendê-la de forma aberta.

ESTRATÉGIAS DE AVALIAÇÃO INTEGRADORA � O termo “currículo” significa o envolvimento de todos os elementos de um sistema educativo. Nele se integram os seus fins, filosofia ou carácter da própria organização, a estrutura funcional, o corpo docente, os objectivos gerais e específicos, os conteúdos, a metodologia, os recursos didácticos, o tempo e o espaço, os processos e actividades de ensino- aprendizagem e a avaliação. A avaliação do currículo deve ter em conta todos estes elementos.

� A avaliação “qualitativa” significa não só avaliar cientificamente, mas também que se devem incorporar outros procedimentos que procurem avaliar aspectos de natureza crítica e interpretativa.

� A expressão “currículo oculto”, por outro lado, significa que às variáveis dos factores formais do sistema educativo, se deveriam acrescentar outros que não estão expressos nas leis e nas normas das organizações educativas. O “currículo oculto” significa currículo não manifesto”, latente, tácito, não explícito e silenciado.

O educador pode questionar-se: � As aprendizagens significativas para os alunos têm origem no currículo explícito ou no oculto? � Quais os factores que influenciaram mais a personalidade de uma pessoa? Terão sido as aprendizagens “da rua” ou as da “aula”?

� Estas e outras muitas perguntas que poderíamos formular põem em relevo a importância que no significado de “aprendido” tem a qualidade dos processos associados aos projectos e programas de formação: a avaliação deve orientar-se primeiramente na valorização da qualidade dos mesmos.

O ESTATUTO EPISTEMOLÓGICO DA AVALIAÇÃO QUALITATIVA � A avaliação qualitativa permite uma avaliação mais próxima da prática educativa, e nesse sentido se afigura como sendo um caminho adequado para resolver o problema mais antigo da ciência da educação, a dissociação entre teoria e prática. Esta implica ter em conta outros factores como o contexto, o estilo de ensino, o ambiente da sala de aula, entre outros.

Os modelos de avaliação do currículo podem agrupar-se da seguinte forma: a) auto-biografia/biografia (descreve o impacto das actividades curriculares no estudante); b) estudo de casos (relação entre currículo e os diversos contextos); c) crítica educativa (apresenta uma perspectiva prática do currículo, destacando três momentos: descrição, interpretação e avaliação); d) aproximação etnográfica (relação entre a natureza do programa vs cultura aberta);

e) avaliação iluminativa (relação entre processo vs currículo); f) avaliação crítica da ciência (numa perspectiva Marxista, assinala a necessidade de uma mudança entre a a teoria e a prática); g) avaliação gráfica ou descritiva (criar uma experiência); h) avaliação de resposta (relação entre o programa de actividades e as exigências dos alunos aos quais se destina, estabelecendo variedade de perspectivas avaliadoras).

Ao longo da história da Ciência da Educação têm sido vários os esforços de integração destas duas formas de avaliação, podendo salientar-se quatro procedimentos técnicos de integração associados à prática avaliadora e investigadora: a) sequencial (quantitativa – qualitativa); b) em paralelo (simultaneamente); c) mistos (segundo a natureza do objecto); d) ciclicamente (por ciclos sucessivos).

CRITÉRIOS GERAIS DE AVALIAÇÃO � A avaliação formativa premeia mais os esforços do que os ganhos, dando relevo à importância da avaliação diagnóstica como hipótese de uma expectativa de êxito. A avaliação formativa identifica, primeiramente, necessidades, interesses, potencialidades.

� A avaliação da qualidade dos processos de ensinoaprendizagem exige aos educadores sociais que se avaliem não só as diversas variáveis curriculares (objectivos, conteúdos, personalidade dos docentes que directamente actuam, a metodologia didáctica utilizada, recursos didácticos empregados, etc. ) mas também as interacções que se produzem sempre entre elas e cada contexto social envolvente, interior e exterior à organização, e que aliás variam nos diversos níveis e dimensões do sistema educativo geral.

� A avaliação final também é necessária, mas não de forma primária, já que reconhece o domínio do que foi aprendido. Permite a reorganização do programa e projecto de educação permanente, ou seja, o seu aperfeiçoamento contínuo. Que critérios, em suma, podem permitir ao educador social orientar de forma prática a sua acção avaliadora? Os critérios podem ser os seguintes: �

� � � � a avaliação não pode perder do seu horizonte a dignidade antropológica do discente; a avaliação tem que ser inicial, contínua e final; valoriza principalmente a qualidade dos processos; integra diversos instrumentos segundo a natureza do conteúdo objecto da avaliação em cada caso; a avaliação está sujeita mais ao critério do que à norma (grupo normativo); facilita a recuperação ou retroinformação dos processos e os programas; premeia mais os esforços do que os resultados.

CRITÉRIOS PRÁTICOS PARA A ELABORAÇÃO DE PROVAS DE AVALIAÇÃO � Um instrumento prático para construir provas de avaliação é a tabela de especificações, que é de dupla entrada, onde se relacionam objectivos e conteúdos para verificar que os conteúdos são suficientes e significativos em relação a cada objectivo. Uma cruz (X) é suficiente para anotar onde essa interacção de dá, em casas elaboradas para esse fim.

� Para além da tabela de especificações, podem-se assinalar alguns critérios comuns para a elaboração das mesmas: a) definir as matérias, na sua essência, a estudar com precisão; b) identificar as categorias básicas; c) a selecção dos elementos ou itens, isto é, as perguntas ou exercícios a resolver. d) a duração da prova; e) a construção de uma folha de respostas; f) as instruções; g) a formulação dos elementos; h) a forma definitiva da prova.

Características Técnicas: Fiabilidade, validade e tipificação � Os formadores devem saber que os instrumentos de avaliação podem conter erros, quer sistemáticos ou aleatórios e deve tentar minimiza-los ao máximo. � Os sistemáticos surgem por deficiência interna das provas; os aleatórios por influências diversas cujos efeitos são imprevisíveis. � Perante este facto o objectivo do formador deverá ser verificar a fiabilidade e validade da prova que utiliza.

Fiabilidade O conceito de fiabilidade dentro da avaliação tem várias acepções: estabilidade que significa que durante um período de tempo os dados são os mesmos. � O índice matemático para fazer a sua estimativa é o coeficiente de estabilidade. � A suficiência e a representatividade a respeito dos comportamentos do grupo/turma que definem a variável a avaliar chama-se fiabilidade como equivalência. O erro que supostamente pode surgir é devido à falta de equivalência entre os elementos que constituem a prova; e também pelas diferença prévias dos alunos ao nível da maturidade da experiência e transmissão social. � O índice numérico que corresponde a esta situação é o coeficiente de equivalência. �

� A fiabilidade enquanto consistência interna diznos que os seus elementos têm que ser equivalentes entre si: o coeficiente correspondente é o de correspondência interna. � Para se alcançar a fiabilidade há que utilizar estratégias elaborando provas repetidas, paralelas (equivalentes) e provas cujos conteúdos são subdivididos (duas metades – partes)

Validade � A validade das provas é muito importante. Uma prova é válida quando mede apenas o que pretende medir. Os tipos de validade desejáveis (conteúdos, elaboração de estratégias pedagógicas e didácticas) serão os representativos dos elementos da prova a respeito da variáveis específicas que são objecto de avaliação e que serão analisados pelos especialistas na matéria e quando necessários serão sujeitas a procedimentos estatísticos.

� O coeficiente da validade é próprio deste procedimento, é determinante para facilitar a compreensão do trabalho realizado. � Outros coeficientes podem ser calculados no ponto de vista da educação permanente como por exemplo o coeficiente da alienação, por exemplo variáveis externas/estranhas que se apresentem à prova com vista a realizar aqui está presente o coeficiente previsível

� As pontuações obtidas numa prova de avaliação são chamadas pontuações directas. Estas pontuações não se podem referir ao grupo em geral a que pertence um determinado sujeito; aliás a diferença das provas quanto ao número de elementos e à diversidade das pontuações directas exige uma tipificação. A transformação das percentagens em pontuações directas permite comparar as obtidas nas diferentes provas. As pontuações em percentagem são as mais usadas e as mais antigas são as cronológicas.

� Quando as amostras são equivalentes empregam -se pontuações típicas (NS, Suf. , Bom, Mb). Estas pontuações tipificadas permitem situar o aluno dentro do grupo, caracterizando-o. � Normalmente as pontuações sob percentagem apresentam falta de unidade e consistência; neste sentido as pontuações devem apresentarse segundo uma ordem.

Inventário de Tipos de Instrumentos de Avaliação O formador deve ter conhecimento da diversidade do tipo de provas de avaliação que pode utilizar para seleccionar a mais adequada a cada programa ou projecto da educação permanente. � Só deve elaborar uma ficha/grelha onde registe as experiências de vida dos formandos se em contexto de formação surgirem situações concretas. Neste caso esta ficha poder-se-á tornar didacticamente importante e desencadear uma aprendizagem mais significativa. A ser necessária esta ficha permite identificar áreas de desenvolvimento nos processos de aprendizagem para as diversas subunidades temáticas que fazem parte de uma programação didáctica. �

� A experiência como formador confirma que determinadas experiências metodológicas estimulam a motivação da aprendizagem. Quando assim é deve fazer-se uma descrição pormenorizada do tratamento com especial referência ao nível, curso, objectivo e conteúdos desenvolvidos. Este procedimento é o mais valioso do trabalho docente/formador, uma vez que permite obter um conjunto de experiências para responder adequadamente a todos os núcleos temáticos.

� A análise tarefas consiste na observação das actividades que os alunos realizam. Tem que haver coerência entre as tarefas, os objectivos, os conteúdos e a metodologia implementada; por vezes a estrutura dos programas formais falha e isso causa problemas na recolha de informação para avaliar.

A análise da composição escrita, o modo de ilustração, diferencia-se em vários aspectos: A) Conteúdo (sistematização de ideias, clareza de pensamento); � B) Elementos de Expressão (vocabulário usado, variedade de frases, riqueza da exposição); � C) Estrutura (correcção das frases e sua divisão); � D) Aspectos Mecânicos (ortografia e pontuação). �

� As escalas de produção séries graduadas de trabalhos orientados através da análise de tarefas com níveis de comparação para apreciar trabalhos similares realizados por outras pessoas. A comparação é feita segundo critérios previamente estabelecidos, perante uma escala de correspondência e tem a seguinte sequência:

� 1) Aplicação da prova a uma amostra grande e representativa; � 2) Análise e valorização dos trabalhos; � 3) Identificação dos trabalhos-tipo; � 4) Especificação dos níveis ou escalões

O problema fundamental centra-se no procedimento da tarefa que se estuda, concretamente em estabelecer níveis que se diferenciem com qualidade. � Analisar documentos é uma técnica de avaliação e investigação que descreve de forma objectiva, sistemática e quantitativa o conteúdo da comunicação. Supõe os traços da personalidade, estão implícitos nas realizações humanas; trata pois de investigar, tornar claro os valores, aptidões e atitudes subjacentes. Os trabalhos escritos elaborados na turma expressam através da sua estrutura e conteúdo informações muito valiosas muitas vezes superiores aos questionários de personalidade. �

A análise de conteúdo pode ser diferenciada didacticamente, de duas maneiras: � 1) Comparação com um paradigma ou modelo; � 2) Análise do trabalho em si mesmo.

Exemplo, tabela 1: Objecto ou variável a avaliar: autoconceito do aluno adulto Variável a observar Tem confiança em si próprio É decidido nas tarefas É seguro nas suas decisões Enfrenta os problemas de forma positiva Assume as consequências dos seus actos Tem esperança no futuro Sim Não Talvez

A metodologia para realizar este processo pode ser a seguinte: � � � 1) Formulação do problema; 2) Selecção de documentos; 3) Especificação da unidade de análise; 4) Determinação das categorias de análise; 5) Definir regras para assinalar os dados e as categorias; 6) Verificação de hipóteses e conclusões.

� As listas de controlo são provas ou instrumentos técnicos de avaliação; são direccionadas a um objectivo ou variável que se deseja avaliar, comprovando a sua ausência ou presença. São classificadas da seguinte forma: sim, não, talvez. � A objectividade de elaboração e observação melhora se se trabalhar em grupo ou equipa de professores/formadores.

� A observação deve realizar-se durante um período de tempo, estabelecendo previamente momentos significativos de avaliação. � A capacidade para observar e o treino dos observadores favorece a validade dos dados. Os observadores devem tirar os seus dados individualmente. � As escalas de estimativa contêm três questões básicas operativas na definição das turmas e dos problemas; estas são semelhantes às listas de controlo.

Podem classificar-se diversos tipos de turmas: � A) Escala gráfica; � B) Escala numérica; � C) Escala verbal. A elaboração de uma escala de estimativa implica uma série de decisões: a planificação prévia, que supõe a definição específica do objectivo ou variável. A homogeneidade destas dimensões permite a unidade da escala. A decisão a respeito do número exige que as categorias sejam exclusivas e exaustivas. � Não devem de existir muitos escalões, porque seria muito difícil estabelecer limites; nem poucos, porque aí não se conseguiriam distinguir. �

� A entrevista é considerada técnica quando é instrumentalizada para reconhecer os dados de forma directa. Esta resulta numa relação interpessoal; é estruturada; supõe que as perguntas se formulem individualmente, anotando -se e codificando-se textualmente. � A resposta fechada evita erros e facilita a interpretação; quando é aberta a riqueza da informação é qualitativamente superior, mas aumenta a dificuldade de tratamento de dados

� A entrevista não estruturada tem obviamente maior flexibilidade, permite apreciar os aspectos afectivos, a série de perguntas vai variando de acordo com as respostas. O estudo de casos no âmbito educativo, permite a sua utilização. As vantagens da entrevista a respeito do questionário são as seguintes: 1) As perguntas são contestadas por uma maior percentagem de estudantes; � 2) Cria-se um clima de maior segurança e confiança; � 3) A flexibilidade permite obter uma maior informação, através da voz, do gesto, comentários, etc. aprecia-se melhor a sinceridade das respostas; podem-se pedir esclarecimentos e inclusivamente colocar perguntas contraditórias. �

� A natureza do questionário tem que ser de uso quase universal. Consiste na operacionalização de uma variável ou objectivos numa série de perguntas escritas. � A elaboração segue três sequências clássicas: A) Definição específica da variável ou objectivo; � B) Especificação de categorias ou aspectos principais da dita variável ou objectivo; � C) Transformação em perguntas escritas. �

� Considerações gerais a ter em conta: 1) A amplitude pode variar segundo a dificuldade e interesse de quem as recebe; 2) A colocação de perguntas pode seguir uma ordem lógica, segundo unidades temáticas; 3) Os alunos têm de conhecer os objectivos da prova e a importância; 4) Eleição e selecção de elementos; 5) As respostas têm em conta as normas de codificação universais e os modelos para tratamento informático dos dados.

Vantagens do questionário em relação à entrevista: � � � 1) É mais económico o questionário; 2) É mais fácil a sua preparação e aplicação; 3) Maior uniformidade; 4) O carácter anónimo do questionário favorece a sinceridade da resposta e aumenta a validade; 5) Responde-se com maior serenidade e tranquilidade; 6) Maior facilidade de registo e codificação.

� As provas objectivas pretendem evitar a subjectividade do momento na recolha dos dados; estas são constituídas por uma série de perguntas, elementos ou itens relativas a uma variável ou objectivo. Tendo em conta o critério do tipo de resposta classificam-se como: A) Provas de resposta breve e de complemento; � B) Provas de resposta alternativa (V, F); � C) Provas de associação (relacionamento); �

D) Provas de ordenação (lógico, psicológico, social, etc. ); � E) Localização e identificação; � F) Provas de escolha múltipla. � � Estas últimas provas permitem avaliar: conhecimento, compreensão, aplicação, análise e avaliação critica.

� Os critérios gerais de elaboração de provas objectivas: � - objectivo a avaliar com a prova; - condições de aplicação; - conteúdos; - tipos de itens ou elementos; - normas de correcção. � �

Prova objectiva tipificada Exemplo: Teste de Inglês Test Fue. � A tipificação supõe a especificação de normas estandardizadas que permitem estabelecer comparações entre as pontuações obtidas pelos indivíduos a quem se aplicou a prova. � Segundo o objecto material podem-se classificar os testes pelo: � A) Rendimento; � B) Aptidão ( psicológica, prática); � C) Personalidade: sintética (personalidade total) analítica (atitudes, interesses, valores, emoções). �

Pelo meio podem ser: � A) objectivos; � B) Expressivos; � C) Projectivos; � D) Subjectivos; � E) Circunstanciais. Pelo número de indivíduos podem ser: � Individuais; � Colectivos.

� A realização do teste exige um estilo cuidado, as normas de aplicação e correcção têm que ser unívocas no seu significado; têm que decidir, ser claras, precisas e concisas. � Quando se aplica aprova pela primeira vez, é aconselhável ler as instruções, indicando a finalidade da avaliação, o tempo de que dispõem, como e onde contestar. É necessário também preparar a grelha de respostas e correcção.

� A grelha de correcção economiza tempo; a melhor forma de correcção e mais usual tem algum procedimento mecânico-informático. � Conhecer a opinião dos alunos a respeito da prova realizada resulta de uma sequência obrigatória do ponto de vista prático. � Surgem sempre observações valiosas quando se motiva adequadamente.