Avaliao Educacional Externa Conceito e utilidade da avaliao

Avaliação Educacional Externa Conceito e utilidade da avaliação em larga escala. Juliana Frizzoni Candian Coordenação de Análise e Publicações

O que é avaliar? É refletir sobre uma determinada realidade a partir de dados e informações, e emitir um julgamento que possibilite uma ação.

Tipos de Avaliação Diagnóstica Interna Escola Externa Sistemas Formativa Interna Escola Pequena escala Somativa Externa Sistemas Interna Escola Larga escala Externa Sistemas

AVALIAÇÃO EDUCACIONAL Avaliação Interna/Escola Avaliação Externa/Sistemas Processo da aprendizagem Desempenho dos alunos Provas abertas Provas objetivas Observação/Registro Portfólio Testes de proficiência Questionários contextuais TEORIA CLÁSSICA TEORIA DA RESPOSTA AO ITEM

A diferença entre a avaliação interna e externa está principalmente na metodologia e no que podemos fazer com os resultados. Como avaliar? Especificação da ferramenta O que fazer com a avaliação? Uso da ferramenta

TCT v. s. TRI

PRINCIPAIS CARACTERÍSTICAS Comparações TCT TRI Nome da medida Percentual de acerto, ou soma de pontos simples. Proficiência - Medida de desempenho. O que avalia Avalia o processo de aprendizagem e pode proporcionar uma medida desses processos ‘in loco’. Produz uma medida de desempenho que leva em consideração toda a trajetória escolar do aluno. Unidade de Interesse O teste. Os itens. Comparabilidade Limitada; para preservar a comparabilidade, deve ser utilizado o mesmo teste. É possível variar os testes, desde que existam itens em comum.

PRINCIPAIS CARACTERÍSTICAS Comparações TCT TRI As medidas de dificuldade dos itens são Característica da subjetivas e não é possível estabelecer objetivas e tem correlação com a medida uma conexão precisa entre a proficiência. Por isso, é possível inferir DIFICULDADE dificuldade do item e o nível de a proficiência a partir desse parâmetro. domínio das habilidades do aluno. Montagem do teste Acerto ao acaso O teste deve conter um percentual mínimo de itens comuns. É balanceado A montagem do teste segue critérios de acordo com as características da subjetivos e depende do julgamento do população, com o número adequado elaborador e dos objetivos da avaliação. de itens fáceis, de dificuldade intermediária e difíceis. Na TCT o acerto ao acaso não é controlado. Em um item de múltipla resposta com cinco opções, a chance de acerto ao acaso é de 20%. O parâmetro “C” nos confere a probabilidade de acerto ao acaso, que permite inferir se o item foi acertado por “sorte”. Apropriação dos Não é possível saber claramente o nível Permite saber o nível de domínio de resultados de domínio do aluno nas habilidades cada habilidade a partir da proficiência. avaliadas.

Contribuição da avaliação em larga escala 2. 1. Diagnóstico do desempenho e fatores que interferem nesse desempenho no universo avaliado. Acompanhamento / monitoramento da qualidade da educação ao longo do tempo. 3. Definição de subsídios para a formulação de políticas educacionais - foco qualidade e equidade. 4. Promoção de melhorias na relação com orgãos centrais e escolas e no ensino ofertado pela rede como um todo.

Sistemas Próprios de Avaliação Melhorar a qualidade da educação com promoção da equidade Menor periodicidade entre os ciclos avaliativos (ciclos anuais de avaliação) Por quê? Rapidez no acesso às informações (menor tempo de processamento da base de resultados) Desenho próprio da avaliação com vistas ao atendimento das necessidades específicas

Sistemas Próprios de Avaliação do efeito das políticas públicas implementadas Alinhamento entre Currículo, Ensino e Avaliação Para quê? Inclusão de outras séries e áreas do conhecimento na avaliação Divulgação, apropriação e uso dos resultados com foco na identidade escolar Estabelecimento de metas próprias e de padrões de desempenho estudantil

Como funciona a avaliação em larga escala?

O que é avaliado?

Matriz de Referência @@@@@ INSERIR TABELA COM CORTES DE PADRÕES @@@@@

Como os testes são montados? Itens Organizados em blocos Distribuídos em vários cadernos

O item e suas partes Enunciado Suporte Comando Alternativas de resposta Gabarito Distratores

Como os testes são corrigidos? Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para correção dos testes aplicados pelo CAEd

Como os testes são corrigidos? Ilustrando o Parâmetro C 2+2 2 x 3 2/7³ 2² x (√ 3)

Como os valores de proficiência são gerados? Exemplo hipotético Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer.

Ordem 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Item SIM Quando dorme, você costuma ficar com os pés para fora da cama? Você costuma descer as escadas de dois em dois degraus? Você acha que se daria bem em um time de basquete? Você considera o degrau do ônibus alto para você? Você se sente desconfortável sentado no banco de trás de um carro? Você costuma ter que olhar para seus colegas de cima para baixo? Você é capaz de pegar um objeto no alto de uma armário sem subir em uma escada ou cadeira ? Você abaixa quando vai passar por uma porta? Você consegue guardar a bagagem de mão no porta bagagem do avião? Você regula o banco do carro para trás quando vai dirigir? Normalmente quando você está andando de carona lhe oferecem o banco da frente? Quando você e várias pessoas vão tirar fotos, formando-se três fileiras, onde ninguém ficará agachado, você costuma ficar atrás? Você tem dificuldade para se acomodar no ônibus? Em uma fila, por ordem de tamanho, você é sempre colocado para trás? Dentro do cinema as pessoas costumam atrapalhar sua visão? Você precisa subir a altura da cadeira quando se senta à mesa do computador? Você consegue mudar a temperatura do chuveiro sem subir em alguma coisa ou utilizar algum objeto? Quando compra calças, precisa diminuir o comprimento delas? Você consegue ficar montado normalmente em uma moto pequena? Na sala de aula você costuma (ou costumava) sentar nas primeiras fileiras? NÃO

Exemplo de escala para a altura de uma pessoa • Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus? • Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada? • Item 3 Para conversar com as pessoas, você precisa olhar para baixo? Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Sim Não Leonardo Sim Sim

Exemplo de escala para a altura de uma pessoa Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Sim Não Leonardo Sim Sim Carolina 1, 5 1, 6 1, 7 Item 1 Item 2 Priscila Leonardo 1, 8 1, 9 Item 3

Exemplo de escala para a altura de uma pessoa Como todas essas questões estão associadas à altura da pessoa. . . Alcançar prateleira superior Dormir com pés para fora da cama Alcançar malas no bagageiro 1, 60 m 1, 70 m 1, 80 m 1, 90 m . . . podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

Ordem 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Item SIM Quando dorme, você costuma ficar com os pés para fora da cama? Você costuma descer as escadas de dois em dois degraus? Você acha que se daria bem em um time de basquete? Você considera o degrau do ônibus alto para você? Você se sente desconfortável sentado no banco de trás de um carro? Você costuma ter que olhar para seus colegas de cima para baixo? Você é capaz de pegar um objeto no alto de uma armário sem subir em uma escada ou cadeira ? Você abaixa quando vai passar por uma porta? Você consegue guardar a bagagem de mão no porta bagagem do avião? Você regula o banco do carro para trás quando vai dirigir? Normalmente quando você está andando de carona lhe oferecem o banco da frente? Quando você e várias pessoas vão tirar fotos, formando-se três fileiras, onde ninguém ficará agachado, você costuma ficar atrás? Você tem dificuldade para se acomodar no ônibus? Em uma fila, por ordem de tamanho, você é sempre colocado para trás? Dentro do cinema as pessoas costumam atrapalhar sua visão? Você precisa subir a altura da cadeira quando se senta à mesa do computador? Você consegue mudar a temperatura do chuveiro sem subir em alguma coisa ou utilizar algum objeto? Quando compra calças, precisa diminuir o comprimento delas? Você consegue ficar montado normalmente em uma moto pequena? Na sala de aula você costuma (ou costumava) sentar nas primeiras fileiras? NÃO

Uso da TRI na produção das medidas A TRI nos permite: Comparar resultados de diferentes avaliações, como o SAEB. Avaliar com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetê-los a longos testes. Comparar os resultados entre diferentes séries, como o início e fim do Ensino Médio.

A escala de proficiência: Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência. Isso permite colocar numa mesma “régua” – escala – todas as habilidades. Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho.

Escala de Proficiência A nossa “régua” para o desempenho @@@@@ INSERIR CÓPIA DA ESCALA @@@@@

Como interpretar os resultados de proficiência? Uma das formas mais simples e objetivas de se analisar os resultados da avaliação é através dos padrões de desempenho. Estes padrões representam recortes na escala de proficiência, definidos a partir dos objetivos e metas de aprendizagem de cada etapa e disciplina avaliada.

Dimensões avaliadas

Avaliação Educacional Externa www. caed. ufjf. br jfcandian@caed. ufjf. br