SAETHE 2015 Oficina de Apropriao de Resultados GESTORES

SAETHE 2015 Oficina de Apropriação de Resultados

GESTORES E COORDENADORES

Objetivos • Promover a compreensão e a interpretação dos resultados da avaliação, com foco na escola. • Preparar o participante ao uso dos resultados da avaliação educacional em larga escala, identificando as possibilidades e os limites no contexto de trabalho.

Primeiras ideias • Apropriar-se dos Resultados, objetivo desta formação, diz respeito a apoderar-se de algo que ainda não lhe pertence. • Apropriar-se não se confunde com o conhecimento dos resultados. • Para compreender o SAETHE, seus limites e possibilidades, e utilizar, de maneira eficaz, os resultados produzidos pela avaliação, é importante conhecer e entender as etapas que constituem todo o processo de avaliação educacional em larga escala.

Etapas da avaliação 2 1 5 • Determinação da população a ser avaliada • Análise dos resultados: TRI e TCT • Produção dos resultados • Construção e interpretação das Escalas de Proficiência • Divulgação dos resultados • Elaboração da Matriz de Referência • Construção de itens • Pré-testagem dos itens • Análise estatística e pedagógica dos itens 4 3 • Montagem dos cadernos de testes (BIB) • Elaboração dos testes • Elaboração dos questionários contextuais • Aplicação dos instrumentos • Processamento e constituição da base de dados da avaliação

Instrumentos da avaliação • • MATRIZ DE REFERÊNCIA ITEM PADRÕES DE DESEMPENHO NÍVEIS DE DESEMPENHO

Matriz de Referência • É formada por um conjunto de habilidades que tem como fonte as Orientações Curriculares da rede e dá origem aos itens que compõem os testes das avaliações em larga escala. • Pode ser compreendida como um recorte do currículo e, por isso, não deve ser confundida com o mesmo.

Matriz de Referência

Matriz de Referência TÓPICO: agrupamento de um conjunto de habilidades indicadas pelos descritores, que possuem afinidade entre si. COMPETÊNCIA: subdivisão do tópico. DESCRITORES: detalhamento das habilidades

Instrumentos da avaliação • • MATRIZ DE REFERÊNCIA ITEM PADRÕES DE DESEMPENHO NÍVEIS DE DESEMPENHO

Item • É uma “questão” do teste de proficiência. • É unidimensional. • Pode ser dicotômico ou politômico. • Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele.

Item Língua Portuguesa – Leitura Enunciado: estímulo para que o aluno mobilize recursos cognitivos, visando solucionar o problema apresentado Comando: texto relacionado à habilidade queimagem se desejae/ou avaliar, Suporte: texto, outros Distratores: delimitando clareza a tarefa recursos que com servem de base paraaaser alternativas realizadaresolução do item incorretas, mas plausíveis, porque Gabarito: alternativa correta. devem referir-se a raciocínios possíveis

Instrumentos da avaliação • • MATRIZ DE REFERÊNCIA ITEM PADRÕES DE DESEMPENHO NÍVEIS DE DESEMPENHO

Padrões de Desempenho • Constituem uma caracterização de competências e habilidades desenvolvidas pelos estudantes de determinada etapa de escolaridade, em uma disciplina/área do conhecimento específica. • São agrupamentos a partir da proficiência obtida nas avaliações em larga escala por meio da Teoria de Resposta ao Item (TRI).

Padrões de Desempenho Os alunos demonstram um desenvolvimento ainda incipiente das principais habilidades associadas à etapa de escolaridade, de acordo com a Matriz de Referência. Nos testes, tendem a acertar apenas aqueles itens que avaliam as habilidades consideradas basilares, respondidos corretamente pela maior parte dos alunos e, portanto, com maior percentual de acertos. ABAIXO DO BÁSICO RECUPERAÇÃO

Padrões de Desempenho

Padrões de Desempenho Os alunos ainda não demonstram o desenvolvimento considerado apropriado das habilidades básicas avaliadas pela Matriz de Referência, para a etapa de escolaridade em que se encontram. BÁSICO Contudo, respondem itens com menor percentual de acerto e que avaliam habilidades mais complexas, quando comparados com o verificado no padrão anterior. REFORÇO

Padrões de Desempenho

Padrões de Desempenho Os alunos demonstram o desenvolvimento das habilidades básicas e essenciais para a etapa de escolaridade avaliada, baseadas na Matriz de Referência. Demonstram atender às condições mínimas para que avancem em seu processo de escolarização, ao responder aos itens que exigem maior domínio quantitativo e qualitativo de competências, em consonância com o seu período escolar. ADEQUADO APROFUNDAMENTO

Padrões de Desempenho

Padrões de Desempenho Os alunos demonstram ir além do que é considerado básico para a sua etapa escolar. Costumam responder corretamente, com base na Matriz de Referência, a um maior quantitativo de itens, englobando aqueles que avaliam as habilidades consideradas mais complexas e, portanto, com menor percentual de acertos, o que sugere a sistematização do processo de aprendizagem de forma consolidada para aquela etapa de escolaridade. AVANÇADO DESAFIOS

Padrões de Desempenho

Instrumentos da avaliação • • MATRIZ DE REFERÊNCIA ITEM PADRÕES DE DESEMPENHO NÍVEIS DE DESEMPENHO

NÍVEIS DE DESEMPENHO • Como vimos, os Padrões de Desempenho são intervalos maiores de Níveis de Desempenho. • A descrição das habilidades, por Níveis de Desempenho, provê mais detalhamento para a interpretação pedagógica dos resultados.

NÍVEIS DE DESEMPENHO

NÍVEIS DE DESEMPENHO

Metodologia da avaliação • A compreensão e a interpretação dos resultados da avaliação educacional externa em larga escala requerem o entendimento das informações coletas pelo instrumento. • Atualmente, há duas formas de produzir a medida de desempenho de alunos submetidos aos testes. • Você sabe quais são elas? TRI Teoria da Resposta ao Item TCT Teoria Clássica dos Testes

Metodologia da avaliação • Os resultados analisados a partir da TCT são calculados de uma forma muito próxima às avaliações realizadas pelo professor em sala de aula. • Consistem, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando, também, o percentual de acerto para cada descritor avaliado. • A TRI, por sua vez, permite produção de uma medida mais robusta do desempenho dos alunos, porque leva em consideração um conjunto de modelos estatísticos capazes de determinar um valor/peso diferenciado para cada item que o aluno respondeu no teste de proficiência e, com isso, estimar o que o aluno é capaz de fazer, tendo em vista os itens respondidos corretamente.

Metodologia da avaliação • A TRI nos permite: – Comparar os resultados, com outras avaliações, inclusive. – Avaliar com alto grau de precisão a proficiência de alunos em diversas áreas do conhecimento sem submetê-los a longos testes. – Comparar os resultados entre diferentes etapas de escolaridade.

Metodologia da avaliação • A proficiência é estimada considerando o padrão de respostas dos alunos, de acordo com o grau de dificuldade e com os demais parâmetros dos itens: DISCRIMINAÇÃO: capacidade de um item de discriminar os alunos que desenvolveram as habilidades avaliadas daqueles que não as desenvolveram. DIFICULDADE: mensura o grau de dificuldade dos itens. ACERTO AO ACASO: análise das respostas dos alunos para verificação do acerto ao acaso.

Resultados • Além dos Resultados de Desempenho, produzimos informações relativas aos Fatores Associados. • Os denominados Fatores Contextuais são investigados a partir do instrumento questionário.

Fatores contextuais DIMENSÃO Desempenho INSTRUMENTO Testes RESULTADOS Medidas de Proficiência RESULTADOS ASSOCIADOS AO DESEMPENHO RESULTADOS DE DESEMPENHO DIMENSÃO Fatores Associados ao Desempenho INSTRUMENTO Questionários Contextuais RESULTADOS Fatores Contextuais

Fatores contextuais • Quais fatores são considerados nos questionários contextuais? EXTRAESCOLARES INTRAESCOLARES Fatores socioeconômicos Gestão e administração Fatores familiares Práticas pedagógicas Fatores individuais Condições de infraestrutura Qualificação dos profissionais

SAETHE 2015 Resultados SAETHE 2015

SAETHE 2015 PARTICIPAÇÃO

REDE MUNICIPAL DE TERESINA Etapa Localização URBANA 2º PERÍODO ED. INFANTIL RURAL GERAL Edição Alunos Previstos Alunos Efetivos Percentual de Participação 2014 - SAÍDA 6. 751 6. 340 93, 9 2015 - SAÍDA 6. 433 6. 205 96, 5 2014 - SAÍDA 746 693 92, 9 2015 - SAÍDA 689 652 96, 5 2014 - SAÍDA 7. 497 7. 033 93, 8 2015 - SAÍDA 7. 122 6. 857 96, 3

REDE MUNICIPAL DE TERESINA Etapa Localização URBANA 2º ANO EF RURAL GERAL URBANA 3º ANO EF RURAL GERAL 7º ANO EF URBANA RURAL GERAL Edição Alunos Previstos Alunos Efetivos Percentual de Participação 2014 - SAÍDA 2015 - SAÍDA 5. 338 6. 123 729 555 6. 067 6. 678 4. 931 5. 700 671 518 5. 602 6. 218 92, 4 93, 1 92, 0 93, 3 92, 3 93, 1 2014 - SAÍDA 2015 - SAÍDA 7. 296 6. 234 1. 047 737 8. 343 6. 671 6. 778 5. 823 965 679 7. 743 6. 502 92, 9 93, 3 92, 2 92, 1 92, 8 93, 3 2015 - SAÍDA 4. 519 840 5. 359 4. 250 806 5. 056 94, 0 94, 7 94, 3

SAETHE 2015 RESULTADOS ALCANÇADOS Língua Portuguesa

PROFICIÊNCIAS MÉDIAS Geral Língua Portuguesa – Leitura 2º Período da Educação Infantil 650, 0 600, 0 586, 3 600, 2 550, 0 500, 0 450, 0 400, 0 350, 0 2014 - SAÍDA 2015 - SAÍDA

PERCENTUAL DE ALUNOS POR PADRÃO DE DESEMPENHO – Geral Língua Portuguesa – Leitura 2º Período da Educação Infantil 2015 SAÍDA 2014 SAÍDA 0, 0 2, 4 97, 6 0, 1 4, 8 95, 1 Abaixo do Básico Adequado

PROFICIÊNCIAS MÉDIAS Geral Língua Portuguesa – Escrita 2º Período da Educação Infantil 650, 0 600, 0 550, 0 563, 9 516, 3 500, 0 450, 0 400, 0 350, 0 2014 - SAÍDA 2015 - SAÍDA

PERCENTUAL DE ALUNOS POR PADRÃO DE DESEMPENHO – Geral Língua Portuguesa – Escrita 2º Período da Educação Infantil 2015 SAÍDA 2014 SAÍDA 11, 0 21, 7 15, 3 31, 7 19, 9 Abaixo do Básico 42, 0 32, 1 Básico Adequado 26, 2 Avançado

PROFICIÊNCIAS MÉDIAS Geral Língua Portuguesa – Leitura 2º Ano do Ensino Fundamental 650, 0 600, 0 598, 9 569, 1 550, 0 500, 0 450, 0 400, 0 350, 0 2014 - SAÍDA 2015 - SAÍDA

PERCENTUAL DE ALUNOS POR PADRÃO DE DESEMPENHO – Geral Língua Portuguesa – Leitura 2º Ano do Ensino Fundamental 2015 SAÍDA 3, 4 15, 0 2014 SAÍDA 5, 2 30, 9 20, 0 Abaixo do Básico 50, 6 36, 9 Básico 37, 9 Adequado Avançado

PROFICIÊNCIAS MÉDIAS Geral Língua Portuguesa – Escrita 2º Ano do Ensino Fundamental 650, 0 602, 5 624, 9 550, 0 500, 0 450, 0 400, 0 350, 0 2014 - SAÍDA 2015 - SAÍDA

PERCENTUAL DE ALUNOS POR PADRÃO DE DESEMPENHO – Geral Língua Portuguesa – Escrita 2º Ano do Ensino Fundamental 2015 SAÍDA 3, 79, 8 2014 SAÍDA 4, 4 14, 9 22, 2 64, 2 24, 8 Abaixo do Básico 55, 9 Básico Adequado Avançado

PROFICIÊNCIAS MÉDIAS Geral Língua Portuguesa – Leitura 3º Ano do Ensino Fundamental 750, 0 700, 0 650, 0 600, 0 586, 9 608, 1 550, 0 500, 0 450, 0 2014 - SAÍDA 2015 - SAÍDA

PERCENTUAL DE ALUNOS POR PADRÃO DE DESEMPENHO – Geral Língua Portuguesa – Leitura 3º Ano do Ensino Fundamental 2015 SAÍDA 2014 SAÍDA 14, 9 20, 7 30, 6 35, 7 34, 0 Abaixo do Básico 18, 8 29, 7 15, 5 Adequado Avançado

PROFICIÊNCIAS MÉDIAS Geral Língua Portuguesa – Escrita 3º Ano do Ensino Fundamental 750, 0 700, 0 647, 6 650, 0 600, 6 550, 0 500, 0 450, 0 2014 - SAÍDA 2015 - SAÍDA

PERCENTUAL DE ALUNOS POR PADRÃO DE DESEMPENHO – Geral Língua Portuguesa – Escrita 3º Ano do Ensino Fundamental 2015 SAÍDA 2014 SAÍDA 10, 3 17, 8 17, 9 37, 7 27, 1 Abaixo do Básico 34, 1 38, 4 Básico Adequado 16, 8 Avançado

PROFICIÊNCIAS MÉDIAS Geral Língua Portuguesa – Leitura 7º Ano do Ensino Fundamental 325, 0 300, 0 275, 0 250, 0 225, 0 200, 0 215, 7 175, 0 150, 0 125, 0 2015 - SAÍDA

PERCENTUAL DE ALUNOS POR PADRÃO DE DESEMPENHO – Geral Língua Portuguesa – Leitura 7º Ano do Ensino Fundamental 2015 SAÍDA 19, 9 36, 7 Abaixo do Básico 33, 5 Adequado Avançado 9, 9

NOTAS MÉDIAS – Geral Língua Portuguesa – Produção de Texto 7º Ano do Ensino Fundamental 10, 0 8, 0 6, 0 5, 6 4, 0 2, 0 0, 0 2015 - SAÍDA

PERCENTUAL DE ALUNOS POR PERFIL DE ESCRITOR – Geral Língua Portuguesa – Produção de Texto 7º Ano do Ensino Fundamental 0, 2 2, 7 14, 8 2015 - SAÍDA 0, 0 Inadequado 10, 0 44, 4 20, 0 30, 0 Abaixo do Básico 40, 0 Básico 33, 6 50, 0 60, 0 Intermediário 70, 0 80, 0 Adequado 4, 3 90, 0 100, 0 Avançado

SAETHE 2015 RESULTADOS ALCANÇADOS Matemática

PROFICIÊNCIAS MÉDIAS Geral Matemática 2º Ano do Ensino Fundamental 600, 0 550, 0 500, 0 499, 6 518, 8 450, 0 400, 0 350, 0 300, 0 2014 - SAÍDA 2015 - SAÍDA

PERCENTUAL DE ALUNOS POR PADRÃO DE DESEMPENHO – Geral Matemática 2º Ano do Ensino Fundamental 2015 SAÍDA 1, 8 15, 2 2014 SAÍDA 4, 5 49, 4 20, 3 Abaixo do Básico 33, 6 48, 0 Básico Adequado 27, 2 Avançado

PROFICIÊNCIAS MÉDIAS Geral Matemática 3º Ano do Ensino Fundamental 650, 0 600, 0 550, 0 517, 2 535, 7 500, 0 450, 0 400, 0 350, 0 2014 - SAÍDA 2015 - SAÍDA

PERCENTUAL DE ALUNOS POR PADRÃO DE DESEMPENHO – Geral Matemática 3º Ano do Ensino Fundamental 2015 SAÍDA 4, 7 2014 SAÍDA 9, 0 26, 1 47, 7 29, 7 Abaixo do Básico 21, 5 45, 2 Básico Adequado 16, 1 Avançado

PROFICIÊNCIAS MÉDIAS Geral Matemática 7º Ano do Ensino Fundamental 350, 0 325, 0 300, 0 275, 0 250, 0 225, 0 200, 0 219, 6 175, 0 150, 0 2015 - SAÍDA

PERCENTUAL DE ALUNOS POR PADRÃO DE DESEMPENHO – Geral Matemática 7º Ano do Ensino Fundamental 2015 SAÍDA 31, 5 Abaixo do Básico 46, 0 Básico Adequado 19, 7 Avançado 2, 8

Divulgação dos resultados • A apropriação dos resultados requer conhecimento sobre os canais de divulgação. VOCÊ SABE ONDE ESTÃO/SÃO DIVULGADOS OS RESULTADOS DO SAETHE?

Divulgação dos resultados • Atualmente, a Secretaria, em parceria com o CAEd, divulga informações para a interpretação dos resultados na Revista da Gestão e na Revista Pedagógica, da Coleção SAETHE, presente no site. www. saethe. caed. ufjf. br

Divulgação dos resultados

Divulgação dos resultados REVISTA PEDAGÓGICA • Direcionadas aos professores da disciplina/etapa de escolaridade e à equipe pedagógica da escola. • Apresentam informações pedagógicas, estudos de caso relacionados à prática pedagógica dos educadores e textos que tratam de temas da área avaliada. • Veiculam o resultado da escola: os volumes são divididos por disciplina/etapa de escolaridade avaliada.

Divulgação dos resultados REVISTA DA GESTÃO § Direcionada à equipe gestora da escola. § Apresenta artigos e estudo de caso relacionados à gestão escolar. § Informa o resultado da escola em todas as disciplinas e etapas de escolaridade avaliadas.

Divulgação dos resultados • Os Resultados por Escola (TRI) e os Resultados por Aluno (TCT) estão disponíveis no site.

Divulgação dos resultados • Resultados por Escola (TRI)

Divulgação dos resultados Componentes do Resultado por Escola (TRI) Identificação da Escola e do Resultado • • • Escola. Município Zona. Etapa. Disciplina. Níveis de Resultado – Proficiência média, participação, evolução do percentual de alunos por Padrão de Desempenho • Resultado da Rede. • Resultado da Zona. • Resultado da Escola.

Divulgação dos resultados Componentes do Resultado por Escola (TRI) Percentual de Estudantes por Padrão de Desempenho • Em cada agrupamento: Rede, Zona e Escola. • Distribuição por Padrões de Desempenho.

Divulgação dos resultados

Divulgação dos resultados

Divulgação dos resultados • Resultados por Aluno (TCT)

Divulgação dos resultados Componentes do Resultado por Aluno (TCT) Descritores avaliados, número de acertos e número de itens apresentados no teste de cada estudante Percentual Médio de Acertos, Categoria de Desempenho, Proficiência e Padrão de Desempenho

Divulgação dos resultados • ATENÇÃO, no painel de Resultados por Aluno (TCT), entenda: Categoria de Desempenho • Identifica, por meio de cores diferentes, o quartil de categoria de desempenho em que o estudante está alocado – até 25% de acerto, de 25% até 50% de acerto, de 50% até 75% de acerto e acima de 75% de acerto. Padrão de Desempenho • Identifica o Padrão de Desempenho em que o estudante está alocado, de acordo com Proficiência Média alcançada por ele. Os Padrões possuem nomenclaturas próprias, conforme os cortes na Escala de Proficiência.

Reflexão Como é possível apropriar-se dos resultados produzidos e divulgados pela avaliação educacional externa em larga escala do município?

Apropriação dos resultados • Análise de Resultados por Escola (TRI)

Apropriação dos resultados • O objetivo desse primeiro passo é contribuir com um levantamento das informações produzidas sobre a sua escola, bem como de toda a rede. • Trata-se de uma caracterização da escola com base nos resultados da avaliação nas ultimas edições do SAETHE.

Apropriação dos resultados

Apropriação dos resultados • Após caracterizar a escola, tendo em vista os resultados alcançados na avaliação, é hora de compreender as possíveis razões que a levaram a escola a alcançar tais resultados. • É preciso fazer algumas reflexões sobre o desempenho da escola. Para tanto, a equipe pedagógica deve reunir-se e discutir, coletivamente, sobre os resultados da escola em cada etapa e disciplinas avaliadas no SAETHE.

Apropriação dos resultados 1. A Proficiência Média da escola está crescendo, diminuindo ou se manteve estável ao longo das edições do SAETHE? Essa análise se refere à qualidade da educação. 2. Essa média é condizente com os resultados internos da escola (fluxo e desempenho nas avaliações internas)? 3. Como são as taxas de aprovação nessa etapa de escolaridade? 4. Há muitos alunos Padrões mais baixos? Quantos? Essa tarefa refere-se à análise da equidade na educação. 5. Todos os alunos participaram da avaliação externa? Quais foram os que não fizeram? Os que apresentam maiores ou menores dificuldades em sala de aula? 6. A escola consegue identificar quem são os alunos que estão nesses Padrões mais baixos? 7. São os mesmos alunos que apresentam dificuldades de aprendizagem na escola? Cada professor consegue identificar quem são esses alunos, nas suas turmas? Eles apresentam dificuldades de aprendizagem em sala de aula? 8. Esses alunos foram aprovados para a etapa de escolaridade seguinte àquela em que ele foi avaliado pela avaliação externa? 9. Considerando o número de alunos que se encontram nos Padrões mais baixos, procure identificar, de acordo com cada padrão, quais habilidades esses alunos desenvolveram e aquelas ainda não consolidadas. 10. De acordo com a etapa de escolaridade em que eles se encontram, quais habilidades eles já deveriam ter desenvolvido? Para isso, considere os Padrões mais avançados para identificar quais habilidades já deveriam ter sido desenvolvidas por esses alunos.

Apropriação dos resultados • Análise dos Resultados por Aluno (TCT)

Apropriação dos resultados • Após caracterizarmos a escola e compreendermos quais são as possíveis causas do desempenho da escola, devemos analisar os Resultados por Escola (TRI), associado às informações dos Resultados por Aluno (TCT). • São informações sobre o percentual de acerto para cada descritor apresentado no teste. Essas informações são divulgadas por aluno, turma, escola e para a rede em geral. • O foco de análise devem ser, sobretudo, os resultados de cada aluno, cada turma e de sua escola, em particular.

Apropriação dos resultados • Sobre o desempenho de cada aluno: – Observe os descritores que cada aluno errou. – Os alunos que erraram mais itens em relação aos descritores apresentados são os mesmos que apresentam dificuldades de aprendizagem em sala de aula? – Nas avaliações internas, esses alunos demonstram dificuldades nos conteúdos relacionados a esses descritores? – Faça a mesma reflexão levando em consideração os descritores que foram mais acertados.

Apropriação dos resultados • Sobre o desempenho de cada turma: – Qual foi o percentual de acerto, de cada turma, em cada descritor avaliado? – Como está o desempenho de cada turma em relação às demais turmas da escola? Olhe para cada turma, individualmente, e depois compare o seu desempenho com o das demais. – Quais foram os descritores que apresentaram menor percentual de acerto, em cada turma? – Procure relacionar as habilidades avaliadas por esses descritores aos conteúdos trabalhados em sala de aula. – Trata-se de habilidades que já deveriam ter sido desenvolvidas em etapas anteriores àquela avaliada? – Esses descritores, com menor percentual de acerto, estão relacionados a uma mesma competência? – Na avaliação interna, os alunos apresentam dificuldades nos conteúdos relacionados a esses descritores?

Apropriação dos resultados • Sobre o desempenho da rede: – Quais foram os descritores com menores percentuais de acerto? – Quais as habilidades a eles relacionadas? – Essas habilidades se referem a qual conteúdo da disciplina avaliada? – Em qual etapa de escolaridade esse conteúdo é ministrado? – Quando essas habilidades devem ser consolidadas? • A partir dessa análise, é preciso pensar em estratégias diferenciadas, conforme as características dos alunos e das turmas.

Apropriação dos resultados

Apropriação dos resultados • Por fim, é hora de planejar o futuro. De posse de todas as informações sobre a escola na avaliação do SAETHE, nas últimas edições, sugerimos um roteiro de planejamento que poderá ajudá-lo na elaboração e organização de estratégias para que a, escola como um todo, e cada aluno, em particular, possam apresentar melhor desempenho nas próximas edições do SAETHE.

Apropriação dos resultados

Reflexões

capsaethe@caed. ufjf. b r