PAEBESPAEBES ALFA 2017 Programa de Desenvolvimento Profissional do

PAEBES/PAEBES ALFA 2017 Programa de Desenvolvimento Profissional do Espírito Santo

• Orientar a leitura e a análise de resultados – indicadores de participação, desempenho (proficiência média e distribuição de estudantes por padrão de desempenho) e aproveitamento no teste. • Propor uso dos resultados da avaliação externa no âmbito da escola/regional/rede. 2

DIVULGAÇÃO E APROPRIAÇÃO DE RESULTADOS PAEBES/PAEBES ALFA

Início de Conversa

QUALIDADE ACESSO FLUXO 5

6

AGIR DECIDIR DIAGNOSTICAR COLETAR • Recolher dados e informações sobre determinada realidade. • Produzir julgamento sobre essa realidade. • Tomar decisão em função de um objetivo que se deseja alcançar. • Traçar estratégias considerando os resultados obtidos. 7

Diagnóstica Formativa Somativa • Início do processo, para perceber as características do grupo (entrada). • Durante o processo, para captar a aprendizagem e mobilizar/engajar estudantes (durante a formação). • Ao fim do processo, para perceber as características do grupo (saída). 8

Tipologia • Externa • Interna Abrangência • Censitária • Amostral Temporalidade • Transversal • Longitudinal 9

AVALIAÇÃO INTERNA ESCOLA AVALIAÇÃO EXTERNA SISTEMA PROCESSO DA APRENDIZAGEM DESEMPENHO DOS ESTUDANTES PROVAS ABERTAS, PROVAS OBJETIVAS, OBSERVAÇÃO, REGISTRO, PORTFÓLIO TESTES DE PROFICIÊNCIA, QUESTIONÁRIOS CONTEXTUAIS TEORIA CLÁSSICA DO TESTE (TCT) TEORIA DA RESPOSTA AO ITEM (TRI) 10

A avaliação educacional externa em larga escala fundamenta-se em três aspectos: Jurídico Político Científico-Pedagógico 11

12

13

14

SAEB (ANA/ANRESC/ANEB) PAEBES ALFA PAEBES TRI • 3 EF/5 EF/9 EF/3 EM • 1 EF/2 EF/3 EF • Regular • 5 EF/9 EF/3 EM • Regular • 1 EM/2 EM/3 EM • Regular e Integrado • Língua Portuguesa (Leitura e Escrita*) • Matemática • Língua Portuguesa (Leitura e Escrita*) • Língua Portuguesa (Leitura) • Matemática • Ciências da Natureza • Matemática • Ciências Humanas • Rede Pública • Rede Privada* • Rede Estadual • Redes Municipais • Escolas Particulares Participantes • Rede Estadual 15

Objetivos do Programa Próprio

Levantar informações capazes de subsidiar a (re)formulação e o monitoramento das políticas públicas, visando a contribuir para a melhoria da qualidade, equidade e eficiência do ensino. Auxiliar o (re)planejamentodas práticas pedagógicas e de gestão. Investigar dadose produzir indicadores sobre fatores de influência do desempenho dos estudantes matriculados na redepública. 17

Limites e Possibilidades do Programa Próprio

Desenho próprio – anos e disciplinas – de acordo com as necessidades da rede de ensino. Alinhamento entre currículo, ensino e avaliação. Menor periodicidade entre os ciclos avaliados e a divulgação dos resultados. Estabelecimento de padrões de desempenho estudantil e metas educacionais. Monitoramento da qualidade da educação ofertada e promoção da equidade no ensino. Diagnóstico do efeito de políticas públicas. Uso dos resultados com foco na identidade escolar. 19

ATIVIDADE: Percepções Consensuais

AVALIAÇÃO EDUCACIONAL Desempenho Escolar Fatores Associados • Testes • Proficiência • Questionário • Índices Contextuais 21

Etapas da Avaliação

AVALIAÇÃO DO DESEMPENHO – EXTERNA (TRI) ORIENTAÇÕES CURRICULARES SAEB MATRIZES ITENS TESTES DE DESEMPENHO PROFICIÊNCIA PLANOS DE CURSO/AULAS QUESTÕES PROVAS NOTA AVALIAÇÃO DA APRENDIZAGEM – INTERNA (TCT) 23

24

Tema/Tópico 25

Descritor 26

AVALIAÇÃO DO DESEMPENHO – EXTERNA (TRI) ORIENTAÇÕES CURRICULARES SAEB MATRIZES ITENS TESTES DE DESEMPENHO PROFICIÊNCIA PLANOS DE CURSO/AULAS QUESTÕES PROVAS NOTA AVALIAÇÃO DA APRENDIZAGEM – INTERNA (TCT) 27

Enunciado D 01 Localizar informações explícitas em um texto Comando Gabarito Distratores 28

CADERNO 5 EF – LÍNGUA PORTUGUESA • Blocos Balanceados Incompletos (BIB) BLOCO 1 BLOCO 2 BLOCO 3 BLOCO 4 BLOCO 5 BLOCO 6 BLOCO 7 1 2 3 4. . . . 11 1 2 3 4. . 11 29

Orientações para a montagem do BLOCO: • • Evitar repetição de descritores. Dosar a repetição de gabaritos. Dosar a extensão e os recursos gráficos. Verificar na dificuldade do bloco (percentual de acerto). Orientações para a montagem do TESTE: • • Cumprimento de todos os descritores da matriz. Observar a curva do teste. Itens de equalização com o ciclo anterior e com o ano/a série escolar anterior. Itens SAEB. 30

O questionário serve para investigar as condições de oferta e o contexto que têm impacto no desempenho. ATITUDES E PRÁTICAS POSITIVAS CONTEXTO FAVORÁVEL MELHOR DESEMPENHO ESCOLAR 31

Respondentes PAEBES/PAEBES ALFA: • ESTUDANTES • Todos 5 EF, 9 EF e 3 EM • PROFESSORES • 1 (um) por turma 1 EF, 2 EF, 3 EF e 5 EF • 4 (dois) por turma 9 EF e 3 EM • DIRETORES • 1 (um) por escola 32

• Instrumentos da avaliação: • Capacitação dos agentes de aplicação. • Mobilização para a aplicação: • Compromisso X Comprometimento 33

Teoria Clássica dos Testes (TCT) Teoria de Resposta ao Item (TRI) • É calculada de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor. • Consiste no percentual de acertos em relação ao total de itens, apresentando também o percentual de acerto para cada descritor. • Produz uma medida mais robusta do desempenho, leva em consideração características dos itens que compõem o teste (medidas nos pré-testes). • Conjunto de modelos estatísticos capazes de determinar um valor/peso para cada item e uma proficiência para cada estudante. 34

Parâmetros

Fonte: http: //educacao. estadao. com. br/blogs/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/

• Quanto maior a coerência nos acertos aos itens (fáceis e difíceis), “maior a nota do estudante”. • Controle da resposta aleatória (provável chute).

Proficiênciarefere-se ao conhecimento ou à aptidão demonstrados por estudantes avaliados em determinada disciplina e ano escolar. Escala de proficiênciaé um conjunto de números ordenados, obtido pela Teoria de Resposta ao Item (TRI), que mede o conhecimento ou a aptidão demonstrados em uma determinada área de conhecimento. A probabilidade de se acertar um item aumenta conforme a proficiência aumenta. Padrões de desempenho estudantilsão definidos a partir de intervalos da escala de proficiência em que há estudantes com desempenho semelhante, compondo agrupamentos com desenvolvimento similar de habilidades e competências. 38

Entendendo que itens e estudantes estão na mesma escala. . .

Estudantes com até 200 pontos de proficiência são capazes de responder com êxito, no exemplo, os itens (9) e (4). 197, 5

Estudantes com até 400 pontos de proficiência são capazes de responder com êxito, no exemplo, um conjunto maior de itens. 410, 5

Intervalos característicos de padrões de desempenho estudantil (Exemplo: LP, 5 EF) ABAIXO DO BÁSICO PROFICIENTE AVANÇADO

ABAIXO DO BÁSICO PROFICIENTE • Desempenho AVANÇADO • Desempenho muito • Desempenho básico, • Desempenho abaixo do esperado caracterizado por um adequado ao ano desejável para o ano para a etapa avaliada. processo inicial de escolar avaliado. Os Os estudantes desenvolvimento das estudantes que se estudantes alocados neste competências e encontram nesse 43 neste padrão de

44

45

46

GESTORES DE REDE GESTORES ESCOLARES PROFESSORES 47

Reflexões

GESTORES DE REDE • Planejamento e execução de políticas públicas. • Criação de metas de qualidade e equidade educacionais. • Implementação de medidas de responsabilização. Ações de formação continuada de professores. 49

GESTORES ESCOLARES • Elaboração do projeto da escola. • Monitoramento da qualidade de ensino. • Subsídio para avaliação institucional. 50

PROFESSORES • • • Intervenção pedagógica. Elaboração de projetos especiais. Foco nos estudantes com dificuldades. Ações de recuperação, reforço, aprofundamento e desafio. Planejamento das ações de sala de aula. Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica. 51

• Participação • Proficiência média • Distribuição de estudante por padrão de desempenho • Aproveitamento no teste: percentual de acerto no teste e por descritor 52

53

Acompanhar o percentual de participação, ano a ano, com o objetivo de atingir a participação total, visto que a avaliação é censitária. Supor que, uma vez elevado o percentual de participação, não se faz necessário promover ações que possam aumentar esse percentual. Entender que uma participação maior ou igual a 80% contribui para mensurar a qualidade dos processos de ensino e aprendizagem. Generalizar os resultados da avaliação se o percentual de participação não for representativo, ou seja, maior ou igual a 80%. 54

Comparar os resultados da escola ano, para a mesma etapa. Ler os resultados como dados longitudinais, quando a avaliação não tiver essa finalidade. Comparar os resultados da escola em diferentes disciplinas. Considerar a proficiência média isoladamente, sem analisá-la com a ajuda da escala. Comparar os resultados de diferentes etapas, com a mesma escala de proficiência, para a mesma disciplina. Analisar os resultados a partir da leitura e interpretação pedagógica da escala de proficiência, observando o desenvolvimento de habilidades e competências. 55

Entender que a melhora de proficiência média corresponde imediatamente à melhora de padrão de desempenho. Identificar, em cada etapa e disciplina, os estudantes com mais dificuldades de aprendizagem. Reconhecer que cada padrão de desempenho corresponde a diferentes níveis de aprendizagem, o que requer planejamento específico para cada um deles. Entender que os estudantes alocados em um padrão de desempenho em uma disciplina estão no mesmo padrão em outra disciplina. Acompanhar, a cada ano, se a escola apresenta resultados semelhantes para cada etapa e disciplina (se a sua proficiência média está alocada no mesmo padrão de desempenho). Analisar os resultados a partir da leitura e interpretação pedagógica da escala de proficiência, observando o desenvolvimento de habilidades e competências. Entender que os intervalos dos padrões são os mesmos para cada etapa e disciplina avaliadas. Supor que estudantes alocados em padrões de desempenho cujos intervalos estão no início da escala de proficiência não são capazes de aprender e, por isso, têm baixo desempenho. 56

Observar as habilidades avaliadas no ciclo e associá-las ao conteúdo de sala de aula. Comparar os percentuais de acerto por descritor ano a ano (diferentes ciclos), ainda que a matriz de referência seja a mesma. Observar as habilidades e identificar a associação com outras não avaliadas no teste de desempenho. Analisar as habilidades de acordo com a avaliação interna: estou captando o seu desenvolvimento no instrumento que utilizo em sala? 57

www. paebes. caedufjf. net 58

59

60

61

FRENTE VERSO 62

FRENTE 63

FRENTE CABEÇALHO: identificação da escola, município, regional, ano/série escolar e disciplina. 64

FRENTE PROFICIÊNCIA MÉDIA: média aritmética da proficiência de cada estudante do agregado. 65

FRENTE PARTICIPAÇÃO: número previsto de estudantes, número efetivo de estudantes e percentual (razão). 66

FRENTE SÉRIE HISTÓRICA: edição, proficiência média e distribuição de estudantes por padrão de desempenho. 67

VERSO Distribuição de estudantes por níveis e padrões de desempenho. 68

VERSO Proficiência média alocada na escala (padrão de desempenho médio). 69

70

HIERARQUIA SELECIONADA Programa > Etapa > Disciplina > Rede > Regional > Município > Escola > Turma [Nome/Código] TOTAL DE ITENS: número de itens apresentados por descritor. Nº DE ACERTOS: número de itens acertados por descritor. 71

HIERARQUIA SELECIONADA Programa > Etapa > Disciplina > Rede > Regional > Município > Escola > Turma PERCENTUAL DE ACERTO NO TESTE: indicador de aproveitamento (TCT) [Nome/Código] 72

HIERARQUIA SELECIONADA Programa > Etapa > Disciplina > Rede > Regional > Município > Escola > Turma CATEGORIA DE DESEMPENHO (C. D. ): Identifica o quartil de categoria de desempenho em que o estudante está alocado (cores) – até 25% de acerto total no teste, de 25% até 50%, de 50% [Nome/Código] até 75% e acima de 75% de acerto 73

HIERARQUIA SELECIONADA Programa > Etapa > Disciplina > Rede > Regional > Município > Escola > Turma PROFICIÊNCIA E PADRÃO DE DESEMPENHO DO ALUNO: indicadores de desempenho (TRI) [Nome/Código] 74

HIERARQUIA SELECIONADA Programa > Etapa > Disciplina > Rede > Regional > Município > Escola TURMA [Turma/Código] D(. . . ): percentual de acerto por descritor (sem discriminar o item/tarefa). 75

HIERARQUIA SELECIONADA Programa > Etapa > Disciplina > Rede > Regional > Município > Escola TURMA [Turma/ Código] TOTAL: aproveitamento total da turma na avaliação. 76

Roteiro de Leitura e Análise 77

Roteiro de Leitura e Análise 78

Roteiro de Leitura e Análise 79

ONDE ESTAMOS? AONDE QUEREMOS CHEGAR? COMO CHEGAREMOS? 80

81

Intenções de Trabalho 82

q AÇÃO (O que se pretende alcançar? ) q JUSTIFICATIVA (Por quê? ) q RESPONSÁVEIS (Quais atores podem executar e quais podem apoiar e acompanhar? ) q MODO (Como executar ou apoiar e acompanhar. ) q MONITORAMENTO (Como monitorar a execução ou apoio e acompanhamento. ) Intenções de Trabalho 83

Contato 84

Bom trabalho! 85

86