Mtodos Estatsticos para Avaliao Educacional e Medida Dalton

  • Slides: 36
Download presentation
Métodos Estatísticos para Avaliação Educacional e Medida Dalton F Andrade (INE/UFSC - dandrade@inf. ufsc.

Métodos Estatísticos para Avaliação Educacional e Medida Dalton F Andrade (INE/UFSC - dandrade@inf. ufsc. br) 39 a. Regional da ABE – Belém, 06/12/05 1

Objetivos n Apresentar alguns métodos estatísticos utilizados em avaliações educacionais e medida u Planejamento

Objetivos n Apresentar alguns métodos estatísticos utilizados em avaliações educacionais e medida u Planejamento de Experimento u Amostragem u Modelos Lineares Hierárquicos (ou Multiníveis) – MLH u Teoria da Resposta ao Item – TRI 2

SAEB – Avaliação da Educação Básica n n n n Avaliar o sistema de

SAEB – Avaliação da Educação Básica n n n n Avaliar o sistema de ensino Anos impares Séries terminais (4 a. /8 a. EF + 3 a. EM) Várias disciplinas (Português, Matemática, . . . ) Amostra de alunos Muitos itens (questões) Medir a proficiência do aluno Estudo de fatores associados 3

Blocos Incompletos Balanceados BIB n Avaliar uma grande parte de um currículo de uma

Blocos Incompletos Balanceados BIB n Avaliar uma grande parte de um currículo de uma determinada disciplina e série: necessário apresentar um grande número de itens aos alunos, maior do que eles poderiam responder em 2 horas de prova. Por exemplo, 169 itens de matemática para a 3 a. série do EM: 13 conjuntos de 13 itens cada Provas: Cadernos com 3 conjuntos cada 26 Provas, com conjuntos (itens) comuns Itens de outras séries e anos 4

Blocos Incompletos Balanceados BIB 5

Blocos Incompletos Balanceados BIB 5

Amostragem complexa n Selecionar uma amostra de alunos satisfazendo certos critérios (região, dependência administrativa,

Amostragem complexa n Selecionar uma amostra de alunos satisfazendo certos critérios (região, dependência administrativa, período, . . . ) u Unidade de interesse: aluno u Não existe lista com todos os alunos u Usar lista de escolas para selecionar escolas (Censo Escolar do INEP/MEC): ano anterior 6

Amostragem complexa u Usar lista de alunos, das escolas selecionadas, para selecionar alunos u

Amostragem complexa u Usar lista de alunos, das escolas selecionadas, para selecionar alunos u Amostragem por conglomerados em dois ou três estágios u Estratificação Heleno Bolfarine e Wilton O. Bussab (2005). Elementos de Amostragem. São Paulo: Edgard Blücher (ABE-Projeto Fisher) 7

Modelos Lineares Hierárquicos ou Multiníveis n Estudar como fatores de aluno, professor e escola

Modelos Lineares Hierárquicos ou Multiníveis n Estudar como fatores de aluno, professor e escola estão associados com o desempenho dos alunos Modelos de Regressão com estrutura especial de dependência GOLDSTEIN, H. (1995). Multilevel Statistical Models. 2 a ed. London: Edward Arnold. RAUDENBUSH, S. W. e BRYK, A. S. (2002). Hierarchical Linear Models. 2 a ed. Newbury Park: Sage. 8

Modelos Lineares Hierárquicos ou Multiníveis n Modelo de regressão: Y = f(X 1, .

Modelos Lineares Hierárquicos ou Multiníveis n Modelo de regressão: Y = f(X 1, . . . , Xp, W 1, . . . , Wq) + Erro X: características de aluno (gênero, idade, escolaridade dos pais, tempo de estudo extra classe, . . . ) W: características de escola (dependência administrativa, localização, recursos pedagógicos, práticas pedagógicas, capacitação da equipe técnica, . . . ) Erro: independentes com distribuição normal 9

Modelos Lineares Hierárquicos ou Multiníveis n Modelo multinível X 1: idade (em anos) W

Modelos Lineares Hierárquicos ou Multiníveis n Modelo multinível X 1: idade (em anos) W 1: dependência administrativa (1=particular, 0=pública) Nível 1: aluno (8 a. série) proficij = 0 j + 1 j (X 1 ij – 14) + eij Nível 2: escola 0 j = 00 + 01 W 1 j + u 0 j 1 j = 10 + 11 W 1 j + u 1 j 10

Modelos Lineares Hierárquicos (ou Multiníveis) n Resultados do SAEB 2001 11

Modelos Lineares Hierárquicos (ou Multiníveis) n Resultados do SAEB 2001 11

Modelos Lineares Hierárquicos (ou Multiníveis) n Resultados do SAEB 2001: Matemática Série Escolar Fatores

Modelos Lineares Hierárquicos (ou Multiníveis) n Resultados do SAEB 2001: Matemática Série Escolar Fatores Intercepto 4ª 8ª 11ª 172, 63 (1, 75) 240, 31 (1, 48) 277, 05 (2, 07) Gênero 3, 86 (0, 32) 14, 27 (0, 37) 18, 93 (0, 46) Raça 1, 04 (0, 34) 3, 16 (0, 38) 2, 52 (0, 48) -4, 15 (0, 18) -6, 72 (0, 21) -8, 25 (0, 23) NSE 3, 63 (0, 21) 3, 97 (0, 25) 1, 02 (0, 30) Rede 25, 13 (1, 10) 24, 57 (1, 23) 19, 57 (1, 46) Média NSE 13, 62 (0, 62) 14, 27 (0, 71) 20, 77 (1, 00) Média Defasagem -3, 70 (0, 49) -10, 68 (0, 49) -13, 80 (0, 70) 3, 27 (1, 50) 12, 89 (1, 61) 17, 28 (1, 70) Defasagem Seleção 12

Teoria da Resposta ao Item - TRI n n Medir a proficiência dos alunos

Teoria da Resposta ao Item - TRI n n Medir a proficiência dos alunos Comparar os resultados entre séries (4 a. , 8 a. EF e 3 a. EM) Comparar os resultados ao longo dos anos (SAEB realizado a cada dois anos) para uma mesma série Realizar diferentes provas entre anos, entre séries e entre alunos de uma mesma série - BIB 13

Teoria da Resposta ao Item TRI n Teoria Clássica de Medida - TCM: 1.

Teoria da Resposta ao Item TRI n Teoria Clássica de Medida - TCM: 1. Resultados dependem do particular conjunto de questões que compõem a prova e dos indivíduos que a fizeram, ou seja, as análises e interpretações estão sempre associadas à prova como um todo e ao grupo de indivíduos. 2. Comparação entre indivíduos ou grupos de indivíduos somente é possível quando eles são submetidos às mesmas provas ou, pelo menos, ao que se denomina de provas paralelas, quase sempre difíceis de serem construídas. 14

Teoria da Resposta ao Item n Teoria da Resposta ao Item – TRI: 1.

Teoria da Resposta ao Item n Teoria da Resposta ao Item – TRI: 1. Muda o foco de análise da prova como um todo para a análise de cada item (questão). 2. Conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observados) de um indivíduo com a probabilidade deste dar uma certa resposta a um item 3. Traço latente: habilidade/proficiência em Matemática, Português, etc. . . 15

Teoria da Resposta ao Item 4. A partir de respostas dadas por indivíduos a

Teoria da Resposta ao Item 4. A partir de respostas dadas por indivíduos a um conjunto de itens (prova) deseja-se : estimar os parâmetros dos itens (calibração) estimar a habilidade/proficiência do aluno estimar a proficiência média de um grupo de alunos 5. A probabilidade de resposta a um item é modelada como função da proficiência do aluno e de parâmetros que expressam certas propriedades dos itens. 16

Teoria da Resposta ao Item 6. Quanto maior a proficiência do aluno, maior a

Teoria da Resposta ao Item 6. Quanto maior a proficiência do aluno, maior a probabilidade de ele acertar o item (modelo acumulativo). 7. Propriedade importante: os parâmetros dos itens e as proficiências dos indivíduos são invariantes, exceto pela escolha de origem e escala. 17

Teoria da Resposta ao Item Modelos: dependem do tipo de item • Itens corrigidos

Teoria da Resposta ao Item Modelos: dependem do tipo de item • Itens corrigidos como certo/errado: múltipla escolha ou abertos Modelo Logístico (unidimensional) com 1, 2 ou 3 parâmetros 18

 Modelo Logístico de 3 parâmetros a: discriminação ou inclinação do item b: dificuldade

Modelo Logístico de 3 parâmetros a: discriminação ou inclinação do item b: dificuldade (medido na mesma métrica do traço latente) c: probabilidade de acerto para indiv. com baixa habilidade 19

Teoria da Resposta ao Item • Modelo Nominal: considera todas as categorias de resposta

Teoria da Resposta ao Item • Modelo Nominal: considera todas as categorias de resposta 20

21

21

Teoria da Resposta ao Item • Modelo de Resposta Gradual: categorias ordinais 22

Teoria da Resposta ao Item • Modelo de Resposta Gradual: categorias ordinais 22

23

23

 Teoria da Resposta ao Item • Modelo de Crédito Parcial: Modelo de Resposta

Teoria da Resposta ao Item • Modelo de Crédito Parcial: Modelo de Resposta Gradual sem o parâmetro de discriminação a • Modelo de Escala Gradual: Modelo de Resposta Gradual com bis = bi – ds • Modelo de Grupos Múltiplos (várias populações) 24

Teoria da Resposta ao Item n Resultados u Banco de Itens: itens calibrados na

Teoria da Resposta ao Item n Resultados u Banco de Itens: itens calibrados na mesma escala u Estimativa dos rendimentos médios na mesma escala, para cada uma das séries e disciplinas ao longo dos anos 25

Teoria da Resposta ao Item 26

Teoria da Resposta ao Item 26

Teoria da Resposta ao Item n Resultados u Equalização entre avaliações estaduais e o

Teoria da Resposta ao Item n Resultados u Equalização entre avaliações estaduais e o SAEB u Estudo do funcionamento de itens (DIF) u Estudo do desgaste de itens (DRIFT) 27

Referências bibliográficas n n n ANDRADE, D. F. , TAVARES, H. R. , VALLE,

Referências bibliográficas n n n ANDRADE, D. F. , TAVARES, H. R. , VALLE, R. C. (2000). Teoria da Resposta ao Item: conceitos e aplicações. 14 o SINAPE, Associação Brasileira de Estatística. (Disponível em www. inf. ufsc. br/~dandrade/tri) BAKER, F. B. , (1992). Item Response Theory: Parameter Estimation Techniques. Marcel Dekker. BOCK, R. D. & ZIMOWSKI, M. F. (1996). Multiple Group IRT, in Linden, W. J. van der & Hambleton, R. K. (eds). Handbook of Modern Item Response Theory, Springer. 28

Referências bibliográficas n n n KLEIN, R. (2003). Utilização da Teoria de Resposta ao

Referências bibliográficas n n n KLEIN, R. (2003). Utilização da Teoria de Resposta ao Item no Sistema Nacional de Avaliação da Educação Básica (SAEB). Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 11, n. 40, p. 283 -296, 2003. LORD, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale: Lawrence Erlbaum Associates Inc. Sistema Nacional de Avaliação da Educação Básica: SAEB 2001, Relatório Técnico. (2002). Consórcio Fundação Cesgranrio/Fundação Carlos Chagas, Rio de Janeiro. . 29

Aplicação da TRI em Teste de Progresso n Avaliar o desempenho do aluno de

Aplicação da TRI em Teste de Progresso n Avaliar o desempenho do aluno de curso de medicina Prova realizada uma vez por ano por todos os alunos (1 a. 6 a. ) Comissão de avaliação do curso de medicina da UEL: Sakai, M. , Mashima, D. , Ferreira Filho, O. F. , Matsuo, T. 30

Aplicações da TRI em outras áreas n - n Medir o grau de maturidade

Aplicações da TRI em outras áreas n - n Medir o grau de maturidade de uma empresa em relação a Gestão pela Qualidade Alexandre, J. W. C. , Andrade, D. F. , Vasconcelos, A. P. e Araújo, A. M. S. (2002). Uma proposta de análise de um construto para a medição dos fatores críticos da gestão pela qualidade através da teoria da resposta ao item. Gestão & Produção, v. 9, n. 2, p. 129 -141. Medir o Nível de Qualidade de Vida Mesbah, M. , Cole, B. F. and Lee, M. L. T. (2002). Ed. Statistical methods for quality of life studies: design, measurements and analysis. Boston: Kluwer Academic Publishers 31

Aplicações da TRI em outras áreas n Medir o Grau de Insegurança Alimentar Parke

Aplicações da TRI em outras áreas n Medir o Grau de Insegurança Alimentar Parke E. Wilde, Gerald J. and Dorothy R. Friedman (2004). Differential Response Patterns Affect Food-Security Prevalence Estimates for Households with and without Children. J. Nutr. 134: 1910– 1915. Med. Prev. Unicamp: profa. Ana Maria Segall Corrêa n Medir a Competência Clínica de Médicos Jishnu Das, Jeffrey Hammer (2005). Which doctor? Combining vignettes and item response to measure clinical competence. Journal of Development Economics 78, 348 -383. 32

Aplicações da TRI em outras áreas n Medir o Grau de Depressão Embretson, S.

Aplicações da TRI em outras áreas n Medir o Grau de Depressão Embretson, S. E. and Reise, S. P. (2000). Item response theory for psychologists. New Jersey: Lawrence Erlbaum Associates, Inc. , Publishers. Coleman, M. J. , Matthysse, S. , Levy, D. L. , Cook, S. , Lo, J. B. Y. , Rubin, D. B. and Holzman, P. S. (2002). Spatial and object working memory impairments in schizophrenia patients: a bayesian item-response theory analysis. Journal of Abnormal Psychology, 111, number 3, 425435. Dissertação de doutorado em Estatística no IME/USP. 33

Aplicações da TRI em outras áreas n Medir o Grau de Satisfação do Consumidor

Aplicações da TRI em outras áreas n Medir o Grau de Satisfação do Consumidor Costa, M. B. F. (2001). Técnica derivada da teoria da resposta ao item aplicada ao setor de serviços. Dissertação de Mestrado – PPGMUE/UFPR Bayley, S. (2001). Measuring customer satisfaction. Evaluation Journal of Australasia, v. 1, no. 1, 8 -16. Bortolotti, S. L. V. (2003). Aplicação de um modelo de desdobramento da teoria da resposta ao item – TRI. Dissertação de Mestrado. EPS/UFSC. 34

Aplicações da TRI em outras áreas n Medir o Grau de Depressão em Idosos

Aplicações da TRI em outras áreas n Medir o Grau de Depressão em Idosos Yesavage JA, Brink TL Rose TL et al. (1983). Development and validation of a geriatric depression screening scale: a preliminary report. J Psychiat Res, 17: 37 -49. UEL – Grupo de pesquisa em psiquiatria: Vargas, H. O. , Matsuo, T. , Blay, S. , Andrade, D. F. 35

Aplicações da TRI em outras áreas n Genética: Medir a predisposição de um indivíduo

Aplicações da TRI em outras áreas n Genética: Medir a predisposição de um indivíduo em relação a uma certa doença Tavares, H. R. ; Andrade, D. F. ; Pereira, C. A. (2004) Detection of determinant genes and diagnostic via item response theory. Genetics and Molecular Biology, v. 27, n. 4, p. 679 -685. 36