Parmetros teis para a construo de boas questes

Parâmetros úteis para a construção de boas questões objetivas Prof. Dr. Lucas F. de Oliveira CECH – UCS NINE – UFRGS

Vestibular e conhecimento n Exames vestibulares q Classificação dos candidatos De acordo com o conhecimento demonstrado q Conhecimento costuma ser estudado q n Pelas Neurociências q n Investigação dos mecanismos Pela Psicologia Cognitiva q Investigação das manifestações

Conhecimento e memória n Memória declarativa q Episódica n q Eventos q Fatos n n Rápida formação Evocação consciente Processo cognitivo serial n n Para ações Motora n n n Procedural n Semântica n Memória não-declarativa Para movimentos Lenta formação Evocação muito eficiente Processo cognitivo paralelo

Conhecimento e tipos de memória n Memória declarativa e não-declarativa q A fronteira entre estes dois tipos n n Está se tornando mais tênue Um indivíduo competente q Pode operar com conhecimento semântico n n De maneira não-declarativa Paralela

Conhecimento n Taxonomia dos objetivos didáticos q q Benjamin Bloom, 1956 Domínio cognitivo n 1) Conhecimento n 2) Compreensão n 3) Aplicação n 4, 5 e 6) Análise, Síntese e Avaliação Os níveis iniciais dependem n Da memória declarativa Os avançados n Da não-declarativa

Testagem e amostragem n Exames vestibulares q Devem medir o conhecimento dos alunos n Fazem isto através de uma amostragem q q O escore medido com a amostragem n q As questões É diferente do conhecimento real do aluno Quanto mais fidedigna a amostragem n Mais próximo o escore real é da realidade

Testagem com questões de múltipla escolha n Índices úteis q Índice P n q Proporção de acertos Índice de discriminação n Diferença de acerto entre q q Indivíduos com melhor performance E indivíduos com pior performance

Testagem com questões de múltipla escolha n Índice P q q q Se todos acertam = 1, 0 Se baseado na sorte = 0, 2 Valor desejável n Em torno de 0, 6

Testagem com questões de múltipla escolha n Índice de discriminação q q Varia entre -1, 00 e +1, 00 Se indivíduos de boa performance acertam questão n E os de má performance erram q q Se os de boa erram n E os de má acertam q n n O índice é positivo O índice é negativo D > 0, 4 é desejável D < 0, 2 é indesejável

Testagem com questões de múltipla escolha n Fator extra q Tempo por questão q Quanto mais questões n n Melhor a amostragem Maior a fidedignidade

Síntese deste bloco n Indivíduos compententes q Operam com um sistema de memória mais eficiente n n n O vestibular opera por amostragem q n Memória não-declarativa É importante explorar este componente Que precisa ser fidedigna As questões devem ter bom poder de discriminação

FAMÍLIAS DE QUESTÕES OBJETIVAS

Referência útil n “Constructing Written Test Questions for the Basic and Clinical Sciences” n q Terceira Edição (Revisada) Comissão Nacional de Examinadores Médicos n Autores q q Susan M. Case David B. Swanson

Famílias de questões objetivas n Família da melhor resposta q q q “Assinale a resposta correta” “Associe as Colunas” Escolha Estendida de respostas (variante do “Associe as Colunas”) n Família do verdadeiro ou falso q q “Qual das afirmações acima são corretas? ” “Apenas I, II e IV estão corretas”

Família do verdadeiro ou falso n Identifique as afirmações corretas sobre o Canadá q q q I) O Canadá possui duas línguas oficiais, e o francês é a mais falada das duas II) O Canadá foi sede das últimas Olimpíadas de Inverno, realizadas em Vancouver III) A Rainha Elizabeth II é a chefe de estado do Canadá

Família do verdadeiro ou falso n O candidato pode acertar q Sobre duas das afirmações Mas o avaliador não sabe disso se ele errar a questão q Há perda de informação q n Sobre o conhecimento real do candidato

Família do verdadeiro ou falso n A família do verdadeiro ou falso q q Requer a análise de todas as opções, uma a uma Caracterizando uma operação serial n q Usando o sistema de memória declarativa Ou seja, o aluno competente n n Capaz de utilizar um sistemas mais eficientes de demonstração de conhecimento É obrigado a operar com o sistema mais limitado

Família do verdadeiro ou falso n A família do verdadeiro ou falso q Requer mais tempo por questão n q Pois opera de maneira serial Ou seja, o número máximo de questões no teste n n Precisa ser menor Quanto menos questões q Pior a amostragem

Família do verdadeiro ou falso n A família do verdadeiro ou falso q Tende a produzir índices P menores n q Usualmente por aumento de falsos negativos Tende a produzir índices de discriminação menores

Família do verdadeiro ou falso n Conclusão q Questões de verdadeiro ou falso n n Devem ser evitadas O uso de questões da q Família da melhor resposta n n n Produz melhor discriminação Permite a aplicação de mais questões Permite a resolução através do sistema de memória não -declarativa

Questões de Melhor Resposta MELHOR RESPOSTA ÚNICA

Melhor Resposta, questão bemfeita n Este país é conhecido por ser um grande produtor de vinhos e queijos, bem como também é o principal destino turístico do planeta. Em um determinado momento da Segunda Guerra Mundial, sua capital foi invadida e ocupada por completo. Que país é este? q q q n n a) Alemanha b) Itália c) França d) Noruega e) Inglaterra Todas respostas são da mesma categoria Podem ser ordenadas de “muito errada” até “correta” q Ou seja, estão sobre o mesmo “eixo” conceitual

Características relevantes n n Enunciado longo Respostas curtas Todas as respostas pertencem a mesma categoria (Países, no exemplo anterior) É possível responder a pergunta mesmo que não se saiba as alternativas! q E esta tende a surgir de maneira espontânea n Indicando o uso de memória não-declarativa

Melhor Resposta, questão malfeita n O que a mais importante característica da França? q q q a) É uma grande produtora rural b) É uma das mais antigas democracias do planeta c) Produz a maior parte da sua energia a partir de hidroelétricas d) É uma grande produtora de vinhos e) Seu presidente é casado com uma conhecida atriz austríaca

Problemas do exemplo anterior n n n O enunciado é curto As respostas são longas As respostas são sobre temas diferentes q n Não estão sobre o mesmo “eixo” Não é possível responder a pergunta sem que se leia as alternativas q Ou seja, só pode ser respondido de maneira serial

Coisas a evitar n Perguntas negativas q q “Assinale a alternativa abaixo que NÃO corresponde a uma das características da França” São mais confusas n n Produzem mais falsos negativos Têm menor poder de discriminação

Questões de Melhor Resposta ASSOCIE AS COLUNAS

Associe as colunas n n a) França b) Itália c) Inglaterra d) Alemanha n n ( ) Era a principal potência européia no início dos anos 40 ( ) Sua capital foi invadida no início da Segunda Guerra Mundial ( ) Seu líder na Segunda Guerra era conhecido com Il Duce ( ) Sofreu constantes ataques da aviação inimiga no início da guerra, mas conseguiu resistir graças ao esforço intenso de seus pilotos de caça

Associe as colunas n Enunciado genérico q n Indicando para associar as colunas Formato eficiente q Mas substituído pelo de n Escolha Estendida

Questões de Melhor Resposta ESCOLHA ESTENDIDA

Escolha Estendida n Estrutura q q q Tema Lista de Opções Enunciados

Escolha Estendida n Tema: países envolvidos na Segunda Guerra Mundial q q q a) França b) Inglaterra c) Itália d) Alemanha e) Japão f) Noruega g) Portugal h) Espanha i) União Soviética j) Holanda k) Estados Unidos n 1) Este país entrou na Guerra apenas em 1941, após uma das ilhas de seu território ser atacada inesperadamente.

Escolha Estendida n Tema: países envolvidos na Segunda Guerra Mundial q q q a) França b) Inglaterra c) Itália d) Alemanha e) Japão f) Noruega g) Portugal h) Espanha i) União Soviética j) Holanda k) Estados Unidos n 2) Este país tinha dois outros importantes aliados, mas era militarmente inferior a estes. Sua campanha na África foi desastrosa. Foi o primeiro dos três a capitular.

Escolha Estendida n Tema: países envolvidos na Segunda Guerra Mundial q q q a) França b) Inglaterra c) Itália d) Alemanha e) Japão f) Noruega g) Portugal h) Espanha i) União Soviética j) Holanda k) Estados Unidos n 3) Este país foi invadido no período inicial da Guerra e permaneceu ocupado por vários anos. A parte sul do país manteve autonomia, mas com um governo simpático e submetido aos invasores. Um governo paralelo formou-se na Inglaterra.

Características da Escolha Estendida n Opções curtas q E pertencentes à mesma categoria (países no exemplo acima) n Enunciados longos n É o formato padrão q n Adotado por várias entidades de licenciamento profissional O fato de usar mais do que cinco alternativas q q Requer alterações nas folhas de resposta Estudos recentes indicam que 8 alternativas é um número adequado

Escolha Estendida com múltiplas respostas n Tema: países envolvidos na Segunda Guerra Mundial q q q a) França b) Inglaterra c) Itália d) Alemanha e) Japão f) Noruega g) Portugal h) Espanha i) União Soviética j) Holanda k) Estados Unidos n 4) Este três países aliaram-se no início da Segunda Guerra Mundial através de um pacto de suporte político, econômico e militar com o objetivo de estabelecer uma nova ordem mundial.

Escolha Estendida com múltiplas respostas n Escolha estendida com múltiplas respostas q Tende a ser mais difícil

Síntese até o momento n Melhores formatos: Melhor Resposta Única e Escolha Estendida q Formato aceitável: Associe as Colunas n Formatos não-recomendados: Verdadeiro ou Falso, Melhor Resposta Única Negativa n Enunciados longos, respostas curtas n De preferência, q Ser possível responder sem ler as alternativas

Elaboração PROBLEMAS QUE FACILITAM A RESOLUÇÃO

Problemas de redação que facilitam a resolução n Dicas gramaticais q n Uso de termos absolutos q q n A “chave” está melhor redigida A maior parte das coisas é relativa Alternativas com “sempre”, “nunca”, “todos” e “nenhum” normalmente estão erradas Resposta correta é mais longa que as outras q A “chave” é mais longa, melhor elaborada e mais completa

Problema: dicas lógicas n A população da França é: q q q n a) maior que a da Itália b) menor que a da Itália c) do mesmo tamanho que a da Itália d) composta por apenas uma etnia e) composta principalmente por jovens As três primeiras alternativas já dão conta de todas as opções

Problema: repetição de palavra do enunciado n Um homem afogou-se na praia. Este tipo de acidente é chamado de: q q q n a) atropelamento b) enforcamento c) afogamento d) aliciamento e) esmagamento O enunciado já entrega a resposta

Problema: respostas convergentes n Estes dois países foram aliados durante a Segunda Guerra Mundial. Que países são estes? q q q n a) Inglaterra e Alemanha b) Inglaterra e Itália c) França e Alemanha d) França e Itália e) Alemanha e Itália Os termos mais frequentes comumente são os corretos

Elaboração PROBLEMAS QUE DIFICULTAM A RESOLUÇÃO

Problemas de redação que dificultam a resolução sem necessidade n Opções longas e complicadas q Velocidade de leitura n n Passa a ser um fator relevante Inconsistência nos números q Algumas alternativas com número (15, por exemplo) q Outras com faixa de números (de 10 -14, por exemplo)

Problemas de redação que dificultam a resolução sem necessidade n Uso de termos vagos para indicar freqüência q “Usualmente”, “comumente”, “frequentemente”, “raramente” n O uso da opção “Nenhuma das anteriores” q Transforma todas as alternativas anteriores em miniquestões de Verdadeiro ou Falso

Problema: linguagem não-paralela nas opções n A Alemanha teve boas chances de sair vitoriosa da Segunda Guerra Mundial, pois suas táticas e equipamentos eram avançadíssimos para a época. Entretanto, uma série de decisões estratégicas errôneas resultou em sua derrota. Qual destas decisões erradas foi a mais importante pela derrota? q q q n a) A Alemanha abriu uma segunda frente de batalha ao atacar a União Soviética b) Muitas tropas foram comprometidas com a defesa da Itália c) O fornecimento de material bélico para o Japão. As opções deveriam ser q q q a) A abertura de uma frente de batalha contra a União Soviética b) O comprometimento de tropas com a defesa da Itália c) O fornecimento de material bélico para o Japão

Problema: escolha de marcadores mais complexos que o necessário n Ordene os países com relação ao número de soldados mortos durante a Segunda Guerra Mundial do maior para o menor. q I) Alemanha q II) Rússia q III) Inglaterra q IV) Suíça q V) Holanda n Opções: q a) I, III, IV, V q b) II, I, III, V, IV q c) V, I, III, II q d) IV, V, III, I, II n O correto seria usar, nas alternativas, o nome dos países

Linhas gerais

Linhas gerais n Elaborar a questão de maneira que q Seja possível respondê-la mesmo sem as opções n Usar enunciados longos, respostas curtas n Evitar informação supérflua n Evitar questões desnecessariamente complexas

Linhas gerais n Cuidar a gramática de todas as opções n Elaborar distratores plausíveis e de tamanho semelhante à resposta correta n Evitar termos absolutos, como “nunca” e “sempre” n Evitar questões negativas q q aquelas que tem “exceto” ou “não” no enunciado se precisar utilizar uma questão deste tipo n as respostas devem ser muito curtas (uma palavra apenas preferencialmente)