Fidedignidade Igor Menezes AULA 10 Princpios de Psicometria

Fidedignidade Igor Menezes AULA 10 Princípios de Psicometria

O estudo da fidedignidade é uma etapa posterior à fase de validação de um instrumento psicométrico. Pela TCT, a fidedignidade era o parâmetro psicométrico mais investigado, sendo desenvolvidas várias técnicas estatísticas de estimação desse parâmetro. Dentro da TRI, a fidedignidade é preterida em favor do parâmetro de validade, embora seja também estudada. Igor Menezes Princípios de Psicometria

Teoria Clássica dos Testes (TCT) Igor Menezes Princípios de Psicometria

Definição Corresponde à consistência dos escores obtidos pelas mesmas pessoas quando elas são reexaminadas com o mesmo teste em diferentes ocasiões, ou com diferentes conjuntos de itens equivalentes, ou sob outras condições variáveis de exame. Diz respeito também ao grau de precisão da medida ou ao nível de consistência interna (correlação item-total) entre os itens de um teste. Igor Menezes Princípios de Psicometria

Clareando conceitos. . . FIDEDIGNIDADE = CONFIABILIDADE = PRECISÃO Nomenclatura com relação às técnicas estatísticas utilizadas para a análise dos dados empíricos coletados Consistência Interna Fidedignidade Equivalência Ciências Físicas Igor Menezes Fidedignidade Estabilidade Constância Calibração dos Instrumentos Princípios de Psicometria

FIDEDIGNIDADE = MEDIR SEM ERROS Medir os mesmos sujeitos Em ocasiões diferentes com o mesmo teste Igor Menezes Na mesma ocasião com testes equivalentes Princípios de Psicometria

Os tipos de fidedignidade são expressos em termos de um coeficiente de correlação. Correlação entre as duas medidas -1 +1 > Precisão da medida > Erro de mensuração Igor Menezes Princípios de Psicometria

Medidas de Fidedignidade Possibilitam estimar que proporção da variância total dos escores de teste é uma variância de erro. Coeficientes de precisão é a função da variância verdadeira (covariância) pela variância total Igor Menezes Princípios de Psicometria

Exemplo 1: Interesse em medir flutuações de humor Indicador: Mudanças do dia-a-dia Resultado: Escores seriam parte da variância verdadeira do teste, pois são relevantes para o objetivo do teste. Exemplo 2: Interesse em medir características de personalidade Indicador: Mudanças do dia-a-dia Resultado: Escores são considerados como variância de erro, pois não se adeqüam ao objetivo do teste. Igor Menezes Princípios de Psicometria

Aplicação do Coeficiente de Fidedignidade Exemplo: Teste de Fluência de Palavras FORMA 1 Escrever o máximo possível de palavras começando com uma determinada letra. * Tempo: cinco minutos Correlação (r) FORMA 2 ou Escrever o máximo possível de palavras com uma outra letra aproximadamente igual em dificuldade. Coeficiente de Fidedignidade * Tempo: cinco minutos Igor Menezes Princípios de Psicometria

Igor Menezes Manutenção de Condições Uniformes de Testagem Controle do Ambiente Instruções Limites de Tempo Amostra Normativa Aumentando a Confiabilidade Reduzindo a variância de erro Qualquer condição que seja irrelevante para o objetivo do teste representa variância de erro. Princípios de Psicometria

Coeficientes de Fidedignidade 1. Fidedignidade Teste-Reteste 2. Formas Paralelas (Alternadas) 3. Método das Duas Metades 4. Kuder-Richardson 5. Coeficiente Alpha de Cronbach 6. Fidedignidade do Avaliador Igor Menezes Princípios de Psicometria

1 Fidedignidade Teste-Reteste O coeficiente de fidedignidade é a correlação entre os escores obtidos pelas mesmas pessoas nas duas aplicações de um mesmo teste. Momento 1 Correlação (r) entre Escore A e Escore B Mesmo(s) sujeito(s) Escore A Igor Menezes Teste A Coeficiente de Estabilidade ou Constância Momento 2 Teste A Mesmo(s) sujeito(s) Escore B Princípios de Psicometria

1 Fidedignidade Teste-Reteste A variância de erro corresponde às flutuações aleatórias de desempenho de uma sessão de teste para a outra. Mostra a extensão em que os escores em um teste podem ser generalizados para situações diferentes. Cuidados em manter breve o intervalo da retestagem (máximo de 6 meses). Somente os testes que não são afetados pela repetição se prestam à técnica de reteste (como testes motores e de discriminação sensória). Igor Menezes Princípios de Psicometria

1 Fidedignidade Teste-Reteste VANTAGEM Garantia da equivalência (paralelismo), pois se trata da aplicação do mesmo teste. DESVANTAGENS Dificuldade em se definir o intervalo ideal de tempo entre a 1ª e a 2ª aplicações. Dificuldade em controlar os eventos que ocorrem entre a 1ª e a 2ª aplicações. Igor Menezes Princípios de Psicometria

1 Fidedignidade Teste-Reteste: interpretação Parâmetro Ideal: Coeficiente Spearman-Brown (rsb) ≥ 0, 50 (quando se assume a igualdade das variâncias entre as duas metades) Coeficiente Guttman (L 4) ≥ 0, 50 (quando não se assume a igualdade das variâncias entre as duas metades). Igor Menezes Princípios de Psicometria

2 Formas Paralelas (ou alternadas) O coeficiente de fidedignidade é a correlação entre os escores obtidos pelas mesmas pessoas na aplicação de formas equivalentes de um teste. Teste B (forma paralela) Momento 1 Correlação (r) entre Escore A e Escore B Mesmo(s) sujeito(s) Escore A Igor Menezes Coeficiente de Equivalência Momento 1 Teste A Mesmo(s) sujeito(s) Escore B Princípios de Psicometria

2 Formas Paralelas (ou alternadas) A variância de erro é resultante da amostragem de conteúdo. O coeficiente de fidedignidade é uma medida tanto da estabilidade temporal quanto da consistência da resposta a diferentes amostras de itens (ou formas de teste). Igor Menezes Princípios de Psicometria

2 Formas Paralelas (ou alternadas) Critérios para Manutenção da Equivalência Os testes devem ser construídos independentemente para satisfazer as mesmas especificações. Devem conter o mesmo número de itens. Devem ser expressos na mesma forma. Devem abranger o mesmo tipo de conteúdo. O intervalo de tempo e o nível de dificuldade dos itens devem ser iguais. Igor Menezes Princípios de Psicometria

2 Formas Paralelas (ou alternadas) VANTAGENS DESVANTAGENS São úteis na investigação dos efeitos de algum fator experimental interveniente no desempenho apresentado no teste. Dificuldade em se conseguir formas perfeitamente paralelas, isto é, medir mesmo traço latente com itens diferentes. Os testes são aplicados numa só ocasião. Não elimina totalmente o efeito da prática. Reduz a possibilidade de treinamento ou fraude. Igor Menezes Princípios de Psicometria

2 Formas Paralelas (ou alternadas) Formas Paralelas: interpretação Parâmetro Ideal: Testa se todos os itens possuem variâncias e erros iguais. Quando são iguais o cálculo da fidedignidade será dado pelo alpha de Cronbach. Se o valor do qui-quadrado for inferior a 0, 05, rejeita-se a hipótese nula de igualdade de variâncias e erros na população. Igor Menezes Princípios de Psicometria

2 Formas Paralelas (ou alternadas) Formas Paralelas: interpretação Parâmetro Ideal: Maior variância verdadeira do que variância de erro. Igor Menezes Princípios de Psicometria

3 Duas Metades (Split Half) O coeficiente de fidedignidade é a correlação entre os escores obtidos pelas mesmas pessoas na aplicação de um mesmo teste dividido em duas metades equivalentes. Momento 1 Teste A Mesmo(s) sujeito(s) Igor Menezes Escore A 1 Correlação (r) entre Escore A 1 e Escore A 2 Coeficiente de Consistência Interna Princípios de Psicometria

3 Duas Metades (Split Half) Fórmula Geral rtt = coeficiente obtido DPd 2 = variância das diferenças entre os escores de cada pessoa nos dois meios-testes. DPx 2 = variância dos escores totais. A variância verdadeira (coeficiente de fidedignidade) é dada pela diferença entre 1, 0 e a variância de erro. Igor Menezes Princípios de Psicometria

3 Duas Metades (Split Half) A variância de erro é resultante da diferença entre os escores de uma pessoa nos dois meios-testes. Deve-se encontrar os escores nos itens pares e ímpares do teste. Deve-se dividir o teste em grupos de itens que tratam do mesmo conteúdo. Igor Menezes Princípios de Psicometria

3 Duas Metades (Split Half) VANTAGENS DESVANTAGENS Exige apenas uma aplicação (evita eventos temporais). Dificuldade em se garantir a equivalência das duas metades. Os testes são aplicados numa só ocasião. A forma final do teste poderá reter um número demasiadamente elevado de itens, fatigando o sujeito (aumenta a variância de erro). Reduz a possibilidade de treinamento ou fraude. Igor Menezes Princípios de Psicometria

3 Duas Metades (Split Half) Duas Metades: interpretação Parâmetro Ideal: Coeficiente Spearman-Brown (rsb) ≥ 0, 50 (quando se assume a igualdade das variâncias entre as duas metades) Coeficiente Guttman (L 4) ≥ 0, 50 (quando não se assume a igualdade das variâncias entre as duas metades). Igor Menezes Princípios de Psicometria

Kuder-Richardson 4 O coeficiente de fidedignidade é a correlação entre os escores obtidos em cada item do teste. Teste A Item A 1 Momento 1 Item A 2 Item A 3 Item A 4 . . . Correlação (r) interitem entre cada escore Item A 40 Mesmo(s) sujeito(s) Igor Menezes Coeficiente Kuder. Richardson Princípios de Psicometria

Kuder-Richardson 4 Fórmula Geral Kuder-Richardson 20 KR 20 = coeficiente obtido n = nº de itens do teste st 2 = variância total dos escores do teste pq = somatório do produto da proporção de pessoas que acertam o item (p) e da proporção dos que erram (q) A fórmula Kuder-Richardson 20 é utilizada quando os itens são dicotômicos. Igor Menezes Princípios de Psicometria

Kuder-Richardson 4 Fórmula Geral Kuder-Richardson 21 KR 21 = coeficiente obtido n = nº de itens do teste st 2 = variância total dos escores do teste T = média da soma dos itens acertados pelo sujeito (média do escore total). A fórmula Kuder-Richardson 21 é utilizada quando os itens, além de dicotômicos, têm o mesmo nível de dificuldade. Igor Menezes Princípios de Psicometria

4 Kuder-Richardson A variância de erro é resultante da amostragem por conteúdo e pela heterogeneidade do domínio comportamental amostrado. Quanto mais homogêneo, maior a fidedignidade. O coeficiente Kuder-Richardson é aplicável aos testes cujos itens são pontuados em termos de escalas dicotômicas (certo-errado; tudo-nada). Igor Menezes Princípios de Psicometria

4 Kuder-Richardson: interpretação Condição Kuder-Richardson (KR) Não-recomendado < 0, 70 Aceitável 0, 70 ≤ KR ≤ 0, 79 Recomendado 0, 80 ≤ KR ≤ 0, 90 Não-recomendado > 0, 90 Parâmetro Ideal: 0, 70 ≤ KR ≤ 0, 90 Igor Menezes Princípios de Psicometria

5 Alpha de Cronbach O coeficiente de fidedignidade é a correlação entre os escores obtidos em cada item do teste. É semelhante à técnica Kuder-Richardson. Teste A Item A 1 Momento 1 Item A 2 Item A 3 Item A 4 . . . Correlação (r) interitem entre cada escore Item A 40 Mesmo(s) sujeito(s) Igor Menezes Coeficiente Alpha Princípios de Psicometria

5 Alpha de Cronbach Fórmula Geral Alpha a = coeficiente obtido n = nº de itens do teste si 2 = soma das variâncias dos n itens s. T 2 = variância total dos escores do teste A fórmula Alpha é uma modificação da Kuder-Richardson e reflete o grau de covariância dos itens entre si. O coeficiente Alpha varia de 0 (ausência total de consistência interna dos itens) a 1 (100% de consistência). Igor Menezes Princípios de Psicometria

5 Alpha de Cronbach A variância de erro é resultante da amostragem por conteúdo e pela heterogeneidade do domínio comportamental amostrado. Quanto mais homogêneo, maior a fidedignidade. O coeficiente Alpha é aplicável aos testes cujos itens são pontuados em termos de escalas graduadas (Likert, Diferencial Semântico, Stapel, etc). Igor Menezes Princípios de Psicometria

5 Alpha de Cronbach: interpretação Condição Alpha de Cronbach (a) Não-recomendado < 0, 70 Aceitável 0, 70 ≤ a ≤ 0, 79 Recomendado 0, 80 ≤ a ≤ 0, 90 Não-recomendado > 0, 90 Parâmetro Ideal: 0, 70 ≤ a ≤ 0, 90 Igor Menezes Princípios de Psicometria

Fidedignidade do Avaliador 6 O coeficiente de fidedignidade é a correlação entre os escores atribuídos por cada avaliador. Momento 1 Teste A Mesmo(s) sujeito(s) Igor Menezes Escores Avaliador 1 Escores Avaliador 2 Item A 1 80 74 Item A 2 75 81 Item A 3 77 76 Item A 4 74 Item A 40 83 . . . Correlação (r) 71 79 Fidedignidade do avaliador Princípios de Psicometria

6 Fidedignidade do Avaliador Coeficiente Cohen Kappa É uma das medidas mais robustas de exame da fidedignidade do avaliador. k = coeficiente Kappa Pr(a) = é a concordância observada relativa entre os avaliadores. Pr(b) = é a probabilidade de que a concordância seja devida ao acaso. Igor Menezes Princípios de Psicometria

6 Fidedignidade do Avaliador Coeficiente Cohen Kappa É uma das medidas mais robustas de exame da fidedignidade do avaliador. O Cohen Kappa é utilizado quando se trabalha com somente dois avaliadores. Quando se utilizam mais de dois avaliadores, emprega-se o coeficiente Fleiss Kappa. Igor Menezes Princípios de Psicometria

6 Fidedignidade do Avaliador: interpretação CONDIÇÃO Não-recomendado Aceitável Recomendado Fidedignidade do Avaliador < 0, 70 ≤ k ≤ 0, 79 ≥ 0, 80 Parâmetro Ideal: k ≥ 0, 70 Igor Menezes Princípios de Psicometria

6 Fidedignidade do Avaliador A variância de erro é resultante da variância do avaliador. Tipo de fidedignidade comumente calculado quando instrumentos avaliados subjetivamente são empregados na pesquisa. Muito usados para testes de criatividade e testes projetivos de personalidade. Igor Menezes Princípios de Psicometria

Fontes de Variância de Erro em Relação aos Coeficientes de Fidedignidade Igor Menezes Tipo de Coeficiente de Fidedignidade Variância de Erro Teste-Reteste Amostragem de Tempo Forma Alternada ou Paralela Amostragem de Conteúdo Método das Duas Metades Amostragem de Conteúdo Kuder-Richardson Amostragem de Conteúdo e Heterogeneidade de Conteúdo Coeficiente Alpha Amostragem de Conteúdo e Heterogeneidade de Conteúdo Avaliador Diferenças entre Avaliadores Princípios de Psicometria

Fatores que Afetam a Fidedignidade > Variabilidade da amostra -1 > Coeficiente de correlação +1 > Precisão da medida > Número de itens -1 > Coeficiente de correlação +1 > Precisão da medida Igor Menezes Princípios de Psicometria

Fatores que Afetam a Fidedignidade Teoria de Resposta ao Item (TRI) Igor Menezes Princípios de Psicometria

Pela TRI, a fidedignidade pode ser obtida estimando-se A Curva de Informação do Item, que corresponde a um procedimento de análise gráfica que apresenta o nível do teta para o qual o item traz a maior informação. Esta análise é feita a partir da Função de Informação do Item (IIF), que, algebricamente pode ser calculada pela seguinte fórmula: Igor Menezes Princípios de Psicometria

Função de Informação do Item (IIF) Igor Menezes Princípios de Psicometria

Na análise gráfica, a magnitude da informação é indicada no eixo das ordenadas (y), sendo que os itens com elevada discriminação possuem uma função de informação mais acurada, visto que uma alta discriminação significa que o item pode diferenciar melhor os sujeitos que se situam próximo ao valor da dificuldade. Igor Menezes Princípios de Psicometria

A função de informação do item pode identificar, assim, itens que apresentam um bom ou um mal desempenho. Um item que traz pouca informação pode indicar a mensuração de algo diferente de outros itens na mesma escala; a má formulação do seu enunciado, o que careceria de revisão; a excessiva complexidade para os sujeitos que estão sendo avaliados; ou ainda, que se encontra fora do contexto do instrumento como um todo (Reeve e Fayers, 2006). Igor Menezes Princípios de Psicometria

A qualidade da informação do item aumenta quando: a)o parâmetro b se aproxima de teta; b)quanto maior for o parâmetro a; e c)quanto mais o valor do parâmetro c se aproxima de zero. Igor Menezes Princípios de Psicometria

Ex. : Item com boa qualidade de informação Igor Menezes Princípios de Psicometria

A Curva de Informação do Teste é resultado da soma das funções de informação de todos os itens de um instrumento, obtida a partir da Função de Informação do Teste (TIF). que considera a soma das informações fornecidas por cada item, não trouxe uma informação maior ou igual a 10, 0, valor considerado por Hambleton (2004) como ideal para a garantia de uma boa precisão da medida psicométrica. Igor Menezes Princípios de Psicometria

Função de Informação do Teste (TIF): interpretação Parâmetro Ideal: TIF ≥ 10, 0 Igor Menezes Princípios de Psicometria