Padronizao Psicometria Mestrado e Doutorado em Avaliao Psicolgica

Padronização Psicometria – Mestrado e Doutorado em Avaliação Psicológica Universidade São Francisco Dr. Ricardo Primi

Definição clássica de precisão • “Na ausência de dados adicionais que apóiem a interpretação, um escore bruto em um teste psicológico é sem sentido” Anastasi & Urbina (1997). • Quais dados adicionais ? (veja o gráfico) • Padronização X Normatização

Métodos de atribuição de significado aos escores • • A referência à norma compara os escores obtidos por um sujeito com os escores obtidos por um grupo de referência (grupo normativo) e indica a posição relativa desse escore frente ao grupo. A referência ao conteúdo é utilizada quando o conjunto de problemas presente no instrumento pode ser considerado uma amostra representativa do universo de problemas de um determinado conteúdo ou domínio. Nessas condições interpreta-se o escore nas tarefas (amostra) diretamente como uma estimativa do escore que o sujeito teria se respondesse a todos os problemas do universo (população). A referência ao critério compara o escore relacionando-o a alguma outra medida que se queira prever, chamada critério externo. Indica-se para cada nível no teste qual a expectativa de desempenho no critério externo. Referência no item. . TRI. . . mais tarde veremos

Tipos de dados adicionais

Procedimentos • Resultado bruto (significado da escala numérica dependente dos itens) » Transformação (linear e não linear) » Resultado padronizado (significado escala numérica independente dos itens) • Quais referências estão “embutidas” nas escalas e tornam os números interpretáveis ? • Conceitos estatísticos: • • • Distribuição de notas Freqüência acumulada e percentil Escore padronizado “z” Curva normal teórica, probabilidades esperadas Métodos de transformação para padronização de notas

Escore Padronizado “z” • Varia geralmente de -4 a + 4 • Média em 0 e Desvio Padrão 1

Curva Normal Teórica

Diferentes Métodos de Normatização • Normas desenvolvimentais • Idade mental (Binet) • QI de Razão QI = (IM/IC) X 100 • Normas por série escolar (equivalentes às séries escolares “grade equivalents”). • Normas ordinais (padrões sequenciais, diferente de normas por idade) • Problemas: • QI de razão • a inconstância da unidade de medida da escala de Idade Mental em razão progressão da idade cronológica (analogia com altura). • 6/5 = 12/10 = 18/15 = 120 • A idade cronológica cresce regularmente mas a idade mental não • Normas, normas equivalentes às séries: • como interpretar os escores sem incorrer no erro de supor uma escala absoluta ligada às séries? (Ex: Criança da primeira série com escores em matemática acima da média de seu grupo equivalentes à quantidade de acertos da criança média da terceira série).

Diferentes Métodos de Normatização • Normas intra-grupo • Compara-se a nota do indivíduo com a nota média de grupos mais próximos a ele. • O problema dos Percentis • Escore Padrão “z” • Transformações lineares • Não alteram a distribuição • Transformações não lineares (escore padrão normalizado) • Altera a distribuição fazendo-a semelhante à normal teórica. • Curva normal teórica > para cada z > uma proporção X • Curva normal “imperfeita” > para cada z > proporção diferente de X • Proporção observada > descobre-se o z da curva teórica associada aquela proporção • Procedimento: estima-se a frequencia acumulada dos escores, buscase o valor de z na curva normal equivalente aquela proporção e atribui -se àquele z ao escore bruto • QI de desvio

Exercício • Arquivo da prova BPR-5 i (infantil) • Crie uma tabela de conversão dos escores da prova RA para percentil • Crie uma tabela de conversão para escores RA do teste para escores “z” • Crie uma tabela para escores RA de QI de Desvio • Crie uma tabela que transforme os escores de RA para escores padrão normalizados

Referência ao Critério • • O que é Validade de Critério Relações teste-critério Estatísticas bivariadas Se o critério é uma variável dicotômica: distribuição para os dois níveis do critério, expectativa para cada grupo • Estabelecer expectativas dos valores do critério para cada nível dos escores do teste

Teste “A” Alta Teste “A” não é válido Baixa Performance no Trab. Validade de 0, 0 Baixo Escore no Teste “A” Alto

Teste “B” Alta Teste “B” é Valido Performance no Trab. Validade de 0, 75 Teste “A” não é Valido Validade de 0, 0 Teste “C” tem validade menor que o teste “B” Baixa Validade de 0, 45 Baixo Escore no Teste “B” Alto

Baixa Performance no Trab. Alta Quais chances de decisão correta temos na seleção? Falso negativos Decisão Correta Baixo Escore no Teste Decisão Correta Falso Positivos Alto Entrevista Estruturada Valida Entrevista

Estudos realizados no Lab. APE da Universidade São Francisco • V. O. Baumgartl & R. Primi (2004) realizaram um estudo buscando evidências de validade de critério dos testes BPR-5, BFM-1, PMK e MSCEIT. • Refs: • Baumgartl, V. O. (2004). Evidências de validade do BPR-5, BFM-1 e PMK em eletricitários. Dissertação de Mestrado. Programa de Pós Graduação Stricto Sensu em Psicologia, Itatiba: Unversidade São Francisco • Baumgartl, V. O. & Primi, R. (2004). Evidências de Validade da Bateria de Provas de Raciocínio (BPR-5) para Seleção de Pessoal. Manuscrito submetido para publicação. • • Sujeitos: 79 eletricitários que trabalhavam em “linha viva” de 19 a 45 anos com tempo na função de 1 a 24 anos. Materiais: • • • BPR-5: RV, RA, RE, RM e RN BFM-1: Atenção Difusa, Concentrada e Discriminativa PMK: Oito Fatores MSCEIT: Mayer-Salovey-Caruso Emotional Intelligence Test, percepção de emoções, facilitação, conhecimento e regulação emocional. Medidas de critério: acidentes de trabalho, produtividade e avaliação de desempenho e acidentes de trânsito

Resultados Principais: Acidentes de Trânsito • Foram calculadas 66 correlações e somente 3 (4, 5%) foram significativas ? !: • Medidas de Atenção (BFM-1): ns • Medidas de Inteligência Emocional (MSCEIT): ns • Medidas de Inteligência (BPR-5): • Raciocínio Verbal para funcionários com mais de cinco anos de exercício na função (r=-0, 33, N=43, p <0, 04 ) • Medidas de Personalidade PMK: • Fator 8 que combina indicadores de Emotividade e Predomínio Tensional em funcionários com menos experiência na função (r=-0, 41!!, N=34, p<0, 01) • Fator 6 que agrupa indicadores de reação vivencial intra/extratensão com funcionários com mais de cinco anos de exercício na função (r=0, 35, N=38, p<0, 03) • O que isso significa em termos práticos?

Resultados: BPR-5

Resultados: PMK