Validade Interna Captulo 2 Shadish Cook e Campbell

Validade Interna Capítulo 2 – Shadish , Cook e Campbell (2002) Pp. 53 - 63

Definições ¢ A covariação entre A e B reflete uma relação causal de A para B na forma como as variáveis foram manipuladas ou mensuradas? l A deve preceder B l A deve covariar com B l Inexistência de hipóteses alternativas ¢ Termo livre de confusões proposto por Campbell (1986): VALIDADE CAUSAL MOLAR LOCAL Refere-se às inferências causais Os experimentos são pacotes complexos constituídos por muitos componentes Limitação da conclusão ao contexto do treinamento

Ameaças à Validade Interna ¢ “Tipicamente, nós inferimos um efeito a partir de uma causa por meio da eliminação de outras possíveis causas” (Mackie, 1974), tais como: l l l l l Precedência temporal ambígua Seleção História Maturação Regressão Desgaste Testagem Instrumentação Efeitos Aditivos e Interativos das Ameaças

Ameaças à Validade Interna ¢ Precedência temporal ambígua l ¢ Especialmente em estudos correlacionais, a relação temporal entre A e B pode ser confusa. O fato de A ocorrer antes de B não justifica que A causa B. Seleção l As diferenças entre os grupos experimentais e de comparação (ou de controle), em algumas vezes, podem ser responsáveis por diferentes resultados na implementação do programa. A característica chave desta ameaça é a confusão dos efeitos do tratamento com diferenças existentes na população pesquisada.

Ameaças à Validade Interna ¢ História l Qualquer evento ocorrido entre o início do tratamento e o pós-teste e que pode ter produzido os efeitos observados na ausência do tratamento. ¢ Maturação l Alterações naturais que podem ocorrer mesmo na ausência do tratamento. Podem constituir-se em ameaça se produzirem os resultados atribuíveis ao tratamento.

Ameaças à Validade Interna ¢ Regressão l Comum quando os participantes são selecionados a partir de escores extremos, os quais tendem a não ser tão extremos em outras mensurações (regressão para a média). ¢ Mortalidade l Refere-se à perda de sujeitos ou participantes da pesquisa. Essa perda pode provocar diferenças entre pessoas que permanecerem em um e em outro grupo ou condição (controle, tratamento).

Ameaças à Validade Interna ¢ Teste l ¢ Influência exercida por um teste sobre os resultados da aplicação do mesmo teste em outra situação. Apesar de preocupante, esta ameaça é menor quando o intervalo de tempo entre uma e outra aplicação de um teste é razoável. Instrumentação l Uma alteração no instrumento pode ocorrer ao longo do tempo mesmo na ausência do tratamento, simulando, assim, o efeito do tratamento. Difere da ameaça referente à testagem, pois reflete uma mudança no instrumento, e não no participante. Comum em estudos sobre o desenvolvimento infantil, em que as medidas são alteradas ao longo do tempo.

Ameaças à Validade Interna ¢ Efeitos Aditivos l Várias ameaças podem ocorrer conjuntamente. A rede de ameaças será maior ou menor, dependendo da direção e da magnitude do efeito de cada viés e da forma como essas variáveis atuam conjuntamente (aditivamente ou interativamente); l Inferências causais imprecisas são mais prováveis quanto há muitas ameaças operando simultaneamente na mesma direção.

Reduzindo as ameaças ¢ Em delineamentos quase-experimentais: Número de Ligações l Modificar as características do desenho da pesquisa ou tornar as ameaças explícitas e, então, eliminá-las uma por uma. • Intervenção: Cobrança de 20 centavos por ligação para o diretório local de assistência. • Análise das ameaças à validade: cobrança 3000 2500 2000 1500 1000 500 62 64 66 68 Ano 70 72 74 • Regressão: improvável, pois a série anterior à intervenção relata um alto número de ligações por muitos anos; • Seleção: improvável, pois a população usuária do serviço não sofreu mudanças atípicas nos meses anteriores e posteriores à intervenção; • Mortalidade: improvável, pois é difícil imaginar que grande parte dos usuários tenham desconectado seus telefones em resposta à cobrança; • Testagem: no caso, o teste é a conta do usuário, a qual não sofreu alteração alguma nos períodos analisados; • História: plausível somente se outro evento ocorrido simultaneamente com a cobrança tivesse gerado efeito tão drástico, o que parece improvável.

Validade da conclusão estatística: Questões relevantes: As variáveis independentes estão de fato correlacionadas? O efeito da VI sobre a VD foi estatisticamente significativo? Possíveis ameaças: baixo poder estatístico (amostras pequenas ou testes com baixo poder para testar o efeito); violação de pressupostos estatísticos; instrumentos pouco válidos; heterogeneidade dos sujeitos nas condições; uso de muitos testes estatísticos para testar efeitos; baixa confiabilidade do experimento ou condições de pesquisa; ocorrências imprevistas durante o experimento.

Validade interna Questões importantes: O que causou os efeitos? O tratamento sozinho produziu os resultados? Há explicações alternativas para os efeitos? Quais são elas? Até que ponto (quanto e em que direção) essas variáveis externas afetaram os resultados? Ameaças: história (ocorrências alheias ao experimento); maturação (alterações nos participantes ocorridas entre o pré e o pós-teste); instrumentação e testagem, regressão à média, interação da seleção de sujeitos com o tratamento gerando grupos não equivalentes; difusão ou imitação; equalização compensatória dos grupos; rivalidade compensatória entre grupos (controle e tratamento); desmotivação ressentida de um ou mais grupos.

Validade de constructo Questões importantes: O que significam os resultados? Como os conceitos foram definidos? As definições e operacionalizações estão alinhadas entre si? As medidas são válidas (representativas do constructo que se propõem a medir? ) e precisas (avaliam apenas o que estão se propondo a medir? Ameaças: Explicações imprecisas dos constructos; Distorção causada pela mono-operacionalização (uma medida para um constructo); Distorção causada pelo mono-método (mesmo método ou método similar); Sujeitos da pesquisa com conhecimento das hipóteses experimentais; Confusão entre conceitos; Expectativas do a avaliador. Dificuldade de generalização dos achados em função da definição e medidas adotadas.

Validade Externa: ¢ ¢ Questão relevante: Os achados da pesquisa podem ser generalizados para outras pessoas, contextos e épocas? Ameaças: - amostras de conveniência impedem ou dificultam a generalização; - interações com variáveis externas.

Delineamentos e controle de ameaças Fonte: Meneses, 2007