Desenhos quaseexperimentais que usam ambos prtestes e grupos

Desenhos quaseexperimentais que usam ambos, pré-testes e grupos controle Capítulo 5 – Shadish, Cook e Campbell (2002)

Pré-testes ¢ Propósitos: l Indicam como diferem os grupos a serem comparados e alertam para a probabilidade mais alta de alguma ameaça a validade interna que não outra possa estar operando; l Informam a magnitude das diferenças iniciais em relação à variável mais correlacionada ao resultado; • diferença no pré-teste, pode indicar probabilidade de viés de seleção. l Facilitam as análises estatísticas, especialmente se a confiabilidade dessas medidas é conhecida.

Desenho de grupo controle não tratado com amostras dependentes de pré e pós -testes. NR O 1 X O 2 ---------NR O 1 O 2 ¢ Este desenho também é chamado de Desenho de grupo de comparação nãoequivalente. ¢ O pré-teste permite a exploração do possível tamanho e direção do viés de seleção.

Desenho de grupo controle não tratado com amostras dependentes de pré e pós -testes. ¢ Quando existe a diferença no pré-teste, aumenta a possibilidade que a seleção combinará com outras formas de ameaça aditivamente ou interativamente. l Seleção-maturação • grupo de tratamento mais perspicaz para aprender. l Seleção-instrumentação • As diferenças são mais detectáveis em valores próximos aos extremos em relação à média. l Seleção-regressão • Os grupos estão em extremos de uma distribuição. l Seleção-história • Eventos que ocorrem entre pré e pós teste podem afetar diferencialmente os grupos.

Plausibilidade das ameaças e padrões dos resultados observados ¢ Resultado 1: Ambos os grupos crescem separados e na mesma direção (dispersão em ventilador). Tratamento Controle Ex. : Efeito de horário flexível sobre produtividade. Padronização dos escores faz desaparecer a dispersão. l Os grupos podem estar maturando em taxas diferentes. l. Conduza uma análise intra-grupo para clarificar ameaças entre grupos. l. Comparar a variável de maturação hipotetizada (ex. : anos de experiência) para cada grupo, separadamente. l. Cada estudo deve apresentar e justificar suas próprias suposições sobre as diferenças na maturação. l

Plausibilidade das ameaças e padrões dos resultados observados ¢ Resultado 2: Sem mudança no grupo controle. Tratamento Ex. : Estudo sobre horário flexível mostrou melhoria no relacionamento entre supervisor-subordinado. Controle Nesse caso a crítica deve explicar porque o crescimento espontâneo ocorreu somente no grupo de tratamento. l Conduza uma análise intra-grupo para clarificar ameaças entre grupos. l

Plausibilidade das ameaças e padrões dos resultados observados ¢ Resultado 3. Diferenças iniciais no pré-teste favorecendo o grupo tratamento que diminuem com o tempo. Tratamento Controle Ex. : Estudo sobre autoconceito para crianças negras em escolas só para negros e crianças negras em escolas integradas. A hipótese de seleção-maturação é menos plausível. l Conduza uma análise intra-grupo para clarificar ameaças entre grupos. l

Plausibilidade das ameaças e padrões dos resultados observados ¢ Resultado 4. Diferenças iniciais no pré-teste favorecendo o grupo controle que diminuem com o tempo. Controle Tratamento Ex. : Estudos para avaliar a melhoria de desempenho. É imperativo explorar as razões para as diferenças iniciais de grupo, incluindo porque alguns grupos designam a si próprios ou são designados a um tratamento e não a outro. l Ex. o grupo era composto de pessoas com cargos de assessores júnior? Foi escolhido o grupo de pior escore (regressão)? l

Plausibilidade das ameaças e padrões dos resultados observados ¢ Resultado 5. Resultados que se cruzam na direção do relacionamento. Tratamento Controle l Ex. : Estudos para avaliar a melhoria de desempenho. Este resultado é particularmente cômodo à interpretação causal. • a plausibilidade de seleção-instrumentação é reduzida; • ameaças de seleção-maturação são menos prováveis com esse resultado; • o resultado torna improvável uma ameaça de regressão. Tais estudos devem ser desenhados cuidadosamente e deve-se adicionar controles de desenho mais fortes ao desenho básico para obter o resultado nr 5. l

Formas para melhorar o desenho de grupo controle não tratado com amostras dependentes de pré e pós-testes ¢ Usar um pré-teste duplo NR O 1 O 2 X O 3 --------------NR O 1 O 2 O 3 l aplicado em dois pontos diferentes, preferivelmente com o mesmo atraso de tempo como entre o segundo pré-teste e o pós-teste; l permite avaliação de uma ameaça de seleção-maturação.

Formas para melhorar o desenho de grupo controle não tratado com amostras dependentes de pré e pós-testes ¢ Usar replicações alternadas NR O 1 X O 2 O 3 ------------NR O 1 O 2 X O 3 l Limitações: • Manter o mesmo tratamento, mas presumir que ele não terá efeito descontinuado no longo prazo na mesma direção que o tratamento aplicado ao controle inicial; • Remover o tratamento do grupo tratamento original.

Formas para melhorar o desenho de grupo controle não tratado com amostras dependentes de pré e pós-testes ¢ Usar tratamento revertido do grupo controle NR O 1 X + O 2 ------------NR O 1 X – O 2 l Exemplo: • tornar um trabalho mais complexo e desafiador (X+) e outro menos (X-). Se o tratamento X+ melhora os escores do grupo de tratamento e o tratamento X- diminui os escores do grupo de comparação, uma interação estatística resultaria, sugerindo um efeito do tratamento.

Formas para melhorar o desenho de grupo controle não tratado com amostras dependentes de pré e pós-testes ¢ Fazer medidas diretas de ameaças à validade l Deve-se verificar quais as ameaças diretas a validade e medi-las. Cada ameaça individual deve ser conceitualizada, medida e analisada validamente.

Comparação através de grupos COHORT ¢ O termo COHORT designa os grupos sucessivos que passam por processos estabelecidos, tais como estudantes secundaristas de um ano para outro. São úteis como grupo controle, se: l (1) um cohort vivencia um dado tratamento e o anterior ou posterior não; l (2) os cohorts diferem somente em formas menores que seus cohorts contíguos; l (3) as organizações insistem que um tratamento deve ser dado a todos, assim impedindo controles simultâneos e tornando possível somente controles históricos; l (4) um registro de arquivos da organização pode ser usado para construção e então comparação de cohorts.

Comparação através de grupos COHORT ¢ A suposição crucial com cohorts é que as diferenças de seleção são pequenas entre cohorts que seriam no caso entre comparações de grupos não cohorts. NR O 1 ----------NR X O 2 l Essa suposição deve ser provada em cada estudo, como por exemplo, análises de características de background presumidas correlacionarem-se com os resultados. l Ainda assim, é preferível uma seleção aleatória.

Desenho de grupo controle COHORT com pré-teste de cada cohort ¢ O uso de pré-teste permite comparar as médias dos grupos cohort e aumenta o poder estatístico, bem como melhores avaliações de maturação e regressão. NR O 1 O 2 ----------------NR O 3 X O 4 o Entretanto, o efeito de história é uma forte ameaça nesse desenho, pois pode estar correlacionada a qualquer evento que ocorra durante O 3 - O 4. Essa ameaça pode ser controlada caso se adicione ao desenho um grupo controle não equivalente.

Desenho de grupo controle COHORT com pré-teste de cada cohort ¢ Uma variação a esse desenho envolve 3 cohorts (desenho de ciclo institucional recorrente). NR X O 1 ---------------NR O 2 X O 3 ---------------NR O 4 o o Há possibilidade de ameaça de testagem na comparação de O 2 e O 3. O desenho só deveria ser usado com medidas confiáveis e grandes amostras.

Desenhos que combinam muitos elementos de desenho ¢ Controles comparados não tratados com múltiplos pré-testes e pós-testes, variáveis dependentes não equivalentes e tratamentos repetidos e removidos. ¢ Combinação de replicações alternadas com um desenho de grupo controle não equivalente. ¢ Controle de grupo não tratado com um pré-teste duplo e ambas as amostras dependentes e independentes.