NonExperimental Methods Mtodos QuaseExperimentais I O que sabemos
Non-Experimental Methods Métodos Quase-Experimentais I
O que sabemos até agora Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse Utilizar métodos de avaliação rigorosos para responder às nossas questões inicialmente propostas Randomização (seleção aleatória) dos participantes no tratamento é o método “padrão de ouro” (simples, preciso, barato) E se não pudermos mesmo utilizar este método? ➤ Quando faça sentido, utilizar métodos nãoexperimentais
Quando é que faz sentido? Conseguimos encontrar um contrafatual plausível? Experiência natural? Métodos não-experimentais estão associados a um conjunto de premissas Quanto maior o número de premissas, menos válida será a medida do efeito de causalidade É importante questionar as nossas premissas ▪ Utilize o senso-comum!
Exemplo: Programa de Subsídios (Matching Grant) Objetivo Principal ▪ Aumentar a produtividade e vendas da empresa Intervenção ▪ Distribuição de subsídios ▪ Seleção de participantes não-aleatória Grupo alvo ▪ PMEs entre 1 e 10 empregados Principal indicador ▪ Vendas 4
Ilustração: Programa de Subsídios (Matching Grant) (1) (+) Impacto do programa (+) Impacto de fatores externos 5
Ilustração: Programa de Subsídios (Matching Grant) (2) (+) Medida ENVIESADA do impacto do programa “Antes-e-Depois” não gera resultados em que possamos acreditar! 6
Ilustração: Programa de Subsídios (Matching Grant) (3) Diferença inicial ( « antes » ) entre participantes e não participantes Diferença final ( « depois » ) entre participantes e não participantes >> Qual é o impacto da nossa intervenção? 7
Estratégia de Identificação Diferença das Diferenças (1) Contrafatual: 2 opções que significam o mesmo 1. Vendas de não participantes depois da intervenção, expurgando as diferenças “anteriores” entre participantes e não participantes (a diferença inicial entre os dois grupos) 2. Vendas dos participantes da intervenção, expurgando a variação entre “antes/depois”para os não participantes (os fatores externos) 1 e 2 são equivalentes 8
Estratégia de Identificação Diferença das Diferenças (2) Premissa subjacente: Sem o programa, as vendas dos participantes e dos não participantes evoluíriam da mesma forma (com a mesma tendência) >> Gráfico intuitivo a caminho. .
Dados – Exempl 0 1 Média de Vendas (1000 s) 2007 2008 Diferença (2007 -2008) Participantes (P) 1. 3 1. 9 0. 6 Não-participantes (NP) 0. 6 1. 4 0. 8 Diferença (P-NP) 0. 7 0. 5 -0. 2 10
Dados – Exempl 0 1 Média de Vendas (1000 s) 2007 2008 Diferença (2007 -2008) Participantes (P) 1. 3 1. 9 0. 6 Não-participantes (NP) 0. 6 1. 4 0. 8 Diferença (P-NP) 0. 7 0. 5 -0. 2 11
Impacto = (P 2008 -P 2007) -(NP 2008 -NP 2007) = 0. 6 – 0. 8 = -0. 2 P 2008 -P 2007=0. 6 NP 2008 -NP 2007=0. 8 12
Impacto = (P-NP)2008 -(P-NP)2007 = 0. 5 - 0. 7 = -0. 2 P-NP 2008=0. 5 P-NP 2007=0. 7 13
Presunção de mesma tendência: Implicação gráfica Impacto=-0. 2
Conclusão Impacto negativo: Muito contra-intuitivo: O aumento do financiamento não devería reduzir as vendas, a partir do momento em que os fatores externos sejam tidos em conta! Presumir a mesma tendência é muito forte Os 2 grupos estavam em 2007 a produzir a níveis muito diferentes Questione a presunção de mesma tendência! Sempre que possível, teste a presunção de mesma tendência com dados de anos anteriores
Questionar a presunção de mesma tendência: Dados pré-programa Rejeitamos a presunção contrafatual de mesma tendência!
Dados – Exemplo 2 Média de Vendas (1000 s) 2007 2008 Diferença (2007 -2008) Participantes (P) 1. 5 2. 1 0. 6 Não-participantes (NP) 0. 5 0. 7 0. 2 Diferença (P-NP) 1. 0 1. 4 0. 4 17
Impact 0 = (P 2008 -P 2007) -(NP 2008 -NP 2007) = 0. 6 – 0. 2 = + 0. 4 NP 08 -NP 07=0. 2 18
Assumir a mesma tendência: Implicação Gráfica Impacto = +0. 4
Conclusão Impacto Positivo: Mais intuitivo Sera que presumir a mesma tendência é razoável? ➤Ainda precisamos de questionar a presunção contrafatual de mesma tendência! ➤Utilizemos dados de anos anteriores
Questionar a presunção de mesma tendência usando dados pré-programa Parece razoável aceitar a presunção contrafatual de mesma tendência!
Atenção (1) Assumir a mesma tendência é normalmente problemático Quando não existem dados para testar a mesma tendência histórica E mesmo se as tendências forem semelhantes no anterior… ▪ Foram as tendências sempre semelhantes (ou tivemos sorte)? ▪ Mais importante, serão essas tendências sempre semelhantes? ▪ Exemplo: Outro projeto intervem nas nossas empresas não participantes…
Atenção (2) Que fazemos então? >> Temos de ser descritivos! Verificar as semelhanças em características observáveis ▪ Se não semelhantes ao nível das características observáveis, é provavel que as tendências sejam diferentes de uma forma imprevisível >> No entanto, não conseguimos verificar o que não conseguimos ver…E as características não observáveis podem ser mais importantes que as observáveis (capacidade, motivação, paciência, etc)
Métodos de Combinação + Diferença das diferenças Agrupe participantes e não participantes com base em características observáveis Contrafatual: Grupo de comparação com semelhanças em características observáveis: Procura-se para cada participante do programa um ou mais pares de não participante(s) com base nas características observáveis >>Em média, participantes e não participantes partilham as mesmas características observáveis (por construção) Estimar o efeito da nossa intervenção utilizando 24 diferença das diferenças
Métodos de Combinação (2) Premissas subjacentes Não há diferenças entre os participantes e não participantes em termos de características não observáveis E/OU Características não observáveis não afetam a selecção para o tratamento nem o resultado de interesse
Como se faz? Criar um grupo de controle através da identificação de sub-grupos (de um ou mais) com características observáveis semelhantes aos participantes Temos de escolher com cuidado as variáveis para agrupar os participantes com o grupo de controle De forma a que fiquemos apenas com ▪ Grupo de tratamento: Participantes que conseguiram obter um par ▪ Grupo de controle: não-participantes parecidos com os participantes >> Em resultado deste processo, eliminamos uma parte do nosso grupo de tratamento!
Implicações Na maior parte dos casos, não conseguimos encontrar pares para todos os participantes Precisamos de perceber quem fica de fora Exemplo Parte combinada Parte do grupo de tratamento excluída não-participantes Pontuação Riqueza
Conclusão (1) Vantagens do metodo de combinação: Não precisa de randomização 28
Conclusão (2) Desvantagens: A premissa subjacente ao contrafatual não é plausível em todos os contextos, dificil de testar ▪ Utilize o senso comum Necessita dados de muita qualidade ▪ Necessário controlar todos os fatores que influenciam o a alocação ao programa / resultado em análise Necessita amostras de tamanho suficientemente grande para gerar o grupo de comparação não se consegue sempre encontrar pares para todos. . . 29
Em resumo A randomização requer premissas mínimas e gera estimativas intuitivas (médias das amostras!) Métodos não experimentais requerem premissas que devem ser cuidadosamente avaliadas Mais intensivo em termos de dados Nem sempre testavel Seja criativo: Misture-e-combine os métodos! Responda as perguntas relevantes com os métodos apropriados 30
- Slides: 30