Mtodos Experimentais Lisboa 17 a 20 de Julho

Métodos Experimentais Lisboa, 17 a 20 de Julho 2017 Caio Piza – DIME caiopiza@worldbank. org

Refrescando a memória… (Estudo de Caso) • Você está a frente de um projeto piloto de pavimentação de ruas para melhor conectar zona rurais aos centros urbanos; • Objetivo: aumentar o acesso da população rural aos centros urbanos e vice-versa – acesso a mercado e – oferta de bens públicos

Qual o Desafio de Qualquer Avaliação de Impacto (AI)? • Obter um bom contrafactual que nos permitirá identificar o efeito causal de uma intervenção comparando: O que aconteceu Com O que teria ocorrido na ausência do programa? Problema fundamental de inferência causal

Ferramentas para obter o contrafactual Não é uma boa estratégia Boas estratégias desde que algumas hipóteses sejam observadas Melhor estratégia • Antes– Depois • Participantes vs. Não-Participantes • Diferença-em-diferenças • Regressão descontínua • Experimentos – Randomized Control Trials

Resumo de ontem… Participantes vs. Não-participantes Consumo per capita (em dólares) 82. 5* Pareamento – propensity score matching (PSM) 55. 8* Elimina a influência das características observáveis Diferença-emdiferenças (diff-in-diff) 27. 1* Elimina a influência das características observáveis e das não-observáveis que são fixas no tempo

Método Experimental (Experimentos Aleatório – Randomized Controlled Trial – RCT)

Experimentos aleatórios – gold standard • Definições importantes: Ø Experimento aleatório NÃO É o mesmo que amostra aleatória Ø Unidade de intervenção/aleatorização vs. unidade de análise (implicações para a estimação do erro-padrão)

Mundo Ideal: O Clone Perfeito Fulanito Clone do Fulanito X 6 balas IMPACTO=6 -4=2 Balas 4 balas

Na prática, usamos estatística Tratamento Controle X Média Y=6 Balas Média Y=4 Balas IMPACTO=6 -4=2 Balas

Seleção aleatória dos grupos de tratamento e controle 3. Sorteio 1. População-alvo 2. Amostra para a avaliação X Controle Tratamento = Inelegíveis = Elegíveis Validade Externa Validade Interna

Nível da aleatorização • A aleatorização pode ocorrer no nível da unidade de análise ou em níveis acima. Ø Exemplo: aleatorizar vilas para receberem um determinado programa (e. g. bicicletas para meninas – vejam esse vídeo) e medir o efeito do programa sobre as meninas • Por que e quando se opta por tal desenho? • Qual a implicação desse tipo de desenho (cluster randomized trial - CRT) para a estimação do efeito do programa?

Por que e quando se opta por tal desenho? § Spillovers (contaminação/transbordamento) § Mais fácil de justificar politicamente § Expansão gradual do programa

Qual a implicação desse tipo de desenho…? § O erro-padrão da estimativa do efeito do tratamento será maior e, portanto, maior será o risco de erro tipo II (não rejeitar a nula quando deveria). ØPor que? (não percam a apresentação da Maria amanhã!)

RCTs: A Prática

Opções de Aleatorização • Aleatorização Pura (Sorteio) – apenas alguns participam do piloto • Entrada gradual – todos entram eventualmente • Desenho de incentivo (no caso de adesão parcial) – Todos podem entrar, alguns são encorajados a fazê-lo • Variação no tratamento – cobertura integral, diferentes opções

Oportunidades para Experimentos 1. Aleatorização Pura (Sorteio) 2. Entrada gradual (Phase-in Design) 3. Encorajamento

Entrada Gradual • Restrição orçamentária e/ou de logística sorteio – Não há recurso para pavimentar todas as estradas consideradas “prioritárias” – Número de equipamentos e pessoal para pavimentar todas ao mesmo tempo – Solução: sorteio para definir quem entra primeiro no programa • Capacidade limitada Aleatorizar a ordem de entrada – Os que ficarem no final da lista de espera desempenham o papel do grupo de controle

Oportunidades para Experimentos 1. Aleatorização Pura (Sorteio) 2. Entrada gradual (Phase-in Design) 3. Encorajamento

Excesso de demanda!

Baixa adesão (take-up) é um problema bastante frequente Excesso de otimismo!

Encorajamento • Suponha que o programa de reparo de estradas será oferecido apenas nos distritos que manifestarem interesse de participar no programa • Exemplo: uma proposta formal necessita ser preenchida e enviada parao Depto de Transporte até uma certa data • Poucos distritos enviam a proposta dentro do prazo • O que pode ser feito?

Encorajamento • O que pode ser feito? • Você desconfia que os distritos tiveram dificuldades para preencher as propostas • Sugestão: separar, via sorteio, as vilas que não enviaram as propostas ainda • Oferecer para metade dessas vilas um formato de proposta bem mais simples

Seleção aleatória dos grupos de tratamento e controle

Seleção aleatória dos grupos de tratamento e controle Controle encourajamento

Métodos Não-Experimentais • 1. Diferença-em-diferenças (DD) • 2. DD com pareamento • 3. Regressão descontínua (RDD)

Como avaliar esse programa? Regressão Descontínua Plano: Suponha que as vilas foram rankeadas com base num indicador de vulnerabilidade. As estradas a serem pavimentadas atenderão até 2000 vilas • Todas as famílias das 2000 vilas satisfazem o critério • Público-alvo: vilas com consumo médio per capita < = 60 dólares/mês • Idéia: comparar o consumo per capita das famílias que residem nas vilas com consumo médio per capita pouco abaixo de 60/mês (elegíveis ao programa) com famílias em vilas com consumo per capita pouco acima de 250/mês (nãoelegíveis ao programa)

Consumo médio (real) per capita em 2016 Elegíveis Nãoelegíveis 60/mês Consumo médio per capita/mês em 2014

RDD – Após a Intervenção Consumo médio (real) per capita em 2016 RDD identifica o efeito médio local para o grupo ao redor da linha de corte Efeito do tratamento Consumo médio per capita/mês em 2014

Hora do café!