Impact Evaluation Mesurer limpact Mthodes dimpact Click todvaluation

Impact Evaluation Mesurer l’impact: Méthodes d’impact Click tod’évaluation edit Master title pour les décideurs politiques: style Methode des doubles différences Click to. Damien edit Master de Walque subtitle style The World Bank Note: slides by Sebastian Martinez, Christel Vermeersch and Paul Gertler. The content of this presentation reflects the views of the authors and not necessarily those of the World Bank. This version: November 2009. Human Development Network Middle East and North Africa Region World Bank Institute

Étude de cas: (HISP) p p p Réforme du système national de Santé n Réduire les écarts en termes d’accès et de qualité des services entre les secteurs urbain et rural n Importante expansion de l’offre de services santé n Réduction des coûts de soins santé pour le secteur rural pauvre Programme de subventions en assurance-maladie (HISP) p Programme pilote p Couverture des coûts de soins de santé primaires et des médicaments p Destinés aux pauvres – éligibilité basée sur indice de pauvreté Évaluation d’impact rigoureuse avec des données précises n p 200 communautés, 10, 000 ménages p Départ et suivi des données jusqu’à deux ans Dépenses annuelles des ménages par tête p Quel est l’effet d’HISP (P) sur les dépenses santé (Y)? p Si l’impact est une réduction de $9 où plus, alors étendre au pays 2

Étude de cas: HISP Éligibilité et inscription Inéligibles (Non-Pauvres) non adhérents Éligibles (Pauvres) adhérents 3

Mesurer l’impact 1) Inférence causale q Contrefactuels p Faux contrefactuels: q Avant & après (pré & post) q adhérents & non adhérents (pommes & oranges) 2) Méthodes de l’évaluation d’impact: q q q Assignation aléatoire Promotion aléatoire Modèle de discontinuité Double différence(Diff-in-diff) Appariement (matching, appariement de score de résultat) 4

Double différence (diff-in-diff) Y= adhésion scolaire des filles P= programme d’amélioration de l’enseignement Adhérentes Non adhérentes après 0. 74 0. 81 avant 0. 60 0. 78 Différence Diff in Diff: Impact = (Yt 1 -Yt 0) - (Yc 1 -Yc 0) 5

Double différence (diff-in-diff) Y= récoltes de soja, tonnes par acre P= nouveau type de greffe Adhérent Non adhérent Après 0. 74 0. 81 Avant 0. 60 0. 78 Différence Diff in Diff: Impact = (Yt 1 -Yc 1) - (Yt 0 -Yc 0) 6

Impact = (A-B)–(C-D) = (A-C)-(B-D) Inscription scolaire Non inscrites C=0. 81 D=0. 78 A=0. 74 Impact = 0. 11 B=0. 60 Inscrites T=0 T=1 Temps 7

Impact = (A-B)–(C-D) = (A-C)-(B-D) Inscription scolaire Non inscrites C=0. 81 D=0. 78 A=0. 74 Impact <0. 11 B=0. 60 Inscrites T=0 T=1 Temps 8

Scénario 6: Doubles différences: illustration graphique Résultat B Groupe exposé au traitement Effet moyen du traitement A D C Groupe témoin Début du Traitement Temps 9

Résultat Effet moyen du traitement Groupe exposé au traitement Effet moyen estimé du traitement Groupe témoin Temps Début du traitement 10

Doubles différences p Hypothèse fondamentale: en l’absence de l’intervention à évaluer, les tendances (courbes) sont égales pour le groupe exposé au traitement et le groupe témoin p Un minimum de trois observations dans le temps est nécessaire pour vérifier cette hypothèse et estimer le traitement n n deux observation pré-intervention pour vérifier l’hypothèse de tendances égales Une observation post-intervention pour estimer l’impact de l’intervention 11

Cas 6: double différence - HISP départ (T=0) dépenses santé (Y) Suivi (T=1) dépenses santé (Y) Différence Impact estimé des dépenses santé (Y) Inscrites Non inscrites Différence 14. 4 20. 6 -6. 2 7. 8 21. 8 -14 -6. 6 1. 2 -7. 8 Régression linéaire multivariée -7. 8** Note: si l’effet est statistiquement significatif à 1 %, nous donnons deux étoiles(**). 12

Recommandation politique HISP? Case 2: Estimated impact on mean per 3: capita consumption Cas 1: Cas 4: Cas 5: Avant & après Impact d’HISP sur les dépenses santé (Y) adhérents non adhérents -6. 65** -13. 9** assignation promotion modèle de alétoire aléatoire discontinuité -10** Cas 6: Dif in Dif -9. 7** -9. 05** -7. 8** **= significatif à 1% 13

Attention……. . p p p Double différence: Combine adhérents- non adhérents avec constat avant & après Génére un contrefactuel pour changement dans le résultat (pente) Hypothèse fondamentale: n Tendances (pentes) sont les même pour les unités traitées et de contrôle Nécessité d’au moins trois observations dans le temps pour tester ceci n Deux observations “avant” n Une observation “après” 14

MERCI! 15