La mthode exprimentale au service des politiques publiques

La méthode expérimentale au service des politiques publiques Damien de Walque (merci á Markus Goldstein pour les diapositives) Atelier APEIE Ghana, 10 -14 mai 1

Objectif • Pour estimer l’effet causal d’une intervention, il nous faut – Séparer l’effet de ce programme d’autres facteurs externes • Il nous faut établir ce qui se serait passé en l’absence du programme – Or, nous ne pouvons pas simultanément observer le même individu avec et sans le programme >> Il nous faut trouver un bon contrefactuel 2

La Corrélation ne Permet pas d’Attribuer un Effet Causal 1) Obtention d’un crédit OU ? 2) Capacités entrepreuniales élevées ? Profits plus élevés Obtention d’un crédit

Illustration: Programme d’accès au crédit (Avant-Après) Groupe de Traitement Groupe Traitement 14 12 (+6) Mesure biaisée de l’impact du programme 10 8 6 4 2 0 Avant Après 4

Illustration: Programme d’accès au crédit (contrefactuel convenable) Groupe de Contrôle Groupe de Traitement 14 12 10 8 (+4) Impact du programme (+2) Impact d’autres facteurs externes 6 4 2 0 5

Motivation • Il est difficile de distinguer l’effet causal de la corrélation simple à partir de l’analyse statistique – Nous pouvons seulement observer que X bouge avec Y – Nous ne pouvons pas contrôler l’influence des caractéristiques non-observables, telles que la motivation/les facultés intellectuelles, etc. – Or les caractéristiques que l’on n’observe pas sont parfois plus importantes que celles que l’on observe! 6

Motivation… 2 • Le biais de sélection est un problème important pour la mesure d’impact – Un projet débute dans un certain endroit, à un certain moment pour ces raisons particulières – Les participants sont choisis sur la base de critères, ou se présentent eux-mêmes! – Exemple: Les entrepreneurs qui ont accès au crédit se distinguent de l’entrepreneur moyen! Ø Utiliser un entrepreneur moyen pour établir l’effet du crédit sur les profits risque de nous induire en erreur!

Propriétés de la méthode d’évaluation expérimentale • Au sein de l’étude, tous les individus ont la même probabilité d’être assignés au traitement • Par construction, groupes de traitement et de comparaison ont, en moyenne, les mêmes caractéristiques (observées et non-observées) – La seule différence est le traitement • Avec un grand échantillon, les caractéristiques s’équilibrent Ø Cette méthode permet d’obtenir une mesure d’impact non-biaisée 8

Menu d’options pour l’assignation randomisée • Loterie (couverture partielle) – Loterie pour l’accès au crédit • Phasage aléatoire (couverture totale, entrée retardée) – Quelques individus/entreprises reçoivent un crédit chaque année • Assignation aléatoire à divers traitements – Certains reçoivent une subvention partielle, d’autres un crédit, d’autres des services de conseil entrepreneurial, etc • Assignation aléatoire à une stratégie d’encouragement – Un bureau de banque dans chaque district – Certains cultivateurs reçoivent la visite d’un représentant qui leur explique le produit financier offert 9

Loterie parmi les individus éligibles Doivent recevoir le programme Randomiser l’assignation au programme Pas éligibles

Opportunités • Des contraintes budgétaires limitent la couverture du programme – Une assignation aléatoire (loterie) est juste et transparente • Les capacités de mise en œuvre sont limitées – Le phasage aléatoire donne à tous la même chance d’être sélectionné en premier • Il n’y a pas d’évidence quant à l’efficacité des diverses interventions possibles – L’assignation aléatoire aux diverses interventions procure à tous des chances de succès a priori égales 11

Opportunités pour la Randomisation • L’adoption d’un programme en cours n’est pas totale (participation faible) – • Pilote pour un nouveau programme – • Randomiser une stratégie d’encouragement nous informe sur les types d’incitations qui fonctionnent Présente une bonne opportunité de tester de façon rigoureuse avant le passage à grande échelle Changement dans la mise en œuvre d’un programme en cours – Présente une bonne opportunité de tester le nouvel arrangement institutionnel avant le passage à grande échelle 12

Différents niveaux auxquels randomiser Cela dépend du niveau auquel on intervient – Individu/Propriétaire /Entreprise – Groupe d’entreprises – Village – Association de femmes – Entité Juridique/ District administratif – École 13

Randomisation individuelle ou par groupes? • Si un programme affecte un groupe entier, alors on randomise l’assignation au traitement au groupe entier • Il est plus facile d’obtenir des échantillons suffisamment grands lorsque l’on randomise de façon individuelle Randomisation par groupes

Niveau de randomisation • Randomiser à un niveau plus élevé est parfois nécessaire: – Contraintes d’ordre politique/éthique à assigner le traitement uniquement à certains individus au sein d’une même communauté – Contraintes d’ordre pratique: mettre en œuvre divers traitements est parfois la source de confusions – Les effets de contamination sont parfois trop importants • Randomiser au niveau du groupe demande de nombreux groupes 15

Éléments d’une assignation aléatoire Population Cible Petites et Moyennes Entreprises Participants Potentiels Tailleurs Fabricants de meubles Échantillon d’évaluation Assignation aléatoire Groupe de traitement • Participants Groupe de contrôle Désistements 16

Validité Interne et Externe (1) • Validité externe – L’échantillon est représentatif de toute la population. – Les résultats obtenus sont représentatifs de la population. Ø Les leçons du programme sont applicables à tout le pays. • Validité interne – L’effet mesure d’une intervention sur la population qui est évaluée reflète le véritable impact sur cette population Ø C. -à-d. les groupes de traitement et de contrôle sont comparables 17

Validité Interne et Externe (2) • Une évaluation peut avoir validité interne sans avoir de validité externe – Exemple: Une évaluation rigoureuse d’une incitation aux entreprises informelles urbaines de se faire immatriculer ne nous informe pas sur l’effet de cette même intervention sur les zones rurales • Et vice-versa – Une mesure d’impact biaisée souffrira du même biais qu’elle soit mesurée sur l’échantillon d’évaluation ou sur toute la population ! 18

Validité interne & externe Population Nationale Randomisation Echantillons de la Population Nationale Randomisation 19

Validité interne Population Stratification Echantillons de la sous-population Sous-population Randomisation 20

Validité externe uniquement Population Nationale Randomisation Assignation biaisée Résultat INUTILE! 21

Efficacité & Effectivité § Efficacité § Crédibilité du concept § Echelle réduite § Pilote sous des conditions idéales (ex. ONGs) § Effectivité § A grande échelle § Circonstances et capacité normales (ex. hôpitaux nationaux) § Impact plus ou moins élevé? § Coûts plus ou moins élevés? 22

Avantages des “expériences” • Impact causal fiable et précis • Comparée a d’autres approches: – Facile à analyser (comparaison de moyennes) – Moins chère (plus petits échantillons) – Facile à communiquer – Plus convaincante pour les décideurs – Evite les controverses d’ordre méthodologique 23

Exemple: Assigner les machines d’une usine à une maintenance plus régulière • L’assignation aléatoire aux machines ne soulève pas (encore) de questions d’ordre éthique/pratique Les Machines: • Ne vont pas se désister • Ne vont pas aller trouver un meilleur traitement • Ne vont pas se déplacer et changer d’usine de leur propre chef • Ne vont pas refuser de répondre à notre questionnaire Ø Les individus peuvent se montrer un peu plus difficiles et créatifs!

Que faire en présence de …? • Certaines interventions ne peuvent être assignées de façon aléatoire • Adoption partielle ou interventions basées sur la demande • Contamination: Lorsque certains individus du groupe de contrôle peuvent adopter le traitement ØPromouvoir le programme de façon aléatoire ØLes participants choisissent de participer ou non 25

Promotion Aléatoire (Stratégie par l’incitation) • Les individus qui reçoivent l’incitation sont plus àmême de participer • Si l’incitation est distribuée de façon aléatoire, alors elle n’est pas corrélée avec les caractéristiques des individus – Compare les performances des 2 groupes: ayant reçu l’incitation / n’ayant pas reçu l’incitation – L’effet dû à l’incitation (Intention-de-Traiter, ITT) – Effet de l’intervention sur la population qui adopte le traitement (Effet moyen local du traitement, LATE) • LATE= ITT/proportion d’individus qui ont participé

Erreurs communes à éviter • Calculer la taille de l’échantillon de manière incorrecte – Randomiser le traitement dans un seul district, avec un seul contrôle, et calculer la taille de l’échantillon à partir du nombre de personnes interviewées • Échantillonnage par grappes nous donne une taille d’échantillon de 1 ! • Mener une collecte de données différente au sein de groupes de contrôle et de traitement • Inclure les individus qui se sont désistés au groupe de contrôle – Cela annule la randomisation! 27

Quand cette stratégie n’est-elle vraiment pas possible? • Le traitement est déjà assigné et annoncé et il n’y a pas de possibilité d’expansion • Le programme est achevé (rétrospective) – présence d’une expérience naturelle ? • Eligibilité et accès universels – Ex. : campagne d’information universelle, éducation gratuite pour tous, régime du taux de change – Parfois on peut randomiser certaines composantes… • Contraintes opérationnelles (irrigation…) • La taille de l’échantillon est trop limitée pour permettre une analyse crédible 28

Merci 29