valuation des objectifs de dveloppement durable dans une

Évaluation des objectifs de développement durable dans une perspective d’équité et de genre au Burkina Faso Soukeynatou Fall, UNICEF sfall@unicef. org Alexis Salvador Loyé, Eval. Gender+ loyealexis@gmail. com Ouagadougou, 27 Juin au 02 Juillet 2016 06/06/2021 LOYE et FALL 1

• PRÉSENTATION DES PARTICIPANT(E)S ÉVALUATION DES ATTENTES 06/06/2021 LOYE et FALL ET 2

Objectifs de la Formation • Renforcer les capacités en conception, conduite, gestion et utilisation des évaluations axées sur l’équité et le genre. • Il s’agit spécifiquement de permettre aux participants de : – Définir et mesurer l’équité et le genre dans le contexte du développement – Concevoir, planifier et gérer des évaluations dont les effets visent à améliorer le bien-être des populations marginalisées et désavantagées – Utiliser des évaluations axées sur l’équité et sensibles au genre comme opportunité pour promouvoir un développement équitable 06/06/2021 LOYE et FALL 3

Plan de la Formation Calendrier Activités Planifiées Jour 1 Objectifs de Développement Durable Définition des concepts de base Travaux de groupes Jour 2 Processus de Conception et Gestion des Evaluations Basées sur l’équité et le genre Travaux de groupes Processus de Conception et Gestion des Evaluations Basées sur l’équité et le genre (suite) Jour 3 Utilisation des résultats des évaluations basées sur l’équité et le genre Travaux de groupes 06/06/2021 LOYE et FALL 4

L’agenda 2030 pour le Développement Durable • Objectifs de Développement Durable défini dans un contexte marqué par : – Des inégalités croissantes entre pays et à l’intérieur des pays – Disparités importantes de richesse, de pouvoir et socioéconomiques – Chômage particulièrement parmi les jeunes – Crises humanitaires, conflits, terrorisme et insécurité – Dégradation de l’environnement et changement climatique • Défi majeur: assurer la survie des sociétés et de la planète 06/06/2021 LOYE et FALL 5

ODD, un agenda articulé autour de 5 pilliers Prospérité Planète Population 06/06/2021 Paix ODD LOYE et FALL Partenariat 6

17 Objectifs pour le Développement Durable (1) Éliminer la pauvreté sous toutes ses formes et partout dans le monde (7 c) Éliminer la faim, assurer la sécurité alimentaire, améliorer la nutrition et promouvoir l’agriculture durable (8 c) Permettre à tous de vivre en bonne santé, et promouvoir le bien-être de tous à tout âge (13 c) Garantir une éducation de qualité inclusive et équitable, et des possibilités d’apprentissage tout au long de la vie pour tous (10 c) 06/06/2021 LOYE et FALL 7

17 Objectifs pour Promouvoir le Développement Durable (2) Parvenir à l’égalité entre les sexes et autonomiser toutes les femmes et les filles (9 c) Garantir l’accès de tous à l’eau, l’assainissement et assurer une gestion durable des ressources en eau (8 c) Garantir l’accès de tous à des services énergétiques fiables, durables, modernes et abordables (5 c) 06/06/2021 Promouvoir une croissance économique soutenue, partagée et durable, le plein emploi et un travail décent pour tous LOYE (12 c) et FALL 8

17 Objectifs pour Promouvoir le Développement Durable (3) Bâtir une infrastructure résiliente, promouvoir une industrialisation durable qui profite a tous, et encourager l’innovation (8 c) Réduire les inégalités dans les pays, et d’un pays à l’autre. (10 c) Faire en sorte que les villes et les établissements humains soient ouverts à tous, sûrs, résilients et durables. (10 c) Établir des modes de consommation et de production durables (11 c) 06/06/2021 Prendre d’urgence des mesures pour lutter contre les LOYE et FALL et leurs répercussions (5 c) 9 changements climatiques

17 Objectifs pour Promouvoir le Développement Durable (4) Conserver et exploiter de manière durable les océans, les mers et les ressources marines aux fins de développement durable (10 c) Préserver et restaurer les écosystèmes terrestres, en veillant à les exploiter de façon durable. (12 c) Promouvoir l’avènement de sociétés pacifiques, l’accès de tous à la justice et des institutions efficaces (12 c) Renforcer les moyens du partenariat mondial pour le développement durable et le revitaliser (19 c) 06/06/2021 LOYE et FALL 10

Quelques Différences clés entre les OMD et les ODD OMD ODD Focus sur les progrès vers l’atteinte des résultats Focus sur la durabilité des résultats 8 OMD évalués de manière isolée 17 ODD inter reliés 2 objectifs à caractère transversal (ODD 5 et ODD 10) servant d’indicateurs pour les autres ODD Evaluation à partir des données quantitatives essentiellement Evaluation complexe basée sur des approches novatrices (quantitative, études de cas, redevabilité sociale…. ) Evaluation basée sur l’équité et le genre 06/06/2021 LOYE et FALL 11

DÉFINITION DES CONCEPTS DE BASE 06/06/2021 LOYE et FALL 12

Définition des Concepts de Base • B 1 - Principes fondamentaux des droits humains et Équité • Les Nations Unies ont établi une liste minimum des principes droits de l’homme applicables au travail de développement. Ils sont tous fondés sur le principe fondamental d’assurer la justice, la liberté et la dignité de chaque individu. 06/06/2021 LOYE et FALL 13

Concepts de base Universalité: Les droits de l’homme appartiennent à tous les peuples, et tous les peuples ont des statuts égaux envers ces droits puisque « nous sommes nés libres et égaux en dignité et en droits » . 06/06/2021 LOYE et FALL 14

Concepts de base Inaliénabilité: Les droits de l’homme sont inaliénables. Ils ne peuvent être enlevés ou abandonnés volontairement, qu’on le veuille ou non. Indivisibilité: Les droits de l’homme sont indivisibles de deux manières. D’abord, il n’y a aucune hiérarchie entre les différents droits, qu’ils soient civils, politiques, économiques, sociaux ou culturels. Ils sont tous aussi nécessaires les uns que les autres pour assurer la dignité, la justice et la liberté des êtres humains. 06/06/2021 LOYE et FALL 15

Concepts de base Interdépendance et liens mutuels: Cela fait référence à la nature complémentaire des droits. L’un est nécessaire à l’accomplissement de l’autre. Egalité: Cela décrit le fait que tous les êtres humains sont titulaires des mêmes droits sans distinction. Cela ne veut pas forcément dire traiter tout le monde de la même façon, mais plutôt prendre les mesures nécessaires pour promouvoir une société plus juste pour tous. 06/06/2021 LOYE et FALL 16

Concepts de base 06/06/2021 LOYE et FALL 17

Concepts de base Equité: Cela fait référence à un traitement juste et impartial pour tous les êtres humains. L'équité fait partie des principes fondamentaux des droits humains. Elle désigne une répartition juste et équitable des bénéfices et des responsabilités entre les hommes et les femmes. 06/06/2021 LOYE et FALL 18

Concepts de base 06/06/2021 LOYE et FALL 19

Concepts de base 06/06/2021 LOYE et FALL 20

Concepts de base Non-discrimination: Ce principe fait référence à la façon dont les gens sont traités. Il requiert qu’ils soient traités avec justice et sans préjugés selon leur sexe, race, couleur de peau, ethnicité, âge, langue, culture, religion, opinion politique ou autre, origine nationale ou sociale, handicap, propriété, orientation sexuelle, naissance, ou tout autre statut juridique. 06/06/2021 LOYE et FALL 21

Concepts de base Participation: Ce principe décrit une approche qui vise à une participation ou un engagement actif des citoyens en ayant un rôle actif à la fois dans le développement de son propre environnement et dans le développement national. 06/06/2021 LOYE et FALL 22

Concepts de base Autonomisation: Ce principe fait référence à l’amélioration de la force spirituelle, politique, sociale ou économique des individus et des communautés. Ceci comprend souvent la confiance renforcée et croissante dans leur propres capacités et leur capacité à agir de manière appropriée ou à faire respecter leurs droits. 06/06/2021 LOYE et FALL 23

Concepts de base Transparence: Ce principe relate les questions d’ouverture, de communication et de responsabilité. Peuvent être cités en exemple, des réunions ouvertes, des révélations publiques de relevés financiers, ainsi que la liberté de l’information, l’accès à l’information et la législation, les rapports entre tous les niveaux hiérarchiques, les révisions budgétaires et les audits. 06/06/2021 LOYE et FALL 24

Concepts de base Genre: «Le genre doit être analysé sous l’angle des inégalités et des disparités entre hommes et femmes en examinant les différentes catégories sociales dans le but d’une plus grande justice sociale et d’un développement équitable» 06/06/2021 LOYE et FALL 25

Homme Femme Familles, églises, mosquées, etc. Masculin 06/06/2021 Féminin LOYE et FALL 26

EXERCICES 06/06/2021 LOYE et FALL 27

Exercice 1 1 - Considérant les données des tableaux suivants sur la pauvreté monétaire au Burkina Faso, discuter les questions relatives à l'équité et au genre. 2 - Si vous devez mettre en oeuvre un projet/programme pour réduire la pauvreté au Burkina, quels résultats utiliseriez-vous? Pourquoi? 3 - Quel aurait été le résultat le plus intéressant à élaborer sous la base des deux tableaux pour mieux cibler des interventions axées sur l'équité et le genre? 06/06/2021 LOYE et FALL 28

Exercice 1 Milieu de Incidence de la résidence pauvreté (P 0) Profondeur de la pauvreté (P 1) Sévérité de la pauvreté (P 2) Urbain 13, 7 2, 9 0, 9 Rural National 47, 5 40, 1 11, 6 9, 7 4 3, 3 Incidence de la pauvreté (P 0) Profondeur de la pauvreté (P 1) Sévérité de la pauvreté (P 2) Masculin 41, 0 9, 9 3, 4 Féminin 30, 4 7, 5 2, 6 Ensemble 40, 1 9, 7 3, 3 Sexe 06/06/2021 LOYE et FALL 29

Exercice 2 Considérant les données du graphique ci-dessous, discuter des principales dimensions de l’équité et du genre au Burkina Faso (voir ci-dessous pour les graphiques). Quelles sont les principales dimensions de l’équité et du genre reflétées par le graphique ci-dessous? Quelles sont selon vous les réponses adéquates à ces problèmes d’iniquités et d’inégalités de genre ? 06/06/2021 LOYE et FALL 30

Exercice 2 06/06/2021 LOYE et FALL 31

Evaluation? v Processus systématique et objectif possible par lequel on determine la valeur et la portée d’une action de développement projetée, en cours ou achevée. Bernard Perret: «Évaluer une politique, c'est d'abord la questionner» . ØQuestion d’évaluation: Qu’avons-nous atteint? ØEvaluation=jugement porte sur une action? ØSommes-nous entrain de faire ce qui est juste? 06/06/2021 LOYE et FALL 32

Types d’Evaluation? Impacts Evaluation économique: analyse cout-benefice Resultats Extrants Activites Evaluation d’impact: Intervention a-t-elle eu un impact sur nos resultats et pourquoi? Evaluation de processus: qu’est-ce qui se passe et pourquoi? Intrants Evaluation diagnostique: causes, options 06/06/2021 Structure LOYE et FALL Evaluation theorie du 33 changement

Types d’Evaluation? Evaluation diagnostique ØTient compte a priori des activités et de la stratégie de mise en oeuvre, Ø Inclut le plus souvent l’évaluation des besoins, ØIdentifie les problèmes et opportunités à resoudre, causes et consequences, et les chances d’une efficience de l’intervention. ØPermet de représenter graphiquement la théorie de changement. ØConstruit un objet de recherche 06/06/2021 LOYE et FALL 34

Types d’Evaluation? Evaluation de la structure/Design du projet ØAnalyse la theorie de changement, le cadre logique et la consistence de l’intervention ØDans les nouveaux projets/programmes, permet de tester si la théorie de changement réussit. ØElle est indiquée pour tout nouveau projet ØPeut être utilisé pour évaluer la qualité des indicateurs ainsi que les hypothèses. ØIntéressant dans le cas des programmes mis en oeuvre sans lien causal clairement établi. 06/06/2021 LOYE et FALL 35

Types d’Evaluation? Evaluation de processus Ø Evalue les mécanismes opérationnels d’atteinte des objectifs Ø Examine les activités, les extrants, les résultats, l’utilisation des ressources et le lien causal. Ø Basé sur le système de suivi-évaluation, Ø Utilisé pendant la mise en oeuvre pour améliorer l’efficience et l’efficacité de l’intervention. Ø Évalue également la qualité des indicateurs et hypothèses. 06/06/2021 LOYE et FALL 36

Types d’Evaluation? Evaluation d’impact ØMesure les changements dans les résultats attribuables à une intervention spécifique. ØInforme les decideurs sur la possibilité de passer a l’échelle ou non d’une intervention. ØUtilisé pour determiner les effets des projets/programmes ØJuge de la réplicabilité d’une intervention ØMesure les résultats escomptés et non. 06/06/2021 LOYE et FALL 37

Types d’Evaluation? Evaluation economique ØAnalyse si le cout du programme justifie les bénéfices; ØAnalyse cout-efficacité produit un “coût par unite de résultat” (coût par personnel additionnel employé) ØAnalyse coût-benefice (CBA); va plus en profondeur en considerant la valeur monetaire dans le changement que l’on observe 06/06/2021 LOYE et FALL 38

Merci pour votre attention worthwhile 06/06/2021 LOYE et FALL 39

Évaluation des objectifs de développement durable dans une perspective d’équité et de genre au Burkina Faso Soukeynatou Fall, UNICEF sfall@unicef. org Alexis Salvador Loyé, Eval. Gender+ loyealexis@gmail. com Ouagadougou, 27 Juin au 02 Juillet 2016 06/06/2021 LOYE et FALL 40

Jour 2: PROCESSUS ÉVALUATIF dans une perspective d'équité et de genre 06/06/2021 LOYE et FALL 41

« L'évaluation n'est ni pure connaissance, ni pur mécanisme politique. La difficulté de trouver un équilibre et une cohérence entre ces deux dimensions implique d'examiner avec soin les modalités de pilotage de l'évaluation. Celles-ci doivent permettre un ajustement réciproque des contraintes de l'action publique et des exigences d'une démarche cognitive rigoureuse, sans sacrifier l'une à l'autre » (CSE, 1996 a, p. 37 cité par Bernard Perret, 2008, p. 13). 06/06/2021 LOYE et FALL 42

Évaluabilité v Mesure selon laquelle une activité ou un programme est évalué de façon fiable et crédible. v L’appréciation de l’évaluabilité suppose d’examiner à l’avance l’activité projetée afin de vérifier si ses objectifs sont bien définis de façon adéquate et si les résultats sont vérifiables. 06/06/2021 LOYE et FALL 43

Évaluabilité: Questions I. La conception du programme permet-elle de réaliser l’évaluation? A. La justification de l’intervention est-elle réaliste? B. Est-ce que les objectifs du programme sont clairs, réalistes et compris de tous les acteurs? C. Les indicateurs de performance sont-ils SMARTS? D. Les indicateurs de suivi des performances sont-ils adéquats? E. Le cadre est-il flexible et sensible aux facteurs externes? Y auraient-ils des modifications à l logique d’intervention et pourquoi? 06/06/2021 LOYE et FALL 44

Évaluabilité: Questions Critères Oui Non Qualité de l'élaboration/conception du programme Justification de l'intervention Clarté, réalisme et compréhension commune des objectifs Qualité des indicateurs (SMART) Qualité des indicateurs de suivi Flexibilité du cadre logique % 06/06/2021 LOYE et FALL 45

Évaluabilité: Questions -Si le «Oui» est supérieur à 50% alors on peut aller de l’avant pour l’évaluation -Si le 50% < Non < 80%: le programme doit être modifié -Si Non > 80%: Le programme doit être arrêté 06/06/2021 LOYE et FALL 46

Évaluabilité: Questions II- Les résultats du programme sont-ils vérifiables au travers de la collecte des données A- Y a-t-il eu une enquête de base pour le suivi des progrès? B-Y a-t-il un planning régulier de collecte des données de suivi des indicateurs de performances? C- L’étape actuel du programme permet-elle sont son évaluation? 06/06/2021 LOYE et FALL 47

Évaluabilité: Questions Critères Disponibilité de base de données Enquête de base Documents de projet Rapports de suivi Documents de révision Rapports d'évaluation indépendante Rapports de rencontre Études Présentations Rapports de mission Documents Accord Documents financiers Autres documents pertinents % 06/06/2021 LOYE et FALL Oui Non 48

Évaluabilité: Questions -SI le «Oui» > 50%: L’évaluation peut être envisagée -Si le «Non» >50%, l’évaluation ne peut pas être envisagée Critères Oui Étape actuel de l'exécution du projet Le taux d'absorption (dépenses) est supérieur à 70% La majorité des activités ont été réalisées Quelques activités mineures restent à réaliser % 06/06/2021 LOYE et FALL Non 49

Évaluabilité: Questions Faisabilité, crédibilité et utilisation des résultats Temps suffisant et adéquat pour l'évaluation La situation politique favorable (déplacements des parties prenantes) Situation sécuritaire favorable Situation climatique favorable Disponibilités des acteurs clefs sur le terrain Disponibilités des acteurs clefs au niveau central Budget adéquat pour l'évaluation % Oui Non -SI le «Oui» > 50%: L’évaluation peut être envisagée -Si le «Non» >50%, l’évaluation ne peut pas être envisagée 06/06/2021 LOYE et FALL 50

Évaluabilité: Récommandations Oui Non L’évaluation peut prendre place Le projet doit être modifié Le projet doit être mis en œuvre comme tel Le projet doit être arrêté Disponibilités des acteurs clefs sur le terrain % 06/06/2021 LOYE et FALL 51

Processus évaluatif: Préparation 06/06/2021 LOYE et FALL 52

Processus évaluatif: Préparation Avant de commencer l'évaluation d'une intervention, il est important d'interroger l'évaluabilité de celle-ci. Dans le cas spécifique des évaluations axées sur l'équité et le genre, il importe de voir si les dimensions équité et genre ont été pris en compte dans la conception et la mise en œuvre. Ainsi, l'évaluabilité apparait comme un exercice qui permet d'identifier si une intervention peut être évaluée et si une évaluation est justifiée, réalisable et susceptible de fournir des informations utiles (UNICEF, 2006) 06/06/2021 LOYE et FALL 53

Processus évaluatif: Préparation Les principales questions suivantes sont préconisées pour guider l’analyse de l’évaluabilité selon l’équité (UNICEF, 2011): 1 - Dans quelle mesure l’équité a été prise en compte dans la conception de l’intervention notamment au niveau de l’analyse de la situation, de la définition de la théorie du changement, participation des parties prenantes particulièrement les plus défavorisés 2 - Le dispositif de suivi du projet/programme prend-il en compte l’équité (indicateurs de performance, rapports de suivi…. )? 06/06/2021 LOYE et FALL 54

Processus évaluatif: Préparation 2 -L’évaluation est-elle pertinente au regard du contexte politique, social et économique ? 3 -Les ressources allouées (temps, financières, humaines) sontelles suffisantes pour la réalisation de l’évaluation ? Cela permet ainsi de décider si l'évaluation peut être entreprise ou non, mais aussi de préparer l'intervention pour s'assurer que les conditions nécessaires à une évaluation sont réunies. On peut distinguer deux types d'intervention: (i) celles dont l'équité est l'objectif principal, et (ii) celles dont l'équité n'est pas l'objectif principal 06/06/2021 LOYE et FALL 55

Processus évaluatif: Préparation Travail à faire: Évaluer l’évaluabilité des ODD 5 et 10 06/06/2021 LOYE et FALL 56

Processus évaluatif: Identifier les intervenants de l’évaluation, incluant les groupes les plus défavorisés 06/06/2021 LOYE et FALL 57

Processus évaluatif: Identifier les intervenants de l’évaluation, incluant les groupes les plus défavorisés Discussion 2: «L'évaluation s'inscrit dans la triple démarche du management public, de la démocratie et du débat scientifique. Elle prend en compte de façon raisonnée, les différents intérêts en présence et recueille la diversité des points de vue pertinents sur l'action évaluée, qu'ils émanent d'acteurs, d'experts ou de toute autre personne concernée. Cette prise en compte de la pluralité des points de vue se traduit chaque fois que possible par l'association des différentes parties prenantes concernées par l'action publique ou par tout autre moyen approprié» (SFE, 2006, cité par Bernard Perret, 2008, p. 13) 06/06/2021 LOYE et FALL 58

Processus évaluatif: Identifier les intervenants de l’évaluation, incluant les groupes les plus défavorisés Il est important de faire une cartographie des différents acteurs qui interviennent dans l'intervention. Cela permettra de faire un meilleur choix de l'échantillon et d'assurer leur participation à l'évaluation. Cette participation va accroître la responsabilisation, la confiance, la crédibilité pour ainsi contribuer à l'équité. Le niveau de participation doit être le plus élevé possible. 06/06/2021 LOYE et FALL 59

Processus évaluatif: Identifier les intervenants de l’évaluation, incluant les groupes les plus défavorisés L'UNICEF suggère de prendre en compte les questions suivantes pour déterminer le niveau de participation: 1. Comment les intervenants, notamment les groupes les plus défavorisés, sont-ils impliqués dans le processus avec différents degrés d'intensité? Quelles en seront les implications en termes d'effort, de calendrier et de budget? 06/06/2021 LOYE et FALL 60

Processus évaluatif: Identifier les intervenants de l’évaluation, incluant les groupes les plus défavorisés L'UNICEF suggère de prendre en compte les questions suivantes pour déterminer le niveau de participation: 2 - Les intervenants participent-ils ensemble ou séparément? S'ils sont impliqués ensemble, quel sera le processus permettant de s'assurer que toutes les perspectives sont bien comprises, en évitant la partialité parce que certains peuvent être plus réticents que d'autres pour diverses raisons (différences de pouvoir, niveaux d'alphabétisation, niveau de confiance, etc. ), concilier les différences, renforcer l'entente et la prise de décisions lorsque les différences ne peuvent pas être conciliées? 06/06/2021 LOYE et FALL 61

Processus évaluatif: Identifier les intervenants de l’évaluation, incluant les groupes les plus défavorisés L'UNICEF suggère de prendre en compte les questions suivantes pour déterminer le niveau de participation: 3. Comment le niveau de participation prévu par le processus d'évaluation sera assuré, même si la réalité est que l'intervention à évaluer a eu une participation limitée à ce jour? Comment l'évaluation peut-elle produire des leçons pour que l'intervention puisse surmonter les obstacles à la participation? 06/06/2021 LOYE et FALL 62

Processus évaluatif: Identifier les intervenants de l’évaluation, incluant les groupes les plus défavorisés L'UNICEF suggère de prendre en compte les questions suivantes pour déterminer le niveau de participation: 4. Y a-t-il une stratégie de communication claire avec tous les intervenants concernant les personnes qui participent, qui seront consultées et qui prendront les décisions lorsqu'il existe des divergences d'opinion? 06/06/2021 LOYE et FALL 63

Processus évaluatif: Identifier les intervenants de l’évaluation, incluant les groupes les plus défavorisés L'UNICEF suggère de prendre en compte les questions suivantes pour déterminer le niveau de participation: 5. Le gestionnaire de l'évaluation a-t-il le niveau adéquat d'engagement, de compréhension, de compétences, de facilitation et l'expérience pour le niveau de participation décidé? 6. Les gains de crédibilité des résultats de l'évaluation, d'un niveau particulier de la participation, ont-ils été pris en compte? 06/06/2021 LOYE et FALL 64

Processus évaluatif: Identifier les intervenants de l’évaluation, incluant les groupes les plus défavorisés L'UNICEF suggère de prendre en compte les questions suivantes pour déterminer le niveau de participation: 7. A-t-on bien pris en compte la participation afin d'assurer la crédibilité des résultats de l'évaluation? 06/06/2021 LOYE et FALL 65

Processus évaluatif: Identifier l’utilisation prévue et les utilisateurs prévus Bernard Perret (2008) « La prise en compte des finalités de l'évaluation doit influer davantage sur le choix et la formulation des questions à examiner que sur la teneur des réponses qui sont appropriées (p. 9, §. 1, l. -4). 06/06/2021 LOYE et FALL 66

Processus évaluatif: Identifier l’utilisation prévue et les utilisateurs prévus Toute évaluation axée sur l'équité doit déterminer dès le début ce que doit être l'utilisation prévue et qui sont les utilisateurs visés. Il est très important de s'assurer que l'objectif et les questions d'évaluation seront pertinents pour combler les besoins d'information des intervenants stratégiques, y compris les groupes les plus défavorisés. Pour assurer l’utilisation effective d'une évaluation, il est très important d'effectuer une analyse des prises de décisions organisationnelles visant à déterminer : 06/06/2021 LOYE et FALL 67

Processus évaluatif: Identifier l’utilisation prévue et les utilisateurs prévus a. Quels intervenants ont besoin d'informations pour résoudre les problèmes et, b. Qui est susceptible d'utiliser les résultats de l'évaluation et de soutenir des actions de suivi basées sur les recommandations de l'évaluation (Segone, 2006). En fait, très souvent, les acteurs clés sont des cadres intermédiaires, des agents et intervenants chargés d'élaborer et de mettre en œuvre le programme sur le terrain. 06/06/2021 LOYE et FALL 68

Processus évaluatif: Identifier les défis potentiels dans la promotion et la mise en œuvre des évaluations axées sur l’équité Parmi ces difficultés, on peut retenir: §La réticence à accepter les indicateurs ventilés par sexe qui peuvent montrer, de manière négative, la performance du pays §Une résistance politique et sociale à remédier aux causes de l'exclusion et de la vulnérabilité §Résistance défavorisés à l'autonomisation des groupes les plus §Manque d'intérêt/mesures incitatives et réticence à investir dans les groupes défavorisés 06/06/2021 LOYE et FALL 69

Processus évaluatif: Identifier les défis potentiels dans la promotion et la mise en œuvre des évaluations axées sur l’équité Défis méthodologiques de l’évaluation d’ interventions complexes. Les interventions axées sur l'équité sont plus complexes que celles qui sont « conventionnelles » . Les évaluations axées sur l’équité, surtout au niveau politique, doivent donc utiliser des approches novatrices pour évaluer les interventions complexes. 06/06/2021 LOYE et FALL 70

Processus évaluatif: Identifier les défis potentiels dans la promotion et la mise en œuvre des évaluations axées sur l’équité Manque de données ventilées ou de capacité de collecte de données et réticence à changer les méthodes existantes. Les évaluations axées sur l'équité nécessitent l'appréciation de données plus détaillées et souvent de plus grandes tailles d'échantillon. Ce qui pourrait ne pas exister dans de nombreux pays. Coûts supplémentaires et complexité. Le budget requis peut ne pas être disponible pour effectuer des évaluations axées sur l'équité plus coûteuses, même si les agences sont prêtes à les mener. Insuffisante disponibilité d’une expertise qualifiée pour la conduite d’évaluations complexes 06/06/2021 LOYE et FALL 71

Processus évaluatif: Identifier les défis potentiels dans la promotion et la mise en œuvre des évaluations axées sur l’équité La nécessité de baser le programme et l'évaluation sur une théorie de changement du programme. Une analyse plus approfondie requise pour l'évaluation axée sur l'équité nécessite que l'évaluation soit basée sur une théorie de changement du programme, de sorte que les hypothèses puissent être élaborées et testées sur les facteurs comportementaux, culturels et autres affectant la mise en œuvre, et sur la façon dont la mise en œuvre et l’atteinte des résultats escomptés 06/06/2021 LOYE et FALL 72

Processus évaluatif: Identifier les défis potentiels dans la promotion et la mise en œuvre des évaluations axées sur l’équité Réticence de certains gouvernements à travailler avec la société civile. Dans certains pays, les ONG et les organisations de la société civile ont une grande expérience dans l’utilisation de certaines méthodes quantitatives et mixtes de conception requises pour les évaluations axées sur l’équité 06/06/2021 LOYE et FALL 73

Processus évaluatif: Conception de l’évaluation Sélection du cadre d’évaluation approprié Voici deux cadres et un certain nombre de conceptions et d'outils, qui peuvent être pris en compte lors de la planification d'une évaluation axée sur l'équité. De nombreux autres cadres, conceptions et outils appropriés et adaptés pour les évaluations axées sur l'équité existent. La décision finale sur le cadre, la conception et les outils à utiliser doit être fondée sur l'objectif et la portée de l'évaluation, les questions d'évaluation et aussi la nature et le contexte de l'intervention à évaluer. 06/06/2021 LOYE et FALL 74

Processus évaluatif: Conception de l’évaluation A. La théorie de l’évaluation axée sur l’équité Il est important de baser l'évaluation sur une théorie de changement permettant de décrire et d'évaluer la réalité complexe dans laquelle se déroulent les interventions axées sur l'équité. Une théorie de changement d’un programme bien articulée peut : §Définir la nature du problème que la politique ou le programme a pour but de traiter. §Intégrer les leçons tirées de la littérature et des expériences de programmes similaires. §Identifier les causes du problème à résoudre et les solutions proposées. 06/06/2021 LOYE et FALL 75

Processus évaluatif: Conception de l’évaluation A. La théorie de l’évaluation axée sur l’équité Une théorie de changement d’un programme bien articulée peut : §Expliquer pourquoi le programme est nécessaire. § Identifier les résultats et les impacts attendus. § Présenter une description étape par étape de la façon dont les résultats doivent être atteints. §Définir les principales hypothèses sur lesquelles la conception du programme est basée. §Identifier les principales hypothèses à tester §Identifier les facteurs contextuels susceptibles d'influer sur la mise en œuvre et les résultats. §Identifier les principaux risques et raisons pour lesquelles le programme pourrait ne peut pas atteindre ses objectifs. 06/06/2021 LOYE et FALL 76

Processus évaluatif: Conception de l’évaluation A. La théorie de l’évaluation axée sur l’équité q. La théorie de changement d’un programme est également un outil précieux dans l'interprétation des résultats de l'évaluation. q. Si les résultats escomptés ne sont pas atteints, la théorie peut aider à la traçabilité à travers les étapes de la chaîne de résultats afin d'identifier là où l'expérience de la mise en œuvre effective s'est écartée du plan initial. Elle fournit également un cadre pour identifier les résultats imprévus (positifs et négatifs). q. Si l'expérience de mise en œuvre est assez conforme à la conception et si les résultats sont atteints comme prévu, cela fournit les éléments de preuve de changement à attribuer aux résultats du programme 06/06/2021 LOYE et FALL 77

Processus évaluatif: Conception de l’évaluation Le modèle comprend deux composantes principales : • Les sept étapes du cycle du projet (conception, intrants, mise en œuvre, produits, résultats, impact et durabilité) – définissent les éléments spéciaux axés sur l'équité à chaque étape. • Les facteurs contextuels (politique, économique, institutionnel, environnement naturel et socioculturel des populations concernées) qui peuvent affecter la mise en œuvre et les résultats des interventions axées sur l'équité 06/06/2021 LOYE et FALL 78

Processus évaluatif: Conception de l’évaluation B. Cadre d’analyse des goulots d’étranglement Utilisation des services par les groupes défavorisés Définir les groupes les plus défavorisés à cibler par l'intervention. La première étape consiste à identifier les groupes les plus défavorisés qui doivent bénéficier de l'intervention Évaluer la pertinence, l’efficacité, l’efficience, la durabilité et l’impact des interventions mises en œuvre en vue de garantir l’accès et l’utilisation des services par les groupes les plus défavorisés. 06/06/2021 LOYE et FALL 79

Processus évaluatif: Conception de l’évaluation B. Cadre d’analyse des goulots d’étranglement Les mesures suivantes doivent être combinées, le pour évaluer l'efficacité de la prestation de services de qualité aux groupes les plus défavorisés. Les indicateurs de performance comprennent : • La proportion de chaque groupe défavorisé utilisant le service. • Le niveau d'adéquation pour l'utilisation de chaque service. • Une comparaison de la proportion de la population totale utilisant le service par rapport à la proportion du groupe défavorisé qui l'utilise. 06/06/2021 LOYE et FALL 80

Processus évaluatif: Conception de l’évaluation B. Cadre d’analyse des goulots d’étranglement 06/06/2021 LOYE et FALL 81

Processus évaluatif: Conception de l’évaluation Sélection du modèle d’évaluation approprié Indépendamment de la taille et la nature de l'intervention, un modèle d'évaluation, qui applique une méthode mixte sera généralement la plus appropriée pour générer une image précise et complète de la façon dont elle est intégrée dans une intervention. Le mélange des approches qualitatives et quantitatives, tout en assurant l'intégration des différents intervenants (dont les groupes les plus défavorisés), offrira une grande variété de perspectives et une image plus fiable de la réalité Il permet de comprendre les logiques sous-tendant les inégalités sociales 06/06/2021 LOYE et FALL 82

Travaux de Groupes • En raison de leurs faibles performances, 49 communes du Burkina ont été considérées comme prioritaires pour les investissements dans le domaine de l’étude • Le tableau ci-dessous donne l’évolution des indicateurs au niveau de ces communes comparée au niveau national • Vous devez procéder à une évaluation de ce programme selon une approche basée sur l’équité • On vous demande dans le cadre de l’élaboration des TDRs, de déterminer: – Les objectifs de l’évaluation – L’utilisation prévue des résultats d’une telle évaluation – Les principales parties prenantes dans la mise en œuvre du programme – Les critères et les principales questions d’évaluation 06/06/2021 LOYE et FALL 83

Travaux de Groupes 2010/2011 2014/2015 Taux Brut de Scolarisation primaire Communes Prioritaires National Garçons 44. 9 80. 2 58. 3 83. 6 Filles 42. 4 75. 0 49. 3 83. 9 Total 43. 7 77. 6 53. 8 83. 7 Taux d’achèvement primaire Garçons 32. 0 55. 1 35. 9 57. 4 Filles 26. 1 49. 1 37. 6 61. 3 Total 29. 1 52. 1 36. 6 59. 3 06/06/2021 LOYE et FALL 84

1. 4 Questions d’evaluation 06/06/2021 LOYE et FALL 85

Inference causale et contrefactuel Exemples Le port des lunettes par les élèves améliore-til leur performance On pourrait constater que les etudiants qui portent les lunettes ont des scores plus elevés que ceux qui n’en portent pas. Cependant, il est possible que ceux qui portent les lunettes travaillent plus que ceux qui n’en portent pas. 06/06/2021 LOYE et FALL 86

2. 1 Inference causale et contrefactuel Idéalement, l’impact causal d’un programme P sur une variable d’intérêt Y est la différence entre la valeur de la variable d’intérêt avec le programme (Y/P=1) et sa valeur sans le programme (Y/P=0). Ceci est donné par: ∆= (Y/P=1)-(Y/P=0) Le problème dans cette situation est qu’on ne peut pas observer un individu a une même date avec et sans le programme 06/06/2021 LOYE et FALL 87

Inference causale et contrefactuel Echanges: - L’année passée, une ville a augmenté le nombre de policiers de 20%. Cette année, on observe que le taux de criminalité a augmente de 15%. Peut-on dire que l’augmentation du nombre de policiers a contribué a augmenter le taux de criminalite? - Quel est le contrefactuel dans ce cas. Le terme (Y/P=0) est le contrefactuel et renvoie a ce qui serait la valeur de Y sans le programme. Etant donne que cela ne peut etre obtenu avec les participants aux programmes, il convient de l’estimer. 06/06/2021 LOYE et FALL 88

2. 2 Apercu des methodes d’EI Nous présentons un aperçu general des méthodes couramment utilisées. Méthodes Description Observation 1. Assignation aléatoire (RCT) Dans cette situation, des données sont collectées au debut et a la fin du programme pour les 2 groupes (intervention & controle) Une menace est la non participation des personnes au programme pour les personnes sensees participer 2. Méthode de la double différence Non respect de l’hypothese de tendance commune 06/06/2021 Elle requiert des données pour le groupe d’intervention et le groupe de comparaison avant et après l’intervention. Elle suppose la même tendance pour les indicateurs de la LOYE et FALL variable d’intéret pour les 89

2. 2 Apercu des methodes d’EI Methodes Description 3. Méthode d’appariement exact et par les scores de propension (psm) Dans cette situation, des données doivent etre disponibles pour une population de grande taille. Un groupe de comparaison est alors construit sur la base de la participation ou non au programme en appariant le score des participant avec celui des non participants 4. RDD Determination d’un seuil pour distinguer les 2 groupes 06/06/2021 LOYE et FALL Observation Non respect de l’hypothèse de tendance commune 90

1 - Méthodes d’assignation aléatoire §Une série de méthodes permettent d’évaluer l’impact d’un programme de manière plus fiable. §Les règles de sélection des bénéficiaires d’un programme constituent le paramètre clef pour choisir une méthode d’évaluation d’impact. §L’exercice (sélection) n’est pas aussi simple qu’il y paraît §Dans la plupart des cas, les méthodes d’évaluation doivent être adaptées aux règles opérationnelles d’un programme (avec quelques ajustements ici et là) et non le contraire 06/06/2021 LOYE et FALL 91

1 - Méthodes d’assignation aléatoire § Ces méthodes consistent à effectuer des tirages au sort pour désigner les unités également éligibles qui participeront à un programme et lesquelles qui n’y participeront pas. § Ces méthodes de sélection aléatoire permettent non seulement aux gestionnaires de programme de disposer de règles justes et transparentes pour distribuer des ressources limitées parmi des populations dans le même besoin, mais qui constituent aussi les méthodes les plus solides pour évaluer l’impact d’un programme. 06/06/2021 LOYE et FALL 92

1 - Méthodes d’assignation aléatoire § La méthode de la sélection aléatoire est une méthode qui permet d’évaluer l’impact d’un programme d’une manière plus fiable. § En effet tous les programmes sociaux doivent comprendre des règles de sélection des bénéficiaires justes et transparentes et constituent une méthode plus solide pour évaluer l’impact d’un programme. § Il existe plusieurs méthodes de sélection aléatoire qui découlent des règles opérationnelles d’un programme 06/06/2021 LOYE et FALL 93

1 - Méthodes d’assignation aléatoire §Cela s’explique par le faite que la plus du temps le nombre de personnes éligibles au programme est supérieur au nombre de place offerte. §Donc on fait soit un tirage au sort, soit privilège les femmes et les enfants, ou les localités les plus pauvres. 06/06/2021 LOYE et FALL 94

1 - Méthodes d’assignation aléatoire § Elle est utilisée lorsque tous les bénéficiaires ont la même chance de participer au programme alors on procède a un tirage au sort pour les départager. § Elle permet de constituer des groupes dont toutes les caractéristiques moyennes sont statistiquement équivalentes. 06/06/2021 LOYE et FALL 95

1 - Méthodes d’assignation aléatoire Banque Mondiale, 2010, Évaluation d’impact en pratique 06/06/2021 LOYE et FALL 96

1 - Méthodes d’assignation aléatoire L’assignation aléatoire est utilisée: -Si le nombre d’unités éligibles est supérieur au nombre de places disponibles dans le programme. -Lorsqu’un programme doit être progressivement étendu pour couvrir l’ensemble de la population éligible. 06/06/2021 LOYE et FALL 97

1 - Méthodes d’assignation aléatoire Pour réaliser l’assignation aléatoire: §Définir les unités éligibles au programme §Comparer la taille du groupe avec le nombre d’observation requise pour l’évaluer (échantillon d’évaluation). §Former le groupe de traitement et de comparaison a partir de l’échantillon d’évaluation. 06/06/2021 LOYE et FALL 98

1 - Méthodes d’assignation aléatoire: Impact du programme § Une fois qu’un échantillon d’évaluation est formé de façon aléatoire l’impact est facile à estimer. § Après une certaine période de mise en œuvre du programme, il faut mesurer les résultats pour les groupes de traitement et de comparaison. § L’impact est la différence entre le résultat moyen (Y) pour le groupe du traitement et le résultat moyen (Y) pour le groupe de comparaison 06/06/2021 LOYE et FALL 99

2. Méthode de la double différence §Elle consiste à faire la comparaison des différences de résultat entre une population participant à un programme et une autre n’y participant pas. §Le groupe de la population qui participe au programme est appelé groupe de traitement et celui ne participant pas est appelé groupe de comparaison 06/06/2021 LOYE et FALL 100

2. Méthode de la double différence §Ces deux groupes ne doivent pas nécessairement être similaires avant l’intervention. §Pour appliquer la double différence il suffit de mesurer les résultats du groupe de participants et ceux du groupe de non participants avant et après la mise en œuvre du programme. 06/06/2021 LOYE et FALL 101

2. Méthode de la double différence Indicateurs Avant Après Différence participants A B B–A Non participant C D D–C DD A-C B-D (B-A) – (D-C) 06/06/2021 LOYE et FALL 102

2. Méthode de la double différence Limite: Cette méthode ne prend pas en compte certains facteurs ; tout facteur affectant uniquement les participants et intervenant dans l’évaluation peut fausser les résultats donc la double différence repose sur l’hypothèse que ces facteurs n’existent pas. 06/06/2021 LOYE et FALL 103

3. Méthode d’appariement §Elle consiste à utiliser des techniques statistiques pour produire un groupe de comparaison artificiel en cherchant, pour chaque participant, une observation (ou une série d’observations) du groupe de non-inscrits qui présente des caractéristiques observables plus semblables possible. §Imaginez que vous cherchiez à évaluer l’impact d’un programme et que vous disposiez de données issues d’une enquête démographique et sanitaire à la fois pour les participants et non participants 06/06/2021 LOYE et FALL 104

3. Méthode d’appariement §Le programme que vous cherchez à évaluer n’a pas de règle d’assignation claire qui puisse expliquer pourquoi certains ménages participent au programme et d’autres non. §Dans ce contexte, les méthodes d’appariement peuvent vous permettre d’identifier les ménages noninscrits les plus semblables aux ménages inscrits sur la base des caractéristiques observées dans les données. 06/06/2021 LOYE et FALL 105

3. Méthode d’appariement Les ménages non-inscrits « appariés » forment alors le groupe de comparaison servant à estimer le contrefactuel. 06/06/2021 LOYE et FALL 106

3. Méthode d’appariement Si la liste des caractéristiques observées pertinentes est très longue, ou si chaque caractéristique comporte plusieurs valeurs, il peut être difficile de trouver une unité correspondant exactement à chacune des unités du groupe de traitement. Plus le nombre de caractéristiques ou de dimensions des unités à apparier augmente, plus vous risquez d’être confronté à un « problème de dimensionnalité » . 06/06/2021 LOYE et FALL 107

METHODE D’APPARIEMENT PAR LE SCORE DE PROPENSION § Il n’est pas nécessaire d’apparier chaque participant à un non participant présentant exactement les mêmes caractéristiques observées § Estimer la probabilité que chaque participant et non participant s’inscrive au programme sur la base de ses caractéristiques observées. § Score de propension=probabilité de participer au programme 06/06/2021 LOYE et FALL 108

3. Méthode d’appariement §Pour que l’appariement par le score de propension débouche sur des estimations valides de l’impact d’un programme, toutes les unités du groupe de traitement doivent pouvoir être appariées à une unité non participante. §Il arrive souvent que pour certaines unités participantes, aucune unité non inscrite ne présente un score de propension similaire. 06/06/2021 LOYE et FALL 109

3. Méthode d’appariement En termes techniques, il s’agit d’un problème de « support commun » entre les scores de propension du groupe de traitement et du groupe des non participants. 06/06/2021 LOYE et FALL 110

06/06/2021 LOYE et FALL 111

4. Méthode de discontinuité de la régression Le modèle de discontinuité de la régression est un programme qui consiste à identifier stratégiquement les impacts sociaux, et requiert des échantillons d’évaluation relativement importants pour obtenir une puissance statistique suffisante. 06/06/2021 LOYE et FALL 112

4. Méthode de discontinuité de la régression Dans la pratique, il détermine une bande autour du seuil d’éligibilité sur laquelle portera l’évaluation en assurant l’équilibre des caractéristiques observées des populations au-dessus et au-dessous du seuil d’éligibilité. En règle générale, plus la bande est large, plus la puissance statistique est élevée. 06/06/2021 LOYE et FALL 113

En fait, dans la proximité immédiate du seuil d’éligibilité, les unités de part et d’autre du seuil sont tellement similaires que la comparaison est aussi précise qu’en utilisant l’assignation aléatoire pour générer les groupes de traitement et un de comparaison Même en tenant compte de ces réserves, le modèle de discontinuité de la régression permet d’obtenir des estimations non biaisées de l’impact du programme aux alentours du seuil d’éligibilité. 06/06/2021 LOYE et FALL 114

Utilisation des résultats P réparation du rapport d’évaluation et des formes alternatives de rapportage (Format et correction) Diffusion de l’évaluation et préparation d’une réponse de gestion Une fois l’évaluation terminée, le gestionnaire de l’évaluation est soumis aux politiques de dissémination de son organisation. Cependant, elles doivent promouvoir l’utilisation la plus complète possible de la dimension d’équité de l’évaluation auprès des principaux intervenants, notamment des groupes les plus défavorisés, 06/06/2021 LOYE et FALL 115