Synthse gnrale Sminaire sur le Suivi et lEvaluation

Synthèse générale Séminaire sur le Suivi et l’Evaluation des programmes de santé au niveau du district: Applications pratiques. 14 juin – 02 juillet 2010, Dakar/Sénégal

Semaine 1 § Introduction aux théories S & E § Elaboration d’un Plan S & E; § Présentation des Tdr des travaux de groupes sur les plans de S & E; § Rôle de l’information stratégique; § Les cadres de S & E; Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Semaine 1 § Les indicateurs de S & E; § Les sources d’information en S & E; § Elaboration d’un plan de S & E; § Méthodes Quantitatives d’analyse des données sanitaires; Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Semaine 2 § Méthodes Qualititatives d’analyse des données sanitaires; § Méthodologie d’évaluation de l’impact; § Evaluation de la rentabilité et de l’efficience d’un projet/programme; § Programme de Communication pour le Changement de Comportement; § Suivi des projets et programmes; Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Semaine 2 § Gestion de la logistique des médicaments; § Programme de santé de l’enfant : PCIME; § Programme Elargi de Vaccination: PEV; § Programme SR; § Programme de santé de l’enfant : Nutrition § Elaboration d’un plan de S & E : Etat d’avancement. Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Semaine 3 : § Elaboration d’un plan de S&E; § Programme IST/sida/TB; § Programme Paludisme; § Préparation des TP sur le terrain; § Analyse et interprétation des résultats des travaux de terrain; § Finalisation des travaux sur le terrain; § Présentation des divers travaux et clôture. Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Différences SUIVI et EVALUATION? Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Suivi ET Evaluation Suivi : Que faisons-nous ? Suivi des intrants, processus et extrants pour déterminer si les programmes s’exécutent comme prévu (formations, distribution de préservatifs, etc. ) Évaluation : Qu’avons-nous accompli ? Évaluation de l’impact des programmes sur les comportements ou la santé (usage du préservatif lors derniers rapports sexuels risqués, incidence du VIH, etc. ) Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Définitions Le SUIVI est une fonction L’EVALUATION est un exercice continue qui vise à fournir aux limité dans le temps qui vise à gestionnaires du programme et mesurer objectivement l’impact aux principales parties prenantes, (résultats) observé au niveau de des indications sur le progrès de la population, attribuable aux réalisés ou des difficultés interventions du projet/programrencontrées au cours de la mise me. en œuvre du programme. Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Définitions : suivi § La collecte routinière des informations sur les activités d’un programme/projet, ses produits, résultats attendus § La mesure des progrès réalisés dans le sens de la l’atteinte des objectifs d’un programme/projet ; c’est le comptage des extrants § Surveillance routinière de l’utilisation des ressources financières et le fonctionnement d’un programme/projet. § Constitue la base de l’évaluation d’un programme/projet lorsqu’il est lié à un programme/projet spécifique. Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Définitions : évaluation § L’analyse rigoureuse, à caractère scientifique des informations relatives aux ressources, activités, et résultats du projet/programmes pour déterminer le mérite ou la valeur dudit programme § Requière la conception d’études ; parfois un groupe de contrôle ou témoin; souvent la mesure dans le temps. § L’analyse des données de suivi pour améliorer les projets/programmes et informer les décisions concernant les futures allocations de ressources. Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Intrants § Ce sont les Ressources utilisées dans le cadre d’un projet/programme, telles que les ressources financières, humaines, matérielles : - ressources financières provenant du gouvernement, des partenaires et bailleurs; - personnel; - protocoles et directives; - supports de formation; - etc Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Processus/Activités § Ce sont les Activités que le projet/programme mènent pour atteindre ses objectifs, telles que la sensibilisation, la distribution de supports, les séances de counseling, les ateliers et formations, la supervision…. * Assurer le counseling pré-test, le test du VIH, la distribution des moustiquaires Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Extrants/Résultats au niveau du programme § Ce sont les Produits directs ou produits livrables du projet/programme tels que les séances d’interventions réalisées, les personnes atteintes ou les supports éducatifs distribués: * Nombre d’agents formés; * nbre de clients recevant un counseling prétest, se faisant dépister du VIH et bénéficiant de counseling post-test. Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Effets § Ce sont les Résultats du programme qui se produisent aussi bien immédiatement qu’un certain temps après l’achèvement des activités tels que les changements au niveau des connaissances, des attitudes, des croyances, des compétences, comportements, de l’accès au services, des politiques. Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Impacts § Ce sont les Résultats à long terme d’un ou de plusieurs programmes, dans le temps tels que les changements au niveau de l’infection, de la morbidité: - taux de transmission; - taux d’incidence; - morbidité et mortalité. Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Quelle est la fonction d’un Plan S/E? Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Plan S&E: Fonctions § Résume comment le programme mesurera ses résultats: § Imputabilité § Résume le processus de consensus: § Transparence § Responsabilité § Guide la mise en œuvre du système S&E § Standardisation § Coordination § Archive la mémoire institutionnelle Un plan S&E est un document vivant qui aura besoin d’être ajusté quand le programme est modifié La fonction et la forme d’un plan S&E sera différent aux différents niveaux du système Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Quels sont les éléments clés d’un Plan S/E? Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Eléments clés d’un plan de S&E(1/2) 1. Introduction/Description du problème de santé 2. Description du programme- buts, objectifs, cadre conceptuel, activités, cadre des résultats 3. Description des indicateurs avec sources de données, etc. (matrice et feuilles de référence) 4. Description des mécanismes de collecte des données § Suivi § Evaluation Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Eléments clés d’un plan de S&E(2/2) 5. Plan de démonstration de l’impact; 6. Plan de dissémination et utilisation des données/résultats 7. Analyse des obstacles à la qualité des données et solutions potentielles; 8. Plan de mise en œuvre du Plan S/E avec calendrier et budget Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Barrières à l’utilisation des données? Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Déterminants de la Demande et Utilisation des données et des Informations CULTURE APPROCHE TECHNIQUE APPROCHE SYSTEMES POLITIQUE COMPORTEMENT INDIVIDUEL SOCIETE La prise de décisions intervient dans des contextes sociopolitiques et culturel définis Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Quels sont les 3 types de cadres qui peuvent être utiles pour les gestionnaires de programmes et staff de S/E quand ils ont besoin de décrire leur programme? ? Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Synthèse Cadres de S/E: Type de cadre Description Gestion de Programme Utilité dans le S/E Conceptuel Interaction entre différents facteurs Détermine quels sont les facteurs qui vont influencer les résultats/impacts du programme Explique les résultats, surtout dans Evaluation d’Impact Logique Montre les liens logiques entre les intrants, les activités, produits/ résultats du programme Montre les relations causales entre les activités et les résultats Suivi/évaluation du processus et du résultat Résultat Montre les liens logiques entre les objectifs du programme Montre les relations causales entre les objectifs du programme Suivi/évaluation des résultats Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Qu'est ce que c’est, un indicateur? Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Qu’est-ce qu’un indicateur ? § une variable § qui mesure § un aspect du programme ou projet Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Quelle est l’utilité des indicateurs standardisés au niveau international? Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Ces indicateurs : § aident chaque pays à évaluer l’efficacité de sa riposte nationale; § permettent de fournir des informations majeures sur l’efficacité de la riposte aux plans régional et mondial; § améliorer la comparabilité des données et/ou réponses entre pays ou entre régions; § mesurer les progrès dans le secteur de la mobilisation des ressources, de la politique générale et de la défense de la cause en matière de santé. Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Quelles sont les différentes sources données ? Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Système d’information sanitaire: données pour la planification, le suivi et l’évaluation dans le secteur de population, santé et nutrition Non-Routine TYPE UTILISATION Niveau National Aggreg. Statist. de Service Aggreg. Données de gestion Aggreg. Données Surveill Données financières Etat civil Niveau District Aggreg. Stat. Services Aggreg. Données gestion Sites Sentinelles Liste Observation Auto-Évaluation Planification) Management (Qualité/Efficience) Supervision (Performance) Surveillance de maladie Dossier Client Dossiers Financiers Logistiques FSy registres, dossiers Données Commun. Gestion et suivi client Gestion unité de santé Planning travail/ de fin. Priorités FS Client Décision de politique Planification stratégique Suivi de programme Surveillance de maladie Soutien Technique & Logistique Naissances et décès Gestion et suivi client Dossiers Scolaires Gestion logistiques Registres ASC Suivi et Evaluation des programmes de Santé Sensibilisation Communauté Recouvrement des coûts CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010 Commun. i Special Enquêtes de Population EDS Méthodes Évaluation Rapide Enquêtes de services De santé Études Spéciales Recensement

Quelles sont les six dimensions de la qualité des données? 1. Exactitude ou validité; 2. Fiabilité; 3. Précision; 4. Exhaustivité; 5. Promptitude; 6. Intégrité. Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Quel est le rôle particulier des méthodes qualitatives et quantitatives d’analyse des données dans un bon système de suivi et évaluation? Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Différences entre enquêtes qualitatives et quantitatives Qualitative (1/3) Quantitative Permet d ’explorer les attitudes, les motivations, les pratiques etc. Mesure les évolutions, les niveaux, etc. Détermine “pourquoi” Décrit: Combien, combien de fois Les modèles, les processus et les interactions sont plus faciles à observer Relations entre variables sont indiquées avant l’étude Le questionnaire est ouvert – l’information provient des interviewés A un objectif défini: tous les termes et les questions importantes sont limités aux questions posées Permet d’explorer les sujets sensibles Plus difficile de prendre en compte les questions sensibles N’a pas besoin d’échantillons de grande taille Exige des échantillons importants Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Différences entre études qualitatives et quantitatives(2/3) Qualitative Quantitative Relativement moins cher à réaliser et les résultats sont faciles à obtenir Coûteux et prend du temps Les résultats ne peuvent pas être généralisés à des populations plus larges Les résultats peuvent être généralisés à des populations plus larges Il y a beaucoup de données et l’analyse Le traitement et l’analyse de données est ardue importantes est relativement facile Pas besoin d’expert en statistiques pour Connaissance statistique indispensable pour l’analyse des données l’analyse Les agents de santé peuvent participer à l ’étude Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010 Enquêteurs et agents de santé peuvent participer à l ’enquête

Différences entre études qualitatives et quantitatives(3/3) Qualitative interprétation peut être biaisée par le chercheur Quantitative Possibilité de maîtriser le biais Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Quels sont les différents avantages des approches d’évaluation d’impact? Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Récapitulatif des approches préférées Approche Observations Méthode expérimentale Généralement peu pratique suite aux difficultés à établir et à maintenir des conditions expérimentales contrôlées dans les études nationales. Méthode quasi-expérimentale Plus pratique car la répartition aléatoire n'est pas nécessaire. Mais plus vulnérable au biais de sélection et autres risques de validité que les expériences aléatoires. Méthodes de régression à niveaux La moins exigeante des approches non expérimentales multiples préférées. Evaluation de la relation entre les variables mesurant les activités du programme et des effets en fonction des données transversales de ménages et/ou d'établissements sanitaires recueillis dans les mêmes régions géographiques (par exemple, grappes EDS). Limitation-clé : risque d'estimations biaisées lorsque les programmes ne sont pas exécutés de manière uniforme ou aléatoire entre les régions géographiques. Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Programmes de santé : § Description des cadres de S/E (Conceptuel, Logique et Résultats) ; § Identification des interventions/approches majeures permettant d’améliorer le programme ; § Discussion de l’impact principal et des indicateurs de résultat et identification des forces et faiblesses de ces indicateurs ; § Exemples spécifiques sur la manière dont les indicateurs de S&E sont utilisés pour l’amélioration du programme et la prise de décision ; § Développement d’ un cadre conceptuel et identification des indicateurs de S&E d’une des interventions identifiées; discussion également des sources de données, des forces et faiblesses des indicateurs ( but des études de cas). Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

§ MERCI Suivi et Evaluation des programmes de Santé CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010