Qualit des donnes Suivi et Evaluation des programmes

Qualité des données Suivi et Evaluation des programmes VIH/SIDA - Séminaire régional CESAG - Dakar, Sénégal

Introduction Les pays et leurs partenaires développent de plus en plus de programmes et des projets pour lesquels, la production des rapports devient une véritable exigence pour justifier la poursuite des activités ou pour montrer les progrès réalisés.

Introduction Il faut donc pour cela collecter continuellement des données, les traiter et produire l‘information nécessaire à la prise de décision. Le défi majeur reste ainsi celui de la qualité des données produites.

Objectifs § À la fin de cette session, les participants seront capables de: § Résumer la terminologie de base en ce qui concerne la gestion de la qualité des données § Lister et décrire les 5 menaces qui pèsent sur la qualité des données § Identifier les menaces possibles à la qualité des données dans un système d'information § Générer un plan pour gérer et identifier les menaces à la qualité des données

Pourquoi le S&E est important § M & E favorise l'apprentissage organisationnel et encourage la gestion adaptative

Contenu de la session § Quelle est la qualité des données? § Les critères de qualité des données § Construire un plan de la qualité des données § Vérification de la qualité des données

C’est quoi la qualité des données? § Jeu d'échecs entre Cout vs qualité § Evaluation des données basée sur les critères; § Système de gestion des données basée sur des critères.

Dimensions de la qualité des données § Validité § Fiabilité § Actualité/promptitude § Précision § Intégrité

Définition de la validité § Une caractéristique de la mesure dans laquelle un outil de mesures effectivement ce que le chercheur vise à mesurer § Avons-nous réellement mesuré ce que nous voulions?

Menace à la validité § Les problèmes de définition § Proxy mesures/ substitution § Inclusions / Exclusions § Les sources de données

Validité: Questions à se poser… §Y a t-il une relation entre l'activité ou un programme et ce que vous mesurez? §Quel est le processus de transcription des données? Y a t-il un potentiel de faire des d'erreur? §Des mesures sont-elles prises pour limiter les erreurs de transcription (par exemple, double saisie des données pour de grandes enquêtes, contrôles de validation incorporés, des contrôles aléatoires)?

Définition de la fiabilité § Une caractéristique de la mesure se réfère à la cohérence/ consistance’ § Peut-on toujours mesurer ce que nous avons l'intention de mesurer?

Menace à la fiabilité I Temps Personne Lieu

Menace à la fiabilité II § Méthodes de collecte § Instruments de collecte § Les questions de personnel § Méthodologies d'analyse et de manipulation

Fiabilité: Questions à se poser §Est-ce le même instrument est utilisé d'année en année, de site en site? Est-ce le même processus de collecte des données est utilisé d'année en année, de site en site? §Y a t-il des procédures en place pour s'assurer que les données sont exempts d'erreurs importantes et que des biais ne sont pas introduits (par exemple, des instructions, des fiches d'information sur les indicateurs, la formation, etc. )?

Définition de la promptitude § La relation entre le moment de la collecte, la compilation, le rapportage et la pertinence des données pour les processus de prise de décision. § Est-ce les données ont encore la pertinence et la valeur au moment de leurs rapportage?

Menace à la promptitude § Fréquence de la collecte § La fréquence des rapports § Dépendance au temps

Promptitude: Questions à se poser… § Est-ce que les données sont disponibles sur une base assez fréquentes pour éclairer les décisions de gestion du programme? § Est-ce un calendrier de collecte des données régularisé est en place pour répondre aux besoins de la gestion du programme? § Est-ce que les données arrivent dans un délai de déclaration fixe? § Est-ce que les données sont communiquées dès que possible après la collecte?

Définition de la Précision § Exactitude (mesure des biais) Précision (mesure de l'erreur) § Est-ce que la marge d'erreur dans les données est plus faible que le changement attendu pour lequel le projet a été conçu?

Menace à la précision § Erreur de source / biais § Erreur d’Instrument § Erreur de transcription § Erreur de manipulation

Précision: Questions à se poser… § Est-ce que la marge d'erreur est inférieure au changement attendu qui est a mesurer? § Est-ce qu’il ya des marges d’erreur acceptables pour la prise de décision du programme? § Avez-vous signalés les questions de précision? § Est-ce qu'une augmentation du degré de précision est plus cher que la valeur accrue de l'information?

Les bonnes données sont valides, fiables et précises ≠ Exact/Valide ≠ Fiable ≠ Précis ≠ Exact/Valide Fiable Précis X X X XXXX X X XXX X X X Exact/Valide Fiable Précis XXX XXXX

Définition de l’intégrité § Mesure de la «véracité» des données § Est-ce que les données sont exempts de « manipulations » ou «mensonge» introduit par des moyens humains ou techniques, que ce soit délibéré ou inconscient?

Menace à l’intégrité I Temps Tentation Technologie

Menace à l’intégrité II § La corruption, intentionnelle ou non intentionnelle § Manipulations personnelles § Défaillances technologiques § Le manque de vérification des audits et de validation

Plan de qualité des données § Plan opérationnel pour la gestion de la qualité des données; § Fiches d'information sur l'indicateur; § Comprend une analyse des risques de qualité des données; § Comprend une piste de référence de l’audit.

Cadre d’évaluation de la qualité des données Système de la qualité des données Processus de gestion des données / Procédures Processus Qualité des données / Source Collecte Compilation Analyse Rapportage Utilisation Vérifiables système Procédures Validité Fiabilité Intégrité Précision promptitude Pour permettre la vérification de l'ensemble des données produites en son sein Les relations avec un système de données Vérification des risques Système de gestion de données

Problèmes de qualité des données à la source § Le risque potentiel de mauvaise qualité des données augmente avec les sources de données secondaires et tertiaires. § Exemples: § Validité: les données pourraient être incomplètes (notes non admissibles dans les dossiers des patients); § Fiabilité: enregistrement incompatibles de l'information par différents membres du personnel en raison des différences des niveaux de compétences:

Pour assurer la qualité des données à la source § Concevoir les instruments soigneusement et correctement § Inclure les fournisseurs de données (intervenants de la collectivité) et agents de traitement de données dans la prise de décision pour déterminer ce qui est possible de collecter, de revoir le processus, et d'élaborer des instruments. § Élaborer et documenter les instructions pour les collecteurs de données, sur les formulaires de collecte, et des procédures informatiques.

Pour assurer la qualité des données à SOURCE § S'assurer que tout le personnel est formé aux taches auxquelles il est assigné. Utiliser 1 formateur si possible § Développer un échantillon approprié

Problèmes de la qualité des données au moment de la collecte § Les entrées incomplètes dans des feuilles de calcul § Les transcriptions des données sont incorrectes § Les données sont saisies dans des champs non appropriés dans une base de données § Incohérence des données entrées par différents agents de saisie

Pour assurer la qualité des données au moment de la collecte • Élaborer des instructions spécifiques pour la collecte des données; • Vérifiez régulièrement pour voir si les instructions sont suivis; § Identifiez-ce qu'il faut faire si vous ou quelqu'un veut apporter une modification à la collecte des données ou si vous avez des problèmes lors de la collecte des données; § Vérifiez pour voir si les gens suivent le changement de processus de gestion; § S'assurer que tous les besoins de collecte de données, saisie et d'analyse sont disponibles (stylos, papier, les formulaires, les ordinateurs)

Pour assurer la qualité des données à la collecte § Former les agents de collecte des données sur comment collecter l’information; § Développer des procédures standards (SOPs) pour la gestion des données collectées (ex. passer d’une étapes à une autre) § Développer les procédures standards pour la révision des outils de collecte § Communiquer les processus collecte et les procédures standards § Conduire des revues de sites durant le processus de collecte.

Pour assurer la qualité des données à la compilation § Élaborer des grilles de vérification et de procéder de signature pour les étapes clés; § Procéder à des revues au cours du processus de saisie; § Créer un format électronique ou manuel qui comprend un processus de vérification des données par une seconde personne qui ne fait pas la saisie des données

Pour assurer la qualité des données à la compilation § Sélectionner les données de manière aléatoire et les vérifier; § S'assurer que les problèmes signalés et documentés, corrigés et communiqués et en même temps suivis depuis la source du problème

Pour assurer la qualité des données à l’analyse § S’assurer que les techniques d'analyse respecte les exigences pour une bonne utilisation; § Divulguer toutes les conditions et hypothèses qui affectent les interprétations des données; § Avoir des experts pour examiner les rapports de la vraisemblance de l'analyse.

Pour assurer la qualité des données au moment du rapportage § Synthétiser les résultats pour le public approprié § Préserver l'intégrité dans les rapports - ne pas laisser de côté les informations clés § Avoir plusieurs auditeurs au sein de l'organisation - avant la diffusion! § Protéger la confidentialité des rapports et des outils de communication; § Examiner les données et fournir une retro information à ceux qui ont un intérêt pour les résultats

Pour assurer la qualité des données à moment de l’utilisation § COMPRENDRE LES DONNEES! § UTILISEZ VOS DONNEES!

Réduction des risques liées à la qualité des données § Technologies § Veiller à ce que l'analyse des données / logiciel statistique soit mise à jour. § Rationaliser les instruments et des méthodes de collecte de données § Compétence du personnel § S'assurer que le personnel est bien versé dans tous les étapes du processus de gestion des données (collecte, de saisie, l'évaluation, l'analyse des risques, etc. ). § Maîtriser les logiciels de données. § Fournir la documentation et des pistes d'audit…

Audits de la qualité des données § Vérification § Validation § Auto-évaluation § Audit interne § Audit externe

Taches du plan operational de S&E § Identifier les risques associés à vos pratiques actuelles de gestion des données qui peuvent affecter la qualité des données § Identifier les plans d'urgence nécessaires pour améliorer la qualité des données; § Remplissez un Plan de Qualité des données pour l'un des indicateurs/les indicateurs que vous devez rapporter.

Plan qualité des données

Feuille de référence pour chaque indicateur

Description du plan § Evaluation initiale de la qualité des données § Limitations connues données et signification § Mesures ou actions planifiées pour faire face aux limitations des données § Méthodes de contrôle et de vérification § Fréquence de contrôle § Responsable

Modèle de plan de gestion de la qualité de données Indicateur Valeur de base Atouts et Méthodes limitations Mesures et de contrôle connues des actions et de données vérification Fréquence de Responsable contrôle

Conclusion La pertinence des décisions dépend tout d’abord de la qualité des données. La gestion de la qualité des données ne doit pas être considérée comme une activité isolée ou ponctuelle: d’où la nécessité d’avoir un plan de gestion de la qualité des données.

Quelques outils Deux principaux outils: § Outil de renforcement des systèmes de S&E § Outil de contrôle de la qualité des données

Discussions Elément de données Juin Juillet Août Septembre Octobre Novembre Décembre Total Dépistage du VIH au cours des consultations prénatales 0 0 0 1 1 0 0 2 VIH+ dans les nouvelles consultations prénatales 0 0 0 1 1 0 0 2 Dose de NVP pendant le travail 0 4 3 3 0 10 NVP au nouveau né 3 4 3 3 0 44 Enfant VIH+ au lait artificiel 0 4 3 0 4 11 Enfant VIH+ au lait maternel 0 4 1 3 6 14 Premier test VIH au bébé 0 0 2 2 31

Exemple: Nombre de personnes ayant subi un test VIH au cours des 12 derniers mois et qui en connaissent le résultat. Etude (E 1), Pays (X), Année (A). Par sexe Année Par tranche d’ages Précision Total F H < 25 25 + 2001 32000 ND ND DNP 2003 40000 22000 18000 ND ND DMP 2005 52000 30000 22000 25000 27000 DP 2007 75000 44000 31000 30000 45000 [70000 -80000] [39000 -49000] [26000 -36000] [25000 -35000] [40000 -50000] DP ND: Non disponible, DNP: Données non précises, DMP: Données moins précises, DP: Données précises

§ Merci § Questions