Triangulation Suivi et Evaluation des programmes VIHSida Sminaire

Triangulation Suivi et Evaluation des programmes VIH/Sida- Séminaire régional 7 - 15 Fevrier 2011 CESAG - Dakar, Sénégal

Triangulation: Historique Les marins navigateurs trouvaient leur position "exacte" sur l'océan par triangulation entre leur position, l'horizon et le soleil (ou étoile connue)

Définition de la triangulation § Une approche analytique qui intègre des données de sources multiples afin § d'améliorer la compréhension d'un problème de santé publique § de guider la prise de décisions programmatiques pour traiter ces problèmes. § La triangulation peut être utilisé par les responsables de la santé publique afin d'évaluer l'impact des interventions largement mises en œuvre au niveau de la population. § Contrairement à la recherche qui vise à apporter une réponse définitive à une hypothèse établie, la triangulation, vise à renforcer les interprétations et améliorer les décisions sur la base des éléments de preuve disponibles. § La triangulation ne déduit pas la causalité, mais offre une explication rationnelle ou une interprétation des données à portée de main.

Concept de triangulation § Structurellement, les objets exigent 3 pieds dans l’espace pour être debout ou soutenus § Pour mieux soutenir nos conclusions, nous renforçons nos interprétations par la triangulation des sources de données

Triangulation Conclusions Données de Surveillance comportementale Données de la Surveillance IST Données de Surveillance VIH/SIDA

Quelques avantages de la triangulation § Utilise des sources de données préexistantes; § Cela permet une compréhension rapide de la situation et facilite les décisions en temps opportun et approprié lors des crises sanitaires § Examine des renseignements recueillis par différentes méthodes, différentes personnes et dans différentes populations; § les résultats peuvent être utilisés pour corroborer des données reçues de différentes sources, réduisant ainsi l'effet des deux erreurs systématiques et erreurs aléatoires qui peuvent être présents dans une seule étude. § § Combine des informations quantitatives et qualitatives; Intègre des données de la prévention du VIH, du traitement, des soins et soutien programmes et favorise le jugement des experts; Fournit une méthode pour évaluer les interventions et les résultats au niveau des populations; Peut également être utilisé pour évaluer les résultats de souspopulations spécifiques; Toutefois, il est important d'être conscient que les préjugés et l'erreur peut également être augmenté dans le résultat final si les soins ne sont pas pris dans l'analyse pour comprendre pleinement chaque source de données et ce qu'elle représente.

Différents types de triangulations

Différentes TYPES de Triangulation (I) § Denzin (1970) a décrit quatre formes: § Triangulation des données – plus d’un échantillon venant de la même population § Triangulation des investigateurs - plus d’un chercheur pour rassembler et interpréter les données § Triangulation théorique - Interprétation de données de > 1 perspective théorique § Triangulation méthodologique – plus d’une méthode pour rassembler des données

Triangulation Parties du : Processus? Étapes á conduire? Étape 1: Identifier des questions clés • Acteurs clés Étape 2: s’assurer que les questions ont des réponses & actionnables Planification Étape 3: Identifier les sources de données & faire la revue du background information/bibliographique Étape 4: affiner la ou les questions de recherche Task Force Étape 5: Assembler les données Étape 6: observer chacune des série de données Conduite du processus Etape 7: Noter les tendances à travers des séries de données et dégager ou formuler des hypothèses Atelier Etape 8: Affiner les hypothèses générées Etape 9: SI NECESSAIRE, Identifier les données additionnelles & revenez à l’étape 5 Etape 10: résumer les résultats et tirer des conclusions Etape 11: Communiquer les résultats & des recommandations Communication Étape 12: Dégager les prochaines étapes • Task Force

Reunion des acteurs/parties prenantes Acteurs nationaux § Ministères § Systèmes d’informations Sanitaires § NGOs § § § Partenaires CDC-GAP USAID WHO UNAIDS UNICEF World Bank Global Fund FHI MSH PSI etc

Étapes 1 et 2: Identification et finalisation des questions essentielles #A #B Réflexions sur des questions possibles Acteurs clés Critères #C Affiner les questions essentielles Questions Finales Task Force ü Importantes, actualités ü Actionnables ü Pas résolues ü Disponibilité des données ü Méthode appropriée ü Faisable (temps)

Triangulation : Exemples de questions finales • Question #1: Est-ce que la prévalence du VIH (ou l’incidence) est entrain d’augmenter ou de diminuer de X à Y? • Question #2: Quelle est la portée et l'intensité d'efforts de prévention de VIH parmi les populations à haut risque ?

Étapes 3: Sources de données § Types de données: qualitatives et quantitatives § Qualité des données § Accès: permission, format de données (liste ou agrégées) § Description : sources de données qualitatives ou quantitatives; quand est-ce que les données sont collectées? sont-elles pertinentes pour les questions soulevées? § Méthodes de collecte des données, gaps et limitations; § Éthique: respect des droits humains, bénéfique, justice

Étape 3 (suite): Assemblage des données (exemples) Surveillance biologique et comportementale (exemples) • • Surveillance sentinelle, Enquête sur les Indicateurs de sante (EIS) BSS Cas de SIDA, TB, IST rapportés Démographique • • Enquête de populations Enquête intégrées auprès des ménages Programmatiques (exemples) • • • CCDV PTME Banque de sang Distribution de condoms Éducation pour la santé Recherche (exemples) • • • Recherches académiques locales Partenaires Internationaux Études de recherches publiées (qualitative et quantitative)

Étape 4: Affinez la question (s) d'investigation (1) § Au fur et á mesure que les analystes de la triangulation analyses les données, ils tireront un profit pour une meilleure compréhension dans l’interprétation des ces dernières. § En discutant la (les) question (s) dans le contexte des sources de données, les parties prenantes de la triangulation discutent et comprendront mieux la (les) question (s) qu'ils étudient. § Cette nouvelle compréhension devrait mener à un raffinement de la (des) question (s) sous investigation.

Étape 4: Affinez la question (s) d'investigation (2) § Le raffinement de la (des) question (s) sous investigation est la dernière étape dans la détermination de la question finale ou des questions finales que vous adresserez dans votre exercice de triangulation. § Dans cette étape, les questions restantes sont organisées dans des secteurs de sujet et, si possible, combinées en une question afin que cette question puisse être répondue.

Étape 5: Réunissez les données et rapports § Collecter des données et des rapports est un processus à forte intensité de main-d'œuvre dans l'exercice de la triangulation. § Le succès complet de l'exercice de triangulation dépend de la perfection du travail fait dans l'obtention, le nettoyage et l'exécution d'une synthèse préliminaire des données. § Rencontres régulières du groupe de travail § Le groupe de travail devrait inclure les gens qui ont accès à certaines ou à la plupart des sources de données. § Le groupe de travail guidera l'analyse des données, mais peut aussi aider à avoir accès aux données et expliquer ses forces et faiblesses.

Étape 6: Faire des observations sur chaque série de données § Évaluer la fiabilité des données § Méthode d’ échantillonnage et la représentativité § Où? Qui et comment la sélection a été faite? § Taille de l’ échantillon? § Biais: sélection et de confusion § Autres problèmes liés á la qualité des données § Méthode de collecte consistante dans le temps § Méthodes d’analyses données § Classification de la fiabilité des données § Par niveau de confiance (basé sur la méthodologie)

Étape 7: Notez les tendances à travers des séries de données et générer/formuler des hypothèses § Comparer des ensembles de données différentes rangées côte à côte; § Les données peuvent mesurer les mêmes indicateurs à répétition; § Exemple de la prévalence du VIH basée sur des données de surveillance de sentinelle (CPN) et les estimations des EDS+ sur les comportement; § Les ensembles de données peuvent utiliser des indicateurs différents pour faire ressortir des thèmes spécifiques ou des associations décrites dans une hypothèse;

Étape 8: Vérifier les hypothèses (1) § La vérification des hypothèses est cruciale pour affiner et renforcer l’interprétation. § Dans la triangulation, nous cherchons l'hypothèse ou l'explication qui est compatible/ ou en accord avec la plupart des données et avec un visage de validité. § Si la (les) preuve(s) / évidence (s) réunie(s) réfute (réfutent) l'hypothèse, alors l'hypothèse devrait être rejetée. Les hypothèses sont assumées vraies jusqu'à ce que la démonstration soit faite autrement elle est abandonnée. § En comparant nos hypothèses aux données, nous pouvons en tirer des conclusions valides.

Étape 8 : Vérifier les hypothèses (2) § Il est important d'explorer des explications alternatives possibles de nos hypothèses. § Ces explications alternatives pourraient réfuter quelques interprétations et exiger que nous modifions nos hypothèses, § Ces explications alternatives pourraient aussi soutenir les hypothèses § Des données supplémentaires peuvent être nécessaires pour évaluer ces alternatives et devraient être rassemblées comme décrit dans l‘étape 9. § Si les données n'existent pas pour adresser les alternatives, il est important d'inclure cette possibilité dans les conclusions et noter le besoin d'informations supplémentaires.

Étape 9: Identifier d’autres sources de données (1) § La triangulation est un processus itératif. Partout dans le processus, les analystes devraient continuellement passer en revue des données existantes et identifier les écarts. § Si nécessaire, d'autres données disponibles devraient être obtenues ou des analyses complémentaires réalisées sur des ces dernières.

Étape 9: Identifier d’autres sources de données (2) § Au fur et á mesure que les tendances dans les données deviennent plus claires, de nouvelles données peuvent être utiles sans avoir été précédemment reconnues comme appropriées. § Des données complémentaires aident á tester les hypothèses et á vérifier la validité des observations déjà faites. § Des données supplémentaires peuvent aussi aider à exclure les facteurs de confusions.

Étape 9 : Identifier d’autres sources de données (3) § Pour accumuler plus de preuves pour supporter les hypothèses § avec une attention particulière pour les tendances et § les considérations á la fois qui permettent de non seulement de supporter et mais également de réfuter les conclusions. § Une revue minutieuse des données est entreprise pour la population et par catégorie. § Ce processus est répété pour chaque sous-population.

Étape 10: Résumer les résultats et tirer des conclusions (1) § Décider quelles hypothèses sont soutenues par le maximum de sources de données tant quantitatives que qualitatives. § Les analystes devraient commencer par conduire une revue préliminaire des résultats § En mesurant la confiance de chaque tendance identifiée et en classifiant les données selon leur qualité.

Étape 10 : Résumer les résultats et tirer des conclusions (2) § Les analystes devraient faire une revue minutieuse du contexte dans lequel les hypothèses existent (par exemple par la revue de la littérature et des circonstances dans des pays semblables). § Les analystes devraient aussi déterminer s'il y a des écarts où des données manquantes et des secteurs clés où la recherche future pourrait aider à répondre à la question de façon plus approfondie.

Étape 10 : Résumer les résultats et tirer des conclusions (3) § Concentrer-vous sur les évidences les plus fortes: § Quelles hypothèses sont soutenues par les sources les plus indépendantes et les données les plus rigoureuses ? § Quelles hypothèses tiennent aux critères maximum de causalité? § Quelles hypothèses sont soutenues á la fois par le un grand nombre de sources de données et les histoires/succès (Qualitatif et quantitatif)?

Étape 10 : Résumer les résultats et tirer des conclusions (4) § Est-ce que les biais probables, les limitations et le potentiel de facteurs de confusions devraient changer les conclusions? § Avez-vous considéré toutes les explications alternatives possibles ? § Considérations supplémentaires : § Donner la faveur aux hypothèses qui peuvent être prouvées être vraies ou fausses. § Donner la faveur aux hypothèses pour lesquelles vous pouvez faire quelque chose.

Étape 11: Communiquer les résultats et les recommandations (1) § Décrire les questions clés et comment elles ont été sélectionnées; § Décrire les sources de données et les méthodes utilisées; § Présenter les hypothèses et les conclusions principales; § Présenter la (es) question (s)/format d’ hypothèses générée avant l’analyse § Exposer brièvement pourquoi l’ hypothèse retenue est viable § Exposer brièvement quelles données supportent la ou les hypothèse (s) § Confirmer/infirmer l’hypothèse(s) § Formuler de nouvelles hypothèses si nécessaire.

Étape 11: Communiquer les résultats et les recommandations (2) § Discutez de l'interprétation des données (principaux résultats /les découvertes secondaires). § Récapituler d'autres résultats secondaires identifiés par l'analyse de triangulation. § Bien que ces résultats ne soient pas votre hypothèse principale, ils peuvent fournir une nouvelle explication sur la question. § Noter les limitations de votre analyse (être honnête). § Récapituler les résultats. § Traduire les résultats en terme de: § i. Besoin en données supplémentaires; § ii. Recommandations programmatiques; § iii. Recommandations de politique.

Étapes 12: Dégager les prochaines étapes (1) § Les résultats de triangulation sont destinés à informer la planification (cas du VIH) au niveau national et aux niveaux décentralisés. § Travailler avec le Ministère de la santé et /ou autres ministères pour appliquer les résultats et considérer les activités de triangulation dans le future.

Étapes 12: Dégager les prochaines étapes (2) § Potentielles prochaines étapes § Si les résultats sont forts, faire le plaidoyer pour l’action § Exemple 1: le CNLS doit continuer à financer les activités de prévention dans les communautés ou les réductions de risque ont été enregistrées § Si les résultats sont faibles, faire le plaidoyer pour des investigations plus poussées § Exemple 2: Les activités de prévention dans les communautés examinées n’ont pas montré de réduction de risque. Informer les bailleurs et discuter des prochaines étapes.

Triangulation pour l’évaluation des programmes § A l'absence d’essais contrôlés rigoureux, les procédures de triangulation des données peuvent justifier une liaison entre des interventions et les changements de comportement observés § La triangulation examine les tendances de l'infection au VIH et celles des comportements § Les indicateurs de comportement contribuent á la : § Compréhension de tendances de l'épidémie de VIH, § La compréhension de la relation entre les efforts d'un programme et son impact.

Triangulation pour l’Evaluation de programme § Exemple: § Données d'évaluation de processus sur : § Les ventes de préservatifs § L’Intensité de l’éducation par les paires § La Qualité et la couverture des campagnes médiatiques § Combinées avec : § Une analyse de tendances données de comportementales § Les Tendances des IST § == Une compréhension du processus par lequel une intervention à permis de réaliser des effets.

Triangulation pour l’Evaluation de programme § Des enquêtes comportementales peuvent être analysées ensemble avec une recherche d'évaluation qualitative effectuée dans un souséchantillons des populations cibles. § Une telle recherche peut inclure : § les discussions de groupe § Interviews des informateurs clés § des études ethnographiques rapides § Par exemple: § PS pour les études quantitatives Description de la situation § PS et petits amis/protecteurs pour des études qualitatives=> explication du pourquoi

Triangulation pour l’Evaluation de programme § La triangulation permet une interprétation plus appropriée des résultats observés parce qu'ils résultent des effets globaux de: § Des interventions multiples § Des facteurs environnementaux et § Des facteurs personnels

Triangulation pour Adresser la Validité et la Fiabilité § Les données de VIH/SIDA sont sensibles et très personnelles. § La fiabilité et la validité sont assez critiques § Le comportement sexuel ne peut pas être directement observé § Les déclarations sur les comportements sexuels en l’absence de preuves supplémentaires peuvent être considérés invalides ou non fiables. § Triangulation des données de sources multiples améliorent la confiance dans la validité et la fiabilité de découvertes/conclusions.

Triangulation des données dans les épidémies à bas niveau et concentrées § Que voulez-vous vraiment savoir(connaître) ? § Quelles données devez-vous avoir à porté de la main ? § Quelles populations ont le plus grand risque de contracter le VIH ? § Les cas de SIDA pour identifier les groupes à haut risque; § Quelle est la taille et l’emplacement des populations de risque? § Enquêtes VIH dans les groupes à haut risque; § Quelle est la prévalence et incidence dans les populations à risque? § Enquêtes comportementales dans les groupes à haut risque; § Quelle est l’efficacité des Programmes de X , Y et Z? § Anthropologie de base; § d'Autres données (STI, PS et UDI etc. )

Triangulation des données dans les épidémies généralisées § Quelles données devez-vous § Que voulez-vous vraiment savoir à porté de la main ? ? § L'incidence et les endroits où les § Surveillance sentinelle des femmes enceintes (CPN) cas incidents surviennent § Données de surveillance § La fréquence et où sont les cas Comportementales prévalent (pour les services de § Données sur les IST, données santé) de cas de SIDA peu § Efficacité des/du Programmes probablement § EDS + dans peu d'endroits § Autres

Autres sources potentielles de données § Données sur les populations à haut risque (ex, PS et leurs clients) § Données sur les commodités § Ventes de Condoms/distribution § Anti rétroviraux § Données de Morbidité § Meilleures sources pourraient être ceux venant des programmes TB § Données de Mortalité (probablement limitées)

Triangulation des données dans les épidémies généralisées § Estimation la prévalence du VIH dans le temps § Identifie les facteurs géographiques et démographiques associés à la prévalence du VIH § Estimation de l’incidence , § Méthodes sérologiques (BED, etc. ), les Marqueurs des infections récentes dans la période de fenêtre sérologique (ARN du VIH, Ag p 24) § Enquêtes de cohortes § la Modélisation à partir des enquêtes de prévalence en série § Estimation rationnelle à partir de la surveillance sentinelle auprès des cliniques CPN avec des données comportementales § Compréhension de l'utilisation des CPN parmi des participants aux enquêtes sur les comportements.

Triangulation dans la Surveillance du VIH § Analyse les données biologiques des enquêtes sur le VIH et les IST, ainsi que celles des comportements et des programmes § le But est de déterminer où nous en sommes par rapport á l'épidémie

Différentes TYPES de Triangulation exemples § Comparez deux études quantitatives qui rassemblent des données différemment, mais qui ont des questions identiques § Enquête nationale sur la sexualité des adolescents basés sur un questionnaire auto-administré PLUS des questions identiques pour les 17 -20 ans dans une enquête téléphonique annuelle. § Utilisation des indicateurs complémentaires pour approcher le même phénomène : § Utilisation annoncée du condoms en plus des chiffres de ventes.

Différentes TYPES de Triangulation Exemples (III) § Considérez des activités de prévention du point de vue des fournisseurs et des clients: § l'empressement des médecins de soins de santé Primaires de discuter du risques du SIDA avec des femmes célibataires tel que rapportées par les médecins + § Empressement des Médecins tel qu'annoncé par les femmes célibataires dans une enquête de population générale la même année.

Conclusions § Toutes les épidémies sont locales et aucune épidémie de VIH n'a exactement les mêmes caractéristiques qu'une autre. § De même, la méthodologie de triangulation doit être adaptée aux situations différentes et á des questions différentes. § Triangulation s'est révélée être un outil de valeur pour se servir de données de sources multiples pour la prise de décisions. Jusqu'à présent, la triangulation a été utilisée pour répondre aux questions principalement liées à l'épidémie de VIH. § Cependant, triangulation peut être utilisée pour répondre aux questions liées aux épidémies de maladies tant infectieuses que chroniques.

Quelques Exemples de données de triangulation

Malawi National HIV Indicators, 1995 - 2005 No unprotected sex with CSW No unprotected sex with NCP No multiple partners, male Condom access, male Condoms per man Number Condom access, female (%) Teen abstinence, female Teen abstinence, male HIV tests per 100 ANC prevalence, 15 -24 ANC HIV prevalence all ages Ever tested, men Ever tested, women

Estimation (EPP/SPECTRUM) du nombre de cas de VIH(x 1000), Nouvelles infections de VIH (X 1000), Prevalence du VIH; Incidence des IST(Donnees de routine) et Prevalence du VIH (EIS) en Cote d'Ivoire 14 590 600 610 620 610 600 560 580 560 12 540 510 500 490 450 400 440 8 370 7. 5 7. 4 7. 1 7. 2 6. 9 6. 4 280 300 6. 5 5. 5 200 5. 7 6 5. 3 4. 8 4. 4 4. 1 3. 3 140 100 6. 1 4. 4 200 10 470 92 96 2. 4 60 79 4 3. 7 # HIV+ (EST) Prevalence VIH (EIS) 91 72 82 2 57 63 47 52 40 36 32 43 28 25 0 Annee # Nouvelles infections (EST) Prevalence VIH (EST) 22 19 90 19 91 19 92 19 93 19 94 19 95 19 96 19 97 19 98 19 99 20 00 20 01 20 02 20 03 20 04 20 05 20 06 20 07 20 08 # de Cas. X 1000 510 Prevalence p 100 Incidence p 1000 700 19 0 Incidence IST (SISR)

250 100 200 150 80 Usage du Condom 60 100 STI/Homme 50 0 1987 40 20 1988 1989 1990 1991 1992 Source: Hanenberg, et al, Lancet 1994; 344: 243 -5. 0 1993 % condoms # de Cas x 1. 000 Usage du condom chez les PS et # de cas de STIs rapportés chez les hommes, Thaillande, 1987 - 1993

Changement de comportement parmi les nouvelles recrues, Thaïlande

Prévalence du VIH par âge à Nsambya, Ouganda FHI

Une explication possible de la chute de la prévalence du VIH, Ouganda Reproduit par FHI

Example de Triangulation Données fictives

Merci de votre attention

Questions ?