Les Examens par les pairs Lexprience des services

Les Examens par les pairs L’expérience des services d’évaluation S 4 Evaluation spéciale de la coopération internationale

Qui évalue les évaluateurs? L’examen par les pairs est un regard collégial, méthodique et indépendant, porté sur l’activité professionnelle de collègues du même secteur, accompagné d’un échange de vues sur les constats et de recommandations appropriées. S 4 Evaluation spéciale de la coopération internationale

Examens par les pairs DAC-UNEG Motifs initiaux (2004) • Alléger la charge de travail des services d’évaluations bilatéraux due aux évaluations des organisations multilatérales • Utiliser les évaluations produites par les systèmes de suivi et d’évaluation des organisations multilatérales • Créer une sorte de label de qualité basé sur l’appréciation des procédures et des produits de ces services S 4 Evaluation spéciale de la coopération internationale

Examens par les pairs DAC-UNEG Motifs vus par les OM après 5 ans • Rassurer les donateurs que la fonction d’évaluation des OM répond aux normes de qualité reconnues et qu’ils peuvent faire confiance aux évaluations • Faire rapport à UNEG sur la qualité de la fonction d’évaluation • Informer le conseil de l’OM concernée • Echange de vues entre collègues de la profession (pairs) S 4 Evaluation spéciale de la coopération internationale

Question cadre La fonction d’évaluation de l’agence est-elle indépendante et crédible et ses produits sont-ils crédibles et utiles tant pour la reddition de comptes que pour en tirer des enseignements? S 4 Evaluation spéciale de la coopération internationale

Examens réalisés • NU • PNUD • UNICEF • FEM • PAM • OIOS • ONUDI • Banques de développement • FIDA • Agences bilatérales • Dg. Ci. D (MAE France) • Service de l’évaluation spéciale (MAE Belgique) S 4 Evaluation spéciale de la coopération internationale

Préalable Cadre de référence produit par un groupe de travail conjoint basé sur les principes du CAD et les normes et standards de l’UNEG: • Indépendance - impartialité • Crédibilité • Utilité S 4 Evaluation spéciale de la coopération internationale

Phase démarrage • Demande de l’organisation portée devant le groupe de travail CAD-UNEG • Répercussion de la demande vers des membres du CAD • Constitution d’un Comité de pairs + conseillers – Légitimité – Absence de conflit d’intérêt – Direction S 4 Evaluation spéciale de la coopération internationale

Phases démarrage 2 • Définition de Td. R pour le Comité et éventuellement pour les conseillers – échange avec commanditaire • Formulation du cadre de référence de l’examen sur base de modèles existants • Définition de la méthodologie, du programme de travail, des responsabilités de chacun et des attentes par rapport à l’organisation examinée • Etablissement d’un budget : ± CHF 130. 000 S 4 Evaluation spéciale de la coopération internationale

Phase documentaire • Collecte et analyse de données: – Étude documentaire – Auto-évaluation par le service d’évaluation • Confrontation des constats au cadre de référence • Production d’un rapport de phase documentaire • Formulation de questions pour la phase de terrain S 4 Evaluation spéciale de la coopération internationale

Mission au siège Le comité mène une semaine d’interviews avec - Le/la responsable et le staff du service - Le staff de l’organisation - Des parties prenantes accessibles La mission se termine par un débriefing Décision à prendre: faut-il une mission de terrain? S 4 Evaluation spéciale de la coopération internationale

Phase de rapport et d’échange collégial • Rédaction d’un rapport provisoire et demande d’observations • Prise en compte des observations justifiées • Echange avec le commanditaire: moment important du processus • Echange avec ses décideurs politiques S 4 Evaluation spéciale de la coopération internationale

Enjeux • Légitimité du comité d’examen • Gestion d’un comité international: raison garder ! • Structuration claire du processus • Importance du cadre de référence • Mission de terrain ? • Importance de la phase d’échange collégial S 4 Evaluation spéciale de la coopération internationale

Enjeux 2 • Appréciation de la qualité des rapports d’évaluation: pas encore d’approche standard • Pour les pairs : Ecouter avant de donner son opinion • Ne pas négocier le rapport final S 4 Evaluation spéciale de la coopération internationale