Les Examens par les pairs Lexpérience des services dévaluation

Les Examens par les pairs

L’expérience des services d’évaluation

S4 Evaluation spéciale de la coopération internationale

Qui évalue les évaluateurs?

L’examen par les pairs est un regard collégial, méthodique et indépendant, porté sur l’activité professionnelle de collègues du même secteur, accompagné d’un échange de vues sur les constats et de recommandations appropriées.


Examens par les pairs DAC-UNEG Motifs initiaux (2004)

• Alléger la charge de travail des services d’évaluations bilatéraux due aux évaluations des organisations multilatérales

• Utiliser les évaluations produites par les systèmes de suivi et d’évaluation des organisations multilatérales

• Créer une sorte de label de qualité basé sur l’appréciation des procédures et des produits de ces services


Examens par les pairs DAC-UNEG Motifs vus par les OM après 5 ans

• Rassurer les donateurs que la fonction d’évaluation des OM répond aux normes de qualité reconnues et qu’ils peuvent faire confiance aux évaluations

• Faire rapport à UNEG sur la qualité de la fonction d’évaluation

• Informer le conseil de l’OM concernée• Echange de vues entre collègues de la

profession (pairs)


Question cadre

La fonction d’évaluation de l’agence est-elle indépendante et crédible et ses produits sont-ils crédibles et utiles tant pour la reddition de comptes que pour en tirer des enseignements?


Examens réalisés•NU

• PNUD • PAM• UNICEF • OIOS• FEM • ONUDI

•Banques de développement• FIDA

•Agences bilatérales• DgCiD (MAE France)• Service de l’évaluation spéciale (MAE Belgique)


Préalable

Cadre de référence produit par un groupe de travail conjoint basé sur les principes du CAD et les normes et standards de l’UNEG: • Indépendance - impartialité• Crédibilité• Utilité


Phase démarrage

• Demande de l’organisation portée devant le groupe de travail CAD-UNEG

• Répercussion de la demande vers des membres du CAD

• Constitution d’un Comité de pairs + conseillers– Légitimité– Absence de conflit d’intérêt– Direction


Phases démarrage 2

• Définition de TdR pour le Comité et éventuellement pour les conseillers – échange avec commanditaire

• Formulation du cadre de référence de l’examen sur base de modèles existants

• Définition de la méthodologie, du programme de travail, des responsabilités de chacun et des attentes par rapport à l’organisation examinée

• Etablissement d’un budget : ± CHF 130.000


Phase documentaire

• Collecte et analyse de données: – Étude documentaire– Auto-évaluation par le service d’évaluation

• Confrontation des constats au cadre de référence

• Production d’un rapport de phase documentaire

• Formulation de questions pour la phase de terrain


Mission au siège

Le comité mène une semaine d’interviews avec

- Le/la responsable et le staff du service- Le staff de l’organisation- Des parties prenantes accessiblesLa mission se termine par un débriefingDécision à prendre: faut-il une mission

de terrain?


Phase de rapport et d’échange collégial

• Rédaction d’un rapport provisoire et demande d’observations

• Prise en compte des observations justifiées

• Echange avec le commanditaire: moment important du processus

• Echange avec ses décideurs politiques


Enjeux

• Légitimité du comité d’examen• Gestion d’un comité international: raison

garder !• Structuration claire du processus• Importance du cadre de référence• Mission de terrain ? • Importance de la phase d’échange

collégial


Enjeux 2

• Appréciation de la qualité des rapports d’évaluation: pas encore d’approche standard

• Pour les pairs : Ecouter avant de donner son opinion

• Ne pas négocier le rapport final

Documents

Les Examens par les pairs Lexpérience des services dévaluation