Evaluation externe – Faisons-nous ce qu 'il faut? Comme il le faut?

Evaluation externe

CAHIER THÉMATIQUE DE LA SÉR IE INSTRUMENTS DE TRAVAIL POUR

LA PLANIF ICAT ION, L’ÉVALUATION, LE SUIV I ET LA RÉAL ISAT ION (PSER)

JU IN 2000

Faisons-nous ce qu’il faut?Comme il le faut?

D IRECT ION

DU DÉVELOPPEMENT

E T DE LA COOPÉRAT ION

DDC

1

2

34

5

Partie I

Partie II

Direction du développement et de la coopération (DDC) Controlling

Le présent cahier thématique a été conçu par Max Honegger et Denis Bugnard, et suivi par Reto Wieser, Peter Meier, Richard Kohli et Anne Zwahlen.

Maya Krell, ConText, Büro für Medien und Kommunikation, Zurich

PUNKTUM, Silvia Brüllhardt, Berne

Typopress Bern AG, Berne

3000 ex.

Cette publication existe également en allemand, en anglais et en espagnol.

DDC, Controlling stratégique, 3003 Berne

www.ddc.admin.ch

3-905398-64-8

© DDC 2000, 3003 Berne

Editeur

Réalisation et rédaction

Graphisme etillustrations

Composition

Tirage

Remarque

Distribution

Site Internet

ISBN

Impressum

Liste des cahiers thématiques consacrés au PSER

PSER – Une entrée en matière (1996/30 p.)

Monitoring – Garder le contact avec la réalité (1997/77 p.)

Indicateurs et questions-clés (1999/19 p.)

Planifier en dehors des sentiers battus (1992/65 p.)

Miroir, mon beau miroir, dis-moi… Auto-évaluation (1990/70 p.)

Manuel de l’auto-évaluation (1995/100 p.)

Viabilité des projets de développement (1990/30 p.)

Photography in Project Work* (1990/30 p.)

SEPO (KEK/CDC) (dépliant, 4 p.)

Planning Pre-Phases* (en collaboration avec Intercooperation) (1995/36 p.)

Participatory Rural Appraisal-PRA** (1997/7 p.)

Intégrer l’environnement dans la planification, le suivi et l’évaluationUn instrument pratique pour la coopération internationale (en collaborationavec le Centre de développement et de l’environnement CDE – Institut de Géographie de l’Université de Berne) (2000/60 p.)

Practicioners’ Guide to Field Studies* A. Tarnutzer (en collaboration avec Intercooperation) (2000/21 p.)

Manuel sur la Pauvreté (2000)

* uniquement en anglais ** uniquement en anglais et en espagnol

Evaluer – dans quel but?Bases et principes

PARTIE I

Suiv i

P lan i f i ca t ion

Eva luat ion

Réal i sa t ion

3

Tab le des mat ières

Introduction 4

1. Que signifie évaluer? 6

2. Evaluer: pourquoi y recourir, pourquoi y renoncer? 14

3. Les différentes formes d’évaluation 17

3.1 L’évaluation externe 18

3.2 L’auto-évaluation 19

3.3 Auto-évaluation et évaluation externe combinées 20

4. Annexes 21

4.1 Glossaire 21

4.2 Principes pour l’évaluation de l’aide au développement du Comité d’aide au développement CAD/OCDE 24

4.3 Grille pour le sommaire d’évaluation du CAD 29

Partie I Evaluer – dans quel but?Bases et principes

In t roduc t ion

Sans vouloir donner à ce cahier thématique des allures de roman policier,nous n’aurons atteint notre objectif que si vous ne le lâchez qu’après en avoirpris connaissance dans son entier – et le reprenez en main au moment d’uneévaluation à effectuer. Alors même que les situations concrètes d’évaluationsexternes comportent parfois des éléments de suspense tout à fait passion-nants, nous ne saurions renoncer ici à présenter un minimum d’informationsde base et d’explications sur les aspects méthodologiques de la question.

En tout état de cause, notre ambition est d’offrir un manuel limpide, pratiqueet simple à utiliser par toute personne responsable de programmes ou pro-jets relevant de la coopération internationale. «Evaluation externe – Faisons-nous ce qu’il faut et comme il le faut?» constitue ainsi un cahier de la série Ins-truments de travail pour la planification, l’évaluation, le suivi et la réalisation(PSER) de la Direction du développement et de la coopération (DDC), quiremplace l’ancien cahier «Evaluation externe des projets de développement»de 1991.

Cette refonte a été rendue nécessaire par divers changements survenus dansla conception et le déroulement des évaluations externes, et surtout par l’im-portance croissante que l’on accorde au fait d’apprendre ensemble durant leprocessus d’évaluation. Il va de soi que l’examen du passé – comptes renduset autres documents sur les résultats obtenus comparés aux objectifs visés – enreste un élément essentiel; mais l’idée s’est maintenant imposée que l’évalua-tion doit aussi se justifier par un effet formateur pour l’avenir. Cette évolutiontend d’ailleurs à estomper la ligne de démarcation entre auto-évaluation etévaluation externe, deux instruments synergiques.

L’ouvrage se divise en deux parties: la partie I passe en revue les notions etles principes, tandis que la partie II décrit pas à pas les cinq étapes d’uneévaluation externe. Chaque chapitre de la partie II comprend (1) une pré-sentation du thème, (2) une liste de conseils donnés par des spécialisteschevronnés de la coopération internationale, et (3) un exemple concret, tirédes activités de la DDC. Ce cahier thématique est essentiellement destiné auxpersonnes qui font faire une évaluation, en suivent la réalisation et assumentla mise en œuvre de ses conclusions. La partie II décrit comment se passeconcrètement une évaluation, mais sans entrer dans le détail des méthodes etdes compétences que doivent posséder les experts chargés de la réaliser.

Dans un monde où des changements rapides et profonds affectent tous lesaspects de la vie sociale et professionnelle, les évaluations sont l’occasion devérifier la pertinence des buts que l’on s’est fixés – tout en étant par ailleurs unfacteur de transparence. Elles offrent au personnel et aux responsables desprogrammes ou projets la chance de déceler ce qu’il convient d’adapter, detirer les leçons du passé et, au besoin, de réorienter leur action.

Introduction

4

In t roduc t ion

Mais apprendre c’est aussi transformer: les résultats d’une évaluation peuventavoir de sérieuses répercussions sur les individus, modifier considérablementleurs conditions de travail et même remettre en question des emplois. Il appa-raît ainsi que la qualité et l’applicabilité d’une évaluation dépendent nonseulement des compétences professionnelles de l’équipe qui l’a effectuée,mais aussi de sa sensibilité, de sa compétence sociale et de sa capacité d’en-trevoir d’autres perspectives. Un aspect capital, dans le contexte de la coopé-ration internationale, est l’ouverture à d’autres cultures, à d’autres traditions.Il y a partout des évaluations, mais la manière de concevoir et d’accomplir cetravail peut varier d’une culture à l’autre. Toute personne qui demande, réa-lise ou suit une évaluation devrait se souvenir que nos principes et nosméthodes sont le produit de la mentalité suisse et européenne, qu’ils décou-lent de valeurs pas nécessairement universelles.

5

1. Que s ign i f ie éva luer?

6

1. Que signifie évaluer?

Avons-nous atteint notre objectif?

Le 14 avril 1912 peu avant minuit, le R.M.S. Titanic – plus gros transatlan-tique de tous les temps et «reine des mers» qualifié d’insubmersible par lapresse britannique – heurte un iceberg lors de son voyage inaugural de Southampton à New York. La glace provoque à l’avant une déchirure largede six centimètres mais qui s’étend sur plus de 30 mètres de longueur. L’eausalée s’engouffre dès lors dans la coque de 269 mètres à raison de cinqtonnes par seconde. Et le navire prétendument insubmersible coule enquelques heures, entraînant des milliers de personnes dans l’abîme.

Comment cet accident a-t-il pu se produire? Pourquoi armateur, capitaine,médias et public étaient-ils si sûrs que cette «merveille de la technique» nepourrait jamais couler? Pourquoi, contre toute logique, le Titanic a-t-il sombréen anéantissant des milliers de vies humaines? Cette catastrophe a soulevéquestions sur questions, dont certaines n’ont pas encore reçu de réponse àl’heure actuelle.

La seule chose claire d’emblée, c’est que le Titanic n’avait pas atteint l’objectifplanifié (New York) et le résultat souhaité (transporter de manière profitableet plus rapidement un nombre accru de passagers – dans des conditionsluxueuses pour certains). Les experts ont alors procédé à des évaluations dedivers ordres, examinant ces questions sous toutes les coutures. Le résultat deleurs investigations, c’est qu’aucun navire n’avait désormais le droit de quitterun port sans avoir suffisamment de canots de sauvetage à bord. On a parailleurs créé l’International Ice Patrol, un service destiné à prévenir lesnavires, et d’autres améliorations techniques ont été apportées à la sécuritémaritime. Nous constatons rétrospectivement que le naufrage du Titanic et lesenquêtes sur ses causes ont beaucoup contribué au développement de lanavigation maritime. Mais c’est un progrès qui a coûté cher.

Faisons-nous ce qui doit l’être? Le faisons-nous correctement? Quels ensei-gnements pouvons-nous tirer des expériences qui ont été faites, qu’en déduirepour des projets analogues? Ces questions font partie des fonctions deconduite et de gestion des activités de la coopération internationale; on peutles poser et y répondre en partie dans le cadre d’une évaluation de la situa-tion passée et présente.

L’histoire du Titanic est un exemple extrême. Il n’est bien entendu pas indis-pensable d’attendre le naufrage pour faire une pause et réfléchir, poser desquestions, tirer les leçons de l’expérience et procéder à des ajustementslorsque le besoin s’en fait sentir. Cet exemple révèle que la structure hiérar-chique constitue un principe de management discutable… du fait qu’il n’ad-met pas la discussion critique. Il témoigne aussi d’un dysfonctionnement ducycle planification, évaluation, suivi et réalisation (PSER). La route choisieétait risquée, et le navire n’a ni ralenti ni changé de direction en dépit desavertissements qu’il avait reçus concernant la présence d’icebergs. Notre


cahier thématique «Monitoring, garder le contact avec la réalité» reprendl’exemple du Titanic pour montrer comment le suivi d’un projet nous permetd’accompagner un processus pour mieux le diriger, afin de garder le cap.

Alors que les opérations de planification et de suivi s’efforcent de saisir lesmodalités d’un programme ou projet avant sa réalisation et durant celle-ci,l’évaluation n’intervient que lorsque l’on est arrivé à la fin d’une étape ou duprojet considéré. Une action bien planifiée a davantage de chances de réus-sir, et un suivi systématique peut nous éviter des expériences cuisantes. L’éva-luation, qui complète le processus de suivi, cherche à savoir si notre action aété efficace, si elle a atteint son objectif. Elle procède sur un certain nombrede points par analyse comparative de ce qui était prévu et de ce qui a étéréalisé, elle examine résultats et effets produits. Nous en tirons des conclu-sions pour la suite du travail, l’organisation et la conduite d’un projet, conclu-sions qui serviront également pour de nouvelles activités du même genre.Alors que le suivi est par définition une tâche qui se répète à intervalles régu-liers, l’évaluation constitue toujours un événement particulier.

Evaluer c’est juger, analyser, apprécier. Toute discussion, portant par exemplesur ce que l’on pense d’un film, est une évaluation au sens large du terme.Mais les évaluations de la coopération internationale ont essentiellement pourobjet d’examiner les effets obtenus, pour assurer et améliorer la qualité dutravail effectué.

Intercaler une pause de réflexion dans le projet en cours et refaire mentale-ment le tour du plan initial est un acte formateur. Un processus d’évaluationqui associe d’emblée les principaux participants au projet et ses bénéficiairesaugmentera d’autant les chances que ses résultats soient mis en pratique –donc la probabilité que l’on fasse un travail fructueux.

Une évaluation peut être destinée à

■ étudier le principe même d’une coopération■ contrôler effets, objectifs ou efficacité, pour aboutir au compte rendu

d’une action■ examiner des questions particulières en relation avec le contexte■ tirer des enseignements pour une phase ultérieure du projet■ préparer des informations

Les évaluations peuvent porter sur un projet concret (évaluation d’un projet),sur une série de projets analogues (analyse transversale), sur le programmepar pays (tous les programmes et projets de ce pays) ou sur une politique(sectorielle), et se réaliser de différentes manières.

Evaluations dans le cadrede programmes ou projets

7


Il n’y a pas de différences fondamentales entre l’évaluation d’un programmepar pays et celle d’un projet particulier, sauf en ce qui concerne l’ampleurdes méthodes utilisées et des questions abordées. L’évaluation de tout un pro-gramme en examinera l’orientation globale, le degré d’intégration des pro-jets qu’il comporte et la manière dont il traite les thèmes transversaux. Elleanalysera si ce programme a la pertinence et l’impact nécessaires pouratteindre les objectifs généraux que l’on s’est fixés, s’interrogera sur les syner-gies et les complémentarités. Les évaluations de projets fournissent à cetégard des conclusions importantes, mais dont la somme ne permet pas derépondre aux questions qui se posent au niveau du programme. C’est quel’évaluation d’un projet est plutôt de la responsabilité du partenaire local,tandis que pour les programmes (de pays en particulier) cette responsabilitéincombe plutôt à l’instance donatrice, dans la mesure où ces programmesdécoulent de décisions stratégiques qui doivent s’inscrire dans le contexte dupays considéré.

Qu’il s’agisse de projets ou de programmes par pays, nous avons en principela possibilité de recourir à l’instrument de l’auto-évaluation aussi bien qu’àcelui de l’évaluation externe. (Le présent cahier thématique traite essentielle-ment de l’évaluation externe; pour l’auto-évaluation, cf. «Manuel de l’auto-évaluation» et «Miroir, mon beau miroir, dis-moi…», cahiers thématiques dela série «Instruments de travail pour la planification, l’évaluation, le suivi et laréalisation – PSER», 1995 et 1990.)

8

Evaluation

de programme

Evaluation de secteur

Evaluation de projet


Les résultats d’une évaluation externe s’utilisent aux fins suivantes:

L’évaluation externe constitue un regard jeté du dehors sur un programme ouprojet en cours ou qu’il s’agit de terminer. Elle sert de base à des décisions,donne des appréciations et indique des options pour l’avenir.

Quand les opinions divergent, une évaluation externe met en lumière lespoints forts et les faiblesses du programme ou projet considéré, fait des pro-positions destinées à alimenter la recherche d’une entente, d’un consensus.L’évaluation prépare ce dialogue.

L’évaluation externe peut servir à légitimer un programme ou projet vis-à-visdes organes de décision ou d’une instance gouvernementale.

L’évaluation externe se concentre sur l’analyse et l’appréciation des expé-riences passées; elle constitue alors un outil de la formation continue, met à profit les informations ainsi obtenues pour la suite du travail sur le pro-gramme ou projet considéré, ou pour une future activité de même type.

L’évaluation externe examine si le programme ou projet utilise des instru-ments et des méthodes bien adaptés aux besoins; elle offre par ailleurs l’oc-casion d’établir ou d’améliorer le dialogue entre partenaires et bailleurs defonds.

But et raison d’être des évaluations

Décisions

Eclaircissements

Explication/ légitimation

Enseignements de l’expérience

Développement de la qualité

9


Une évaluation consiste pour l’essentiel à passer en revue les cinq grandscritères qui font la valeur d’une activité ou d’un projet: viabilité, pertinence,efficience, efficacité et impact.

Une évaluation provoque des changements, lesquels peuvent avoir desconséquences très variables sur les gens concernés – collaboratrices et colla-borateurs du programme ou projet, organisations chargées de le réaliser etbailleurs de fonds. Certains considèrent cet examen comme un enrichisse-ment pour le projet et leur propre travail, tandis que d’autres se sententmenacés lorsque le travail accompli fait l’objet d’une analyse par des expertsexternes. Bien que les mentalités aient évolué, on associe encore souvent lanotion d’évaluation à celle de contrôle et d’intervention de l’extérieur. Pour seconfronter utilement à ce qui se passe dans «son» programme ou projet, ilfaut être (auto-)critique et apte à gérer des conflits, ouvert, faire preuve detransparence et avoir du recul par rapport à son propre travail (cf. cahier thé-matique «PSER – Une entrée en matière», 1996).

L’évaluation – point de rencontre entre

contrôle externe etapprentissage collectif

10

Viabilité

Impact

Pertinence

Efficacité

Efficience

Moyen

s

Conte

xte

Contexte

Conte

xte

Obje

ctif

s

Finalit

é

Rés

ultats

Act

ivité

set

pro

cess

us


En tout état de cause, une évaluation révèle des enjeux de pouvoir. Au-delàde considérations purement rationnelles, réaliser une évaluation externeconstitue un processus vivant dans lequel les participants assument diversrôles – avec des interférences entre fonctions objectives et intérêts personnelsdes acteurs. Pour les évaluateurs ou évaluatrices par exemple, ces intérêtspeuvent être un pouvoir accru, leur propre formation, la curiosité scientifique,de futurs mandats ou des avantages financiers. L’évaluation peut faire vacillerdes situations de pouvoir ou d’influence au sein d’un projet, et les personnesconcernées devront parfois remettre en question leur système de valeurs.

Il faut prendre au sérieux l’inquiétude que peut susciter l’annonce d’une éva-luation externe. L’équipe d’évaluation doit opérer en se souvenant qu’uneaction ou une situation sera jugée différemment selon l’angle sous lequel onla considère. De plus, la personne qui travaille sur des projets et avec desgens d’autres cultures devrait connaître leur milieu socioculturel. Coutumes,traditions, croyances et rites doivent être respectés – ce qui suppose parailleurs que le mandant et les évaluatrices ou évaluateurs soient au clair surleurs propres valeurs culturelles.

La nécessité d’une évaluation et la forme que celle-ci doit avoir relèvent dedécisions à prendre par les chargés de programme de l’institution mandanteà la centrale, ou de sa représentation sur place, d’entente avec les organisa-tions partenaires du Sud ou de l’Est. Ils préparent le processus et l’accompa-gnent ensemble. Il appartient en revanche à des experts (équipe d’évaluation)d’accomplir l’évaluation externe et de rédiger un rapport à ce sujet. Quant àl’auto-évaluation, elle procède – dans le meilleur des cas – de l’initiativepropre des organisations partenaires.

Alors qu’une auto-évaluation est menée par le personnel du programme oudu projet, une évaluation externe met à contribution un nombre important deservices et de personnes:

■ le groupe-cible du programme ou projet■ les institutions partenaires du Sud ou de l’Est■ l’équipe de projet (y compris ONGs et régisseurs)■ l’institution donatrice et sa représentation sur place■ l’équipe d’évaluation

Qui participe à une évaluation? Qui en assume

la responsabilité?

11


Tous les acteurs de ce processus revêtent des fonctions spécifiques, ce quiimplique une certaine hétérogénéité des situations, des conceptions et desintérêts représentés. Les résultats d’une évaluation ont également des effetsqui varient selon les acteurs considérés – par exemple au sein du groupe-cible en fonction du sexe, du statut économique et social ou de l’âge. Ilconvient d’associer dès que possible les bénéficiaires à la problématique del’évaluation, et de leur donner l’occasion de participer à l’organisation duprocessus.

La base de toute évaluation est constituée par les termes de référence. Ils’agit là d’une convention qui règle tâches et responsabilités, définit les ques-tions essentielles à examiner, et correspond au cahier des charges des éva-luateurs. Les critères de qualité d’une évaluation externe sont:

■ des termes de référence clairs, issus d’un processus de négociation incluanttous les participants importants

■ l’indépendance de l’équipe d’évaluation■ une équipe composée d’experts bien choisis■ la concentration sur les questions essentielles■ des méthodes appropriées à la situation

12


Aussi importantes que puissent être ses conclusions pour un programme ou lapoursuite d’un projet – et les processus d’apprentissage qui en résultent –, ilfaut absolument éviter de comprendre ou de présenter une évaluation commesi c’était la vérité absolue ou intégrale. Elle ne saurait constituer l’apprécia-tion neutre ou objective d’une instance extérieure, dans la mesure où sesdivers acteurs en influencent de manière variable le cours et les résultats. Etl’évaluation dépend aussi des consultants externes que l’on a choisis.

Par ailleurs, une évaluation externe est ni plus ni moins que le regard porté à un moment particulier par l’équipe d’évaluation sur une situation ou uneaction déterminée. Les décisions prises à la suite d’une évaluation n’ont pasun caractère éternel et peuvent se trouver rapidement dépassées lorsque lasituation ou le contexte change. Une évaluation externe ne met en lumièreque ce qui peut être rendu visible, d’où l’importance de l’associer à d’autresinstruments du cycle PSER et à l’auto-évaluation.

Les agences de développement du Nord ont élaboré dans le cadre del’Organisation de Coopération et de Développement Economiques (OCDE) – plus particulièrement au sein du groupe de travail sur l’évaluation de l’aide du Comité d’aide au développement (CAD) – des directives généralespour les évaluations, dont les principes essentiels sont impartialité et par-tenariat. Ces directives sont destinées à améliorer la communication et lacoordination entre les acteurs (surtout entre donateurs et gouvernements par-tenaires, ainsi que parmi les donateurs eux-mêmes), et à produire un effet detransparence. C’est ainsi, par exemple, que les résumés (sommaires d’éva-luation) des évaluations externes demandées par les agences de dévelop-pement peuvent être consultés sur Internet (DAC Evaluation Inventory:http://minweb.idrc.ca/daclog.htm).

Limites de l’évaluation

Les évaluations de la DDC dans le contexte

international

13

2. Eva luer : pourquoi y recour i r, pourquoi y renoncer?

Un représentant de l’organisation partenaire vient parler d’un sujet délicat àla collaboratrice compétente du bureau de coordination: des choses anor-males se sont passées ces derniers temps dans un de ses projets. Troismembres de la direction du projet en question l’ont abandonné presqu’enmême temps, d’où une perte de savoir-faire et de continuité. Les pannes quien sont résultées ces derniers mois compromettent l’existence du projet, et l’onne sait plus très bien si celui-ci reste fidèle à ses objectifs. La responsable dubureau de coordination réfléchit si une évaluation pourrait contribuer utile-ment à débloquer la situation. Elle pèse le pour et le contre avec son chef et lachargée de programme à la centrale.

La plupart des programmes ou projets prévoient dès le départ une évaluationqui est spécifiée dans l’accord passé avec les partenaires. Il suffirait en prin-cipe à la collaboratrice du bureau de coordination de jeter un coup d’œil surcet accord pour répondre à la question; mais la réalité du terrain est com-plexe: comme une évaluation vient toujours bouleverser le quotidien, sollicitedes efforts considérables de toutes les personnes concernées et comporteaussi bien des risques que des chances d’améliorer la situation, il convientd’en examiner de près la pertinence dans chaque cas. Pour décider s’il fautou non procéder à une évaluation, on commencera ainsi par tirer au clair lasituation du moment (cf. liste de questions page 16), en soupesant les argu-ments pour et contre; ce sera en fait une décision négociée, le résultat d’unconsensus.

Même si une évaluation est explicitement prévue dans la convention entre ins-titution donatrice et partenaires d’un programme ou projet, on pourrait avoirde bonnes raisons d’y renoncer – par exemple quand la situation a beaucoupchangé entre temps, quand les décisions relatives à l’avenir du projet ontdéjà été prises et que l’évaluation souhaitée a pour seul objectif de les justifier(évaluation alibi). Le bien-fondé de toute décision doit être examiné même si l’avenir de la région ou du pays est trop incertain au moment où l’on en-visage une évaluation, ou si les circonstances politiques rendent celle-ci im-possible.

2. Evaluer: pourquoi y recourir, pourquoi y renoncer?

14


■ des transformations d’ordre politique ou institutionnel sont imminentes■ le programme ou projet va entrer dans une nouvelle phase ou va être inter-

rompu■ des changements sont intervenus dans le contexte, le personnel ou les res-

ponsabilités■ la phase d’orientation (phase initiale) est terminée; il faut réexaminer le

concept■ un rendu de comptes est exigé■ il s’agit de présenter un exemple type de bonne pratique («good practice»);

mettre en forme et diffuser l’expérience et les acquis d’une action donnée■ de sérieux conflits divisent les partenaires■ des problèmes empêchent d’aller de l’avant; des étapes importantes n’ont

pas été franchies

Comme les enjeux d’une évaluation peuvent être considérables pour les per-sonnes concernées et que ses conséquences sont imprévisibles, du fait aussique toute évaluation implique des tensions et des relations de pouvoir, il nefaut jamais hésiter à regarder derrière les coulisses – donc au-delà des ques-tions techniques et rationnelles. Les réponses aux questions ci-dessous com-pléteront le tableau à partir duquel on décidera de procéder à une évalua-tion ou d’y renoncer.

Situations dans lesquellesil convient d’examiner si une évaluation peut

s’avérer nécessaire

Les critères de décision

15

Une évaluation est explicitement pré-vue dans l’étude du projet ou l’accord

Aucune évaluation n’a été prévue au départ

EXAMINERnégociations entre partenaires

DÉCIDER

Oui

Evaluer ou pas?

Non


Dispose-t-on de bases de décision suffisamment étoffées pour déciderde poursuivre le programme ou projet en connaissance de cause?

S’agit-il d’analyser les expériences qui ont été faites?

Y a-t-il des décisions à prendre, dont une évaluation permettra d’impo-ser ou de rapprocher l’échéance?

Que s’agit-il de découvrir? Quels sujets, quelles questions appellent desréponses?

Dans le cas d’un programme ou projet ayant déjà fait l’objet d’une éva-luation: celle-ci a-t-elle soulevé des questions qui méritent une nouvelleévaluation?

Qui demande l’évaluation, quels sont les intérêts ou les attentes desacteurs?

Qui sera, le cas échéant, concerné par le processus d’évaluation?

Qui sera chargé de mettre en œuvre les conclusions de l’évaluationeffectuée?

Comment l’évaluation s’insère-t-elle dans le cycle PSER?

Quelles doivent être la largeur et la profondeur du champ d’investigation?Les ressources financières sont-elles suffisantes, ont-elles été prévues?

Quelle forme d’évaluation serait la meilleure?

Comment intégrer l’évaluation dans le calendrier existant?

Quel est le moment approprié pour les partenaires? Les personnesconcernées sont-elles disponibles à la période prévue?

Pourra-t-on consacrer suffisamment de temps à la préparation et à lamise en œuvre des recommendations?

Pourquoi, dans quel but?

Quoi?

Qui?

Comment?

Quand?

16

3. Les formes d ’éva luat ion

Type d’évaluation

Evaluation externe

Auto-évaluation

3. Les formes d’évaluation

17

I II III

Projet/Cycle de projet

«ex ante» «finale» «ex post»

Deux grandes possibilités s’offrent à nous, à savoir l’auto-évaluation etl’évaluation externe. D’autres critères de choisir l’une ou l’autre sont lemoment où l’évaluation s’effectue dans le cycle d’un projet, et la responsa-bilité (compétence).

Responsable

Expert/e indépendant/e

Equipe d’évaluation dont les membres sont issus de l’instance mandante et de ses partenaires

Responsables du projet

Responsables du projet avec l’appui d’une personne extérieure

MomentAvant le début du programme/projetDurant la réalisationA la fin du programme/projetAprès la fin du programme/projet

Type d’évaluationidentification (évaluation a priori)évaluation «intermédiaire»évaluation finaleévaluation a posteriori

«intermédiaire»«mid-term»


3.1 L’évaluation externe

La formule classique est l’évaluation dite externe, où les personnes chargéesd’évaluer un projet ne collaborent pas à sa réalisation. Il s’agit d’experts du Nord, du Sud ou de l’Est qu’un cahier des charges et un profil de com-pétences spécifiques conduisent à creuser durant une à trois semaines lesquestions qui leur sont posées. L’évaluation externe convient ainsi surtoutpour examiner des questions concrètes et plus ou moins complexes, pourporter des jugements globaux. Les évaluatrices ou évaluateurs utilisent desméthodes appropriées pour réunir des informations sur le projet et soncontexte, afin de pouvoir donner des réponses aux questions soulevées. Lerésultat de leur travail est consigné dans un rapport destiné au mandant.

Evaluation externe conjointe (joint evaluation): sa définition varie d’une ins-titution à l’autre; pour le Comité d’aide au développement (CAD) de l’OCDE,il s’agit là d’une évaluation menée conjointement par deux ou plusieurs ins-tances donatrices. Pour la DDC, en revanche, les évaluations conjointes sefont avec des représentants des institutions partenaires du Sud ou de l’Est.Elles sont particulièrement efficaces lorsqu’il s’agit de projets caractérisés parun partenariat digne de ce nom. Cette façon de faire constitue par ailleursune bonne occasion de renforcer la coopération et la confiance réciproquedes partenaires.

Les atouts de l’évaluation externe sont le recul et l’indépendance. L’expé-rience dont disposent les évaluatrices et évaluateurs leur permet de faire descomparaisons et de voir certaines choses que ne remarquent pas (ou plus) lespersonnes directement impliquées. Une évaluation externe peut notammentmettre en évidence la viabilité, l’impact ou l’efficacité d’un projet.

L’évaluation externe est le seul moyen de réaliser une analyse transversale.

Les faiblesses de l’évaluation externe sont le gros travail de préparation et deréalisation qu’elle demande, ainsi que sa limitation temporelle. Le peu detemps dont on dispose ne permet d’obtenir qu’un aperçu succinct de réalitéscomplexes, ce qui exclut toute analyse approfondie. Par ailleurs, l’évaluationexterne fournit un instantané dans lequel les événements du moment peuventmasquer les caractéristiques d’une longue évolution. Mais comme cette éva-luation se fonde sur les résultats du suivi, elle peut tout de même percevoir enpartie la dynamique d’une action donnée.

Coût d’une évaluation externe: il dépendra des fonctions de cette évaluationet de l’objectif qu’elle vise. Une auto-évaluation préalable permettra sansdoute de prévoir un mandat d’évaluation externe plus bref et de réduire lesfrais d’autant. Une évaluation par des experts locaux qui se limitent à dessujets précis ou à une étude spécifique pourra coûter quelques milliers de

18


francs. En appliquant les tarifs européens, il faut compter entre 15 000 et30 000 francs pour un évaluateur ou une évaluatrice qui enquête durant deuxou trois semaines sur le terrain.

3.2 L’auto-évaluation

Les acteurs d’un programme ou projet qui procèdent à une auto-évaluationanalysent leur propre travail de l’intérieur. On peut se poser les questionssuivantes: Les résultats correspondent-ils aux attentes ou au plan? Commentfaire pour mieux exploiter les paramètres ambiants ou améliorer nos propresperformances? Comment la collaboration fonctionne-t-elle sur le plan interneet avec d’autres partenaires? Est-on au clair sur la répartition des tâches etsur le rôle de chacune et chacun? Que peut-on améliorer? En cas de néces-sité, on peut faire appel à une personne extérieure pour coordonner le pro-cessus.

Les atouts de l’auto-évaluation sont d’une part la connaissance approfondiequ’ont les évaluateurs du projet et des institutions du pays partenaire, d’autrepart la souplesse du processus qui peut se répéter périodiquement à moindresfrais et permet de corriger rapidement le tir. Elle est efficace si les personnesconcernées se montrent suffisamment critiques à l’égard d’elles-mêmes etconduit normalement à renforcer l’esprit d’équipe et la coopération.

Des faiblesses apparaissent lorsque «les arbres cachent la forêt», quand onmanque de recul par rapport aux activités quotidiennes. Par ailleurs, l’auto-évaluation ne permet guère d’analyser des questions de pertinence dans uncontexte général.

19


3.3 Associer auto-évaluation et évaluation externe

Il est judicieux de combiner ces deux formes d’évaluation, qui se complètentbien. Une auto-évaluation destinée à préparer l’évaluation externe aura poureffet de diminuer les résistances et les craintes, de conférer davantage d’as-surance aux personnes qui auront vécu ce premier processus. Ce travail pré-paratoire simplifiera en outre l’évaluation externe. Mais on peut aussi effec-tuer une auto-évaluation en cours d’évaluation externe (par exemple sous laforme d’une retraite en cas de difficultés durant le processus), ou après celle-ci.

L’une et l’autre ont des effets formateurs et contribuent à mieux comprendre laréalité du projet, et les résultats d’une auto-évaluation peuvent donner desimpulsions à l’évaluation externe et inversement. Questions clés, méthodes etprocessus d’apprentissage sont les mêmes, mais pas les rôles et les responsa-bilités des acteurs.

Les auto-évaluations ont également leur importance lorsqu’il s’agit d’exami-ner un programme par pays. On s’intéresse alors à l’orientation et à l’impactstratégiques du programme en question, et la réflexion prend dans ce contex-te une dimension politique. L’entrée en matière passe par l’analyse de détailsconcrets, et l’on profitera des résultats de l’auto-évaluation qui a peut-être eulieu. Ce processus peut comporter plusieurs étapes et s’étendre sur quelquesmois, en faisant appel à des compétences externes.

Caractéristiques de l’auto-évaluation et de

l’évaluation externe (vues sous l’angle pro-

gramme/projet)

20

Auto-évaluation«regard de l’intérieur»

■ l’objet évalué se situe dans masphère de compétences

■ vue détaillée de l’intérieur d’un programme ou projet

■ processus périodique, pouvant être répété à intervalles réguliers et rapprochés

■ proximité des personnes concernéeset du projet

■ meilleur marché

Evaluation externe«regard de l’extérieur»

■ l’objet évalué se situe dans la sphère de compétencesd’autres personnes

■ apport de connaissancesprovenant de projets et dethèmes analogues

■ processus limité dans letemps; «instantané» souventunique

■ recul par rapport ausujet/projet

■ plus coûteux

4. Annexes

Des projets/programmes dans différents secteurs/pays sont analysés dupoint de vue d’une question transversale (environnement, genre, pauvreté…)ou d’un secteur.

L’audit est une activité de surveillance qui se situe après l’exécution des tra-vaux et des contrôles. Elle va au-delà de la simple révision comptable car elles’assure que les politiques et instruments en place sont bien mis en œuvre etutilisés.

L’audit externe est exercé par le Contrôle Fédéral des Finances qui dépend enpremier lieu du législatif.

L’audit interne est assuré par un organe autonome, l’Inspectorat. Il dépendtoutefois directement du Directeur auquel il sert d’instrument de gestion.

Dans une auto-évaluation, les personnes qui sont l’objet de l’évaluation etcelles qui évaluent sont les mêmes. Il peut s’agir de personnes individuelles,de groupes, d’institutions. Ce qui caractérise une auto-évaluation, c’est quel’on porte le regard sur le domaine propre de responsabilité. Elle peut êtreaccompagnée par une personne externe mais celle-ci ne joue qu’un rôle defacilitation.

Système qui intègre les différents éléments de déroulement d’un program-me/projet (identification, planification, suivi, évaluation, réalisation). Ceux-ciforment un tout, ils sont interdépendants quant à leur teneur, et s’inscriventdans une suite chronologique.

L’efficacité questionne dans quelle mesure un programme ou projet a atteintles objectifs qu’il s’est fixés.

L’efficience compare l’utilisation des moyens (personnel, finances et temps)avec les résultats obtenus («input– output»).

Groupe de personnes responsables de l’exécution d’une évaluation. L’équipedoit être composée en respectant certains équilibres. L’équipe réunira desexperts indépendants et des représentants des partenaires et/ou de la popu-lation bénéficiaire, des experts extérieurs et des experts du pays ou de larégion. On s’assurera que l’équipe réunit des compétences à la fois socialeset techniques. On accordera de l’importance au fait que, dans l’équipe, despersonnes soient capables de traiter les thèmes transversaux prioritaires (parexemple pauvreté, genre, environnement…).

Analyse transversale

Audit

Audit externe

Audit interne

Auto-évaluation

Cycle de projet

Efficacité

Efficience

Equipe d’évaluation

4. Annexes

21

4.1 Glossaire

4. Annexes

L’évaluation se demande si nous faisons les bonnes choses et si nous lesfaisons bien.

Evaluation menée par une ou plusieurs personnes extérieures au projet ou àla structure du programme.

L’évaluation de différents projets/programmes qui appartiennent au mêmesecteur et qui sont réalisés dans le même ou dans différents pays. On se posetoujours les mêmes questions clé.

Une analyse transversale examine des évaluations existantes par rapport àun sujet ou un secteur bien défini pour rendre compte à un niveau supérieuret tirer des enseignements des expériences acquises, ce qui va ensuite ali-menter une nouvelle politique ou influencer les stratégies de mise en œuvre.

Objectif de développement à long terme auquel contribue un projet/pro-gramme avec ses résultats (outcomes) mais la réalisation de cet objectif setrouve hors du domaine de responsabilité du projet/programme et dépendencore d’autres influences.

L’impact est constitué par l’ensemble des conséquences – voulues ou non –d’un projet (socio-économiques, écologiques, etc.) qui vont au-delà de sonchamp de responsabilité.

Un indicateur est une variable, qui informe indirectement sur des différencesqualitatives ou quantitatives se manifestant dans une période de temps don-née. Cela permet de simplifier des réalités complexes et de les réduire à desdimensions observables.

Les ressources (savoir faire, moyens financiers, personnel, etc.) qui sontnécessaires pour le output d’un projet.

C’est le processus qui aboutit à l’établissement d’une plate-forme de planifi-cation. Les différents protagonistes d’un programme définissent leurs visions,analysent ensemble quels sont les problèmes qui doivent être surmontés etquelles sont les forces et les potentiels sur lesquels ils peuvent s’appuyer. Surcette base, ils déterminent la finalité d’un programme/projet, ils en fixent lesobjectifs spécifiques, s’accordent sur les activités à mener et les résultats (out-puts et outcomes) à atteindre.

Les résultats qui découlent directement des activités du projet.

Evaluation

Evaluation externe

Evaluation sectorielle

Evaluation transversale

Finalité

Impact

Indicateur

Input

Logical framework

Output

22

4. Annexes

La pertinence qualifie la relation entre les objectifs de développement – ouprestations fournies – et les besoins. La question est «faisons-nous les bonneschoses?» par rapport aux priorités, chances, risques dans le contexte et parrapport aux besoins des groupes-cible/bénéficiaires.

C’est un ensemble d’activités planifiées en vue d’atteindre un but déterminé,dans un temps et un lieu délimités et avec un cadre financier précis. L’organi-sation du travail, le mandat et les responsabilités d’exécution sont fixés. Unprojet implique des collaborations de type multidisciplinaire entre des per-sonnes et des institutions.

Un programme réunit un ensemble de projets qui, en principe, poursuiventune finalité commune ou semblable. Mais un programme est plus que lasimple somme de ses parties.

Le programme par pays constitue le cadre contraignant pour la planificationet l’application à moyen terme (5 à 7 ans) de la contribution de la DDC des-tinée au développement d’un pays partenaire. Il contient les points théma-tiques essentiels, l’allocation prévue des ressources et détermine les principespour l’éxecution opérationnelle.

Par rapport aux résultats nous différencions entre les «outputs» (produits etprestations directs d’un projet/programme) et «outcomes» (effets par rapportà l’objectif).

Les personnes, groupes ou institutions qui sont engagés dans un program-me/projet ou concernés par celui-ci.

Choix conscient de champs d’observation et collecte et production conscienteet ciblée d’information pendant la mise en œuvre d’un projet/programme.Elément essentiel pour le pilotage, le suivi est défini lors de la planification.On distingue divers niveaux de suivi: outputs, outcomes, processus, impact etcontexte.

Description des objectifs, questions clé, plan d’action, résultats attendus,méthodologie à appliquer pour des tâches spécifiques et à court terme.Normalement utilisé pour définir le mandat d’un/e consultant/e pour faire,p.ex., exécuter une évaluation externe d’un projet ou programme.

La viabilité est un objectif prioritaire du développement avec une projectionqui va au-delà de la durée de l’action. Celle-ci est vraiment viable lorsque leschangements induites (effets, processus, etc…) se prolongent et se dévelop-pent plus largement.

Pertinence

Projet

Programme

Programme par pays

Résultat

Stakeholders

Suivi

Termes de référence

Viabilité

23

4. Annexes

4.2. Principes pour l’évaluation de l’aide au développement du Comité d’aide au développement CAD/OCDE

Extrait du rapport «Principes pour l’évaluation de l’aide au développement»,du Comité d’aide au développement (CAD) de l’OCDE, Paris 1991

(...)L’aide au développement est une entreprise menée en coopération par desdonneurs et des pays d’accueil qui agissent en partenaires. Les pays du tiersmonde ont la responsabilité de leur propre développement et l’aide ne peutêtre qu’un élément subsidiaire et complémentaire de leurs propres efforts.L’aide soutient des activités dont les pays en développement sont les maîtresd’ouvrage et dont ils assument la responsabilité en dernier ressort. Les uns etles autres ont intérêt à ce que les rares fonds publics soient utilisés au mieuxet il leur appartient d’y veiller. Les donneurs comme les pays d’accueil doiventdonc s’intéresser à l’évaluation en la considérant comme un exercice permet-tant non seulement de rationaliser l’emploi des ressources consacrées audéveloppement en tirant parti des leçons de l’expérience mais aussi de justi-fier les activités auprès des autorités politiques et du grand public.(...)

Les principes ci-après donnent des indications générales sur le rôle de l’éva-luation dans la gestion de l’aide, en faisant ressortir l’importance centrale desaspects suivants:

■ Les organismes d’aide devraient avoir une politique d’évaluation s’accom-pagnant de lignes directrices et de méthodes clairement énoncées, et ilsdevraient préciser le rôle et les tâches de l’évaluation ainsi que la place decette fonction dans les structures institutionnelles.

■ La fonction d’évaluation devrait être impartiale et être indépendante desmécanismes mis en place pour l’élaboration des politiques d’aide, l’ache-minement et la gestion des concours.

■ L’exercice d’évaluation doit être aussi ouvert que possible et ses résultatsdoivent être largement diffusés.

■ Les évaluations ne sont utiles que si elles sont exploitées. Il est donc essen-tiel que leurs résultats parviennent aussi bien aux décideurs qu’aux agentsopérationnels.

■ L’association des pays d’accueil à l’exercice et la coopération entre donneurs revêtent une importance capitale pour l’évaluation: ce sont làdes aspects importants de l’édification de l’appareil institutionnel despays d’accueil et des mécanismes de coordination de l’aide, qui sont sus-ceptibles d’alléger les tâches administratives pesant sur les pays d’ac-cueil.

■ L’évaluation de l’aide et les éléments connexes qu’elle exige doivent fairepartie intégrante des tout premiers travaux de planification. Une activité

I IntroductionPartenariat donneurs/

pays d’accueil

24

4. Annexes

d’aide ne peut donner lieu à une évaluation objective que si les buts qui luisont assignés sont identifiés avec précision.

L’évaluation est une fonction qui consiste à porter une appréciation aussisystématique et objective que possible, sur un projet en cours ou achevé, unprogramme ou un ensemble de lignes d’action, sa conception, sa mise enœuvre et ses résultats. Il s’agit de déterminer la pertinence des objectifs et leurdegré de réalisation, l’efficience au regard du développement, l’efficacité,l’impact et la viabilité. Une évaluation devrait fournir des informations cré-dibles et utiles, permettant d’intégrer les enseignements tirés aux mécanismesd’élaboration des décisions tant des pays d’accueil que des donneurs.

Les principaux objectifs de l’évaluation sont les suivants:

■ Améliorer les politiques, programmes et projets des années futures grâce àla prise en compte des enseignements tirés du passé;

■ Fournir des éléments en vue de la justification des actions menées, avec desinformations destinées au public. (…)

Dans le contexte de l’évaluation, la justification des actions entreprises estconsidérée sous l’angle des résultats pour le développement et de l’impact del’aide au développement. Il s’agit d’une notion différente de l’obligation dejustifier l’utilisation des deniers publics, dans un sens comptable et juridique,ces questions étant habituellement du ressort des services de vérification descomptes. (…)

L’impartialité concourt à la crédibilité des évaluations car elle est un gage de l’objectivité des constatations des analyses et des conclusions présentées.L’indépendance donne une légitimité à l’évaluation et diminue les risques deconflits d’intérêts qui pourraient se produire si les décideurs et les gestion-naires étaient les seuls à pouvoir porter un jugement sur leurs propres actions.(…)

L’efficacité de l’évaluation dépend de manière cruciale de la structure mise enplace pour la gestion du processus. Celle-ci doit permettre de répondre auxtrois exigences suivantes: élaborer une politique et un ensemble de lignesdirectrices en matière d’évaluation; veiller à l’impartialité et à l’indépendancedes études; rattacher les constatations de l’évaluation aux activités futures.(…)

Le meilleur moyen d’assurer l’impartialité et l’indépendance du processus estde séparer la fonction d’évaluation des services d’exécution responsables dela planification et de la gestion de l’aide au développement. (…) Les struc-

Définition

II Finalité de l’évaluation

III Impartialité et Indépendance

Structure institutionnelle de la gestion de l’évaluation

25

4. Annexes

tures et procédures organisationnelles devraient faciliter l’établissement d’unlien entre les constatations de l’évaluation d’une part et, de l’autre, les déci-sions concernant la programmation et les grandes orientations des politiquesd’aide. (…)

La crédibilité de l’évaluation dépend des compétences professionnelles et del’indépendance des évaluateurs ainsi que du degré de transparence du pro-cessus. Pour être crédible, l’évaluation doit porter aussi bien sur les cas deréussite que sur les cas d’échec. En règle générale, les pays d’accueil de-vraient participer pleinement à l’évaluation car l’exercice gagnerait en crédi-bilité et susciterait un engagement plus fort. (…)

La transparence de l’exercice d’évaluation est un aspect décisif de sa crédi-bilité et de sa légitimité. Pour qu’il y ait transparence, il faut:

■ que le processus d’évaluation pris dans son ensemble soit aussi ouvert quepossible et que ses résultats soient largement communiqués;

■ que les rapports d’évaluation fassent apparaître séparément les résultatset les recommandations. Les éléments d’information à l’appui des consta-tations devraient être cités de manière à ne pas compromettre lessources.

Pour que les résultats des évaluations pèsent véritablement sur la prise desdécisions, ils doivent être perçus comme pertinents et utiles, et ils doivent êtreprésentés de manière claire et concise. Ils devraient refléter les intérêts etbesoins différents des multiples parties prenantes à la coopération pour ledéveloppement. La commodité d’accès est également un aspect crucial del’utilité. Le processus d’évaluation est en soi un moyen de clarifier les objectifs,d’améliorer la communication, d’enrichir les connaissances et de préparer lavoie aux actions ultérieures.

Les études d’évaluation doivent intervenir à point nommé, c’est-à-dire qu’ellesdoivent être disponibles au moment où des décisions sont à prendre. Cetteremarque donne à penser que l’évaluation a un rôle important à jouer tout aulong des diverses étapes de l’exécution d’un projet ou programme et qu’ellene doit pas être conduite uniquement en tant qu’exercice rétrospectif. C’estaux agents des services opérationnels qu’il appartient de suivre le déroule-ment des activités en cours. Les dispositions prises pour faire intervenir desévaluateurs indépendants permettent de compléter utilement le suivi régulierdes opérations.

Conformément au principe de partenariat mis en relief ci-dessus, il faudrait,chaque fois que cela est possible, que les donneurs et les pays d’accueil par-ticipent au processus d’évaluation. (...)

IV Crédibilité

V Utilité

VI Participation des donneurs

et des pays d’accueil

26

4. Annexes

La participation de toutes les parties concernées est une occasion d’appren-tissage pragmatique et contribue à renforcer les qualifications et capacitésdes pays d’accueil, objectif important qu’il conviendrait également de pour-suivre grâce à des actions de formation et à d’autres formes d’appui au déve-loppement des institutions et des capacités de gestion.

Il est essentiel que les donneurs collaborent de manière à enrichir mutuelle-ment leurs connaissances et éviter les doubles emplois. Il convient d’encou-rager les donneurs à collaborer afin de mettre au point des méthodes d’éva-luation, de partager leurs rapports et informations, et d’améliorer l’accès auxrésultats des études d’évaluation. (…)

Les organismes d’aide doivent établir un plan général pour l’évaluation deleurs activités d’aide au développement. A cette fin, ils devraient regrouperles diverses activités à évaluer en catégories appropriées. Ils fixeraient ensuiteun ordre de priorité pour l’évaluation des différentes catégories et établi-raient un calendrier en conséquence. (…)

Les moyens consacrés à l’évaluation doivent permettre de réaliser un largeéventail d’études portant sur les grandes lignes d’action, les activités réaliséesau titre des programmes et projets, ainsi que sur des secteurs, des thèmes etdes questions recoupant plusieurs domaines. Les procédures et méthodes degestion de l’organisme d’aide doivent également faire l’objet d’évaluations.(…)

Il faut planifier chaque étude d’évaluation et en établir le mandat de manièreà:

■ définir l’objet et la portée de l’évaluation, avec notamment l’indication despersonnes auxquelles sont destinés les résultats;

■ décrire les méthodes à employer durant l’évaluation;■ recenser les normes par références auxquelles les performances des pro-

jets/programmes seront évaluées;■ déterminer les ressources à mobiliser et le temps requis pour mener l’exer-

cice à son terme.

L’objet de l’évaluation doit être expliqué, c’est-à-dire qu’il faut préciser s’ils’agit d’améliorer les politiques, procédures et techniques, ou de déterminers’il y a lieu soit de poursuivre, soit d’interrompre des activités spécifiques encours.

Une évaluation doit définir l’activité qui en est l’objet – par exemple projets,institutions, secteurs ou programmes – et donner des renseignements sur, parexemple, les origines, les objectifs, les activités, les dépenses, l’impact et leseffets escomptés.

VII Coopération entre donneurs

VIII Programmation des évaluations

IX Conception et mise en œuvre des études

d’évaluation

27

4. Annexes

Il faut absolument déterminer les questions qui seront traitées dans l’étude, ceque l’on appelle souvent les «thèmes de l’évaluation». Ces thèmes tracerontun cadre commode pour la conduite de l’exercice et seront les fondementsd’un énoncé clair d’un ensemble de conclusions et de recommandations. Cesthèmes peuvent être regroupés sous les grandes rubriques suivantes:

■ Raison d’être (…)■ Réalisation des objectifs (…)■ Impact et effets (…)

Le fait de poser ces questions répond au souci de veiller à ce que l’évaluateursoit à même de porter un jugement sur l’information et de formuler desconclusions et recommandations concernant les points suivants:

■ Résultats globaux (…)■ Viabilité (…)■ Solutions-variantes (…)■ Enseignements tirés (…)

Durant cette phase, il faut aussi définir les méthodes et les techniques à appli-quer pour traiter les thèmes retenus. Etant donné la nature de l’aide au déve-loppement, il est permis de penser que, dans la plupart des cas, il faudracombiner des techniques quantitatives et qualitatives. En règle générale, lesméthodes utilisées pour l’examen préalable d’une activité devraient être éga-lement appliquées pour l’évaluation ex post. (…)

Les rapports d’évaluation doivent être rédigés dans un style clair, éviter le pluspossible le jargon technique, et comporter les éléments suivants: un résuméanalytique; un profil de l’activité évalué; une description des méthodes d’éva-luation utilisées; les principales constatations; les enseignements tirés; lesconclusions et recommandations. (…)

Les résultats doivent être communiqués de manière systématique, conditionindispensable pour améliorer la planification et la mise en œuvre des acti-vités d’aide au développement. Ils peuvent être présentés non seulement dansle rapport d’évaluation proprement dit mais ailleurs aussi: rapports annuelsfaisant une synthèse des constatations, ou condensés/sommaires donnant unsynopsis des résultats.

La rétroaction est une composante essentielle du processus d’évaluation dansla mesure où elle crée un lien entre les activités passées et futures. Pour veillerà ce que les résultats des évaluations soient exploités aux fins de la mise aupoint des grandes lignes d’action et programmes futurs, il faut absolumentmettre en place des mécanismes de rétroaction faisant intervenir toutes lesparties concernées. (…)

X Etablissement des rapports, communication

des résultats et rétroactionde l’information

28

4. Annexes

29

4.3 Sommaire d’évaluation du CAD/OCDE

Donneur Forme abrégée, dans le cas de la DDC employer toujours l’abréviationanglaise: SDC

Titre du rapport Dans la langue originale, éviter des abréviations

Numéro de référence Laisser ouvert, sera accordé par le service I/D (Information et Documenta-tion) de la DDC

Région géographique Mentionner le pays, la région ou le continent

Secteur Mentionner tous les secteurs concernés (plusieurs choix sont possibles)

Langue Indiquer dans quelle langue le document a été rédigée: p.ex. EN(anglais); FR (français); ES (espagnol)

Date Indiquer la date de l’évaluation: AAAA-MM-JJ. Vous pouvez indiquer ladate complète (p.ex. 1989-02-01) ou seulement l’année et le mois (p.ex.1988-11) ou bien uniquement l’année (p.ex. 1989)

Collation Indiquer le nombre de pages et les annexes qui font partie du rapportd’évaluation (p.ex. 20pp; 4 annexes)

Type d’évaluation Timing (mid-term, terminé, ex-post)Sujet de l’évaluation (projet, programme, secteur, pays/région, synthèse,thème, multilatéral, ONG)

Status P signifie planifié et C achevé (completed)

Auteurs Indiquer l’auteur et/ou la personne responsable de l’unité d’évaluation demener l’évaluation (éviter des abréviations)

Thèmes transversaux Indiquer seulement si pertinent pour le projet: p.ex. genre, pauvreté, envi-ronnement, empowerment, autonomie, institution capacity building, goodgovernance

Type de projet bilatéral ou multilatéral, ou multi-bi

Régisseur dans le paysdu projet Etat (organismes de droit public)/ONG/autre:

Type de coopération Coopération technique (CT), Coopération financière (CF), Aide humani-taire (AH), Corps suisse d’aide en cas de catastrophe (ASC)

Description du sujet

Méthodologie de l’évaluation

Principaux constats

Leçons tirées

4. Annexes

30

La description du sujet devrait tenter de cerner la raison de l’intervention(p.ex. quelle restriction de développement est considérée) et montrer quel estle résultat attendu de ces activités. Séparer les paragraphes par une ligne,lorsqu’il y a plus d’un paragraphe.

Donner une brève description de la méthodologie ou de l’approche utiliséepour réaliser l’évaluation et les considérations méthodologiques qui ont étéprises en compte. Elles pourraient inclure des objectifs, l’amplitude et le«focus» concernant les questions de l’évaluation, aussi bien que les méthodo-logies et sources d’information utilisées. Séparer les paragraphes par une ligne, lorsqu’il y a plus d’un paragraphe.

Indiquer les constats principaux de l’évaluation. Ceux-ci devraient mettre enrelief le succès relatif de l’action d’aide dans la réalisation des objectifs fixésou des résultats attendus. Séparer les paragraphes par une ligne, lorsqu’il y a plus d’un paragraphe.

Indiquer toutes les leçons tirées de cette évaluation. Séparer les paragraphes par une ligne, lorsqu’il y a plus d’un paragraphe.

Format du sommaire d’évaluation

Les sommaires doivent s’établir en français, anglais ou en espagnol selon lesdirectives suivantes: Volume: les sommaires ne doivent pas excéder deux pages (page standard:Font: Arial 12, 30 lignes à 60 frappes).Structure: deux volets: le premier contient les indications bibliographiques; lesecond, quatre sous-chapitres sous forme de texte continu. Eviter des abré-viations!

Inventaire des rapports d’évaluation

Le sommaire d’évaluation est une partie intégrante du rapport d’évaluation.Dans les TdR, il est stipulé que les évaluateurs et évaluatrices doivent rédigerun tel sommaire. Ils l’intègrent dans le rapport d’évaluation et l’envoient à la personne responsable de l’évaluation à la Centrale (par disquette ou par e-mail).

Le sommaire sera repris dans l’Inventaire des rapports d’évaluation du CADqui contient les évaluations en cours et à venir des organisations pour ledéveloppement représentées au sein de l’OCDE. Cette banque de donnée estdésormais accessible via Internet: http://minweb.idrc.ca/daclog.htm.

Documents

Evaluation externe – Faisons-nous ce qu 'il faut? Comme il le faut?