Pratique De L’éValuation En HaïTi

Expériences et perspectives

Plan de l’intervention

Point de vue sur l’évaluation; Pratique de l’évaluation; Perspectives.

Point de vue sur l’évaluation Quid de l’évaluation?

Evaluer : porter un jugement de valeur, comparer Evaluation d’une intervention ou d’un programme

de santé est un processus scientifique qui permet d’apprécier dans quelle mesure celui-ci a atteint l’objectif qui lui est assigné (OMS)

L’Évaluation est un processus d’analyse quantitative ou qualitative qui consiste à apprécier le déroulement d’une action ou d’un programme ou encore à mesurer leurs effets (c'est-à-dire les effets spécifiques et les conséquences ou l’impact) (ANAES)

Point de vue sur l’évaluation Dans la pratique:

L'évaluation est la collecte, l'analyse et la présentation systématiques des données concernant une intervention dans le but de faciliter la prise de décisions.

Point de vue sur l’évaluation Pourquoi évaluer une intervention

Aucun programme n’est évalué simplement pour la forme. Il y a toujours une raison précise, un motif qui vous incite à évaluer un programme particulier — ou une partie d’un programme — à un moment donné.

Point de vue sur l’évaluation Raisons habituelles avancées:

en déceler les forces et les faiblesses, partager des expériences, mesurer le progrès, améliorer la mise en œuvre, constater ce qui a été réalisé jusqu’à

maintenant ou prendre des décisions concernant les programmes ou les aspects d’un programme à maintenir ou à supprimer.

Il arrive parfois qu’un bailleur de fonds exige une évaluation.

Point de vue sur l’évaluation Pourquoi l’évaluation est importante?

Pratique de l’évaluation

Principes Moment de l’évaluation

L'évaluation doit faire partie intégrante de la gestion du programme et être effectuée à toutes les étapes du programme.

Tous les plans de programme doivent indiquer le moment où l'évaluation sera réalisée et la méthode qui sera utilisée.


Principes Manière

Description claire du programme; Le programme évalué doit être clairement

décrit (les activités, les résultats escomptés et les publics cibles doivent être cernés d'une façon particulièrement précise). Le modèle logique du programme doit être utilisé lorsque cela se révèle nécessaire.


Principes Manière

Description claire du programme; Le programme évalué doit être clairement

décrit (les activités, les résultats escomptés et les publics cibles doivent être cernés d'une façon particulièrement précise). Le modèle logique du programme doit être utilisé lorsque cela se révèle nécessaire.


Principes Manière

Questions précises; Les questions d'évaluation doivent être

précises et claires. Elles doivent découler de la nécessité de régler des problèmes de gestion majeurs.

Les questions d'évaluation doivent refléter fidèlement les activités du programme, les publics cibles et les résultats escomptés.


Principes Manière

Éthique; Les membres de l'équipe chargée de

l'évaluation doivent être conscients des conséquences potentielles de leur démarche et s'assurer que les droits des participants sont respectés et protégés.


Principes Manière

Démarche méthodique; Les méthodes d'évaluation les plus

rigoureuses doivent être employées compte tenu des ressources limitées et du délai imparti.

Les évaluations doivent englober des données (quantitatives, qualitatives ou de l'une et l'autre catégories) recueillies auprès d'une grande variété de sources et résultant de différents points de vue.


Principes Manière

Présentation claire et exacte des résultats Les rapports d'évaluation doivent décrire le

programme et son contexte, le but de l'évaluation, la source des données, les méthodes d'analyse des données, les résultats et les restrictions.

Les rapports d'évaluation doivent être clairs, complets, exacts et objectifs.


Principes Manière

Communication des résultats au moment voulu aux parties intéressées. Les intervenants doivent être informés des

résultats de l'évaluation au moment opportun.


Composantes d’un plan d’évaluation termes de référence et questions

d'évaluation; approche d'évaluation; indicateurs et sources de données; et plan de travail de l'évaluation.


Composantes d’un plan d’évaluation termes de référence et questions

d'évaluation; Les termes de référence sont les

instructions du commanditaire qui indiquent aux évaluateurs quels programmes examiner.

En plus, les termes de référence répertorient les principales questions auxquelles devra répondre l'évaluateur.


Composantes d’un plan d’évaluation Approche d'évaluation

L'approche d'évaluation souligne comment mener à bien l'évaluation.

Elle identifie les outils ou méthodes à utiliser afin d'obtenir l'information nécessaire pour répondre aux questions soulevées aux termes de référence.

L'approche d'évaluation comprend le modèle qui structure l'étude de l'évaluation.

Il faut identifier le modèle d'évaluation ou de conception choisi.


Composantes d’un plan d’évaluation Indicateurs et sources de données

Le Programme ou plan d’action doit répertorier les indicateurs utilisés afin de mesurer l'efficacité des programmes et des activités.

Les données sont l'information portant sur chaque programme ou activité devant être disponible pour chaque question figurant aux termes de référence.

Le Programme ou Plan doit identifier les sources des données pour chaque question figurant aux termes de référence et expliquer comment recueillir ces données.


Composantes d’un plan d’évaluation Plan de travail de l'évaluation

Un plan de travail de l'évaluation est un plan structuré et précis visant à mener à bien l'évaluation des programmes.. Le plan de travail de l'évaluation devrait répondre aux questions suivantes : Qui gérera l'évaluation? Qui accomplira chaque tâche d'évaluation? Quel est l'échéancier pour compléter chaque

tâche de l'évaluation? Quel est l'échéancier pour produire l'ébauche

et les rapports finaux? Qui recevra des exemplaires des rapports?


Illustration: Evaluation d’une intervention

OBJECTIFS SPÉCIFIQUES DE L’ÉVALUATION

L’évaluation vise à: Analyser les plans et les rapports du Projet

de l’ONG X, exécuté avec l’appui du Bailleur Y d’une part en fonction: Des résultats attendus par le programme de Pays

dans le domaine SR; Des résultats attendus dans le cadre des plans de

travail (AWPs 2004 à 2007 – Plans trimestriels) se rapportant au Projet de l’ONG X;

De la politique/plans départementaux concernés


et d’autre part Pour évaluer l’atteinte des résultats (progrès réalisés

par rapport aux produits attendus du projet de Renforcement de la SR dans les structures de premier échelon )

Pour confronter les résultats obtenus avec les indicateurs retenus

Pour vérifier l’application/utilisation des outils et procédures du Bailleur Y

Apprécier la nature des relations inter organisationnelles établies entre le Projet de l’ONG X, le MSPP et les autres partenaires d’exécution ainsi que leur degré d’implication dans la démarche de coordination départementale (transmission régulière de rapport – visites conjointes de suivi des activités etc…);


Examiner si diverses opportunités de mener des programmes conjoints ont été saisies ou manquées et en faire ressortir les raisons, notamment à partir des discussions avec les cadres des institutions concernées;

Faire ressortir les points forts et les points faibles (y compris les insuffisances, les omissions éventuelles de composantes ou d’éléments devant être pris en compte ainsi que les approches et les opportunités manquées) des divers aspects concernant l’implémentation des activités SR (entre autres l’analyse de l’adéquation entre les dépenses effectuées et les activités réalisées) et formuler les recommandations en la matière;

Voir si la dimension genre et les aspects droits humains ont été pris en compte dans la formulation et mise en œuvre du projet.


Illustration: Evaluation d’une intervention RÉSULTATS ATTENDUS DE

L’ÉVALUATION A- sur l’efficacité du projet

A partir des éléments du sous-programme SR et du projet ainsi que de divers documents et rapports concernant le projet, le consultant est appelé à:

Porter un jugement sur la pertinence de la stratégie et objectifs/produits attendus du projet par rapport aux activités réalisées

Démontrer la performance d’exécution programmatique et administrative de l’ONG X


Illustration: Evaluation d’une intervention RÉSULTATS ATTENDUS DE L’ÉVALUATION B- sur la raison d’être du projet

Des éléments clairs sont ressortis permettant de comprendre si les activités réalisées s’inscrivent dans le mandat du Bailleur Y et dans les politiques et plans départementaux concernés.

Procéder à un état des lieux des initiatives prises en matière de mise en place dans les structures de premier échelon du paquet minimum de SR/PF (processus, protocoles, formation, guides, évaluation);

Procéder à une analyse du processus de renforcement des capacités pour améliorer les prestations des composantes de la SR déjà mises en place


MÉTHODE ET OBJECTIF DE L’ÉVALUATION L’objectif est donc de déterminer si les efforts déployés

ont eu des résultats concrets, si les objectifs ont été atteints tels que prévus et de générer de l’information qui servira lors de la planification de futurs projets 2008 - 2012. La démarche suivante a été proposée :

En ce qui a trait à la pertinence du projet de l’ONG X par rapport aux orientations stratégiques du Bailleur Y, l’approche suivante sera privilégiée : Revue de la documentation du projet Entrevue avec le bailleur et l’organisme de mise en œuvre du

projet. Analyse à partir d’une grille d’analyse mettant en relation les

missions, stratégies et objectifs des deux entités. Production de rapports d’analyse avec les conclusions et

recommandations.


MÉTHODE ET OBJECTIF DE L’ÉVALUATION

En ce qui a trait à la pertinence du projet de l’ONG X par rapport aux orientations stratégiques du Bailleur Y, l’approche suivante sera privilégiée : Revue de la documentation du projet Entrevue avec le bailleur et l’organisme de

mise en œuvre du projet. Analyse à partir d’une grille d’analyse

mettant en relation les missions, stratégies et objectifs des deux entités.

Production de rapports d’analyse avec les conclusions et recommandations.


La capacité de mise en œuvre du projet par l’ONG X sera évaluée à partir d’instruments et un plan d’analyse adéquat. Entrevues avec les responsables de l’ONG

X ; Analyse de documents produits par l’ONG

X ; Analyse des données ; Production d’un rapport avec les

conclusions et recommandations.


Résultats obtenus par rapport aux objectifs fixés Revue de la documentation du projet ; Visites d’investigation dans les 5 localités

bénéficiaires du projet ; Entretien avec le personnel local ; Entretien avec les directeurs départements

et responsables du programme de santé de la reproduction ;

Analyse des données recueillies ; Production d’un rapport avec les

conclusions et recommandations


Gestion financière Analyse de l’adéquation des dépenses

effectuées avec les activités réalisées ; Analyse de l’adéquation du budget avec

le volume des activités prévues.

Production d’un rapport consolidé

avec recommandations appropriées découlant des résultats des différentes analyses.


DESCRIPTION DU PROJET. 3.1- LE CONTEXTE La mise en œuvre du projet s’inscrit dans

une double perspective qui est d’une part, une réponse aux catastrophes naturelles survenues dans le pays en 2004 et d’autre part, la contribution du Bailleur Y à l’atteinte des objectifs pays en matière de développement durable et de réalisation des droits de la personne en services de santé de base.


3.2 - BUT ET OBJECTIFS DU PROJET

Le but du projet est d’améliorer l’état de santé génésique et sexuelle des populations vivant dans les aires retenues pour la mise en œuvre de l’intervention. Il s’agit des localités de champs de mars et de museau


Trois objectifs permettant d’atteindre ce but ont été retenus. Il s’agit premièrement d’accroitre

l’accès aux services de santé sexuelle et reproductive tels que la planification familiale, les soins après les interruptions volontaires de grossesse, les conseils et le dépistage volontaire du VIH/SIDA.


Deuxièmement de renforcer la capacité et les compétences du personnel de l’ONG X et du MSPP à dispenser des soins de qualité en santé sexuelle et reproductive.


Troisièmement faire la promotion des pratiques sexuelles responsables, de l’utilisation des services de santé sexuelle et reproductive, les conséquences des avortements pratiqués dans les conditions douteuses et enfin les droits des femmes en matière de santé sexuelle et reproductive.


STRATÉGIES ET RÉSULTATS ATTENDUS. Pour atteindre le premier objectif l’ONG X propose trois

approches différentes : la fourniture de soins à travers des cliniques (milieu

institutionnel) ; la réalisation de cliniques mobiles suivant un calendrier établi

(stratégie avancée) ; et un système de référence /contre référence en

partenariat avec le MSPP pour les cas nécessitant un séjour en milieu hospitalier.

Á travers ces approches, la population aura accès aux services suivants : Planification familiale (méthodes modernes de courte et

longue durées) ; Contraception d’urgence; Dépistage du cancer du col utérin (Pap smear), tests de

grossesse, examen gynécologique; Soins pré et post natals ; Prise en charge des complications des avortements pratiqués

de manières douteuses.


Á travers ces approches, la population aura accès aux services suivants :

Planification familiale (méthodes modernes de courte et longue durées) ;

Contraception d’urgence; Dépistage du cancer du col utérin (Pap

smear), tests de grossesse, examen gynécologique;

Soins pré et post natals ; Prise en charge des complications des

avortements pratiqués de manières douteuses.


Observations LE PLAN DE PROGRAMME OU DOCUMENT

DE PROJET. Le document de projet soumis à notre attention

titré « … la Santé Sexuelle et Reproductive » est rédigé en grande partie en langue anglaise. Ce document présente la structure habituelle des documents de projet pour la mise en œuvre d’une intervention à savoir: un résumé ; une justification ; les caractéristiques de l’intervenant ; La formulation des buts/objectifs/ stratégies/ activités

et résultats attendus ; Le système de suivi/évaluation ; Et enfin le plan de mise en œuvre.



La justification du projet se base sur la situation générale du pays. On ne fait pas mention de la problématique de la santé sexuelle et reproductive dans les zones que l’ONG souhaite intervenir. (Les références utilisées (EMMUS) sont fiables. Cependant, comme il peut avoir des variations des besoins en services de santé d’une région à l’autre, la situation au début de l’intervention devrait être bien identifiée. Aussi, il est difficile d’apprécier les changements qui sont attribuables au projet en absence de cette ligne de base.


Nos observations à travers la revue documentaire, les entrevues avec le personnel et les visites de terrain nous ont permis de constater quelques atouts sur lesquels on peut capitaliser pour améliorer les services offerts à la population : La motivation du personnel de terrain à offrir des

services à la population est évidente dans tous les sites que nous avons visités ;

La compétence du personnel en matière de technologie contraceptive est reconnue tant par les partenaires de l’ONG X que par la population;

L’ONG X jouit d’une notoriété certaine dans le domaine de la santé sexuelle et reproductive.

Aux endroits ABC L’ONG X est la seule entité qui délivre le paquet de services de SR.


Toutefois, dans le cadre de la mise en œuvre de ce projet, certaines faiblesses si elles ne sont pas prises en compte peuvent être préjudiciable à l’institution : La planification des projets (il y a des lacunes évidentes

dans la planification du projet et la maitrise des outils tel le cadre logique, la planification trimestrielle) ;

l’organisation et la gestion du projet ne permet pas de mettre en évidence la contribution du bailleur à la réalisation des activités de SR ;

le monitoring et le suivi des activités; La communication au sein de l’organisation (le personnel

de terrain n’est pas informé sur les objectifs du programme, ses composantes et les activités y relatives) ;

L’établissement de partenariat (un accord de partenariat est un outil qui permet à chaque partenaire dans le cadre d’une action conjointe de savoir les objectifs qu’on cherche à atteindre, les responsabilités de chacun, les ressources qu’on doit mettre en commun et les mécanismes de résolution de conflits).


CONCLUSION ET RECOMMANDATIONS La faiblesse du système d’information de l’ONG ne

nous a pas permis de répondre à une question cruciale à savoir est-ce que l’intervention a été efficace? Il aurait fallu interroger un nombre significatif de bénéficiaires pour se faire une idée exacte étant donné que l’intervention est arrivée à son terme dans la plupart des sites visités. Les témoignages du personnel de terrain particulièrement permettent de croire que l’intervention a permis de répondre à un besoin évident en matière de santé sexuelle et reproductive.

Dans le cadre d’une intervention ultérieure, l’ONG X doit améliorer sa capacité en matière de planification, de gestion de projet et surtout de suivi et d’évaluation. Le Bailleur Y devra apporter une assistance technique en formulation de projet à certaines organisations qui sollicitent un financement pour un projet dans une zone où il est pertinent d’intervenir.


Les Termes de Référence et Questions d’évaluation L’étude correspond à la perception des

groupes cibles dans le cadre de la réponse nationale à l’épidémie du VIH/SIDA. L’ONG Q, récipiendaire principal du Fonds Mondial en Haïti a coordonné, à travers six ONGs nationales sous récipiendaires, des actions dans le domaine de la lutte contre le IST-VIH-SIDA et du renforcement des organisations des PVVIH-SIDA.


Les Termes de Référence et Questions d’évaluation

En collaboration avec le MSPP, l’ONG Q, veut renforcer les activités et appuyer cette structure par le développement d’un plan d’action issu des principaux groupes cibles.

Le but de cette consultation est l’élaboration et la mise à disposition des différents acteurs (gouvernement, bailleurs, ONGs) d’un document de référence regroupant les perceptions et recommandations des groupes cibles : PVVIH, jeunes et travailleurs du sexe sur les principales thématiques et les secteurs d’intervention concernant la réponse nationale au VIH-SIDA depuis la prévention jusqu’aux services.


Méthode Le mandat faisait explicitement référence à des

ateliers comme moyen de connaître la perception et les recommandations des groupes cibles [Personnes Vivant Avec le VIH/SIDA (PV-VIH), Jeunes et Travailleurs du Sexe (TS)]. Il nous a semblé pertinent d’y avoir recours, pour deux raisons principales : la population de référence (PVVIH et TS) n’est pas

facilement identifiable au vu des problèmes de confidentialité qu’elle soulèverait ;

Compte tenu de la prévalence de la prostitution en Haïti une enquête sur un échantillon de petite taille ne permettrait pas d’obtenir un nombre suffisant de TS.


Le concept de perception La perception est une représentation déterminée

d’une chose (Archer, J.M.2005) La perception n'est en effet jamais donnée: percevoir c'est déjà dépasser, donner un sens à la chose: ne serait-ce que son extériorité. La perception est influencée par la culture et l’entendement des individus.

Les interventions (programme, projet etc.) sont réalisées à partir de prévisions basées sur les problèmes identifiés et les attentes des bénéficiaires. La perception des utilisateurs de services est influencée par leurs attentes qui, elles-mêmes, sont liées à la nature du problème auquel ils font face (OMS, 1996). La figure suivante résume le cadre théorique pour l’analyse de la perception de réponse nationale au VIH.

Intervenants

Problèmes perçus Problèmes identifiés

Attentes Prévisions

Perceptions Réalisations

Craan G.M 2005 adapté de Strasser S. Layout and design of the survey.

Intervenants Groupes cibles

Problèmes Identifiés

Problèmes perçus

Secteurs public et ONG

PVVIH Travailleurs du Sexe

Jeunes

Le risqueFacteurs de risques liés à certains comportements•l’initiation sexuelle précoce,•la non utilisation du condom, •la prévalence élevée des IST, •le multi partenariat, •le changement fréquent de partenaire,•le brassage sexuel•et mélange des âges.

•Difficultés d’accès au marché de l’emploi,•Difficultés d’accès au logement•Difficultés d’accès à l’éducation•alimentation•stigmatisation/discrimination•manque d’encadrement et de support•droit à la santé n’est pas garanti•problèmes économiques•violation de leur droit de pouvoir immigrer (accès résidence)

•La réprobation morale et sociale à l’égard des TS a augmenté fortement avec l’avènement de l’épidémie du VIH. Les TS sont considérés comme des vecteurs de l’épidémie.

•Le risque d’être infectées par les clients ne voulant pas utiliser des préservatifs.

•La rareté des clients, à cause de l’insécurité qui prévaut dans le pays depuis plusieurs années, les pousse à accepter parfois des offres qui leur font courir un grand risque d’être infecté.

•La qualité de l’éducation qu’ils reçoivent dans leur famille, à l’école et dans la communauté ne leur permet pas de faire face aux problèmes auxquels ils s’exposent tous les jours. •les parents ou les professeurs qui n’ont par reçu une formation les habilitant à intervenir dans le contexte de l’épidémie. •L’accès et la qualité des informations relatives au VIH disponibles sont insuffisants. •La peur et l’ignorance engendrées par le manque d’informations

Intervenants Groupes cibles

Prévisions AttentesSecteurs public et ONG PVVIH Travailleurs du

SexeJeunes

les acteurs qui ont élaborés ce plan, ont identifié six domaines prioritaires que sont :•la promotion de comportements à moindre risque ;•la prise en charge des IST ;•promotion/distribution de condom ;•l’approvisionnement en sang sûr ;•la réduction de la transmission verticale (parent enfant)•la prévention de la transmission en cas d’exposition sanguine accidentelle et en cas de viol.

L’accès à l’emploi Réduire les barrières au marché de l’emploi que sont la stigmatisation et la discrimination et permettre aux PVVIH d’avoir une égale opportunité pour intégrer le marché du travail.

La protection socialeDes problèmes cruciaux comme l’accès universel à l’éducation, la lutte contre la faim, l’accès à un logement décent.

Assistance juridique (conseils juridiques)

•Les aspects devant être pris en compte pour permettre aux TS de travailler en sécurité.

•En les éduquant sur les modes de transmission des IST/VIH-SIDA ;•En mettant à leur disposition des moyens de protection (condom) ;•En leur donnant accès à des examens de contrôle réguliers ;•En luttant contre les violations des droits TS comme personne.

•améliorer la qualité de l’éducation qui leur est dispensée. •Ils s’attendent également à ce que des structures d’encadrement pour les jeunes soient mises en place. •lutter contre toute forme de violence, contre les inégalités sociales ;•protéger les droits des mineurs ; •aides aux familles nécessiteuses.

Conclusion

La perception de ces groupes, par rapport à la réponse nationale, a trait le plus souvent à la couverture et la qualité des services. La population est disséminée sur tout le territoire national mais on ne dispose pas assez de ressources pour l’atteindre dans son milieu de vie. La notion de qualité vue par les PVVIH se rapporte d’avantage à la continuité des soins et à sa coordination. Les PVVIH requièrent une gamme de services or les intervenants dans le domaine sont le plus souvent des spécialisés dans un seul créneau. Les jeunes eux-mêmes doivent adopter des comportements favorables à la santé mais les alternatives qui leur sont proposées demeurent très limitées. Les TS apprécient la qualité des services qui leur sont offerts particulièrement le fait d’être considérées comme personne humaine et respectées. Cependant ils ne voient pas pour demain la résolution des problèmes majeurs auxquels ils font face notamment la violence et l’exclusion.

Perspectives

Les contraintes de la pratique de l’évaluation Les termes de référence très souvent mal

élaboré; Les programmes mal planifiés; Les délais de réalisation trop courts; Manque de préparation; Accès à l’information; Pas de culture de l’évaluation Le jpp…

Perspectives

Promotion de la qualité Gestion axée sur les résultats Tendance des institutions à créer de

nouveaux postes M&E Disposition des bailleurs à financer

les évaluations externes et encourager l’autoévaluation.

Perspectives

Emplois et carrière pour les gradués du MAPODE

Merci

Documents

Pratique De L’éValuation En HaïTi