lndicateurs de Suivi et Evaluation

Introduction

Pourquoi les indicateurs sont-ils importants ?

Les indicateurs fournissent des informations de S&E vitales pour la prise de décisions à chaque niveau et à chaque étape de l’exécution du programme.

Objectif général

L’objectif général du module «  Généralités sur les indicateurs  » est de faire acquérir aux stagiaires les connaissances sur la construction d’indicateurs.

Objectifs spécifiques

A la fin de ce cours, les stagiaires doivent être capables de: Définir un indicateur ; Critiquer un indicateur; Décrire les caractéristiques d’un bon

indicateur; Montrer le lien des indicateurs avec les

cadres de suivi et évaluation précédemment présentés

Choisir un indicateur et remplir une feuille de référence de calcul d’indicateur.

Méthodes pédagogiques

1.Exposé introductif

2.Discussions

3.Travaux de groupes.

Plan du module

1. Définition d’un indicateur2. Types de mesures3. Méthodes de mesure4. Caractéristiques d’un bon indicateur5. Critères de sélection des indicateurs6. Différents niveaux d’indicateurs7. Liens entre les indicateurs et les cadres de

résultats8. Mode de calcul d’un indicateur9. Opérationnalisation des indicateurs10.Conclusion

Qu’est-ce qu’un indicateur ?

une variable

qui mesure

un aspect du programme ou projet (en terme de changement)

Un ensemble approprié d'indicateurs inclut au moins un indicateur de chaque aspect significatif du programme ou du projet (c.-à-d. au moins un par case du cadre de S&E)

Types de mesures d’un indicateur

Un indicateur peut être :

taux

ratio

pourcentage

moyenne

classement

nombre

index composite

Méthodes de mesure d’un indicateur

Décompte

Nombre de prestataires formés

Nombre de préservatifs distribués

Calcul

% d’établissements sanitaires ayant un prestataire formé

Taux de mortalité maternelle

Taux de fertilité

Index de qualité comportant la somme des points au dessus de six résultats de qualité.

Types d’indicateurs(1/3)

Taux : Nombre de sujets qui répondent aux critères de l’évènement étudié/Population cible, au cours d’une période de temps bien définie.

Exemple : Taux de vaccination

= Nb. d’enfant vaccinés / Nb. d’enfants âgés de 12-60 mois pendant l’année

Ratio : Le numérateur n’est pas inclus dans le dénominateur

Exemple : Ratio mortalité maternelle

= Nb. de femmes qui meurent pendant la grossesse ou à l’accouchement / Nb. de naissances vivantes

Types d’indicateurs(2/3)

Moyenne : La somme des valeurs observées sur le nombre total d’observations

Exemple : Moyenne des infirmier(e)s formés par an ou par région.

Le classement ou le rang : Le niveau dans le groupe

Exemple : le 1er, le 2ème , etc.

Types d’indicateurs(3/3)

Nombre

Exemple : Nombre de préservatifs distribués par les agents de santé communautaire.

Index composite : un ‘score’, une combinaison de plusieurs indicateurs

Exemple : L’index de l’effort des programmes de sida

Caractéristiques d’un bon indicateur SMART

Specific

Measurable

Attaignable (réaliste)

Relevant (pertinent)

Trackable (Que l’on peut suivre )

Caractéristiques d’un bon indicateur :

l’approche SMART.

« SMART » récapitule les critères principaux,

demandant « est-ce que l'indicateur est Spécifique, Mesurable,

Possible/Réaliste, Approprié et Trackable ? »

Spécifique: Mesure-t-il exactement ce qui est supposé mesurer ? Le niveau approprié de la désagrégation a-t-il été indiqué ?L'indicateur capture-t-il l'essence du résultat désiré ?

Caractéristiques d’un bon indicateur : l’approche SMART.

Capture-t-il des différences à travers des secteurs et catégories de personnes ? L'indicateur est-il assez spécifique pour mesurer

le progrès vers le résultat ?

Par exemple, en utilisant l'indicateur

« augmentez de 20 pour cent en nombre de plaintes

criminelles classées » peut refléter un système plus efficace de justice OU une augmentation de crime.

Caractéristiques d’un bon indicateur : l’approche SMART.

Mesurable: Les changements sont-ils objectivement

vérifiables L'indicateur montre-t-il le changement souhaité ? Est-ce une mesure fiable et claire du résultat ? Est-il sensible aux changements des politiques et

des programmes ? Les parties prenantes se sont-elles mises

d’accord sur ce que l’indicateur doit exactement mesurer ?

Caractéristiques d’un bon indicateur : l’approche SMART.

Attainable (réaliste) : Quels sont les changements prévus comme résultat de l’assistance

technique ? Les résultats (s) sont-ils réalistes ? Pour cela, un lien crédible entre les

produits et les contributions du partenariat et les résultats sont indispensables. .

Relevant (pertinent): Est-ce que l’indicateur capture l’essentiel des résultats désirés? Est-il pertinent pour les produits et les résultats ? Pour juger de la

pertinence de l’indicateur, on peut identifier les groupes cibles, leurs besoins, espérances et critères.

Est-ce que l’indicateur est associé avec la partie de l’activité ?

Caractéristiques d’un bon indicateur : l’approche SMART.

Trackable (que l’on peut suivre): Les données sont-elles réellement disponibles à un coût et

effort raisonnables ? Est-ce que les sources de données sont connues ? On

devrait établir des principes réalistes, les mécanismes et responsabilités pour la collecte des données.

Est-ce qu’il existe un plan de suivi de l’indicateur?

Critères de sélection d’un indicateur

Disponibilité de données

Logique et lien avec les cadres de suivi et évaluation

Ressources/ couts

Besoins programmatiques, du gouvernement, des bailleurs

Consensus entre les parties prenantes

Exigences des bailleurs.

Cinq niveaux d’indicateurs :

Intrants

Processus

Extrants

Effets

Impact

Différents niveaux d’indicateurs

Indicateurs d’intrant

Mesurent les ressources fournies pour exécuter les activités.

Exemples :

1. Le montant d’argent mobilisé

2. Le nombre de personnes recrutées

3. Les fournitures disponibles

Indicateurs de Processus

mesurent les activités exécutées

sont des données quantitatives

Exemples :

1. Le nombre de formations effectuées

2. Le nombre de matériels d’IEC imprimés

3. Le nombre de sites Conseil dépistage volontaire (CDV) crées

Indicateurs d’extrant

mesurent les produits ou les services offerts

Exemples :

1. Le nombre des CDV offrant des services aux jeunes;

2. Le nombre de médecins formés en suivi évaluation

Indicateurs d’effet

mesurent le changement dans le comportement des bénéficiaires

mesurent l’atteinte des objectifs

mettent l’accent sur les résultats immédiats, intermédiaires ou moyen terme du programme

Exemples

1. Pourcentage des jeunes de la population utilisant régulièrement les services CDV

2. des jeunes de la population dont le niveau de connaissance en matière de prévention du VIH s’est accru.

Indicateurs d’impact

mesurent le résultat à long terme

Exemples :

1. Taux de morbidité et de mortalité

2. Taux de fécondité

3. Taux l’incidence

Cadre type de résultats

OS1 : Usage accru des PF, SMI et mesures préventives du VIH/SIDA

RI1 : Disponibilité de services de qualité

RI2 : Demande deservices

RI1.1 : Information et accroissement des services

RI1.2 : Accroissement des compétences et connaissances des praticiens

RI1.3 : Gestion efficace durable

RI2.1 : Amélioration des connaissances des clients sur l’hygiène de la reproduction et la santé infantile

Cadre type ( Partiel ) avec activités

RI1 : Disponibilité de services de qualité

RI1.1 : Information et accroissement des services

RI1.2 : Accroissement des compétences et connaissances des praticiens

RI1.3 : Gestion efficace durable

Interventions :

Développement d’outils de suivi de la qualité des soins

Formation des superviseurs à la gestion

Formation clinique des prestataires

Support/approvision-ment en Matériel et médicaments.

Programmes IEC

Cadre type (partiel) avec indicateurs

RI1 : Disponibilité de services de qualité

RI1.1 : Information et accroissement des services

RI1.2 : Accroissement des compétences et connaissances des praticiens

RI1.3 : Gestion efficace durable

Interventions :

Développement d’outils de suivi de la qualité des soins

Formation des superviseurs à la gestion

Formation clinique des prestataires

Support/approvisioment des DC

Programmes IEC

a. % des établissements atteignant 85-100 sur la liste(rurale, urbaine) de Qualité des soins du MdS

b. % comptant au moins un prestataire formé dans chaque zone de service ciblée (rurale, urbaine)

a. Nb. de programmes IEC radiodiffusés pendant l’année précédente

b. % d’établissements offrant tous les services ciblés

a. Nb. de prestataires ayant achevé la formation cliniqueb. Nb. de personnel du centre ayant achevé la formation

a. % superviseurs ayant achevé tous les cours de formation à la gestion (niveau national et district)

b. % prestataires satisfaits de la gestion et des pratiques de supervision

c. Disponibilités de stocks continues pendant 90 jours précédents,

d. Disponibilités de stocks continues pendant 90 jours précédents, magasins de district

Mode de calcul des indicateurs (1/2)

RI1 : Disponibilité de services de qualité

Indicateurs :I. % des établissements atteignant 85-100 sur la liste (rurale, urbaine) de Qualité des soins

II. % comptant au moins un prestataire formé dans chaque zone de service ciblée (rurale, urbaine)

Mesures :1a. Numérateur : Nb. d’établissements ruraux

atteignant 85+ sur la liste de qualité des soins.

Dénominateur : Nb. total d’établissements ruraux contrôlés et cotés.

1b. Numérateur : Nb. d’établissements urbains atteignant 85+ sur la liste qualité des soins.

Dénominateur : Nb. total d’établissements urbains contrôlés et cotés.

1c. (Le % général peut aussi être calculé).

2a-f. Numérateur : Nb. d’établissements (ruraux, urbains) comptant au moins un prestataire formé (SMI, IST, PF).

Dénominateur : Nb. total d’établissements (ruraux, urbains)

Autre 2a-f. Limite des dénominateurs aux seuls établissements offrant le service pour lequel les prestataires formés sont comptés au numérateur.

Mode de calcul des indicateurs (2/2)

RI1.2 : Accroissement des compétences et connaissances des praticiens

Indicateurs :I. Nb. de prestataires ayant achevé la formation clinique

II. Nb. du personnel ayant achevé la formation

Mesures :1.Nombre de prestataires ayant achevé un cours de formation clinique dans un domaine de soins qu’ils pratiquent (SMI, MST, FP, etc.)

N.B.: Le plan S/E doit établir et préciser comment calculer ce nombre. Par exemple, un prestataire peut avoir achevé un cours élémentaire et un cours avancé. Le plan S/E doit préciser qu’il s’agit du compte d’un même prestataire. Les données de cet indicateur doivent par conséquent provenir d’entrevues avec les prestataires, et non pas du nombre de participants aux cours, afin d’éviter de compter en double. .

2. Nombre de personnel ayant achevé un cours de formation correspondant à leurs fonctions et responsabilités pertinentes.

N.B.: Le plan S/E doit établir et préciser la période appropriée de la formation (« jamais formé », « formépendant les 12 derniers mois », etc.) Si les taux de perte posent problème, une détermination de personnel formé « actif » peut être incluse dans la mesure.

Opérationnalisation d’un indicateur (1/2)

Un fois un indicateur choisi de façon appropriée, il aura besoin d’ être mieux défini pour être opérationnel

A ce stade, un indicateur précédemment sélectionné peut être rejeté simplement parce que non facilement opérationnel

Opérationnalisation d’un indicateur (2/2)

Questions utiles pour l’opérationnalisation

Sources des données (numérateur et dénominateur)?

Fréquence de collecte des numérateurs et dénominateurs ?

Fréquence de traitement et d’analyse de l’indicateur?

Niveau d’agrégation dans le temps et l’espace

Cible objective de l’indicateur qui a besoin d’ être atteinte?

Seuil ( valeur minimale ou maximale) pour lequel il faut déclencher une action?

Nature de la décision ou action quand le seuil est atteint?

Conclusion(1/2) Les indicateurs aident ā montrer les changements

directs ou indirects opérer dans un programme/projet

Le choix d’un indicateur requiert un haut degré de jugement faisant appel ā une approche participative : recherche de consensus

La sélection des indicateurs doit tenir compte des caractéristiques de ces derniers et des éléments ā considérer pour juger de leurs opérationnalisation

Conclusion(2/2).

L’importance de la décision ā prendre peut contrebalancer les problèmes de coût liés ā la collecte de l’indicateur et conduire ā le retenir.

Parfois les coût élevés des indicateurs peut conduire ā l’abandon d’un indicateur même si la décision ā prendre semble d’une grande importance.

Tuyau de sélection des indicateurs: Keep it straightforward and simple =

Rendre la sélection des indicateurs direct et simple

Références

Indicator Manuals/Guidelines: National AIDS Programmes: A Guide to Monitoring and Evaluating Antiretroviral Programmes, WHO(2005)

http://www.who.int/hiv/pub/me/naparv/en/

Guide to Monitoring and Evaluation of the national response for Children Orphaned and Made Vulnerable by HIV/AIDS, UNICEF(2005)

Directive pour l’elaboration d’indicateurs de base,ONUSIDA/Suvi de la Declaration d’engagement sur le VIH/sida, Rapport 2008

Programme sida Nationaux; Guide de S/E, ONUSIDA, septembre 2000.

. Design and Implementation of Health Information Systems