Observer, mesurer et évaluer Construire des indicateurs

1

Béatrice Van Haeperen, IWEPS18 novembre 2013

Plan

2

1.La démarche d’observation2.Définition d’un indicateur3.Caractéristiques souhaitables d’un

indicateur4.Types d’indicateurs5.Etapes d’un projet, questions d’évaluation

et indicateurs

1. La démarche d’observation

3

« La démarche d’observation recouvre un ensemble de diagnostics, c’est-à-dire une analyse de l’existant, des besoins, des attentes, des forces et faiblesses de la réponse » (M.C. Malhomme et al., 2006, p. 324)*

La démarche d’observation est intimement liée à l’évaluation: la démarche d’évaluation interroge nécessairement le système d’information (structuré ou non). Généralement, l’observation précède l’évaluation, mais

l’évaluation repousse aussi les limites de l’observation (développement de systèmes d’informations)

Les politiques publiques nécessitent des diagnostics récurrents, donc une observation permanente. «  Si l’évaluation mesure l’impact d’une action en

référence à un diagnostic initial, le diagnostic suivant modifie les termes de l’évaluation: les concepts d’attentes, de besoins, de cohésion sociale se modifient à mesure qu’on les observe, car notre société se trouve dans une période de transformations rapides. »(M.C. Malhomme et al., 2006, p. 326)*

2. Définition d’un indicateur (1)

4

Un indicateur c’est … une mesure qui décrit un phénomène à partir

de variables   dont le suivi et/ou la comparaison dans le

temps ou dans l’espace permet de mesurer des changements intervenus par rapport à une norme un état de référence un objectif

2. Définition d’un indicateur (2)

5

Mesure d’un objectif à atteindre, d ’une ressource mobilisée, d’un effet obtenu, d’un élément de qualité ou de contexte

Information quantifiée, chiffrée

information simple, facilement communicable, non ambiguë

souci de comparabilité dans le temps et dans l’espace

3. Caractéristiques souhaitables d’un indicateur (1)

6

est étroitement lié avec l’objectif poursuivi est mesurable régulièrement est construit à partir de données fiables et

validées

3. Caractéristiques souhaitables d’un indicateur (2)

7

Source des données Un même phénomène peut être mesuré à partir de données issues de

sources différentes. Exemple: le chômage, mesuré par l’ONEM (CCIDE) et Forem (DEI)

Comparaisons dans le temps et l’espace: prudence! « ruptures » dans les séries temporelles de données en raison de

changements affectant Les nomenclatures Les méthodologies de comptage, de collecte de données Le périmètre des catégories

les catégories, méthodologies de comptage, nomenclatures varient d’une région/pays à l’autre.

Agrégation de données de sources diverses Lorsqu’une politique mobilise de nombreux opérateurs, il faut imposer dès

le départ des méthodologies communes de saisie des informations nécessaires pour la construction des indicateurs de suivi et de réalisation.

Méta données - validation Les producteurs de données fournissent généralement une note

méthodologique informant sur les source, unité de mesure, mode de récolte, périodicité, mode de calcul, etc. Ces informations sont essentielles pour la construction d’indicateurs valides.

4. Types d’indicateurs (1)

8

1. Observer Indicateur de moyens Indicateur de réalisation Indicateur de résultat Indicateur d’impact Indicateur de contexte

2. Porter un jugement évaluatif Indicateur d'effectivité Indicateur d'efficacité Indicateur d’efficience

4. Types d’indicateurs (2)

9

Indicateurs et niveaux d’observation 1.objectifs opérationnels

Indicateur de moyens Indicateur de réalisation

2.objectifs spécifiques Indicateur de résultat Indicateur de contexte

3.objectif global Indicateur d’impact Indicateur de contexte

4. Types d’indicateurs (3)

10

Objectifs Critères d’évaluation Indicateurs

Problèmes à résoudre - Besoins

Objectif général

Retombées, effets

Impacts

Résultats attendus/observés Objectifs

spécifiques

Objectifs opérationnels

Ressources humaines et financières

Réalisations Attendues/observées

Utilité

Efficacité des réalisations

Efficacité du programme

durabilité

durabilité

efficience cohérence

effectivité

Pertinence du programme

cohérence

Pertinence des mesures

4. Types d’indicateurs (4)

11

Indicateur de moyens ou de ressources fournit des informations sur les ressources

financières, humaines, matérielles, organisationnelles ou autres utilisées pour appliquer le programme d’actions. budget affecté et taux de consommation nombre de personnes affectées à la réalisation du

programme d’actions …

Indicateur de réalisations représente le « produit » (biens ou services) du

programme d’actions mis en œuvre, le produit de l’activité des opérateurs: c’est ce qui a été fait nombre de Km de routes construits nombre d’ha réhabilités nombre de formations financées par le programme ….

4. Types d’indicateurs (5)

12

Indicateur de résultats  représente l’avantage immédiat du

programme pour les bénéficiaires directs fournit de l’information sur les

changements intervenus suite à la mise en œuvre du programme sur les bénéficiaires directs temps gagné par les utilisateurs d’un service proportion de bénéficiaires de formation qui

a obtenu un emploi après la formation changements de comportement adoption de pratiques nouvelles …

4. Types d’indicateurs (5)

13

Indicateur d’impacts mesure les effets du programme d’actions au-delà de

son interaction directe et immédiate avec les destinataires effets qui perdurent à moyen et long terme sur les

destinataires directs (impacts spécifiques) proportion de bénéficiaires de formation qui a est encore en

emploi un an après la formation effets à court/moyen et long terme sur les

personnes non directement visées par le programme: effets de substitution entre bénéficiaires et non bénéficiaires, externalités positives ou négative amélioration de la qualité de vie pour le voisinage d’une friche

industrielle réhabilitée amélioration de la qualité des plages au voisinage d’une nouvelle

station d’épuration Travailleurs licenciés dans des entreprises non subventionnées

les indicateurs peuvent mesurer des impacts au niveau macroéconomique

4. Types d’indicateurs (6)

14

Indicateur de contexte qualifie une situation informe sur des variables qui pourraient avoir un

effet sur les résultats escomptés indépendamment des mesures prises la conjoncture internationale l’environnement économique et financier (pour des

aides aux entreprises) l’environnement sanitaire et social (pour des politiques

de santé) l’environnement culturel et professionnel (pour des

services de formation) ….

4. Types d’indicateurs (6)

15

Indicateur d'effectivité et d’efficacitécompare ce qui a été fait à ce qui était initialement prévu. Il indique dans quelle mesure on atteint les objectifs visés par une action

Nombre d’heures de formation dispensées par rapport au nombre d’heures annoncées (réalisation- effectivité))

Nombre de personnes remises au travail grâce aux formations par rapport à l’objectif annoncé (résultat-efficacité)

Indicateur d’efficience compare un indicateur de réalisation ou de résultat aux ressources (en particulier financières) utilisées pour y parvenir. Il permet d’étudier la question de la minimisation du coût par unité (de réalisation ou de résultat) « produite »

Coût moyen d’une formation par bénéficiaire (réalisation) Coût moyen d’une formation par chômeur remis au travail grâce à la

formation (résultat)

4. Types d’indicateurs (6)

16

indicateurs simples : données issues de la pratique statistique ou administrative, qui peuvent moyennant quelques précautions statistiques, servir directement d’indicateurs 

indicateurs élaborés : ils résultent de traitements plus ou moins complexes et mettent en œuvre plusieurs types de données  taux de chômage PIB proportion de personnes participant à un événement par rapport au public

cible proportion de bénéficiaires de formation qui ont trouvé un emploi à la sortie

de la formation indicateurs composites : ils agrègent plusieurs indicateurs

Indicateur de bien-être indicateurs synthétiques : ils agrègent l’ensemble des

indicateurs se rapportant à un même domaine en un seul indicateur indicateur de développement humain (IDH du PNUD) indicateur de sévérité de la législation sur la protection de l’emploi (OCDE)

5. Etapes d’un projet, questions d’évaluation et indicateurs (1)

17

Eléments constitutifs d’une politique

publique

Etapes du projet/de la politique Etapes de l’évaluation

Critères d’évaluation Type d’indicateurs Questions d’évaluation

1. Problème collectif Diagnostic Ex ante Pertinence Cohérence

Contexte + Indicateurs représentant les variables du modèle d’analyse

- La politique proposée répond-elle de manière adéquate aux problèmes ? - Cohérence de la politique avec les autres politiques ?

2. Politique publique Phase de programmation

Conception + bases légales et réglementations :

- objectifs - mesures - acteurs - ressources

3. Produits administratifs

Mise en œuvre au sein de l’administration Application des lois, décrets, règlements – SERVICES

In Itinere Suivi du processus et des réalisations

Economie (fonctionnement interne/gestion) Efficacité (comparaison des réalisations par rapport aux objectifs) Efficience (comparaison des réalisations par rapport aux ressources)

- Indicateurs de mise en œuvre

- Indicateurs de réalisation

- Indicateurs budgétaires

Nombre de dossiers reçus ? traités ? admis ? Nombre de réclamations ? Nombre d’actions entreprises ? …

4. Effets induits sur les groupes cibles

Changement de comportement des groupes cibles

Ex post - Efficacité (comparaison des résultats par rapport aux objectifs) - Efficience (comparaison des résultats par rapport aux ressources) -Causalité

- Indicateurs de résultat - Indicateurs coût/bénéfice - Effet net de la politique

Dans quelle mesure la situation des bénéficiaires s’est-elle améliorée grâce au dispositif?

5. Impacts Prise en compte des effets indirects et des effets macroéconomiques

Ex post (long terme)

Indicateurs d’impact Impact sur le PIB ? sur l’emploi ? Après déduction des effets d’aubaine, de substitution, de déplacement

5. Etapes d’un projet, questions d’évaluation et indicateurs (2)

18

Les services s’évaluent à deux niveaux : le niveau du produit direct et le niveau des résultats indirects

Niveau Produit direct = activité immédiate du prestataire Exemples : le fonctionnaire traite les dossiers des usagers (entreprises, particuliers), l’enseignant forme des élèves

Résultats indirects : effets sur les destinataires des prestations Ex. la formation professionnelle améliore les compétences (moyen terme) et permet l’insertion en emploi

Critères d’évaluation qualité, économie, efficience Efficacité, efficience Indicateurs Indicateurs de réalisations (quantitatifs et

qualitatifs): Nombre de dossiers traités, nombre de personnes formées, budget alloué aux aides à la création d’entreprises, durée moyenne de traitement d’un dossier, délai de réponse à un courrier, délai d’attente d’une formation, etc

Indicateurs de résultats : Proportion de personnes entrées en formation qui ont réussi la formation, proportion de personnes formées qui sont insérées en emploi X mois après la formation, coût par personne insérée en emploi ; taux de création d’entreprises, etc

Remarque Le même service immédiat peut aboutir à des résultats différents : le résultat dépend en effet

- des caractéristiques des bénéficiaires et de leur capacité à tirer bénéfice du service

- du contexte dans lequel se place le service.

J. Gadrey (2003), Socio-économie des services, Repères La découverte.