Observer, mesurer et valuer Construire des indicateurs

  • Published on
    03-Jan-2016

  • View
    15

  • Download
    0

DESCRIPTION

Observer, mesurer et valuer Construire des indicateurs. Batrice Van Haeperen, IWEPS 18 novembre 2013. Plan. La dmarche dobservation Dfinition dun indicateur Caractristiques souhaitables dun indicateur Types dindicateurs - PowerPoint PPT Presentation

Transcript

  • Observer, mesurer et valuer Construire des indicateurs

    *Batrice Van Haeperen, IWEPS18 novembre 2013

  • Plan *

    La dmarche dobservationDfinition dun indicateurCaractristiques souhaitables dun indicateurTypes dindicateursEtapes dun projet, questions dvaluation et indicateurs

  • 1. La dmarche dobservation*La dmarche dobservation recouvre un ensemble de diagnostics, cest--dire une analyse de lexistant, des besoins, des attentes, des forces et faiblesses de la rponse (M.C. Malhomme et al., 2006, p. 324)*

    La dmarche dobservation est intimement lie lvaluation: la dmarche dvaluation interroge ncessairement le systme dinformation (structur ou non). Gnralement, lobservation prcde lvaluation, mais lvaluation repousse aussi les limites de lobservation (dveloppement de systmes dinformations)

    Les politiques publiques ncessitent des diagnostics rcurrents, donc une observation permanente. Si lvaluation mesure limpact dune action en rfrence un diagnostic initial, le diagnostic suivant modifie les termes de lvaluation: les concepts dattentes, de besoins, de cohsion sociale se modifient mesure quon les observe, car notre socit se trouve dans une priode de transformations rapides.(M.C. Malhomme et al., 2006, p. 326)*

  • 2. Dfinition dun indicateur (1)*Un indicateur cest une mesure qui dcrit un phnomne partir de variables dont le suivi et/ou la comparaison dans le temps ou dans lespace permet de mesurer des changements intervenus par rapport une normeun tat de rfrenceun objectif

  • 2. Dfinition dun indicateur (2)*Mesure dun objectif atteindre, dune ressource mobilise, dun effet obtenu, dun lment de qualit ou de contexte

    Information quantifie, chiffre

    information simple, facilement communicable, non ambigu

    souci de comparabilit dans le temps et dans lespace

  • 3. Caractristiques souhaitables dun indicateur (1)*

    est troitement li avec lobjectif poursuiviest mesurable rgulirementest construit partir de donnes fiables et valides

  • 3. Caractristiques souhaitables dun indicateur (2)*Source des donnesUn mme phnomne peut tre mesur partir de donnes issues de sources diffrentes. Exemple: le chmage, mesur par lONEM (CCIDE) et Forem (DEI) Comparaisons dans le temps et lespace: prudence!ruptures dans les sries temporelles de donnes en raison de changements affectantLes nomenclaturesLes mthodologies de comptage, de collecte de donnesLe primtre des catgories les catgories, mthodologies de comptage, nomenclatures varient dune rgion/pays lautre. Agrgation de donnes de sources diversesLorsquune politique mobilise de nombreux oprateurs, il faut imposer ds le dpart des mthodologies communes de saisie des informations ncessaires pour la construction des indicateurs de suivi et de ralisation. Mta donnes - validationLes producteurs de donnes fournissent gnralement une note mthodologique informant sur les source, unit de mesure, mode de rcolte, priodicit, mode de calcul, etc. Ces informations sont essentielles pour la construction dindicateurs valides.

  • 4. Types dindicateurs (1)*ObserverIndicateur de moyensIndicateur de ralisationIndicateur de rsultatIndicateur dimpactIndicateur de contexte

    Porter un jugement valuatifIndicateur d'effectivitIndicateur d'efficacit Indicateur defficience

  • 4. Types dindicateurs (2)*Indicateurs et niveaux dobservation objectifs oprationnelsIndicateur de moyensIndicateur de ralisationobjectifs spcifiquesIndicateur de rsultatIndicateur de contexteobjectif globalIndicateur dimpactIndicateur de contexte

  • 4. Types dindicateurs (3)*Objectifs Critres dvaluation Indicateurs

  • 4. Types dindicateurs (4)*Indicateur de moyens ou de ressourcesfournit des informations sur les ressources financires, humaines, matrielles, organisationnelles ou autres utilises pour appliquer le programme dactions. budget affect et taux de consommationnombre de personnes affectes la ralisation du programme dactionsIndicateur de ralisationsreprsente le produit (biens ou services) du programme dactions mis en uvre, le produit de lactivit des oprateurs: cest ce qui a t faitnombre de Km de routes construitsnombre dha rhabilitsnombre de formations finances par le programme.

  • 4. Types dindicateurs (5)*Indicateur de rsultatsreprsente lavantage immdiat du programme pour les bnficiaires directsfournit de linformation sur les changements intervenus suite la mise en uvre du programme sur les bnficiaires directstemps gagn par les utilisateurs dun serviceproportion de bnficiaires de formation qui a obtenu un emploi aprs la formationchangements de comportementadoption de pratiques nouvelles

  • 4. Types dindicateurs (5)*Indicateur dimpactsmesure les effets du programme dactions au-del de son interaction directe et immdiate avec les destinataireseffets qui perdurent moyen et long terme sur les destinataires directs(impacts spcifiques)proportion de bnficiaires de formation qui a est encore en emploi un an aprs la formationeffets court/moyen et long terme sur les personnes non directement vises par le programme: effets de substitution entre bnficiaires et non bnficiaires, externalits positives ou ngativeamlioration de la qualit de vie pour le voisinage dune friche industrielle rhabiliteamlioration de la qualit des plages au voisinage dune nouvelle station dpuration Travailleurs licencis dans des entreprises non subventionnesles indicateurs peuvent mesurer des impacts au niveau macroconomique

  • 4. Types dindicateurs (6)*

    Indicateur de contextequalifie une situationinforme sur des variables qui pourraient avoir un effet sur les rsultats escompts indpendamment des mesures prisesla conjoncture internationalelenvironnement conomique et financier (pour des aides aux entreprises)lenvironnement sanitaire et social (pour des politiques de sant)lenvironnement culturel et professionnel (pour des services de formation).

  • 4. Types dindicateurs (6)*

    Indicateur d'effectivit et defficacitcompare ce qui a t fait ce qui tait initialement prvu. Il indique dans quelle mesure on atteint les objectifs viss par une actionNombre dheures de formation dispenses par rapport au nombre dheures annonces (ralisation- effectivit)) Nombre de personnes remises au travail grce aux formations par rapport lobjectif annonc (rsultat-efficacit)

    Indicateur defficience compare un indicateur de ralisation ou de rsultat aux ressources (en particulier financires) utilises pour y parvenir. Il permet dtudier la question de la minimisation du cot par unit (de ralisation ou de rsultat) produiteCot moyen dune formation par bnficiaire (ralisation)Cot moyen dune formation par chmeur remis au travail grce la formation (rsultat)

  • 4. Types dindicateurs (6)*indicateurs simples: donnes issues de la pratique statistique ou administrative, qui peuvent moyennant quelques prcautions statistiques, servir directement dindicateursindicateurs labors: ils rsultent de traitements plus ou moins complexes et mettent en uvre plusieurs types de donnestauxde chmagePIBproportion de personnes participant un vnement par rapport au public cibleproportion de bnficiaires de formation qui ont trouv un emploi la sortie de la formationindicateurs composites: ils agrgent plusieurs indicateursIndicateur de bien-treindicateurs synthtiques: ils agrgent lensemble des indicateurs se rapportant un mme domaine en un seul indicateurindicateur de dveloppement humain (IDH du PNUD)indicateur de svrit de la lgislation sur la protection de lemploi (OCDE)

  • 5. Etapes dun projet, questions dvaluation et indicateurs (1)

    *

  • 5. Etapes dun projet, questions dvaluation et indicateurs (2)

    *

    Les services svaluent deux niveaux: le niveau du produit direct et le niveau des rsultats indirects

    J. Gadrey (2003), Socio-conomie des services, Repres La dcouverte.

Recommended

View more >