96
Evaluation des Politiques Publiques Il n’y a pas de qualité sans mesure Formateur : Vincent BOGAERS Mise à jour : 3/03/2014

Evaluation des Politiques Publiques

  • Upload
    leanna

  • View
    28

  • Download
    4

Embed Size (px)

DESCRIPTION

Evaluation des Politiques Publiques. Il n’y a pas de qualité sans mesure. Formateur : Vincent BOGAERS Mise à jour : 3/03/2014. Présentation Vincent BOGAERS. Etudes : Master RH à l'IGS Paris et European MBA à l'ESG (En Anglais) Parcours : 14 ans d’expérience dans la formation - PowerPoint PPT Presentation

Citation preview

Page 1: Evaluation  des Politiques Publiques

Evaluation des Politiques Publiques

Il n’y a pas de qualité sans mesure

Formateur : Vincent BOGAERSMise à jour : 3/03/2014

Page 2: Evaluation  des Politiques Publiques

2

Présentation Vincent BOGAERS

• Fondateur de SOI Conseil et Formation, Spécialiste de la FPT

• Créateur du SOI TC, Système d’Orientation et d’Identification par la Typologie Croisée

• Traducteur du IJTI Process en néerlandaiscopyright Vincent BOGAERSIngénierie de Formation

Etudes : Master RH à l'IGS Paris et European MBA à l'ESG (En Anglais)

Parcours :14 ans d’expérience dans la formationPrivé (RH) : Informatique, industrie pharmaceutiquePublic (Formation & recrutement…) : 7 ans en commune

Skype : [email protected]

Page 3: Evaluation  des Politiques Publiques

Pourquoi Vincent BOGAERS ?

Double formation(Histoire)Master RHMaster Management

L’homme au cœur d’un système

Maitrise démarches QualitéMarianne, Qualiville, Iso

Rationalisation et communication

Expertise EvPolF° TdB, F° et Conseil EvpolBlog « Qualité territoriale »

Identifier, mesurer et analyser les

impacts

Connaissance FPT

Ex Attaché Territorial

Sens du Service Public

Page 4: Evaluation  des Politiques Publiques

| Diapositive 4 |

Objectif

• Mettre en évidence les spécificités de l’évaluation et du questionnement évaluatif

• Situer l’évaluation dans le cycle des politiques publiques et dans les projets des participants

• Présenter à l’aide d’un exemple les enjeux et les différentes étapes de l’évaluation: de l’appel d’offre à la valorisation des résultats

• Discuter des avantages et limites de l’institutionnalisation de l’évaluation

• Permettre à chaque apprenant d’entrer dans la logique du questionnement évaluatif à l’aide de travaux de groupe

Page 5: Evaluation  des Politiques Publiques

Evaluation des Politiques Publiques

INTRODUCTION

Page 6: Evaluation  des Politiques Publiques

Les origines américaines

• Des interventions fédérales contestées• Des programmes sociaux peu légitimes• Démocratie = Accountability• L’orientation empiriste des sciences

sociales• La visée d’une “politique fondée sur des

preuves” (Evidence-based policies)

Page 7: Evaluation  des Politiques Publiques

Points forts de l’évaluation dans le monde anglophone

• Une réelle intégration de l’évaluation au processus budgétaire

• Le caractère programmatique de l ’action publique

• Le rôle actif du parlement et de la Cour des comptes

• La professionnalisation des évaluateurs

Page 8: Evaluation  des Politiques Publiques

Les organisations publiquesen France

Q Q OU Q C P

Page 9: Evaluation  des Politiques Publiques

Définition

Une organisation publique a

• une activité de service• Une taille importante• Un environnement complexe et contraignant

Page 10: Evaluation  des Politiques Publiques

Finalité des organisations publiques

• Satisfaction de l’intérêt général

–Ensemble des besoins sociaux que l’initiative privée ne peut satisfaire.

Page 11: Evaluation  des Politiques Publiques

Missions

Répondre à la demande des citoyens :– Missions de sécurité ou souveraineté :

défense, police, justice…– Missions économiques : travaux publics,

transports, communications, urbanisme, aménagement du territoire…

– Missions sociales : éducation, santé, culture, sports, aide sociale…

Support de l’administration – assurer le fonctionnement des organisations

publiques

Page 12: Evaluation  des Politiques Publiques

Le financement du service public

• Les services publics sont financés – par l’impôt, – par la contribution de l’usager

• Les impôts constituent – 87 % des recettes de l’État – 83 % des recettes des collectivités

Page 13: Evaluation  des Politiques Publiques

Les organisations publiquesen France

QUOI Q O Q C P

Page 14: Evaluation  des Politiques Publiques

QUOI

Personnels • niveau de connaissance,

compétences, pratiques professionnelles

Structures • établissements,

organismes, services

Techniques• produits, procédés,

procédures

Actions • politiques, programmes,

projets

Page 15: Evaluation  des Politiques Publiques

QUOI : Politique publique

• Ensemble de moyens et de dispositifs d’action mis en œuvre suite aux décisions d’une ou plusieurs autorités publiques, en vue d’atteindre un objectif ou de poursuivre une finalité en lien avec l’intérêt général.

Page 16: Evaluation  des Politiques Publiques

Éléments constitutifs d’une politique

• Mise sur agenda• Orientation normative, fixation d’objectifs• Décision• Cibles• Théorie d’action / mécanismes d’action

(carottes, bâtons et sermons)• Mise en oeuvre• Résultats/ Effets (outputs/ outcomes) Effets

pervers ou collatéraux (effets de système)• Contrôle/ audit/ évaluation.

Page 17: Evaluation  des Politiques Publiques

Les organisations publiquesen France

Q Q O Q COMMENT P

Page 18: Evaluation  des Politiques Publiques

COMMENT : Une pluralité de mécanismes de rétroaction

• Contrôle hiérarchique• Inspection/ audit interne• Contrôle de gestion• Contrôle externe (Cour des comptes)• Indicateurs de performance/ benchmarks • Évaluation des politiques et programmes publics• « Évaluation politique » (sondages d’opinion,

élections)

Page 19: Evaluation  des Politiques Publiques

Distinguer différents niveaux de résultats

• Outputs (« extrants opérationnels ») :– résultat direct de l’activité des services, biens et

services produits dans le cadre d’un programme

• Outcomes (Impact, effets) : – effets économiques et sociaux du programme, à

court, moyen ou long terme

Page 20: Evaluation  des Politiques Publiques

Evaluation et « approche cognitive » des politiques publiques

• « Les politiques publiques sont le fruit d’interactions sociales qui donnent lieu à la production d’idées, de représentations et de valeurs communes » (Yves Surel)

• Dans cette perspective, l’évaluation apparaît comme un effort d’amplification et de systématisation des processus d’interaction et de connaissance qui « produisent » les politiques publiques.

Page 21: Evaluation  des Politiques Publiques

Trouver les informations

Données quantitatives

• exploitation de fichiers statistiques

• données administratives• enquêtes par sondage

(questionnaire, téléphone, entretien)

Données qualitatives

• entretiens ouverts ou semi-ouverts

• analyse de documents• vidéos• discussion en groupe• observation participative

Page 22: Evaluation  des Politiques Publiques

Les organisations publiquesen France

Q QUI O Q C P

Page 23: Evaluation  des Politiques Publiques

Rôle de l’instance d ’évaluation

• Elaborer une grille de questionnement sur la base du mandat

• Choisir une (des) méthode(s) • Rassembler des informations et documents

pertinents • Procéder à des auditions • Organiser et piloter les enquêtes • Synthétiser et interpréter leurs résultats• Rédiger le rapport d’évaluation • Communiquer, expliquer, diffuser

Page 24: Evaluation  des Politiques Publiques

Les organisations publiquesen France

Q Q O QUAND C P

Page 25: Evaluation  des Politiques Publiques

Étapes d’une évaluation

Lettre de mandat

Élaboration d’un projet

d’évaluation

Constitution d’une

instance d’évaluation, qui valide le projet

Lancement d’un

programme d’étude

Suivi et validation

des études

Rédaction et validation du rapport

Suivi et valorisation

des conclusions

Page 26: Evaluation  des Politiques Publiques

Les organisations publiquesen France

SYNTHESE

Q Q O Q C P

Page 27: Evaluation  des Politiques Publiques

Evaluation: vers une définition

Une évaluation est un jugement porté sur une donnée par référence à une valeur (F.RANGEON)

La recherche évaluative est l'application systématique des procédures de recherche sociale (P.H.ROSSI, H.E.FREEMAN)

L'évaluation permet de collecter et d'analyser de façon systématique de l'information pour les utilisateurs spécifiques afin de réduire l'incertitude, d'améliorer l'efficacité, l'efficience et l'aide à la décision (M.Q.PATTON)

Page 28: Evaluation  des Politiques Publiques

Le modèle de l’expérimentation sociale

• Un « traitement » social est appliqué à un échantillon aléatoire de bénéficiaires

• Un échantillon statistiquement équivalent de non bénéficiaires est constitué

• La situation des individus au regard des objectifs est observée avant, pendant et après la mise en œuvre du programme

• Des tests statistiques permettent d’établir dans quelle mesure le traitement « fait la différence »

Norme

Actions

Outcomes

Processus de comparaison

Page 29: Evaluation  des Politiques Publiques

La démarche d’évaluation d’une politique publique - FPT

• A partir d’une orientation politique, • précisée par un objectif stratégique, mesurable,• identifier les résultats produits par les actions• et mesurer les effets de celles ci• par des d’indicateurs d’impacts• d’un dispositif spécifique • concourant à une mission de service publique• mise en œuvre ou garantie par une organisation

publique• ceci dans un territoire déterminé et un temps

particulier

Elus – Mandat(6 ans)

Direction Générale

(3 ans)

Administrés

Gestionnaires(1 an)

Page 30: Evaluation  des Politiques Publiques

Evaluation des Politiques Publiques

PARTIE I. CONTEXTE ET ENJEUX

Page 31: Evaluation  des Politiques Publiques

L’analyse est indispensable à l’évaluation

• Pour juger, il faut établir des liens de causalité• Pour établir des liens de causalité, il faut

comprendre les dimensions des politiques publiques

• L’évaluation se base sur l’analyse stratégique, logique, de la mise en œuvre, de la productivité, de l’efficience et des effets

Page 32: Evaluation  des Politiques Publiques

Les défis de l’action publique

Nouvelles demandes sociales/

complexité

Resserrement de la contrainte budgétaire

Crise des idéologies et de l’autorité

(déficit de légitimité de l’action publique)

Nouvelles formes de gouvernance et

de régulation (globalisation,

Europe, décentralisation,

partenariat, passer du faire au « faire

faire »)

Crise du management

public, demande de « sens » dans le

travail

Page 33: Evaluation  des Politiques Publiques

Des usages potentiels aux usages réels

• Une faible contribution au débat public• Des usages budgétaires plutôt rares, du moins en

France• La place de l’évaluation dans la gouvernance

mondiale (UE, Banque mondiale…)• Une aide réelle au pilotage des politiques • L’importance de la dimension « formative »• L’apport à l’élaboration de visions partagées• Des effets le plus souvent différés et indirects

Page 34: Evaluation  des Politiques Publiques

Les missions au sein des organisations publiques

• Une organisation publique peut être en charge de différentes missions et une mission peut être confiée à diverses organisations.

• La détermination des missions des organisations publiques résulte d’objectifs fixés et hiérarchisés par les élus en fonction de considérations politiques, économiques et sociales.

Page 35: Evaluation  des Politiques Publiques

Pilotage au "rétroviseur"

• Au moment de la publication, l'activité a déjà produit ses résultats. Il est alors bien trop tard pour corriger. On parle de conduite "rétroviseur".

• Le pilote ne dispose que d'une vue de la route déjà parcourue. Ce n'est pas d'une grande aide pour négocier le prochain virage !

• Dans notre monde d'incertitude et de changement permanent, il n'est plus possible de se reposer sur ce principe dépassé. Il faut réformer cette conception et définir un véritable instrument d'aide au pilotage !

Page 36: Evaluation  des Politiques Publiques

Références pour l’évaluation

état idéal - état réel

objectif normatif - état réel

modèle exemplaire - cas réel

Adapté de Owen, J.M. (1999), p. 173

Page 37: Evaluation  des Politiques Publiques

L’évaluation dans le cycle des politiques publiques

• nature et distribution des besoins nécessitant une nouvelle intervention

• identification de la population cible et de la population concernée

• ressources nécessaires et existantes• faisabilité, pertinence et acceptabilité d’une intervention• adéquation objectif poursuivi – problème à résoudre• adéquation hypothèse de causalité - problème à résoudre• adéquation ressources - problème à résoudre• adéquation programme d’intervention - problème à résoudre• adéquation référentiel de la politique publique et

représentations des différents acteurs• cohérence du programme d’intervention

• modification du comportement de la population-cible• adéquation résolution du problème - objectifs politiques • relation résolution du problème - ressources engagées• effets pervers/ effets non voulus positifs/ effets indirects

politique publique et approche d’évaluation

Exemples d’objets d’évaluation

Ajustem

ent • adéquation actions de mise en œuvre - problème à résoudre• adéquation prestations - programme d’intervention• relation objectif opérationnels - prestations• relation ressources allouées - ressources utilisées• atteinte de la population cible

Reconnaissance du problème et mise à l’agenda

(évaluation du besoin)

Programmation (évaluation du concept et des

inputs)

Processus de mise en œuvre (évaluation du processus,

évaluation de l’output ou des prestations, évaluation du

rapport inputs/outputs)

Effets de la mise en œuvre (évaluation de l’impact et de

l’outcome)

Page 38: Evaluation  des Politiques Publiques

Des surprises en évaluation

Une politique sans output Des outputs sans impacts Des impacts sans outcome Des outcomes sans impact Des liens de causalité difficiles à établir

Page 39: Evaluation  des Politiques Publiques

Evaluation des Politiques Publiques

PARTIE II. SAVOIR CE QUE L’ON VEUT EVALUER

Page 40: Evaluation  des Politiques Publiques

En fonction du moment où elles interviennent, on peut distinguer trois grands types d'évaluation des politiques publiques : - l'évaluation ex-ante, c'est-à-dire l'étude prospective de la faisabilité et de l'impact d'une mesure projetée ou en préparation ; - l'évaluation ex-post qui vise à apprécier les résultats des actions après coup au regard des objectifs, permette de tirer les enseignements rétrospectifs sur une politique parvenue à maturité ;- l'évaluation in itinere ou chemin faisant.

Ex-ante In-itinere Ex-post

Différents temps de l’évaluation

Définition d’une politique publique

Mise en œuvre d’une politique publique

Clôture et préparation d’une nouvelle politique publique

Page 41: Evaluation  des Politiques Publiques

« Observer ou suivre » un territoire?

Observatoire de territoire

Lieu de fourniture de données, d’informations

Lieu où on essaie de répondre à des questions

Lieu où on essaie de mesurer l’atteinte d’objectifs

StatistiquesDonnéesCartesEtc.

Indicateurs quanti et quali

Indicateurs quanti et quali

Indicateurs de résultat

Indicateurs d’impact

Page 42: Evaluation  des Politiques Publiques

Evaluation à différents niveaux à différents temps

PLAN D’ACTION

EVALUATION PAR ACTION

EVALUATION GLOBALE

Action 1Action 2

Action 3

Contenu de l’action

Indicateurs spécifiques

Indicateurs globauxTerritoire

► Enquêtes

D’après RCT A21 St Etienne Métropole

Indicateurs de résultats

Indicateurs d’impacts

Tableau de bord / Observatoire

Page 43: Evaluation  des Politiques Publiques

L’outil d’analyse

• Le questionnement– Mots clés, Questions, Mots clés et questions– Questionnement simple sans être « simpliste »

Importance de l’explicitation des termes employés (glossaire, livret d’accompagnement…)

Un nombre de critères suffisant mais limité

Page 44: Evaluation  des Politiques Publiques

L’outil d’analyse

• QQOQCP

• Pareto : 80/20

Page 45: Evaluation  des Politiques Publiques

Les chiffres à retenir

• Maximum 3 objectifs à suivre• 3 indicateurs par objectifs soit 12• 1 pilote

Page 46: Evaluation  des Politiques Publiques

Evaluation des Politiques Publiques

PARTIE II. MESURER

Page 47: Evaluation  des Politiques Publiques

Construire Les indicateurs

Page 48: Evaluation  des Politiques Publiques

Qu’est ce qu’un indicateur ?• Un chiffre qui « renseigne » sur un phénomène

ou son évolution

• Un « dispositif d’agrégation optimale de l’information »

• Sa fonction est d’attirer l’attention sur un fait ou une tendance importante

• En général, il ne suffit pas pour porter un jugement sur la réussite d’une action

Page 49: Evaluation  des Politiques Publiques

Indicateur : Définition• Un indicateur est une formule de calcul• basée sur des données brutes• permettant de quantifier, de mesurer

– Une évolution– Une proportion, un rapport

• au regard d’une norme (interne / externe).• Il peut être simple, et mesurer un flux, selon un

objectif opérationnel• Il peut être composite, et mesurer des résultats et

des effets, en fonction d’un objectif stratégique

Page 50: Evaluation  des Politiques Publiques

Place des indicateurs dans l’évaluation

• Toute évaluation repose sur des chiffres• Les indicateurs occupent un place très

variable comme point d’appui des conclusions :– Ils répondent parfois par eux-mêmes aux questions de

l’évaluation– En règle générale, ils demandent à être interprétés et

complétés par des informations qualitatives

Page 51: Evaluation  des Politiques Publiques

Orientation

Objectifs

Critères de réussite

Actions

ActivitéLes activités majeurs de la CT qui influent sur l’image et les missions de SP

Application

Traitement

Construire ses indicateurs : approche naturelle vs démarche logique

Démarche logique Approche naturelle

Page 52: Evaluation  des Politiques Publiques

52

Choix des indicateurs

• faire le choix d ’indicateurs facile à produire

• être sélectif : 20/80soit 20% des activités qui représentent 80% du budget ou 80% des résultats

• ne retenir que quelques critères essentiels de mesure des activités

• ne pas chercher l ’exhaustivité

Page 53: Evaluation  des Politiques Publiques

53

Les indicateurs doivent :

• être représentatifs de l ’activité mesurée

• se prêter à une analyse (interprétable en terme de gestion : comparaison par rapport à un objectif, une norme, un standard…)

• être datés et quantifiés

Page 54: Evaluation  des Politiques Publiques

DEFINITION : indicateurs physiques

Typologie :

INDICATEURS

d ’activité

sociaux

DEFINITION : facteurs intervenant sur l ’organisation susceptible de modifier son environnement

EXEMPLES : nb de journées de formation, nb de m² entretenus, fréquentation des équipements

EXEMPLES : taux d ’absentéisme, taux de présence des agents...

DEFINITION : combinaison d’indicateurs d ’activité et d’indicateurs sociaux

d ’efficacité

qualité/productivité

financiers

EXEMPLES : coût horaire de mise à disposition du stade nautique, coût d ’une heure de surveillance des cantines...

DEFINITION : nb de m² entretenus par agent, taux d ’encadrement des enfants en crèche…

DEFINTION : suivi des budgets et coûts de prestations, d ’activités

Page 55: Evaluation  des Politiques Publiques

Comment choisir les indicateurs?

Que veut-on observer ?

• Bien circonscrire la question qui se pose

• Identifier et décrire les problématiques

• Préciser éventuellement les angles de l’analyse

Page 56: Evaluation  des Politiques Publiques

Choix des indicateurs

En lien avec la cartographie stratégique, les leviers de performance (RH, processus, qualité,

benchmarking,…), et les possibilités de recueil

Ne pas les multiplier• Complet (toutes les facettes du travail influant sur les objectifs)

• Pertinent (représente l’élément mesuré)

• Mesurable (indicateur défini et significatif)

• Contrôlable (pouvoir de contrôle par l’agent)• Reproductible (dans le temps et l’espace, en interne, en externe)

• Accessible (système d’informations)

Page 57: Evaluation  des Politiques Publiques

Comment choisir les indicateurs?

Décrire les indicateurs

• Lister le possible• Justifier le choix (apports à la question posée,

lien avec d’autres indicateurs…)• Vérifier l’applicabilité (accessibilité des

données, coût…)• Assurer la reproductibilité (sources et

données nécessaires, mode de calcul…)• Préciser les modalités d’utilisation (échelles

spatiales et temporelles, exploitations possibles, limites et précaution d’utilisation…)

• Garantir la lisibilité • Hiérarchiser et partager

Page 58: Evaluation  des Politiques Publiques

Quel référentiel pour choisir des indicateurs ?

• Indicateurs de développement durable urbain – ARPE• Référentiel d’évaluation et de suivi des politiques

environnementales des collectivités territoriales – RESPECT• Benchmarking : évaluation dans le cadre d’agendas 21 : CG

Nord Pas de Calais, CG Drôme, CG Essonne, Communauté urbaine de Dunkerque, Communauté urbaine de Lyon, ville d’Echirolles, ville de Marseille, ville de Toulouse, etc…

• Etat de l’art actuellement réalisé par le MEEDDAT sur la pratique de l’évaluation des projets territoriaux de développement durable

• 45 indicateurs du développement durable, une contribution de l’IFEN (2003)

Page 59: Evaluation  des Politiques Publiques

Evaluation des Politiques Publiques

PARTIE III. LE TABLEAU DE BORD POUR L’EVPOL

Page 60: Evaluation  des Politiques Publiques

Objectifs d’un tableau de bord

Page 61: Evaluation  des Politiques Publiques

Améliorer la performance

Trop longtemps utilisé pour ne présenter que des rapports comptables, il en a

perdu son sens initial de pilotage.

Le tableau de bord reste encore pour beaucoup un concept assez mal défini.

Page 62: Evaluation  des Politiques Publiques

Généralités sur les tableaux de bord

Définition d'un tableau de bord

Le tableau de bord peut être considéré comme un outil

offrant une visualisation simplifiée des situations décrites et des

constats effectués par les indicateurs. Il permet à son utilisateur de se construire une représentation synthétique de la réalité.

Page 63: Evaluation  des Politiques Publiques

Pourquoi un tableau de bord ?

Il renvoie à des finalités différentes mais complémentaires. • La complexité croissante des champs et des domaines

d’intervention, • les contextes mouvants et fortement évolutifs auxquels sont

confrontés les services, Il implique • De faire un véritable outil d’aide à la décision, • De bâtir un dispositif au service des enjeux de l’organisation,

tourné vers la maîtrise de l’action et de l’anticipation, afin d’appréhender les évolutions en cours, au travers d’informations sélectives et appropriées.

Page 64: Evaluation  des Politiques Publiques

Un tableau de bord : pour qui ?

L’utilité d’un tableau de bord varie selon le positionnement de son utilisateur au sein de la chaîne hiérarchique.

Page 65: Evaluation  des Politiques Publiques

Conclusion : le tableau de bord est

• un ensemble d’indicateurs peu nombreux conçus pour permettre aux gestionnaires de prendre connaissance de l’état et de l’évolution des systèmes qu’ils pilotent

• et d’identifier les tendances qui les influenceront• sur un horizon cohérent avec la nature de leurs

fonctions (Henri Bouquin « Le contrôle de gestion » 2003).

Page 66: Evaluation  des Politiques Publiques

L’intérêt de disposer d’un tableau de bord

• L’élaboration et le suivi d’un tableau de bord aident : – a prendre du recul et se dégager des urgences, – à planifier son développement, – à mesurer régulièrement le chemin accompli et à corriger

les écarts. • Le tableau de bord est à la fois

– un outil d’amélioration des performances de la collectivité – de motivation de l’agent qui se fixe des buts et suit

régulièrement les progrès accomplis.

Page 67: Evaluation  des Politiques Publiques

Un tableau de bord utile contient généralement 4 éléments essentiels :

un tableau

indicateurs pertinents

un graphique

présenter l’information la plus représentative des

données du tableau

un commentaire

indications sur les actions achevées,

en cours, et à venir

un encart de références

avec les coordonnées de l’émetteur et les sources utilisées

Page 68: Evaluation  des Politiques Publiques

2 – Distinction des différents type de Tableau

A. Tableau de suivi de l’activité

B. Tableau de bord

Page 69: Evaluation  des Politiques Publiques

Distinguer et ne pas confondre

• outil de gestion• à la disposition du décideur• mesurer le degré de réalisation d’un objectif,

quantifiable et mesurable dans le temps.

Tableau de bord

• mesurer une activité passée• percevoir son évolution dans le temps • comparer cette activité avec une période de

référence.

Tableau d’activité

Page 70: Evaluation  des Politiques Publiques

70

Þ Il faut un destinataire qui exprime son besoinÞ C’est un ensemble de données organiséesÞ Il est composé d’indicateurs pertinents, c’est-

à-dire reliés à un objectif.Þ Sa présentation doit être simple et conviviale

(n’importe qui doit le comprendre)Þ Il doit être périodique à date fixeÞ Il faut toujours joindre un commentaire aux chiffresÞ C’est un outil d’anticipation et de management participatif (car il faut être d’accord sur un objectif).

Page 71: Evaluation  des Politiques Publiques

71

La fonction du tableau de bord

• Chaque niveau de pilotage a besoin d ’informations appropriées• Le tableau de bord traduit une mesure de résultats partiels à des fins de suivi d ’activités clairement identifiées• le tableau de bord est un outil destiné, après l’analyse à l ’action correctrice.

Page 72: Evaluation  des Politiques Publiques

72

Amener ainsi les gestionnaires :

• à rendre compte sur leur gestion

• à justifier les moyens utilisés

• à être responsable de domaines d’activités bien au delà du simple suivi budgétaire (latitudes d ’action/pouvoirs de décision)

Page 73: Evaluation  des Politiques Publiques

73

Fonctions du tableau de bord : synthèse

• Anticiper : objectifs majeurs/risques « majeurs »…

• Informer : de façon fiable et exhaustive…

• Dialoguer : décloisonner et mieux organiser…

• Etre performant : économie, efficience, efficacité...

Page 74: Evaluation  des Politiques Publiques

1ère étape

• Je m ’assure que les objectifs de mon service sont clairs, connus et mesurables

• MALINS

2ème étape

• J ’étudie le système de réalisation de mes prestations

• PERT

3ème étape

• Je définis les indicateurs qui paraissent, à mes collaborateurs et à moi-même les plus pertinents

• Ishikawa• Pareto

4ème étape

• J ’analyse dans quelles conditions l’information sera disponible

5ème étape

• Je formalise les indicateurs dans un tableau de bord et je m ’assure de la clarté du document

Méthodologie conseillée :

Page 75: Evaluation  des Politiques Publiques

1ère étape : • Je m ’assure que les

objectifs de mon service sont clairs, connus et mesurables

2ème étape : • J ’étudie le système

de réalisation de mes prestations

3ème étape : • Je définis les

indicateurs qui paraissent, à mes collaborateurs et à moi-même les plus pertinents

4ème étape : • J ’analyse dans

quelles conditions l’information sera disponible

5ème étape : • Je formalise les

indicateurs dans un tableau de bord et je m ’assure de la clarté du document

Page 76: Evaluation  des Politiques Publiques

Les pièges à éviter :

• ne pas associer les responsables

RESPONSABILITES

MOYENSNon Proportionnées Proportionnées

Inconnues REGLES D’EXPLOITATION DU TDB Connues

Page 77: Evaluation  des Politiques Publiques

Evaluation des Politiques Publiques

COMMUNIQUER

Page 78: Evaluation  des Politiques Publiques

•Générale•Long terme (mandat)

•Elus

ORIENTATION STRATEGIE OBJECTIFS DE CHANGEMENT

OBJECTIFS OPERATIONNELS CRITERES INDICACTEURS

Grace au tableau de bord/de suivi

•Générale•Long terme•Administration (DG)

•Situation de départ•Situation d’arrivée•Quels sont les éléments qui feront dire qu’il y a réussite

•Précision (QQOCP – MALINS)

•Déclinaison des objectifs opérationnels

•Eléments chiffrés et connectés aux objectifs (TDB et TDBP)

•Eléments chiffrés sur la vie quotidienne (TDSA)

Page 79: Evaluation  des Politiques Publiques

Le rapport final

Page 80: Evaluation  des Politiques Publiques

Evaluation des Politiques Publiques

PARTIE V. SYNTHESE CONCLUSIVE

Page 81: Evaluation  des Politiques Publiques
Page 82: Evaluation  des Politiques Publiques

Situation de départ

Orientation(normative) Décision Cibles

CommunicationInstitutionnelle,

ContrôleAudit

Evaluation

Résultats(outcomes)

Mise en œuvre

(outputs)

Etat d’espritThéorie d’actionThéories X et Y

QUANDMise sur agenda(Mandat – élus)

QUOIPOURQUOI POUR QUI

AVEC QUICOMMENT

Moyens - RessourcesOU

PESTEL – SWOT 5 M - PERT

QQOQCP Audit de territoire

client mystère

TDSAActions (SP)Contrôle de

Gestion(1 an)

TDBP(Mandat) MOTIVATION

Mac-GregorObjectif personnel organisation

HerzbergInitiatives et élargissement

HerrmannPréférence Cérébrale

Evaluation Pertinence

Evaluation Efficacité

Evaluation Cohérence

Effets économique et Sociaux

(C, M et L terme)Evaluation Efficience

Pertinence Efficacité Cohérence Efficience Impacts SystémiquesEvaluation des Politiques Publiques

Fixation d’objectifs

TDBObjectifs

(3 ans)

Page 83: Evaluation  des Politiques Publiques

Les chiffres à retenir

Pour 1 orientation

• Maximum 3 objectifs à suivre• 3 indicateurs par objectifs soit 9 • Maximum 12 indicateurs• 1 pilote

Page 84: Evaluation  des Politiques Publiques

Evaluation des Politiques Publiques : Les outils

84

• L’orientation politique et stratégique• Analyser l’existant

– PESTEL– SWOT

• Se poser toutes les questions– QQOQCP

• Affiner– Ishikawa– Arbre des causes

• Rédiger ses objectifs– MALINS

• Co décider : Les mécanismes de la prise de décision– Savoir adapter son style– Maîtriser les outils d’aide à la décision– Communiquer ses décisions

Page 85: Evaluation  des Politiques Publiques

Orientation – Définition : Synthèse

85

• Vision• Futur

• Globale

• Dimension de communication (S

ens d

u ) s

ervi

ce p

ublic

De

voir

de n

eutr

alité

du

fonc

tionn

aireL’orientation politique :

idéologie

Politiques publiques évolution d'une situation donnée

StratégieEnsemble d’objectifs

Evaluation est faite sur la base de la qualité et de l’opportunité

Page 86: Evaluation  des Politiques Publiques

ORIENTATION

OBJECTIF DE CHANGEMENT

OBJECTIFS STRATEGIQUES

PLAN D’ACTION

CRITERES DE REUSSITE

INDICATEURS DE TABLEAUX DE BORDFormule de calcul

Indicateurs composites / d’impact(12 maxi)

AuditSituation InitialeAnalyse chiffrée

Observatoire

QQOQCP

MALINS

Valid

ation

s

TDB

TDB-PROSPECTIF

Page 87: Evaluation  des Politiques Publiques

Bibliographie, référence et webographie

– VOYER P., Tableau de bord de gestion et indicateurs de performance, 2ième édition, Presses de l'Université du Québec, Sainte-Foy, 1999.

– GERVAIS M., Contrôle de gestion, 5ème édition, Paris, ECOOMICA, 1994.

– CHIAPELLO E., DELMOND M-H. « Les tableaux de bord de gestion, outil d’introduction du changement », Revue française de gestion, n°97, janvier - février 1994 .

– DUCROCQ C., « Tableaux de bord électroniques : vers une utilisation généralisée dans l’entreprise ». Annales du Management, XII èmes journées nationales des IAE, Montpellier, 1994, Tome 2.

– CERUTTi O. et GATTINO B., Indicateurs et tableaux de bord, 2ème tirage, Paris, AFNOR Gestion, 1992.

– SULZER J.R., Comment construire le tableau de bord, 3è ed, Paris, DUNOD, 1987.

– SAULOU J.Y., Le tableau de bord du décideur, Paris, LES EDITIONS d’ORGANISATION, 1982.

– http://tableau-de-bord-excel.piloter.org/essentiel-tableau-de-bord.htm– http://formation.enap.ca/tbord/tourguide.htm– http://www.lentreprise.com/article

Page 88: Evaluation  des Politiques Publiques
Page 89: Evaluation  des Politiques Publiques

ANNEXESEvaluation des Politiques Publiques

Page 90: Evaluation  des Politiques Publiques

EXEMPLES D’INDICATEURS

Page 91: Evaluation  des Politiques Publiques

Les indicateurs sociaux territoriaux

Page 92: Evaluation  des Politiques Publiques

92

Données démographiques et renseignements généraux :Croissance démographiqueComposition des ménages et des famillesRevenu moyenLocataires et propriétairesMobilité de la populationProportion née à l’étrangerGroupes de nouveaux arrivantsLangue parlée à la maisonMinorités visiblesPopulation autochtone

Logement abordable et convenable:30 % et + du revenu pour le logement50 % et + du revenu pour le logementBesoins impérieux de logementLogements inférieurs aux normesLe visage changeant des sans-abriTaux d’inoccupationMises en chantier de logements locatifsLoyer mensuel

Engagement civique:Participation au scrutinFemmes dans les gouvernements municipauxTirage des journauxBénévolatDons de charité

Infrastructures communautaires et sociales:Listes d’attente pour le logement socialLoyers indexés sur le revenuPrestations d’aide socialePlaces subventionnées en garderieCoûts des transports collectifsProfessionnels des services sociauxDépenses privées pour soins de santé

Éducation:Niveau d’étudesNiveau d’alphabétisationÉducation des adultesDépenses d’éducationÉlèves par classeRatio élève/enseignantFrais de scolarité au postsecondaireDépenses pour études privées

Emploi:Taux de chômage/emploiQualité des emploisChômage de longue duréeRemplacement de la main-d’œuvre

Économie locale:Faillites d’entreprisesFaillites de consommateursTaux de rémunération horaireChangement dans le revenu familialPermis de construction

Milieu naturel:Qualité de l’airTransport urbainDensité de populationConsommation de l’eauTraitement des eaux uséesDéchets solidesEmpreinte écologiqueQualité des cours d’eau de baignade

Santé personnelle et communautaire:Nouveau-nés de faible poidsGrossesses parmi les adolescentesMortalité de bébés prématurésHeures de travail perduesSuicidesMortalité infantile

Sécurité financière personnelle:Abordabilité de la collectivitéFamilles vivant de l’AE/aide socialeRatio de dépendance économiqueFamilles monoparentalesProportion de familles à faible revenuEnfants vivant dans la pauvretéÉcart de revenu

Sécurité personnelle:Jeunes contrevenantsCrimes violentsCrimes contre la propriétéBlessures et empoisonnements

Page 93: Evaluation  des Politiques Publiques

Exemples d’indicateurs• Indicateurs de résultats

– Nombre de kilomètre de pistes cyclables– Nombre de points d’apports volontaires / habitant– Consommations énergétiques liées à l’éclairage public– Nombre de nouvelles places d’accueil petite enfance

• Indicateurs d’impact– Emissions annuelles de CO2 en tonnes par habitant sur le

territoire– Qualité globale des cours d’eau / points de surveillance– Nombre de personnes souffrant de pathologies liées à la qualité

de l’air– Proportion de personnes vivant en deçà du seuil de pauvreté

Page 94: Evaluation  des Politiques Publiques

Exemples d’indicateurs de développement durable urbain - ARPE

RESPECT DES EQUILIBRES ECOLOGIQUES• Espaces verts boisements et zones nat. : Offre en espace verts entretenus par

habitants • Protection des ressources en eau douce et de leur qualité :

– Prix de l'eau : écart au prix moyen national – Qualité de l'eau produite : pourcentage de non-conformité des analyses microbiologiques.

• Déchets : Taux de détournement pour valorisation

RESPECT DES EQUILIBRES ECOLOGIQUES <> DEVELOPPEMENTSOCIAL• Qualité de l'air et bruit

– Emission de gaz responsables de la pollution atmosphérique (rejet Nox en kg/ha) – Proportion des déplacements domicile-travail réalisés en transport en commun

• Agriculture périurbaine : Proportion des exploitations signataires d'une démarche labellisée

• Risques majeurs : Niveau d'exposition aux risques naturels et industriels

RESPECT DES EQUILIBRES ECOLOGIQUES <> DEVELOPPEMENT SOCIAL • Urbanisation : Indice de consommation d'espace – évolution sur les 5 dernières

années

Page 95: Evaluation  des Politiques Publiques

Exemples d’indicateurs de développement durable urbain - ARPE

DEVELOPPEMENT ECONOMIQUE <> ENVIRONNEMENT• Certification : Part des salariés d'établissements privés certifiés ISO 14001

DEVELOPPEMENT ECONOMIQUE• Diversification de l'activité : nombre d'établissements privés pour 1000

habitants• Emploi : Evolution du nombre d'emplois

DEVELOPPEMENT SOCIAL <> ACTION ECONOMIQUE• précarité et exclusion : Part de la population vivant en-deçà du seuil de

pauvreté

DEVELOPPEMENT SOCIAL• Démographie : Taux d'accroissement de la population• Logement social : Proportion des logements locatifs sociaux• Santé : temps d'accès au services d'urgence minutes• Education,formation : Proportion des 15 ans et plus non-titulaire d'un diplôme

qualifiant• Patrimoine, culture, sport et loisirs

– Nombre de livres empruntés dans les bibliothèques– Nombre de monuments inscrits et classés

Page 96: Evaluation  des Politiques Publiques

Exemples d’indicateurs de développement durable urbain - ARPE

DEVELOPPEMENT SOCIAL (suite)• Sécurité des biens et des personnes : Taux de criminalité • Intégration des femmes : Taux de chômage féminin: écart au taux

moyen national

GOUVERNANCE• Finances et marge de manœuvre : Taux d'imposition: écart à la

moyenne nationale• Stratégies de développement durable

– signature de la charte d'Aalborg oui/non• Citoyenneté et démocratie

– Niveau d’implication des citoyens dans la décision– Taux d'abstention aux élections municipales et régionales