Recherche sur les indicateurs de performance

Recherche sur les indicateurs de performance

Emmanuelle Lussiez, UQAM sous la direction de Bernard Motulsky, titulaire de la Chaire

Le 14 février 2012

Chaire de relations publiques et communication marketing

LES

Adresse postale :

Case postale 8888, succursale Centre-ville

Montréal (Québec) H3C 3P8

Canada

Adresse géographique et messagerie :

Chaire de relations publiques et communication marketing

Pavillon AC, local AC-4100

1259, rue Berri

Montréal (Québec) H2L 4C7

Contact : Pauline Breduillieard, associée de recherche

[email protected]

Téléphone : (514) 987-3000, poste 0862

Télécopieur : (514) 987-0394

Adresse internet :

www.crpcm.uqam.ca

Méthodologie de la Recherche

LES

� Recherche bibliographique

� Consultation d'ouvrages jugés pertinents, particulièrement ceux de Thierry

Libaert & André De Marco (Les tableaux de bord de la communication, 2006)

et de Richard Thériault (La communication réseau, 2000).

� Recherche et consultation de divers rapports d'activité annuels.

� Compte-rendu des recherches effectuées et adaptation au cas demandé.

Plan de présentation

LES

1. Pourquoi évaluer la communication?

2. Quelques définitions

3. Identifier les utilisateurs

4. Différents champs d’évaluation

5. Identifier les objectifs de mesure de la performance

6. Conception, sélection et mise en page de l’indicateur

7. Exemples d’indicateurs pré-existants

8. Indicateurs spécifiques à l’objet d’étude

9. Evaluation de la « communication qualité » selon Thériault

10. Autres exemples: ville de Nantes, mission évaluation FSE, Ministère Budget France, enquête Vecteur Public, Inergie

11. Questions à soulever pour répondre à la demande


LES

Evaluer la communication pour:

- Améliorer la conception d'une stratégie de communication

- Justifier les budgets accrédités

- Mieux manager

- Mieux décider

- Légitimer et valoriser la place des communications dans une organisation

→ Outil de pilotage nécessaire !

« Evaluer les actions de communication, c’est se donner les moyens de rendre compte de

l’utilisation des ressources, de mesurer

les progrès mais aussi d’améliorer l’efficacité des actions » (Bessières, 2010)


LES

→ Fausse idée reçue que « la communication ne se mesure pas »

Or, l’évaluation est toujours possible et presque toujours quantifiable

→ Nécessité économique de l'efficacité: contexte de crise, budgets resserrés, demandes de retour sur investissement, contexte général de recherche de performance des organisations.

Professionnalisation grandissante des indicateurs de performance venant s’ajuster au développement des NTIC et d'Internet (piste: mesurer évaluation via les réseaux sociaux?).

Rigueur des pratiques de communication (organisation, prévision, gestion) dorénavant axée sur le management et l'évaluation.

Ce qui se mesure est mieux défendu, particulièrement en contexte de tension sur le niveau de dépenses.


LES

λ Tableau de bord (TDB) = « outil d’aide au management composé d’indicateurs

chiffrés, de synthèses, de graphiques et de commentaires » (T. Libaert).

Pour chaque objectif fixé est défini un indicateur spécifique.

Le TDB coordonne les équipe des communications et pilote les plans d’action.

λ Indicateur = représentation chiffrée d’un phénomène qu’on veut mettre sous

contrôle. Il en existe plusieurs types:

- Indicateur de pilotage

- Indicateur d’observation

- Indicateur de résultats

- Indicateurs de performance: doivent être capable de mesurer l’atteinte des objectifs de communication et de

rendre les résultats compatibles avec les autres indicateurs qualité.

L'indicateur doit être pertinent, fiable et compréhensible.


LES

λ Evaluation : « vérifier, à partir de critères déterminés au moment de la

définition des objectifs visés, que ces derniers ont bien été atteints. » (Libaert)

Elle peut porter soit sur la qualité des techniques et des moyens utilisés, soit

sur les performances des personnes, des équipes ou des prestataires.

λ Performance: figure moderne de l'évaluation dans la sphère publique.


LES

L'évaluation en communication

4 critères d'évaluation d'une opération de communication:

« Agrément, notoriété, attribution, compréhension »

(Marshall, 2008)

Evaluer efficacité, efficience, cohérence, pertinence.

« Dans la plupart des ministères on n’a pas choisi de faire entrer la communication explicitement dans le champ d’évaluation des

indicateurs de performance » (Bessières, 2010)


LES


Toute action de communication doit être évaluée au moins à l'aide d'une analyse

interne nécessitant aucun budget ou compétence particulière.

Une évaluation ne se fait pas exclusivement après l'action. Elle peut se faire en

amont (pré-test) ou en parallèle (monitoring).

→ L'évaluation doit donc être planifiée à temps et les objectifs de l'action précisés

à l'avance.


LES


Sources: Les systèmes de mesure de la performance, Editions d'Organisations, 1999.

3. Identifier les utilisateurs

LES

λ Avant d’identifier les utilisateurs du TDB, il serait important d’établir un

inventaire des TDB pré-existants des différentes directions de l'organisation

(afin qu'il y ait logique et cohérence dans la conception des indicateurs).

Le TDB doit ainsi correspondre à la culture de l'entreprise évaluée.

λ Identifier précisément les utilisateurs (Direction générale, Direction des

Communications, chargés de com, autres prestataires et parties prenantes)

afin d’adapter chaque TDB aux attentes et besoins de chacun.

4. Différents champs d'évaluation possibles

LES

Que cherche-t-on à évaluer?

Exemples:

A. L’image de l’institution (communication institutionnelle)

B. La communication interne

C. Les relations presse

D. Les relations publiques

E. La communication de crise

F. La publicité institutionnelle

G. La communication financière

H. Le mécénat, sponsoring

I. La communication évènementielle et les sites Web

5. Objectifs d'évaluation

LES

λ Difficulté: ne pas mélanger les types et méthodes d'indicateurs (on ne mesure

pas de la même manière un article rédactionnel et un message publicitaire)

λ Il faut définir les indicateurs dès la conception du plan d’action et des objectifs

de communication.

λ Pour ce, il faut pouvoir définir des objectifs quantifiables en action concrètes,

préciser les cibles, fixer le périmètre géographique, les résultats à atteindre,

l'échéance finale...

Ex: Pas de « améliorer l’image de l’institution »

Mais: « accroître de 10% le jugement entreprise qui réalise des progrès dans

la protection de l’environnement de la part de tel public situé à tel endroit »

5. Objectifs d'évaluation

LES

3 catégories de mesure de la performance de la communication:

- Mesures directes d’éléments tangibles

ex : nombre de communiqués de presse diffusés, nombre d’articles publiés dans la presse, nombre de consultation de l’Intranet (et leur répartition par thèmes), nombre de demandes d’information, nombre de clients après une campagne etc.

- Mesures relatives

ex : sondages et études d’opinion ; elles peuvent s’exprimer soit en classement (ex : ordre de préférence) soit en pourcentage (ex : pourcentage de personnes ayant une même opinion).

- Mesures par traitement mathématique

ex : calcul de médianes des écarts-types, courbe de Gauss

6. Conception, sélection et mise en page de l'indicateur

LES

Conception des indicateurs (Libaert):

� Définir le champ de la mesure

� Déterminer les objectifs à atteindre (SMART = Spécifique, Mesurable,

Ambitieux, Réalisable, Temporel)

� Identifier les critères et établir leurs paramètres

� Composition de l’indicateur

� Définir l'unité de mesure: comptage, taux, ratio, notation ou indice?

� Evaluation de leur faisabilité

� Formalisation du système


LES

1. Composants de l’indicateur (Libaert):

- intitulé de l’indicateur

- objectif communication à mesurer

- définition précise de la mesure

- modalités de calcul

- fréquence de relevé

- responsables de la mesure

- mode de représentation (chiffre, symbole, graphique)

- utilisateurs

- mode et calendrier de diffusion des données.


LES

2. Choix de la mise en forme de l’indicateur (Libaert):

- Pictogramme

- Histogramme

- Graphiques

- Secteurs

- Camemberts

- Radars

- Mapping

Chaque mise en forme peut correspondre à des besoins particuliers.


LES

Grille de sélection de l’indicateur:

� Nom de l’indicateur

� Indispensables : note de 0 à 5 le besoin réel de l’indicateur

� Données existantes : noter si elles sont naturellement disponibles ou si elles nécessitent une recherche spécifique

� Quantité de travail nécessaire : évaluation du travail en temps et en coût

� Taux de fiabilité / Taux de compréhensibilité

� Taux de facilité de mise en œuvre

� Coût : addition des 4 colonnes pour avoir une estimation finale (le cabinet Occurrence estime par exemple qu’il faudrait tendre un ratio de 5% du budget com à la mesure de sa performance)

7. Exemples d'indicateurs pré-existants(Libaert)

LES

1. Sondages / baromètres

2. Enquêtes qualitatives

3. Indicateurs de volume en communication externe

4. Analyse des signes

5. Veille stratégique en intelligence économique


LES

1. Sondage: permet de mesurer par exemple la notoriété, l’image de l’institution,

les actions de parrainage, le climat social interne, les efficacités d’actions

évènementielles (on mesure le dynamisme, confiance, gestion, compétence,

proximité, efficacité, qualité, innovation, écoute, éthique, modernisme, bénéfice,

information, social).

Le sondage peut être aléatoire, stratifié, en grappe ou systématique

Limites: ne décèle jamais l’opinion réelle (écarts méthodologiques et

psychologiques), coût important, n'est jamais prédictif. Méthode figée et lente.


LES

2. Enquêtes qualitatives :

- Enquête écrite, téléphonique ou électronique

- Face-to-face par entrevue, focus groupe, observation ou expérimentation.

Limites : l’entretien ne fournit pas d’indicateur chiffré, il ne fait qu'identifier les

problèmes, attentes, divergences et blocages. Temps de préparation, de

réalisation, et d'analyse des résultats lent. Il peut cependant ouvrir sur de

nouvelles pistes de recherche.

Enquête écrite < téléphonique < électronique (rapidité et facilité de mise en

oeuvre)


LES

3. Indicateurs de volume (particulièrement utilisés en communication externe):

Informations quantitatives brutes

� Outputs: nombre de rapports d’activité diffusés, nombre de

communiqués de presse envoyés, nombre d’opération de mécénat,

nombre de salons faits, nombre d’encarts publicitaires achetés,

nombre d’opérations de relations publiques réalisées, nombre de

pages web mises en ligne.

� Occurrence rencontres cible / message: nombre de participants

aux conférences réalisées et aux opérations de relations publiques,

nombre d’articles de presse publiés, nombre de coupons-réponses

reçus après insertion, nombre et origine par catégories de clicks sur

site web, nombre d’appels téléphoniques sur numéro vert, nombre

de contacts opérés par la campagne publicitaire (unité de mesure :

Gross rating point)


LES

4. Analyse des signes

Etant donné que la diffusion de l’image d’entreprise est à 80% non-verbale, il faut pouvoir évaluer la performance de la perception sélective, notamment en communication externe

(ex: perception sélective, accueil téléphonique, architecture bâtiments etc. )

Outils de travail: sémiologie, sémiométrie, analyse de contenus, fréquence d’apparition de mots en relations presse etc.

5. Veille stratégique: prise en compte du positionnement concurrentiel.

8. Indicateurs spécifiques à l'objet d'étude

LES

A. La communication institutionnelle

B. La communication interne

C. Les relations presse

D. La communication de crise

E. La publicité institutionnelle

F. La communication évènementielle et les sites Web


LES

A. Evaluation de la communication institutionnelle:

Etude de notoriété, étude d'image, diagnostic e-réputation, analyse des outils de

communication, étude de lectorat...

Ex d’indicateurs: classement, indice image, taux de citation, indice notoriété,

baromètre notoriété, pré-tests, médiascopie, mesures d’audience, sondages

(téléphonique ou e-sondage), tracking, TRIM Corporate Reputation Radar,

enquête de logo, enquête de nom, enquête de signature.


LES

Evaluation de la communication externe avec parties prenantes

Types d’évaluation: respect des délais (implication), respect des budgets

(disponibilité), contribution à la fluidité des informations (réactivité), qualité du

suivi et du reporting, qualité des documents présentés, impact d’un outil de com,

diverses réactions à une décision mise en œuvre, identifier dans l’opinion les

freins ou les points d’appui


LES

B. Evaluation de la communication interne (½)

Objectifs de mesure: climat social (écoute réciproque, dialogue, considération, reconnaissance), adhésion au changement, réponses aux attentes des salariés, motivations ou engagement du personnel, qualité des canaux d’information, de consultation et d’expression, analyse du comportement des salariés, analyse de la typologie des salariés, performance des outils de communication

Outils de mesure: baromètre d’opinion interne, phase qualitative, questionnaire (au cours d’une réunion, à remplir seul, par téléphone, entretiens face à face, e-sondage)


LES

B. Evaluation de la communication interne (2/2)

Evaluation des outils et supports de communication:

1. Analyse des supports écrits ; audit des médias internes : « qui lit quoi ? »

2. Analyse du lectorat et de la diffusion des informations

3. Evaluation des réunions et de leurs contenus: taux d'assiduité et de participation, implication des participants, fréquence et durée des réunions

4. Audit de culture interne : méthodologie mixte

5. Consultation de l’Intranet.

6. Evaluation du réseau de correspondants (fluidité de la communication)


LES

C) Evaluer les relations presse (½)

1. Analyse de la diffusion

Types d’indicateurs: nombre de conférences de presse, nombre d’interviews, nombre de communiqués de presse, dénombrement des réponses quotidiennes aux demandes des journalistes (faire comparaisons temporelles etconcurrentielles).

2. Analyse des retombées médiatiques

Types d’indicateurs: étude comparée du nombre de messages publiés par rapport à l’ensemble des citations de l’institution, travail lexicographique de dénombrement de signes positifs ou négatifs. Cette étude est à mettre en rapport avec l’OVE (Occasion de voir ou entendre) afin de fournir le score UBM (Unité de Bruit médiatique) correspondant.


LES

C) Evaluer les relations presse (2/2)

Modèle de Lindemann et de MacNamara:

Processus d’évaluation des relations presse en 3 temps: émission, transmission et effet des messages.

Important: toujours prendre en compte l’état de la relation institution / média.

TDB mensuel ou trimestriel. Il doit comprendre:

� Volume d’articles publiés, évolution et comparaison avec concurrents

� Visibilité médiatique par support

� Visibilité médiatique par thèmes


LES

D. Evaluer la communication de crise

Types d’indicateurs:

� Avant: sensibilisation des cadres dirigeants, nombre de simulations, formation, gestion de risque

� Pendant: diffusion des informations, communication avec les parties prenantes, taux de réponse téléphonique, mail

� Après: mise en place du retour d’expérience (REX), mise en place des mesures correctrices suite au REX, enquête d’image


LES

E. Evaluer la publicité institutionnelle

Exemples d’indicateurs: prétests, eye-tracking, day after recall, folder, split run, médiascopie, tracking.

Exemples d’évaluation: évaluation des résultats obtenus par rapport aux objectifs fixés, évaluation de l’audience estimée, évaluation technique (score de reconnaissance, score d’impact, score spécifique, score d’attribution, score d’agrément, compréhension, acceptation, rétention, action)


LES

F. Evaluer la performance des sites Internet

Deux types de mesure:

1) Mesures de fréquentation: nombre de visites, nombre de pages vues, ventilation par rubrique consultées, origine géographique des adresses IP, origine d’entreprise etc.

2) Mesures d’audience: quantifier et qualifier les internautes (par sondage). Elaborer profil des internautes.

Types d’indicateur: baromètre e-corporate (de crmmetrix) conçu par Bernard Tavernier.

Evaluation à l'aide d'une check-list (conformité technique) ou analyse des logfiles(fichiers statistiques permettant d'évaluer l'utilisation du site).

9. Evaluation de la « communication qualité »

selon Thériault

LES

L’évaluation de la communication s’établit selon 4 rubriques:

- Coûts

- Productivité

- Efficacité & efficience

- Implantation des 8 principes du management qualité

« Mesurer la communication qualité, c’est non seulement mesurer le niveau de connaissance (…) mais c’est aussi mesurer l’efficacité de la diffusion de

l’information » (Thériault).


selon Thériault

LES

Thériault propose un mode d’évaluation qui distingue la capacité du processus diffuser de sa rétention, c’est-à-dire de l’acquisition de connaissances par les personnes identifiées à chaque système.

Répartition des indicateurs:

A. Indicateurs dont les résultats impliquent des correctifs prioritaires immédiats

B. Indicateurs dont les résultats impliquent des correctifs moyennement importants

C. Indicateurs à maintenir (représentants facteurs de performance du réseau de communication)

Pour lui, ces mesures seront évaluées par entretiens, questionnaires ou focus groupes uniquement.


selon Thériault

LES

8 indicateurs de performance proposés:

- 3 indicateurs du message: information, rétroaction et fréquence- Evaluation selon 4 catégories du message: « DEFI » (Connaissances

Dynamiques, Externes, Fondamentales ou Internes)

- Ex: Objectifs de l’ets, du service, clientèle, partenaires, produits, mission de l’ets, mission de la Direction, politique qualité, méthode, structure,

priorités etc.

- 4 indicateurs de l’émetteur: quantité, qualité, cohérence, accessibilité- Evaluation selon 4 types d’émetteurs (« CALE »: émetteurs Coaxiaux,

Axiaux, Leader ou Externes)

- Ex: Equipe, service, clientèles, partenaires, produits, mission de l’ets, mission de la Direction, politique qualité, méthode, structure, priorités etc.

- 1 indicateur de moyen: le vecteur - Evaluation selon 4 catégories des moyens de communication (« POID »:

moyens Passifs, Ouverts, Interactifs, Dédiés)

- Ex: Lettre, affiche, babillard, bornes interactives, réunions diverses, Intranet, Extranet etc.

10. Exemple de la Ville de Nantes

LES

Le rapport annuel de 2010 de la ville précise les mesures d'évaluation qui ont été effectuées en communication interne:

� Analyse des effectifs permanents, mouvement du personnel, formations déployées, développement des compétences, pilotage de la masse salariale, aménagement du temps, absentéisme, conditions de travail, bilan dispositifs d’écoute

� Evaluation des actions: réalisations de publications périodiques, animation de la page d’accueil, développement de la com de proximité, accueil des nouveaux agents, accueils des nouveaux cadres, visites de sites et d’équipements

� Mesure du dialogue social: représentativités des organisations syndicales, instances paritaires

� Evaluation des différentes mesures mises en place de lutte contre la discrimination (mesurer la diversité et mixité de l’emploi)

10. Exemple de la Ville de Nantes

LES

� Objectifs: coordonner les services des collectivités, améliorer la cohérence de

l’action publique locale.

� Création du SIAD (Système d’information décisionnel): illustration de

l’amélioration de la performance.

� En ce qui concerne la mesure du climat interne: mesurer l’absentéisme,

accidents de travail, bilans de compétence, congés de formation

professionnelle, formation d’intégration et de professionnalisation, mobilité

interne, correspondances internes

� Mais le rapport annuel ne précise pas la méthodologie employée et les types

d'indicateurs proposés

10. Autres exemples

LES

Cas du Service de la Communication commun aux ministères de l'Economie

et du Budget (France): en 2008, le nouveau directeur structure une grille

d'indicateurs (logique inspirée du secteur privé):

Source: Bessières, 2010.

Ex:

10. Autres exemples

LES

Cas de la Direction Générale pour l'Armement (France) qui entreprend en

2002 une évaluation par reporting: évaluation de satisfaction par

questionnaire (communication évènementielle), en interne en termes de

respect des délais et des coûts.

Cas de la mission d'évaluation du FSE (Fonds Social Européen): lors de son

rapport annuel de 2009, le FSE a effectué une campagne d'évaluation des

communications (double objectif: opérationnel & stratégique).

Objectif: réaliser un bilan raisonné des actions de communication.

Méthode: entretiens de cadrage au niveau national (puis zoom sur

responsables communication de 4 régions). Méthode basée sur travaux de

collecte et d'entretiens.

10. Autres exemples

LES

Enquête Vecteur Public sur les pratiques et méthodes d'évaluation des

communications dans les collectivités territoriales en France:

L'enquête montre que sur l'ensemble des collectivités territoriales ayant réalisé

une évaluation de leur communication au cours de ces 5 dernières années:

- 62% ont évalué le magasine ou le journal de la collectivité

- 54% ont évalué le site Internet de la collectivité

- 22% ont évalué un ou plusieurs évènements

- 18% ont évalué les stratégies de com externes

- 14% ont évalué les outils de communication interne

- 12% ont évalué les relations presse

(Source: Vecteur Public, enquête 2010)

10. Autres exemples

LES

La même enquête met en avant la diversité des méthodes utilisées:

- 54 % des collectivités ont utilisé un questionnaire papier

- 35% ont utilisé l'analyse des statistiques du site Internet

- 25 % ont pratiqué des enquêtes qualitatives

- 25% ont pratiqué des enquêtes téléphoniques

- 25% ont pratiqué des enquêtes via Internet

- 15% ont utilisé des études sur les retombées presse

- 8% ont effectué des analyses sémantiques des outils

=> Le papier apparaît comme l'outil incontournable de l'évaluation, malgré le

temps de traitement et le coût qu'il génère.

(Source: Vecteur Public, enquête 2010 – Benoît de Vasson directeur fondateur)

10. Autres exemples

LES

Inergie, cabinet indépendant de conseil en management, propose comme outils

et mesures d'évaluation:

- Le barocom: baromètre de communication interne

Méthode qualitative (étude lectorat du journal interne, analyse des

pratiques d'information et des attentes par cible, analyse du

contenu et de la perception des supports): entretiens individuels

ou focus groupe.

- Le baroclim: baromètre de climat interne

Méthode quantitative par questionnaire fermé (40 à 60 questions

d'opinion sur échelle à 4 niveaux de satisfaction)

11. Questions à soulever

LES

� Savoir précisément ce que vous cherchez à évaluer afin de trouver

l'indicateur adéquat:

- quel type de communication souhaitez-vous évaluer?

- voulez-vous évaluer la performance et la prestation de la

communication, celle des outils, des stratégies ou encore des

supports de communication?

� Dresser une liste des utilisateurs principaux

� Dresser une liste des éventuels indicateurs ou TDB pré-existants

� Quelle finalité? Ces indicateurs auront-ils pour but d'être publiés ou diffusés

auprès des salariés, aux autres services ou parties prenantes? Ou resteront-

ils confidentiels?

11. Questions à soulever

LES

� Quel serait le budget consacré à l'évaluation de la performance?

� A quelle fréquence préférez-vous que votre évaluation soit réalisée

(mensuelle, trimestrielle, annuelle, ou de façon ponctuelle?)

� Avez-vous une préférence dans le type, la forme et l'unité de l'indicateur? En

comptage (unités), en taux (pourcentage), en ratios (rapports entre quantités

d'unités différentes), en notation (appréciation obtenue par grille) ou en

indice?

� Quelle est la typologie de l'Intranet utilisé? Audit du journal interne?

(distribution, lectorat, fréquence de diffusion et de lecture, circularité des

informations, maquette et cahier des charges liés à la publication etc.)

� Avez-vous recours à d'autres éventuels supports médiatiques? (SMS,

réseaux sociaux, blogs...)

Recherche effectuée en janvier 2012 par Emmanuelle Lussiez, sous la

direction de Bernard Motulsky

[email protected]@yahoo.fr

Documents

Recherche sur les indicateurs de performance