Upload
pedagoform-pedago
View
1.042
Download
4
Embed Size (px)
DESCRIPTION
Citation preview
Synthèse d'étudeLes pratiques d'évaluation des formations
des entreprises françaises en 2011
Dernière modification : 25/08/11 - 12:28:19
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |1
© Formaeva
À propos de Formaeva
L'équipe Formaeva a développé une plateforme web d'évaluation des
formations puissante, flexible et simple d'utilisation. Capitalisant sur
les technologies les plus abouties et plusieurs années de recherche et
développement, elle permet de mesurer l'impact des formations sur
les connaissances, les compétences et les performances de l'entre-
prise. À ce titre, elle permet la mise en œuvre de toutes les pra-tiques d'évaluation des formations (évaluation des réactions, de l'ap-
prentissage, du transfert des acquis de la formation, de leur impact
opérationnel, etc.).
Véritable outil de mesure de la qualité de service, Formaeva consti-
tue le support d'une communication transparente entre les acteurs de
la formation : participants, managers, formateurs, responsables for-
mation, etc. La neutralité du tiers-évaluateur facilite la collecte des
informations et crédibilise la diffusion ultérieure des résultats inalté-
rés auprès des directions, comités d'entreprise, supports commer-
ciaux, etc.
Aujourd'hui, Formaeva fait se rencontrer les plus grandes entreprises françaises (Arkema, Auchan, Groupe BPCE, Groupe La Poste, RATP,
Saint Maclou, Sodexo, etc.) et les organismes de formation les plus
attentifs à la qualité de leurs prestations.
Pour en savoir plus : [email protected]
Le site de Formaeva : http://www.formaeva.com
Le blog de Formaeva : http://blog.formaeva.com
Une rapide présentation des fonctionnalités de la plateforme :
http://www.formaeva.com/files/documents/ressources/survol-formaeva.p df
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |2
© Formaeva
Synthèse
Ce document propose une synthèse d'une étude menée entre le 12
mai et le 30 juin 2011 par Formaeva, portant sur les pratiques d'éva-
luation des formations des entreprises françaises. L'objectif principal
de cette étude était de bien identifier les pratiques d'évaluation des
formations des entreprises étudiées du point de vue :
Du contenu : quels résultats de la formation sont évalués ?
Des méthodes : comment ces résultats sont-ils évalués ?
Des objectifs : pourquoi ces résultats sont-ils évalués ?
Vous trouverez dans ce document un rapide rappel méthodologique
quant à la démarche d'enquête mise en œuvre, puis une présentation
des résultats pour chaque niveau d'évaluation, comprenant des don-
nées qualitatives (verbatims) et quantitatives.
A titre de synthèse, nous pouvons mettre en exergue deux enseigne-ments majeurs de l'étude de 2011.
Les pratiques d'évaluation demeurent peu développées, tant au
sein des entreprises (les « demandeurs de formation ») que des orga-
nismes de formation (les « offreurs de formation »). Comme en 2010,
l'évaluation des réactions (niveau 1) est la plus pratiquée, limitant
donc principalement le rôle de l'évaluation de la formation au simple
fait de questionner le degré de satisfaction des formés, sans savoir ce
qu'il a appris (niveau 2), s'il se sert de ce qu'il a appris en situation de
travail (niveau 3) et si cela a un impact positif sur les résultats de l'or-
ganisation (niveau 4). Ce constat en rejoint un autre, qui est que plus l'on progresse dans la hiérarchie des niveaux, plus rares se font les évaluations. Il s'agissait là aussi d'une conclusion de l'étude de 2010.
Le tableau de la page suivante compare justement les d'ailleurs inté-
ressant de comparer les chiffres de 2010 et de 2011. Précisons toute-
fois que les échantillons diffèrent entre les études, tant dans le
nombre d'organisations participantes que dans leur type (même si plu-
sieurs organisations ont participé aux deux éditions de l'étude). Les
chiffres ne sont donc donnés qu'à titre indicatif.
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |3
© Formaeva
2010
(N = 80)
2011
(N = 60)
Évolution
(2010/2011)
Niveau 1 :
Réactions
Évaluation formelle 81,3 % 93,3 % + 12
Évaluation informelle 17,5 % 6,7 % - 10,8
Pas d'évaluation 1,3 % / - 1,3
Niveau 2 :
Apprentissage
Évaluation formelle 60 % 55 % - 5
Évaluation informelle 22,5 % 11,7 % - 10,8
Pas d'évaluation 17,5 % 33,3 % + 15,8
Niveau 3 :
Comportements
Évaluation formelle 36,3 % 35 % - 1,3
Évaluation informelle 25 % 11,7 % - 13,3
Pas d'évaluation 38,8 % 53,3 % + 14,5
Niveau 4 :
Résultats
Évaluation formelle 13,8 % 13,3 % - 0,5
Évaluation informelle 21,3 % 6,7 % - 14,6
Pas d'évaluation 65 % 80 % + 15
Hormis pour l'évaluation des réactions (niveau 1), dont les pratiques
d'évaluation sont à la fois plus fréquentes et formalisées en 2011 qu'en
2010 (tous les répondants évaluant d'ailleurs à ce niveau), les autres
pratiques d'évaluation formelles sont plus rares aux niveaux 2, 3 et 4.
Il est ainsi intéressant de noter que l'obligation légale (partielle)
d'évaluation des acquis n'a pas pour le moment contribuer à dévelop-
per l'évaluation de l'apprentissage, tout du moins au sein des organi-
sations de l'échantillon. Faut-il en conclure que les résultats des for-
mations sont moins évalués dans ces organisations ? Nous ne le pen-
sons pas. Une hypothèse crédible est que les chiffres de 2011 sont
plus réalistes que ceux de 2010, principalement du fait d'une plus
grande connaissance du modèle de Kirkpatrick par les répondants,
donc de confusions moins fréquentes de leur part quant à l'objet de
chaque niveau d'évaluation et, in fine, de réponses plus proches de la
réalité de leurs pratiques. Cela nous semble d'autant plus possible que
parmi les répondants à l'enquête figurent plusieurs clients de Formae-
va ou des lecteurs réguliers de notre blog et de notre lettre d'informa-
tion. Autant de professionnels des RH et de la formation régulière-
ment sensibilisés aux enjeux de l'évaluation des formations et à l'inté-
rêt d'utiliser un modèle comme celui de Kirkpatrick pour évaluer ses
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |4
© Formaeva
formations (sans rester dans le « flou » conceptuel des évaluations « à
chaud » et « à froid » qui, dans le fond, ne signifient pas grand
chose).
Comme en 2010, la rareté des évaluations aux niveaux 2, 3 et/ou 4 a
comme cause majeure la difficulté à penser l'évaluation comme un processus à part entière. Outre les aspects méthodologiques (ex :
comment isoler l'impact de la formation au niveau 4 ?), nous remar-
quons encore que trop de formations sont initiées sans qu'un besoin
réel n'ait été identifié en amont et que des objectifs de formation
concrets (observables et mesurables en situation de travail) ne soient
définis, que trop d'évaluations n'impliquent pas réellement les mana-
gers des formés, que trop de résultats ne sont pas analysés, communi-
qués et exploités à bon escient, etc. Dans nombre d'esprits, l'évalua-
tion est encore trop souvent limitée à un envoi de questionnaire, que
l'on aurait parfois informatisé. Or, une évaluation pertinente et effi-cace de la formation devrait être pensée comme un processus structurant complètement l'action de formation. C'est lorsqu'elle est
pensée en ce sens que l'évaluation peut servir au-delà de la seule ac-
tion de formation et devenir un outil de management, accompagnant
les opérationnels dans le suivi du développement des compétences de
leurs équipes. Il est satisfaisant de constater que plusieurs partici-
pants à l'enquête l'ont bien intégré et travaillent en ce sens.
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |5
© Formaeva
Méthodologie
P l a t e f o r m e u t i l i s é e p o u r l ' e n q u ê t e
La plateforme Formaeva a été utilisée aux différents moments de l'enquête : création du
questionnaire, relances automatisées des participants n'ayant répondu que partiellement au
questionnaire, analyse des données, restitution des résultats.
A c c e s s i b i l i t é e t p u b l i c a t i o n d e l ' e n q u ê t e
L'enquête a été lancée le 12 mai 2011 et le questionnaire fut accessible jusqu'au 30 juin 2011
(date de clôture de l'enquête). La promotion de cette enquête s'est faite essentiellement via
la lettre d'information de Formaeva ou son blog (http://blog.formaeva.com), ainsi que par les
réseaux sociaux (ex : Facebook, LinkedIn, Twitter, Viadeo). Pour favoriser la participation à
l'enquête, il était clairement stipulé qu'une synthèse des résultats serait envoyée à tous les
participants.
R é f é r e n t i e l t h é o r i q u e
Les questions posées s'articulent essentiellement autour du modèle d'évaluation des forma-
tions à 4 niveaux de Donald Kirkpatrick :
Contrairement à l'édition précédente de cette étude (2010), nous avons volontairement écar-
té le cinquième niveau d'évaluation introduit par Jack Phillips, celui du retour sur investisse-
ment de la formation, ceci pour deux raisons. D'abord, l'étude de 2010 nous a montré que le
retour sur investissement de la formation était une expression quelque peu galvaudée,
plusieurs répondants évoquant explicitement le « ROI » de la formation en le confondant avec
d'autres niveaux d'évaluation. De plus, comme Kirkpatrick et ses partenaires, et après plu-
sieurs années à mener à bien divers projets d'évaluation des formations, nous pensons qu'il est
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |6
© Formaeva
préférable de raisonner en termes de retour sur les attentes (ROE – Return on Expectations)
que de retour sur investissement (ROI – Return on Investment), une approche plus pragma-
tique, réaliste et orientée vers le partenariat avec les managers.
D i s t i n g u e r l e f o r m e l d e l ' i n f o r m e l
Afin de mieux interpréter les résultats, il était demandé au répondant de faire la distinction
entre les pratiques d'évaluation formelles et informelles :
• Une évaluation formelle est une évaluation faite par toutes les personnes concer-
nées à l'aide d'un outil d'évaluation (ex : questionnaire, quiz, etc.).
• Une évaluation informelle est une évaluation menée par une personne qui recueille
auprès de quelques autres personnes des informations parcellaires ou anecdotiques sur la for-
mation.
P a r t i c i p a n t s à l ' e n q u ê t e
Au total, plus de 100 participants se sont inscrits pour participer à l'enquête. Toutefois, plu-
sieurs d'entre eux n'ont pu être retenus pour les besoins de l'analyse finale :
• Plusieurs n'ont pas complété le questionnaire, même après relance, et se sont donc
limités à l'inscription. Ils ne font donc pas partie de l'échantillon final.
• D'autres encore n'ont pas entièrement complété le questionnaire. Suite à une re-
lance, nous avons pu toutefois motiver certains à le terminer.
Afin de garantir la validité des informations communiquées, nous avions expressément men-
tionné l'obligation de renseigner son adresse électronique professionnelle. Dans le cas où il
s'agissait d'adresse électronique personnelle (ex : consultants indépendants), nous prenions
soin de vérifier l'existence de cette personne (généralement présente sur les réseaux sociaux
au sein desquels était diffusée l'invitation à participer à cette enquête). Au final, 60 partici-
pants ont été retenus.
R e p r é s e n t a t i v i t é d e l ' é c h a n t i l l o n
Notre échantillon est donc constitué de 60 organisations. Il n'est pas suffisamment important
pour prétendre à une certaine de représentativité statistique. Mais l'objectif de l'étude n'était
pas tant de prétendre à une certaine généralisation des résultats que d'étudier en profondeur
les dispositifs d'évaluation des formations mis en œuvre par certaines organisations.
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |7
© Formaeva
Voici les caractéristiques de cet échantillon :
Taille
(nb de salariés)
Moins de 100
28
Entre 100 et 499
16
Entre 500 et 999
13
Plus de 1 000
3
Type
d'organisation
Entreprise/Administration
32
Organisme de formation
21
Autre
7
Au niveau de la taille, nous pouvons noter une plus forte participation des organisations dont
l'effectif est inférieur à 500 salariés, tandis que les plus grandes organisations (effectif supé-
rieur à 1 000 salariés) se sont faites plus rares.
En ce qui concerne le type d'organisation, il apparaît que les entreprises et administrations
(les « acheteurs de formation ») représentent la majorité des participants à cette étude. Ar-
rivent ensuite les organismes de formation (les « offreurs de formation »), puis la catégorie
« Autre » au sein de laquelle figurent, notamment, les OPCA.
Enfin, il est à noter une certaine hétérogénéité des secteurs d'activités représentés. Sans
tous les lister ici, nous pouvons citer la participation d'entreprises du secteur du conseil (dont
quelques consultants indépendants), de la formation, de l'industrie, des banques-assurances,
de la grande distribution, de la restauration, du transport, etc.
A n o n y m a t e t c o n f i d e n t i a l i t é
Comme annoncé, aucune identité, liée au participant ou à son organisation d'appartenance,
ne sera divulguée dans le cadre de cette enquête. Par ailleurs, les données étant agrégées,
les réponses d'une organisation en particulier ne seront pas diffusées. Certains verbatim se-
ront cités, à titre d'illustration, sans toutefois qu'il soit possible d'identifier ni le participant,
ni son organisation.
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |8
© Formaeva
Niveau 1 : Les réactions
Les participants sont-ils satisfaits de la formation ? Ont-ils pris du plaisir à la suivre ? Y ont-
ils vu un intérêt ? Ce niveau d'évaluation (appelé aussi « satisfaction ») porte généralement
sur l'organisation de la formation, le contenu de la formation, les supports pédagogiques, la
structure de la formation, l'animation de la formation, etc.
R é s u l t a t s
Évaluez-vous les réactions des formés ?
Oui majoritairement de façon formelle
Oui majoritairement de façon informelle
Quel est l'objectif de cette évaluation ? Que faites-vous des résultats
après en avoir pris connaissance ?
Classiquement, les objectifs de cette évaluation peuvent être regroupés en 3 catégories. Pour
chacune d'elles sont mentionnés les éléments donnés par les répondants.
La rétroaction (feedback) : connaître le degré de satisfaction des formés, vérifier que la for-
mation a répondu à leurs attentes, identifier les principaux motifs de satisfaction et d'insatis-
faction (identifier les dysfonctionnements, mettre en évidence les axes d'amélioration), re-
cueillir les suggestions des formés, évaluer la qualité des contenus, des supports pédago-
giques, avoir la « température » de la formation, le vécu des formés, etc. Les entreprises y
voient également un moyen d'évaluer leurs prestataires (ex : ).
La prise de décision : une fois en possession des informations collectées au point précédent,
différentes actions peuvent être mises en œuvre en vue d'améliorer en continu la qualité des
formations. Les répondants citent ainsi des exemples relatifs tant à la formation (ex : adapta-
tion du contenu, réutilisation de ce qui a été apprécié, modification et adaptation de ce qui
l'a moins été, etc.) qu'au(x) formateur(s), ainsi que l'explique l'un des répondants : « Ces ré-
sultats sont tracés dans le plan de formation pour évaluer les prestataires, leurs interve-
nants, cela peut participer de la sollicitation future pour des consultations ou choix de pres-
tataires ». Les actions peuvent aussi porter sur des éléments extérieurs à la formation. L'un
des répondants explique ainsi l'importance des résultats de cette évaluation pour travailler
sur l'amont de la formation (entretien préalable entre le formé et son manager, partage des
objectifs, engagement de moyens, etc.). Enfin, certains organismes de formation analysent
les résultats à ce niveau pour, le cas échéant, prendre contact avec le formé en cas d'insatis-
faction et trouver avec lui (ou le responsable formation) une solution.
La communication (marketing de la formation) : les résultats issus de cette évaluation, tout
comme les décisions et actions d'amélioration qui peuvent en découler, peuvent être commu-
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |9
© Formaeva
niqués à différents acteurs. Dans une logique de « marketing de la formation », cette commu-
nication peut servir à valoriser l'action des acteurs de la formation (tant celle des membres
du service RH-formation que celle des prestataires). C'est ainsi que certains répondants uti-
lisent ces données pour alimenter un tableau de suivi dans le cadre du système de manage-
ment de la qualité de l'entreprise, réaliser un bilan qualitatif des formations, présenter une
synthèse lors de la tenue du Comité d'orientation stratégique de la formation, etc. Certains
prestataires de formation communiquent également les résultats afin d'améliorer l'efficacité
de leur partenariat avec leurs clients : « Ces résultats sont communiqués au client et font
l'objet d'un débriefing ensemble pour ajuster si nécessaire la formation (ou les suivantes)
et/ou accélérer les suivantes ».
Du total des formations données en un an, quel pourcentage d'entre
elles évaluez-vous à ce niveau ?
(51 organisations sur 60 se sont ici exprimées)
100 % des formations 43 organisations
Entre 90 et 100 % des formations 5 organisations
30 % des formations 1 organisation
5 % des formations 2 organisations
Il est intéressant de noter que 2 des organisations évaluent au maximum 5 % de leurs forma-
tions à ce niveau, ce qui est assez exceptionnel .
A quel moment réalisez-vous cette évaluation ?
Pendant la formation
Juste après la formation
Les jours suivant la formation
Plusieurs semaines après la formation
Plusieurs mois après la formation
Comme souvent, l'évaluation des réactions est réalisée « à chaud », c'est-à-dire juste après la
formation. Lorsqu'elle est réalisée à l'aide d'un questionnaire au format « papier » (évaluation
formelle) et/ou oralement par le formateur(évaluation informelle), elle a généralement lieu
à la toute fin de la formation. Lorsqu'elle est réalisée à l'aide d'un questionnaire d'évaluation
en ligne (ex : envoi d'un courriel au formé et relances automatisées), l'évaluation a souvent
lieu 24 à 48 heures après la formation, procédant alors à une évaluation « à tiède ». Contrai-
rement aux usages, il est intéressant de noter que certains évaluent les réactions des formés
« à froid », plusieurs semaines, voire plusieurs mois, après la formation. Outre le fait que l'on
risque de questionner les formés sur des éléments déjà lointains (au moins dans leur esprit),
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |10
© Formaeva
le fait de décaler à ce point cette évaluation ne permet pas de réagir rapidement, notam-
ment en réponse à de possibles insatisfactions.
Qui participe à l'évaluation ?
Le formé
Le formateur
Le service formation
Le manager du formé (son N+1)
Autre(s)
Sans surprise, le formé demeure l'acteur central de l'évaluation des réactions. Interviennent
ensuite, plus ponctuellement, le formateur (qui peut aussi faire part de son avis sur différents
éléments de la session), le service formation et, plus rarement encore, le manager du formé.
Hormis le formateur pour lequel l'évaluation peut être formalisée (ex : compte-rendu écrit
remis au commanditaire), l'évaluation réalisée par le service formation et/ou le manager du
formé est bien souvent informelle(ex : clôture de session, échange rapide au détour d'un cou-
loir, bref entretien de retour au poste, etc.).
Pourriez-vous décrire le ou les outils que vous utilisez pour cela ?
L'évaluation des réactions se fait de manière informelle (ex : tour de table par le formateur,
débriefing rapide par le service formation et/ou le manager du formé, etc.) et/ou formelle
(généralement un questionnaire). C'est ce second cas qui est le plus fréquent. Les caractéris-
tiques principales des questionnaires utilisés par les répondants sont les suivantes :
La forme des questionnaires : généralement composés de questions fermées (majoritaires)
et de quelques questions ouvertes, le nombre de ces questions varie de 6 à 25. Les échelles
de réponse utilisées sont du type « 1 à 4 », « 0 à 5 » ou « 1 à 5 ».
Les items : variables d'un questionnaire à l'autre, certains items n'en demeurent pas moins
des « classiques ». Sont ainsi cités par les répondants : la préparation de la formation en
amont, l'organisation/la logistique (ex : conditions matérielles), le contenu/le programme
(ex : importance des thèmes), la structure de la formation (ex : rythme, durée, équilibre
théorie/pratique...), l'animation (ex : qualité du formateur, échanges entre les formés...),
les supports pédagogiques, l'utilité/la pertinence de la formation, les points forts et les points
d'amélioration, la satisfaction globale, la réponse au besoin/aux attentes, etc.
Mode d'administration : il s'agit soit un questionnaire « papier » (généralement distribué en
fin de formation) ou d'un questionnaire en ligne (envoyé au lendemain de la formation, par
exemple via une solution dédiée comme Formaeva).
Type de traitement : lorsqu'elle est réalisée à l'aide d'un questionnaire « papier », les résul-
tats sont soit retraités et consolidés sous Excel, soit parcourus rapidement avant d'être archi-
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |11
© Formaeva
vés (il n'y a intervention qu'en cas d'insatisfaction). De plus, dans ce cas, comme le note un
formateur, il n'y a que « Peu d''exploitation possible car le questionnaire est le plus souvent
incomplet ». Ce problème n'est pas soulevé pour les répondants utilisant un questionnaire en
ligne qui permet d'agréger plus facilement les résultats, de suivre leur évolution dans le
temps et/ou de les communiquer..
A n a l y s e
L'évaluation des réactions est la plus pratiquée, tant par les entreprises que les organismes de
formation. Il est à noter que, bien qu'étant le niveau d'évaluation le plus connu du modèle de
Kirkpatrick, il subsiste une confusion entre les différents niveaux. Ainsi, à la question portant
sur les objectifs de cette évaluation, plusieurs répondants nous ont livré des éléments portant
sur d'autres niveaux, comme l'apprentissage et les comportements (ou transfert), par
exemple : « L'évaluation sert à savoir si les stagiaires ont élargi leurs connaissances et sur-
tout s'ils ont l'intention de mettre les acquis en place dans leur quotidien professionnel »,
« développement des compétences », « Vérifier l'adéquation entre les attendus du salarié,
ceux du manager et les acquis post-formation », « Faire le lien entre les objectifs pédago-
giques et les éléments assimilés ». L'appropriation d'un modèle d'évaluation (comme celui de
Kirkpatrick) par les professionnels de la formation nous semble être un point important pour
faire progresser les pratiques d'évaluation des formations et pour que les évaluations gagnent
en cohérence.
Pour le reste, nous pensons que les préconisations émises lors de l'étude de 2010 restent va-
lables, tant il est vrai que l'évaluation des réactions demeure encore insuffisamment exploi-
tée. Une évaluation plus professionnelle des réactions (niveau 1) nécessite donc de travailler
sur la qualité de l'évaluation elle-même (en formalisant l'évaluation pour pouvoir quantifier
la satisfaction, facilitant ainsi l'analyse des chiffres et la mise en œuvre d'actions ciblées), la
mise en œuvre de l'évaluation (notamment pour accroître et maintenir des taux de retour
élevés, permettre au service de formation de gagner du temps via l'automatisation du proces-
sus d'évaluation des formations et ainsi se concentrer sur l'essentiel, etc.) et, enfin, l'utilisa-
tion et la communication des résultats (analyser les résultats, envisager des actions ciblées
pour améliorer en continu la qualité et l'efficacité des formations, communiquer ces éléments
aux différents acteurs pour, enfin, valoriser la fonction formation).
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |12
© Formaeva
Niveau 2 : L'apprentissage
Qu'ont appris les participants au cours de la formation ? Ce niveau d'évaluation porte généra-
lement sur l'acquisition de savoirs au cours de la formation (savoir, savoir-faire et/ou savoir-
être), donc sur le degré d'atteinte des objectifs pédagogiques de la formation.
R é s u l t a t s
Évaluez-vous l'apprentissage ?
Oui majoritairement de façon formelle
Oui majoritairement de façon informelle
Non
Quel est l'objectif de cette évaluation ? Que faites-vous des résultats
après en avoir pris connaissance ?
Les objectifs avancés par les répondants peuvent s'inscrire dans les deux grands types d'éva-
luation de l'apprentissage :
Évaluation formative : cette forme d'évaluation a généralement lieu au cours de la formation
et produit une information à destination des formateurs et/ou des formés, leur permettant
d'apprécier la progression des connaissances, d'identifier les axes de progrès, d'adapter le
contenu du programme et/ou les méthodes pédagogiques en fonction, etc. L'un des presta-
taires de formation explique recourir à ce type d'évaluation pour « Contrôler tout au long de
la formation l'acquisition de connaissances ou « compétences » pour pouvoir revenir si besoin
est dessus en cours de session ».
Évaluation sommative : cette forme d'évaluation vise à valider les acquis de la formation, à
vérifier que les connaissances ont bien été assimilées, donc que les objectifs pédagogiques
ont été atteints. Elle a généralement lieu à la fin de la formation. Pour l'un des répondants, il
s'agit de « Vérifier essentiellement que les connaissances fondamentales ont été acquises »
et, en cas d'écart, de « revenir vers le formé pour consolider les connaissances man-
quantes ». L'un des répondants explique aussi utiliser les résultats de cette évaluation pour
évaluer la pertinence des objectifs pédagogiques, qui pourrait se résumer ainsi : « Cette éva-
luation permet de s'assurer que la formation est conforme au cahier des charges, que le
choix de la formation est adapté au plan de formation et à la demande et que cela a permis
au collaborateur d'acquérir de nouvelles connaissances pour répondre à des problématiques
du quotidien ».
Peu d'informations ont été livrées par les répondants quant à l'utilisation qui est faite de ces
résultats, seul l'un expliquant transmettre une synthèse des résultats aux concepteurs du dis-
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |13
© Formaeva
positif de formation, dans une logique d'amélioration continue.
Du total des formations données en un an, quel pourcentage d'entre
elles évaluez-vous à ce niveau ?
(33 organisations sur 60 se sont ici exprimées)
100 % des formations 19 organisations
Entre 90 et 100 % des formations 2 organisations
Entre 60 et 80 % des formations 5 organisations
50 % des formations 4 organisations
Entre 10 et 30 % des formations 2 organisations
Enfin, une autre organisation différencie ses pratiques d'évaluation de l'apprentissage en
fonction des formations : elle évalue ainsi formellement l'apprentissage pour l'ensemble de
ses parcours d'intégration, mais ne prévoit rien pour les formations à la conduite d'engins qui
représentent 80 % de son plan de formation.
A quel moment réalisez-vous cette évaluation ?
Pendant la formation
Juste après la formation
Les jours suivant la formation
Plusieurs semaines après la formation
Plusieurs mois après la formation
L'évaluation de l'apprentissage est fréquemment menée juste après la formation, donc « à
chaud », souvent en même temps que l'évaluation des réactions. Notons qu'elle est parfois
menée « à froid », plusieurs semaines ou mois après la formation, ce qui équivaut à évaluer la
mémorisation des connaissances plutôt que leur seule acquisition.
Qui participe à l'évaluation ?
Le formé
Le formateur
Le service formation
Le manager du formé (son N+1)
Autre(s)
Le formé est le principal acteur de l'évaluation de l'apprentissage, soit parce qu'il participe à
une évaluation formalisée conçue par un tiers (ex : répondre à un quiz d'évaluation des
connaissances), soit parce qu'il est placé en situation d'autoévaluation (ex : il lui est demandé
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |14
© Formaeva
d'estimer sa progression pour chacun des objectifs visés par la formation). Parmi les autres
acteurs sont notamment cités les tuteurs.
Pourriez-vous décrire le ou les outils que vous utilisez pour cela ?
Les outils et méthodes utilisés par les répondants peuvent être catégorisés selon les deux
types d'évaluation décrits précédemment :
Évaluation formative (pendant la formation) : exercices, simulations (pour les formations en
développement personnel), quiz d'évaluation des connaissances, questionnements oraux, etc.
Évaluation sommative (après la formation) : quiz d'évaluation des connaissances (après
chaque module et/ou à la fin de la formation), autoévaluation (progression par rapport aux
objectifs visés par la formation), guide d'entretien (ex : avec le N+1, notamment dans le
cadre de l'entretien annuel, ou le RRH), etc.
L'un des organismes de formation met en œuvre un protocole d'évaluation assez sophistiqué :
un quiz d'évaluation des connaissances est proposé aux participants avant le début de la for-
mation, puis ce même quiz leur est soumis à nouveau après la formation. L'analyse des résul-
tats à cette évaluation permet de quantifier un gain d'apprentissage. L'ensemble de ce proto-
cole est informatisé à l'aide de la solution Formaeva. D'autres répondants réalisent également
l'évaluation en ligne via leur LMS (Learning Management System).
Il est donc à noter que le quiz d'évaluation des connaissances est un outil utilisé tant pendant
la formation qu'après celle-ci.
A n a l y s e
Si l'on compare les chiffres de cette étude avec ceux de l'étude de 2010, il ne semble pas que
l'obligation d'évaluation des acquis de la formation (introduite par la loi de 2009 sur la ré-
forme de la formation professionnelle continue) ait contribué à développer les pratiques
d'évaluation à ce niveau, tant au sein des entreprises que des organismes de formation pré-
sents dans notre échantillon. Bien que cette obligation soit finalement moins contraignante
que prévu (n'obligeant pas, par exemple, à une systématisation du quiz), il nous semble tou-
tefois important de disposer de données sur l'apprentissage pour, entre autres, ne pas se limi-
ter à savoir si le formé est satisfait de la formation, mais bien s'il en a retiré quelque chose.
Pour cela, les préconisations émises dans le cadre de l'étude de 2010 restent valables, notam-
ment deux d'entre elles qui sont dans l'esprit de ce qu'énonce la DGEFP en la matière :
Définir des objectifs de formation concrets en amont de la formation : bien trop de forma-
tions ne disposent pas d'objectifs formulés de façon à être observables et, donc, mesurables
en situation de travail (ex : « Être capable de... »). De bons objectifs de formation facilitent
ainsi l'évaluation de l'apprentissage (via une autoévaluation par les formés), « à chaud », mais
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |15
© Formaeva
aussi l'évaluation des comportements (ou transfert des acquis), « à froid ». Il est à noter que,
si l'obligation légale ne contraint pas à utiliser systématiquement une méthode formalisée
d'évaluation des acquis, elle oblige en revanche à livrer une attestation de formation au for -
mé, sur laquelle doivent figurer les résultats de l'évaluation des acquis ou, a minima, les ob-
jectifs de formation adéquatement formulés.
Apprendre n'est pas transférer : comme en 2010, nous avons relevé une grande confusion
entre l'apprentissage et le transfert. A la question portant sur l'objectif de l'évaluation de
l'apprentissage, plusieurs répondants livrent des éléments relatifs à l'évaluation du transfert :
« Apprécier l'utilisation des acquis en situation professionnelle », « Pour des formations ma-
nagériales, nous demandons aux N+1 de briefer leurs collaborateurs sur les finalités de la
formation qu'ils vont suivre, de fixer 2 ou 3 objectifs, de débriefer après la formation et de
faire un point après 6 ou 8 mois, mieux encore pendant l'entretien annuel ». Un autre répon-
dant nous explique aussi utiliser comme méthodes d'évaluation de l'apprentissage la « discus-
sion avec le manager », notamment « durant la revue de performance et de développe-
ment ». Il y a donc confusion entre l'apprentissage (qui se produit, le cas échéant, pendant la
formation et à l'issue de la formation) et le transfert de cet apprentissage sur le terrain (qui
peut alors être constaté par le manager, quelques semaines ou mois après la formation). Il
peut en effet y avoir apprentissage sans transfert, pour des raisons extérieures à la formation
elle-même (ex : la formation n'a pas été donnée au moment où il en avait le plus besoin).
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |16
© Formaeva
Niveau 3 : Comportements (transfert des acquis)
Ce qui a été appris est-il utilisé en situation de travail ? La formation a-t-elle modifié les
comportements au travail des salariés formés ? Ce niveau d'évaluation vise à s'assurer que ce
qui a été appris en formation est bien utilisé au travail (utilisation des acquis, mise en
œuvre de nouveaux comportements professionnels, etc.).
R é s u l t a t s
Évaluez-vous le transfert des acquis ?
Oui majoritairement de façon formelle
Oui majoritairement de façon informelle
Non
Quel est l'objectif de cette évaluation ? Que faites-vous des résultats
après en avoir pris connaissance ?
Les objectifs de cette évaluation pour les répondants peuvent être catégorisés ainsi :
Évaluer le transfert des acquis de la formation : qu'il s'agisse de « Vérifier la mise en œuvre
des nouveaux acquis », d'évaluer le « Changement de comportement professionnel », de
« S'assurer que ce qui a été appris en formation est bien utilisé au travail », de « Voir si les
stagiaires ont utilisé en situation de travail les apports de la formation », de « constater (ou
pas !) la mise en application sur le poste de travail, de passer de la théorie et de la bonne
volonté à l'expression concrète et opérationnelle dans le quotidien », « Valider l'atteinte des
objectifs de formation (compétences et comportements en situation de travail) par une réa-
lisation concrète », les réponses données correspondent toutes à l'évaluation du transfert des
acquis, faisant de cet objectif l'objectif prioritaire à ce niveau. Comme le mentionne l'un des
répondants, c'est à cette occasion qu'il est possible de constater que la formation a été utile
à l'entreprise, ou non.
Favoriser le transfert des acquis : cette évaluation est aussi l'occasion d'« Ajuster les mises
en situation », de « contextualiser les acquis », d'effectuer des « Remontées de bonnes pra-
tiques » ou encore d'instaurer des « Échanges avec les N+1 afin de booster les actions ».
Toutes ces actions contribuent ainsi à accompagner au mieux les formés lors d'un suivi post-
formation (ex : par le manager) afin de maximiser le transfert des acquis.
Évaluer la pertinence de la formation : l'un des répondants explique que cette évaluation lui
permet de « Conforter l'analyse des besoins effectuée à l'occasion de la définition du plan de
formation », tandis qu'un autre parle de « Vérifier l'adéquation de la formation aux be-
soins ». Dans les deux cas, il s'agit bien de se poser la question de la pertinence de la forma-
tion : cette formation était-elle la meilleure solution en réponse au problème rencontré, au
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |17
© Formaeva
besoin identifié ?
Du total des formations données en un an, quel pourcentage d'entre
elles évaluez-vous à ce niveau ?
(25 organisations sur 60 se sont ici exprimées)
100 % des formations 10 organisations
Entre 75 et 80 % des formations 4 organisations
Entre 50 et 70 % des formations 3 organisations
Entre 10 et 35 % des formations 7 organisations
Aussi, l'une des organisations ne donne pas de chiffres précis, car expliquant différencier ses
pratiques d'évaluation du transfert en fonction de différents critères : le secteur de l'entre-
prise, le manager, le niveau de qualification, etc. Par ailleurs, il apparaît logiquement que
l'évaluation du transfert des acquis est plus délicate à mener pour les prestataires de forma-
tion qui ne peuvent pas aisément maintenir un contact avec le formé (et encore moins avec
son manager), comme l'indique l'un d'eux : « Je ne peux évaluer que les salariés dont l'entre-
prise a souhaité un suivi pour les autres la situation de travail n'est pas observable a poste-
riori ».
A quel moment réalisez-vous cette évaluation ?
Les jours suivant la formation
Plusieurs semaines après la formation
Plusieurs mois après la formation
L'évaluation du transfert a donc principalement lieu « à froid », plusieurs semaines ou mois
après la formation, ce qui paraît logique du fait du laps de temps nécessaire pour le formé
teste en situation les acquis de sa formation et se les approprie durablement (notamment
avec le soutien de son manager, de ses collègues, etc.). Si l'évaluation a lieu quelques jours
après la fin de la formation, il est probable que le résultat soit biaisé positivement (dans l'eu-
phorie de la formation, le formé peut utiliser ce qu'il a appris sans que cela ne dure) ou néga-
tivement (le formé n'a pas encore eu le temps d'utiliser ce qu'il avait appris, fautes d'occa-
sions d'appliquer ses acquis). Rappelons que le « bon moment » pour l'évaluation du transfert
dépend de plusieurs choses, à commencer par la nature de la formation (les compétences
« techniques » pouvant être mises en œuvre plus rapidement que les compétences « managé-
riales » ou « comportementales »).
Qui participe à l'évaluation ?
Le formé
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |18
© Formaeva
Le formateur
Le service formation
Le manager du formé (son N+1)
Autre(s)
Le formé et son manager sont donc les deux principaux acteurs de l'évaluation du transfert
des acquis (parfois ensemble, dans une logique de co-évaluation). Comme pour l'évaluation de
l'apprentissage, nous pouvons aussi relever le rôle joué par les tuteurs à ce niveau.
Pourriez-vous décrire le ou les outils que vous utilisez pour cela ?
Différents outils et méthodes sont utilisés par les répondants pour évaluer le transfert des ac-
quis, formels comme informels :
Le questionnaire d'évaluation : celui-ci peut comporter des questions génériques (ex :
« J'utilise régulièrement les acquis de ma formation »), des questions sur le respect des en-
gagements pris par le formé à l'issue de la formation (et renseignés sur le questionnaire d'éva-
luation « à chaud ») et/ou des questions sur la mise en œuvre en situation de travail des com-
portements attendus à l'issue de la formation (correspondant aux objectifs comportemen-
taux). Ce questionnaire peut aussi comprendre des questions visant à identifier les éventuels
freins à l'utilisation des acquis de la formation (ex : pas d'occasions d'appliquer ce qui a été
appris). Ce type de questionnaire est généralement complété par le formé lui-même et/ou
son manager. Pour des raisons pratiques (ex : taux de retour élevé, confidentialité préservé)
et de qualité du suivi de la formation, l'administration des questionnaires se fait générale-
ment en ligne (ex : Formaeva, LMS). L'un des répondants détaille le questionnaire spécifique
à l'organisation qu'il utilise dans ce cadre : « Tableau Excel dédié aux problématiques pra-
tiques de la société. Huit à dix questions dont la moitié au moins en questions ouvertes (afin
de donner des exemples concrets et vérifiables par tous : dossiers, noms du client, affaires,
litiges...) ».
Le plan d'actions post-formation personnalisé : si le formé peut prendre individuellement
des engagements à l'issue de la formation pour appliquer ce qu'il a appris, il peut aussi (et
cela est souhaitable) les fixer avec son manager, à l'occasion d'un entretien post-formation.
Durant cet entretien, il sera question des acquis de la formation, de leur utilisation à venir,
des projets que le formé pourrait mener dans ce cadre, des moyens que peut lui apporter le
manager pour réussir, etc. Les résultats de ce plan d'actions seront évalués à l'aide d'un ques-
tionnaire ou à l'occasion d'un entretien (généralement entre le formé et son manager). Cet
accompagnement du manager débute même, pour trois des répondants, par un entretien pré-
formation permettant de préciser à nouveau les besoins et attentes du formé, de rappeler les
objectifs de la formation et de discuter, d'ores et déjà, des possibilités d'application à venir.
Un processus d'évaluation idéal si l'on souhaite impliquer pleinement le manager dans la for-
mation et ne pas limiter son rôle à celui de « simple évaluateur ».
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |19
© Formaeva
Les entretiens : plus ou moins formalisés (ex : avec ou sans guide d'entretien), ils sont géné-
ralement conduits par le manager du formé ou, le cas échéant, son tuteur. Il s'agit d'une mé-
thode qualitative permettant, comme pour le questionnaire, d'évaluer la mise en œuvre des
acquis et d'identifier d'éventuels problèmes rencontrés par les formés.
L'entretien annuel d'évaluation : pour plusieurs répondants, l'évaluation du transfert est me-
née une fois l'an, dans le cadre de l'entretien annuel d'évaluation. « Normalement, cette éva-
luation fait partie de l'entretien annuel et elle est faite entre le formé et son manager,
éventuellement avec le RRH ». Bien que simple à mettre en œuvre, l'évaluation peut se révé-
ler trop imprécise (ex : l'évaluation porte sur des formations dont les effets peuvent se che-
vaucher ou qui ne se sont pas encore produits) et tardive (si l'on constate qu'il n'y a pas eu
transfert, il est trop tard pour rectifier le tir). L'évaluation prend alors la forme d'un bilan
mais ne permet pas de manager le transfert des acquis de la formation.
Le projet d'application : certains formations font l'objet d'une soutenance ou d'une présenta-
tion d'une réalisation concrète par le formé au formateur et à son manager, l'occasion de voir
si ce qui a été appris en formation a pu être appliqué dans le cadre de projets spécifiques.
L'un des répondants, appartenant à un OPCA, explique confier cette évaluation au forma-
teur : celui-ci réunit les formés à l'occasion d'une journée-bilan (organisée quelques temps
après la fin de la formation) durant laquelle il évalue si les objectifs personnels d'application
fixés par les formés à la fin de leur formation ont été atteints.
A n a l y s e
Comme en 2010, nous ne pouvons que déplorer la rareté des pratiques d'évaluation du trans-
fert des acquis. Tout se passe comme si le simple fait de former garantissait la transposition
des acquis de la formation en situation de travail. Deux freins à la mise en œuvre de cette
évaluation demeurent inchangés :
L'absence d'objectifs comportementaux en amont de la formation : cela reste le principal
défini méthodologique de cette évaluation, mais si l'on ne fixe pas, en amont de la formation,
des objectifs clairs et concrets, observables et mesurables en situation de travail, nous ne
pourrons que nous contenter que d'une évaluation du transfert approximative, reposant sur
quelques questions génériques et/ou des engagements pris par les seuls formés. La meilleure
manière d'évaluer le transfert consiste donc à savoir précisément en amont ce qui sera atten-
du des formés en situation de travail (quels comportements devront-ils manifester en situa-
tion de travail ?).
La difficile implication du management : ce sujet mériterait une étude à part entière, tant
l'implication du management dans la formation de ses collaborateurs est aussi nécessaire que
difficile à obtenir. C'est ce que note l'un des répondants qui reconnaît que « Cette évaluation
doit être faite avec l'aide du N+1 qui manque bien souvent de temps pour mettre en pra-
tique cette évaluation ». Un autre pense que cela n'est pas pratiqué « car ce n'est pas dans la
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |20
© Formaeva
culture de l'entreprise ». D'expérience, nous pouvons affirmer que cette implication grandis-
sante du manager dans la formation et son évaluation est possible, dès lors que le processus
d'évaluation des formations est pensé et conçu pour être utile au manager et en faire un ac-
teur central. C'est ce qu'ont bien intégré les organisations qui prévoient dans leur processus
d'évaluation des formations un entretien pré-formation puis un entretien post-formation en
vue d'établir un plan d'actions, cohérent avec les objectifs de la formation.
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |21
© Formaeva
Niveau 4 : Résultats
Quel est l'impact de la formation sur les résultats de l'organisation ? Ce niveau d'évaluation
vise à estimer l'impact de la formation sur les indicateurs de résultats liés à la formation (ex
: accroissement des ventes suite à une formation commerciale, diminution des accidents de
travail suite à une formation sécurité, etc.).
R é s u l t a t s
Évaluez-vous l'impact de la formation sur les résultats organisationnels
?
Oui majoritairement de façon formelle
Oui majoritairement de façon informelle
Non
Quel est l'objectif de cette évaluation ? Que faites-vous des résultats
après en avoir pris connaissance ?
A ce niveau, les répondants évoquent en très grande majorité leur volonté de démontrer la
valeur de la formation pour l'organisation, certains évoquant directement la notion de « re-
tour sur investissement de la formation ». Un prestataire de formation expliquer vouloir « Va-
loriser les apports de [sa] formation en termes factuels ». C'est donc à ce niveau d'évaluation
que l'on cherchera à démontrer et à chiffrer l'impact opérationnel de la formation. Seul un
répondant a confondu ce niveau d'évaluation avec les précédents, en affirmant que l'objectif
était ici de « juger les acquis et le taux de satisfaction des supérieurs hiérarchiques » (ce qui
ne relève pas du niveau 4, mais plutôt des niveaux 1, 2 et/ou 3).
Du total des formations données en un an, quel pourcentage d'entre
elles évaluez-vous à ce niveau ?
(11 organisations sur 60 se sont ici exprimées)
100 % des formations 3 organisations
Entre 60 et 80 % des formations 3 organisations
45 % des formations 1 organisation
Entre 5 et 20 % des formations 4 organisations
Le répondant ayant indiqué évaluer 45 % de ses formations au niveau 4 précise qu'il
s'agit essentiellement de formations commerciales et managériales. Les chiffres an-
noncés sont donc très variables, allant de 5 à 100 % des formations concernées.
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |22
© Formaeva
Quelle(s) période(s) retenez-vous pour suivre l'évolution des indica-
teurs ?
Les périodes retenues pour analyser l'évolution des valeurs des indicateurs de résultats sont
relativement hétérogènes : 2 mois après, 6 mois avant et 6 mois après, 4 à 6 mois après, 6
mois après, 3 mois avant et 12 mois après, analyse trimestrielle et comparaison éventuelle
avec les valeurs de l'année précédente (pour éliminer les variations saisonnières)... L'une des
bonnes pratiques est effectivement de raisonner en avant-après, par exemple en étudiant
l'évolution des indicateurs sur 12 mois (6 mois avant et 6 mois après la formation) et, le cas
échéant, en comparant ces valeurs avec celles des années précédentes (notamment pour les
formations commerciales visant un impact sur le chiffre d'affaires).
Qui suit l'évolution des indicateurs de résultats ?
Le formé
Le formateur
Le service formation
Le manager du formé (son N+1)
Autre(s)
Nous pouvons remarquer une certaine hétérogénéité quant aux acteurs responsables du suivi
des indicateurs au niveau 4 et, fait intéressant, la forte responsabilité accordée aux formés
qui doivent « auto-déclarer » l'impact de la formation sur leurs propres résultats. Classique-
ment se retrouvent dans la catégorie « Autre(s) » les commanditaires de la formation (ex : di-
rection commerciale).
Pourriez-vous décrire le ou les outils que vous utilisez pour cela ?
La méthode la plus fréquemment employée pour évaluer le niveau 4 consiste à suivre l'évolu-
tion d'indicateurs de résultats, propres au métier des formés et/ou à leur entreprise (ex : réa-
lisations opérationnelles, montant des ventes, évolution des budgets, nombre de tickets
moyens traités par magasin, nombre et types de questions traitées par la hotline, etc.). L'un
des répondants déclare utiliser des indicateurs d'activités de formation (ex : nombre de for-
més, budget utilisé par type de formation), mais qui ne permettent pas, à notre sens, de dé-
montrer un quelconque impact opérationnel des formations (juste de suivre le volume d'acti-
vités de formation).
L'autre méthode, proche de celle utilisée pour le transfert, consiste en l'établissement d'un
plan d'actions par le formé et son manager visant l'atteinte d'objectifs opérationnels. L'éta-
blissement et le suivi de ce plan d'actions est réalisé à l'aide d'une solution d'évaluation en
ligne (ici Formaeva).
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |23
© Formaeva
A n a l y s e
80 % des organisations interrogées ne pratiquent donc pas l'évaluation de niveau 4, bien que
cela soit une demande récurrente des directions générales que de disposer d'éléments
concrets attestant de l'utilité organisationnelle de la formation. Cette rareté des pratiques
est principalement la conséquence de difficultés méthodologiques : « Cela n'est jamais fait
car nous manquons de technique permettant d'isoler le facteur formation dans l'évolution
d'un indicateur ». Cette difficulté est bien réelle si l'on souhaite calculer le retour sur inves-
tissement de la formation (niveau 5 de Jack Phillips), mais n'a pas lieu d'être si l'on souhaite
démontrer le retour sur les attentes (ROE) de la formation. Cette seconde logique consiste en
effet à vérifier que les attentes des parties prenantes de la formation (matérialisées sous la
forme d'objectifs concrets) sont satisfaites, sans chercher isoler la part de la formation dans
l'obtention du résultat, tant il est vrai que le résultat ne peut être que collectif. La fonction
formation agit alors en véritable partenaire d'affaires, avec les opérationnels, pour obtenir les
résultats escomptés.
Les pratiques d'évaluation des formations des entreprises françaises en 2011 |24
© Formaeva