Embed Size (px)
Citation preview
1
Université de Rouen UFR Sciences de l’Homme et de la Société
Département Sciences de l’Education Laboratoire CIVIIC
Année Universitaire 2009-2010
« Etude de l’Intérêt de l’Auto-
Evaluation Dans l’Enseignement par
Simulation »
« Exemple des Internes d’Anesthésie pour l’Apprentissage des Compétences
Non Techniques en Situation d’Urgence »
En vue de l’obtention du
Master 2 de recherche à distance Francophone
Sous la direction de François DESJARDINS, Professeur à l’ « Institut de Technologie de l’Université de l’Ontario, Oshawa » et de Georges-Louis BARON, Professeur à l’ « Université Paris V Sorbonne » Etudiant : Sylvain BOET-GRIBOV
2
BOET Sylvain
Etude de l’Intérêt de l’Auto-Evaluation Dans l’Enseignement par
Simulation : Exemple des Internes d’Anesthésie pour l’Apprentissage des Compétences Non Techniques en Situation d’Urgence.
Résumé :
La « gestion des ressources de crise » (Crisis Resource Management) correspond à l’ensemble des compétences non techniques à mettre en œuvre en équipe lors de la prise en charge d’un patient en situation critique urgente. Ces compétences sont représentées entre autres par la communication intra-équipe soignante, le leadership et le travail en équipe, et ceci dans le contexte d’un patient présentant une situation d’urgence absolue.
L’évaluation et la formation des personnels de santé à ces compétences peuvent être réalisées à l’aide de simulateurs médicaux. Néanmoins, les séances de simulation nécessitent la présence d’un instructeur pour débriefer les participants ce qui limitent fortement l’offre de formation et d’évaluation des médecins.
Grâce à des simulateurs médicaux, nous explorons dans ce travail l’intérêt potentiel de l’auto-évaluation, sous ses deux aspects formatif et sommatif, des compétences de gestion de ressources de crise des médecins anesthésistes réanimateurs. D’une part, nous étudions l’effet de l’apport de la vidéo dans la fiabilité de l’auto-évaluation sommative des compétences de gestion des ressources de crise. D’autre part, nous étudions l’effet de l’auto-évaluation formative, par l’intermédiaire de l’auto-débriefing, sur la modification de la performance des médecins.
Enfin, sous l’éclairage de nos résultats, nous discutons les fondements théoriques potentiels et l’intégration pratique de l’auto-évaluation dans le système existant.
Mots-clés : Auto-évaluation ; Simulation médicale ; Compétence ; Médecine ; Gestion des ressources de crise.
3
REMERCIEMENTS
Nous adressons ici tous nos remerciements à nos deux directeurs : Monsieur François
Desjardins et Monsieur Georges-Louis Baron pour leurs conseils, leur soutien, et leur
confiance.
A Monsieur le Docteur Viren Naik pour m’avoir accueilli et supervisé au centre de simulation
à Toronto.
A Madame Marianing Porot pour son animation exceptionnel du MARDIF.
A Olga pour sa compréhension.
4
TABLE DES MATIERES :
!"#$%&'()'(#*$'+(, ---------------------------------------------------------------------------------------------------------------------.!/-! 01234567#87#926:;<7=97#7=#>7?<@2=#87?#17??2A197?#87#91@?7------------------------------------------- B!C-! 01234567?#87#D216E<@2=#F#4E#926:;<7=97-------------------------------------------------------------------------------- G!H-! 01234567?#8I;JE4AE<@2=#87#926:;<7=97?-------------------------------------------------------------------------------/K!L-! 01234567?#8IEA<2;JE4AE<@2=#87#926:;<7=97 ------------------------------------------------------------------------//!
!!"#$*MN*O(#M(#,I('+M(#('#PQ0%'P(R(#O(&(N*,(------------------------------------------------------ /L!/-! (:@?<;6242>@7 ----------------------------------------------------------------------------------------------------------------------------------/L!"#! $%!&'()*+,-*./.)0%####################################################################################################################################### 12!3#! $%!)'-.'4-'()*+,-*./.)0%########################################################################################################################### 15!
C-! $26:;<7=97 --------------------------------------------------------------------------------------------------------------------------------------/B!"#! 6789'+"*.'(!:%!9"!('*.'(!:%!-'08;*%(-%# ########################################################################################### 1<!3#! ="7'('0.% ####################################################################################################################################################### ><!
H-! (JE4AE<@2= -----------------------------------------------------------------------------------------------------------------------------------------HC!"#! $?;/"9,"*.'(@!9"!:.:"-*.A,%!%*!9"!-'08;*%(-% #################################################################################### B>!3#! $?;/"9,"*.'(!%(!0;:%-.(%########################################################################################################################## BB!-#! C"++.D+%)!E!9?;/"9,"*.'(!:%)!-'08;*%(-%)!0;:.-"9%) #################################################################### BF!
L-! $E81E>7#<S;21@TA7#U#SV:2<S5?7? ------------------------------------------------------------------------------------------------HG!"#! $%!-'(-%8*!:%!).0,9"*%,+!0;:.-"9!%*!9?,)"G%!"-*,%9!:%!9"!/.:;'################################################ BH!3#! &":+"G%!:%!9"!+%-I%+-I%J!.(*;G+"*.'(!:%)!).0,9"*%,+)!0;:.-",7!:"()!9%)!*"7'('0.%)# 2B!
!!!"#$*MN(#'P(%N!W+(--------------------------------------------------------------------------------------------------------------- LL!/-! !87=<@D@9E<@2=#7<#8;D@=@<@2=#87?#JE1@E347? -------------------------------------------------------------------------------LL!"#! K"+."39%)!.(:;8%(:"(*%)!J ######################################################################################################################### 22!.#! L)"G%!8+'8');!:,!).0,9"*%,+!0;:.-"9################################################################################################## 22!..#! L)"G%!8+'8');!:%!9?%(+%G.)*+%0%(*!/.:;'########################################################################################## 22!3#! K"+."39%)!:;8%(:"(*%)!J ############################################################################################################################# 25!.#! &"8"-.*;!:%)!.(*%+(%)!%(!"(%)*I;).%!E!9?",*'4;/"9,"*.'(!)'00"*./% ###################################### 25!..#! M%+N'+0"(-%!:%!G%)*.'(!:%)!+%))',+-%)!:%!-+.)%!).0,9;%########################################################### 2F!...#! O;3+.%N.(G!8"+!.()*+,-*%,+####################################################################################################################### 2F!./#! P,*'4:;3+.%N.(G############################################################################################################################################# 2F!
C-! PV:2<S5?7?#:1;9@?7?#7<#TA7?<@2=?#87#179S719S7 ------------------------------------------------------------------LB!
!X"#Y('P%M( --------------------------------------------------------------------------------------------------------------------------------- LZ!/-! Y;<S28242>@7 -----------------------------------------------------------------------------------------------------------------------------------LZ!"#! O%).G(################################################################################################################################################################# 2Q!3#! R%-+,*%0%(*#################################################################################################################################################### 5S!-#! MI")%!:?T+.%(*"*.'( ###################################################################################################################################### 5S!:#! U.0,9"*.'(!E!8+'8+%0%(*!8"+9; ############################################################################################################## 51!%#! V()*+,0%(*)!:%!0%),+%!:%!9"!8%+N'+0"(-%######################################################################################## 5>!N#! U*"*.)*.A,%)######################################################################################################################################################## 5B!
2.! *=E4V?7?#7<#<1E@<767=<?#U --------------------------------------------------------------------------------------------------------------[[!"#! 6*,:%!)'00"*./%########################################################################################################################################### 5F!3#! 6*,:%!N'+0"*./% ############################################################################################################################################# 5H!
!X"#M!R$+RR!%&R#\#N(],()!%&R----------------------------------------------------------------------------------------------- .L!/-! *A<2";JE4AE<@2=#?266E<@J7--------------------------------------------------------------------------------------------------------.L!C-! *A<2";JE4AE<@2=#D216E<@J7 ----------------------------------------------------------------------------------------------------------..!H-! ,E#1;D47^@J@<;-------------------------------------------------------------------------------------------------------------------------------------.Z!L-! ,@6@<7?#87#4I;<A87 ---------------------------------------------------------------------------------------------------------------------------BK
5
-#! &'00%(*!:;/%9'88%+!9"!+;N9%7./.*;!W #################################################################################################### <2!.-! 071?:79<@J7#87#179S719S7?-----------------------------------------------------------------------------------------------------------B.!
X"#$%&$,+R!%&------------------------------------------------------------------------------------------------------------------------------ BB!
X!"#a!a,!%ON*0P!(#('#R!'%ON*0P!(----------------------------------------------------------------------------------- ZK!
X!!"#*&&()(R---------------------------------------------------------------------------------------------------------------------------------- ZZ!
6
I- CONTEXTE ACTUEL
La formation des professionnels de santé est une préoccupation majeure de tout
système de santé moderne dont le but ultime est de garantir la sécurité des patients. Le
concept de sécurité des patients est naît aux Etats-Unis dans les années 1980 et elle est
aujourd’hui reconnue comme une discipline à part entière et de première importance. En
s’inspirant du domaine de l’aviation (Crawford, 1971; Helmreich, 2000), l’étude des
questions d’évènements indésirables survenant chez les patients a mis en évidence dès le
début des années 1980 l’importance de la responsabilité des facteurs humains dans la
survenue d’accidents médicaux (Newbower, 1981; Cooper, 1982). En effet, la majorité des
complications et accidents en médecine n’est pas due à la qualité d’une procédure technique
par un soignant mais le plus souvent à des facteurs organisationnels, humains, de
communication ou encore d’ordre psychologique ou cognitif. Parmi ceux-ci, la fatigue
(Landrigan, 2004; Barger, 2006), le syndrome d’épuisement professionnel (Fahrenkopf,
2008), la pression de productivité, un environnement professionnel inhabituel, des noms de
médicaments similaires entre eux, une atmosphère de travail conflictuelle et la diminution du
ratio soignant-patient (Aiken, 2002) sont impliqués dans les incidents et accidents médicaux
chez les patients. Pour minimiser l’impact de ces facteurs, la qualité de la formation des
professionnels de santé est donc au premier plan (Neale, 2001).
La diffusion de la préoccupation de la sécurité des patients au grand public s’est faite
à la fin des années 1990 grâce à un rapport de l’Institut de Médecine aux Etats-Unis intitulé :
« L’erreur est humaine » (traduction personnelle de « To Err is Human ») (Kohn, 2000).
L’annonce de 44 000 à 98 000 morts évitables du fait d’erreurs médicales chaque années aux
Etats-Unis, dont 7 000 uniquement dus aux erreurs de médicaments, a fait très rapidement
réagir la classe politique qui a ordonné la mise en œuvre immédiate de changements pour
améliorer la sécurité des patients (Charatan, 2000). Un de ces changements a été le
développement majeur de l’attention portée aux simulateurs médicaux permettant de mieux
former et évaluer les professionnels de santé. Le développement des notions de sécurité des
patients et la prise de conscience de l’implication des facteurs humains dans la survenue de
complications voire décès chez un certain nombre de patients ont contribué à l’amplification
de l’offre de formations initiales et continues, et notamment celles utilisant les simulateurs
médicaux. De plus les avancées technologiques et informatiques ont permis de répondre
7
favorablement à ce besoin en fournissant des simulateurs de formation. L’éducation des
professionnels de santé est donc devenue clairement un enjeu à la fois politique, économique
et sociétale. Aujourd’hui, la simulation médicale a commencé et continue tous les jours de
permettre de répondre à ces enjeux.
!" #$%&'()*+,*+-%)./0*1-*+*1+2*304%1+,*3+$*33%5$-*3+,*+-$43*+ +
Au sein de l’ensemble des situations impliquant les facteurs humains en médecine, les
situations où un patient présente un état d’urgence absolue, dites situations de « crise »,
représentent un groupe de situations particulières et probablement des plus redoutées des
professionnels de santé. La nécessité immédiate d’un traitement vital pour le patient, de
décisions rapides sans disposer de l’ensemble des informations, la conscience de la part des
soignant que la vie du patient dépend de leurs actions, l’interaction entre les différents
membres d’une équipe multidisciplinaire, créent un stress majeur chez les soignants
impliqués. En effet, dans ces situations de crise, l’importance des facteurs humains est
cruciale pour le devenir du patient. La « gestion des ressources de crise » (Crisis Resource
Management) correspond à l’ensemble des compétences non techniques à mettre en œuvre
en équipe lors de la prise en charge d’un patient en situation critique urgente (Gaba, 1994).
Nous utiliserons dans ce mémoire de façon synonyme et interchangeable les termes de
« compétences de gestion des ressources de crise » et « compétences non techniques en
situation d’urgence ». La gestion des ressources de crise est une compétence transversale que
partage de nombreuses spécialités telles que la cardiologie, la chirurgie, la pneumologie et
bien entendu la médecine d’urgence, l’anesthésie et la réanimation.
Le concept de gestion des ressources de crise en médecine est naît au début des
années 1990 grâce au croisement des champs de l’aviation et de l’anesthésie (Howard,
1992). Ces compétences sont représentées par la communication intra-équipe soignante (ou
au sein de l’équipe soignante), le leadership, la représentation de la situation (traduction
personnelle de « situation awareness ») ou encore le travail en équipe, et ceci dans le contexte
d’un patient présentant une situation d’urgence absolue (St Pierre, 2008). Les membres de
l’équipe doivent aussi chacun être en mesure d’utiliser l’ensemble des ressources disponibles,
que ces soit les informations, les appareils techniques ou d’autres membres de l’équipe afin
de sauver le patient.
8
Afin de clarifier au mieux ce que représente la gestion des ressources de crise, nous
souhaitons proposer un exemple concret des compétences en gestion de ressources de crise à
mettre en œuvre lors d’un patient en arrêt cardiaque. Les mêmes compétences pourraient
s’appliquer à d’autres urgences absolues comme par exemple une hémorragie en salle
d’accouchement, une crise d’asthme très sévère ou un polytraumatisme.
Lorsque l’équipe soignante arrive auprès du patient, un leader doit se dégager du reste
de l’équipe. Le leader doit être capable d’analyser immédiatement la situation avec très peu
d’informations disponibles et décider des actions à entreprendre. Son rôle est d’organiser
l’équipe, c’est à dire de distribuer les tâches à chaque membre de l’équipe. Ses ordres doivent
être clairs, précis et prendre en compte les compétences individuelles des membres d’équipe.
Au cours de la réanimation, le leader doit s’assurer de la qualité du travail de chaque membre
de l’équipe et éventuellement corriger leurs actions ou redistribuer les rôles. Les membres de
l’équipes doivent, eux, effectuer efficacement les ordres du leader et rapporter à ce leader
l’état d’avancement des actions ordonnées (par exemple : médicament injecté) et aussi les
éléments cliniques pouvant aider le leader dans ses décisions. Pour effectuer tout cela, la
communication doit être réalisée en boucle fermée entre le leader et le membre d’équipe. Une
difficulté fréquente dans ces situations est la variabilité de la composition de l’équipe en
terme de professions qui la composent, mais aussi des individus qui ne se connaissent pas
systématiquement. Ainsi, il est important que chaque professionnel, quelque soit sa fonction
(infirmière, médecin, etc…), partage le même « schéma mental » (ou vision) d’action. Cela
nécessite donc une formation spécifique de tous les personnels impliqués dans les situations
d’urgence nécessitant les compétences de gestions de ressources de crise.
De plus, de nombreux facteurs cognitifs entrent en jeu dans les situations de crise et
réduisent la capacité de décision et d’action des soignants. Par exemple, sous l’effet de
l’urgence et de l’enjeu vital pour le patient, le stress peut provoquer une réduction du champ
de vision des soignants, une modification de la clarté de leur jugement, et souvent des erreurs
de fixation (St Pierre, 2008). L’erreur de fixation est révélée par une attention exagérée d’un
individu portée sur un élément particulier au détriment de la perception de l’ensemble de la
situation. L’erreur de fixation se définit par une tendance à chercher une confirmation des
informations et en déformant les données de façon à ce qu’elles s’intègrent dans le schéma
mental en cours.
Tout comme pour les personnels d’aviation, les compétences des professionnels de
santé sont reconnues comme essentielles en situation d’urgence vitale pour traiter au mieux le
patient. La simulation médicale se définit comme l’ensemble des procédés qui permettent de
9
reproduire de façon plus ou moins réaliste les situations rencontrées en pratique clinique par
les médecins. Les simulateurs médicaux qui permettent d’enseigner/de pratiquer la gestion
des ressources de crise sont des simulateurs dits à « haute fidélité ». Ils sont constitués d’un
mannequin corps entier qui intègre en son sein de nombreux systèmes électroniques et est
commandé à distance par un ordinateur. L’ordinateur permet à l’enseignant instructeur de
reproduire de nombreuses situations cliniques avec le mannequin. Le but de l’usage des
simulateurs médicaux est l’amélioration de la qualité des soins prodigués aux patients et in
fine de diminuer le taux de complications et d’augmenter le taux de survie des patients.
6" #$%&'()*3+,*+7%$)804%1+9+'8+-%)./0*1-*+
Parmi les différentes disciplines médicales, l’anesthésiste-réanimateur a la
particularité, d’une part d’être confronté à des situations critiques, mais aussi d’observer les
résultats de ses actions quasi-immédiatement sur les patients. La nature urgente du contexte
au sein duquel il/elle opère rend quasi-impossible la consultation avec un pair, et met un fort
accent sur le besoin de travail en autonomie et donc de gestes et de comportements bien
maîtrisés. De ce fait, le maintien parfait des compétences, y compris des compétences non
techniques en gestion de ressources de crise en anesthésie réanimation, est essentiel pour le
devenir du patient (Gaba; Flin, 2008),.
Bien qu’essentiel, le concept de gestion en ressources de crise est relativement récent
et n’est généralement pas abordé au cours des enseignements théoriques à l’Université.
Certains étudiants « sentent » naturellement l’importance dans ces situations critiques de
savoir communiquer efficacement, ou de savoir se positionner comme leader. D’autres
étudiants vont « découvrir » l’existence de ces compétences en observant certains de leurs
mentors au cours des stages à l’hôpital, notamment dans les services tels que l’anesthésie, les
urgences ou la cardiologie. Du fait de la relativement faible fréquence et de l’imprévisibilité
des situations d’urgence absolue nécessitant une mise en œuvre des compétences de gestion
de ressource de crise, la formation par compagnonnage des jeunes médecins est
particulièrement difficile et aléatoire. Enfin, la grande majorité des étudiants vont souvent
réaliser l’ensemble de leurs études médicales en ignorant tout de ces compétences clés aussi
bien théoriquement que dans la pratique. Pour les médecins plus expérimentés, la sensibilité
de chaque professionnel à ce type de compétence est extrêmement variable et produit ainsi de
très larges variations de compétence inter-individuelle. La tendance naturelle des
10
professionnels de santé est bien souvent de focaliser leur attention sur l’aspect technique des
soins aux patients. Ainsi, après une situation d’urgence absolue, les discussions des membres
de l’équipe soignante auront naturellement tendance à s’orienter vers une perfusion difficile à
insérer, une ventilation au masque difficile, etc…mais rarement vers les compétences non
techniques de gestion de ressources de crise comme le manque de communication en boucle
fermée, un leader hésitant avec des ordres imprécis, etc… Donc, il est presque totalement
exclu d’imaginer apprendre ces compétences de ses pairs au cours de son exercice
professionnel, car comment apprendre ce dont on n’a pas conscience ? (Hodges, 2001; Eva,
2004) Au vu de ces éléments, il apparaît de plus en plus clairement que l’enseignement par
simulation trouve ici tout son intérêt.
:" #$%&'()*3+,;/<8'5804%1+,*+-%)./0*1-*3+
Tout médecin qui désire rester compétent doit apprendre tout au long de sa vie
professionnelle, ce qui présuppose une capacité à reconnaître ses forces et ses faiblesses
(Spencer, 1999). La compétence d’auto-évaluation est à la base du système de professions
autorégulées. En effet, l’auto-évaluation est censée permettre à chaque médecin de
différencier son auto-formation, en orientant le choix de sa formation continue en fonction
des résultats de l’auto-évaluation. Aucun tiers n’aide les médecins à définir leurs forces et
faiblesses, ou ne les évalue formellement, ce qui rend le besoin en auto-évaluation encore
plus aigu. Cependant, comme le montrent plusieurs méta-analyses, la compétence en auto-
évaluation reste une difficulté importante pour la majorité des professionnels de santé et ne
permet donc pas de compenser pour le manque de l’évaluation pas un tiers (Falchikov, 1989;
Gordon, 1991; Ward, 2002). Il existe donc un écart entre, d’un côté, l’exigence d’auto-
régulation au sein de cette profession, et de l’autre, une faible capacité des professionnels de
santé à s’auto-évaluer.
La simulation médicale peut contribuer à diminuer cet écart car elle permet
d’évaluer, que ce soit de façon formative ou sommative, la compétence des ressources de
crise des médecins. Lorsque les médecins sont formés et/ou évalués par simulation médicale,
les scénarios sont suivis d’un débriefing réalisé par un instructeur expert. Or, l’instructeur
représente souvent un obstacle majeur au développement de la simulation comme outil de
formation en médecine pour au moins trois raisons (Savoldelli, 2005). D’abord, le coût et la
rareté des instructeurs dont on peut garantir la compétence sont une première barrière. La
11
formation initiale et continue des instructeurs a un coût élevé pour les hôpitaux. De plus, les
instructeurs étant aussi la plupart du temps médecins, le temps qu’ils consacrent à
l’enseignement réduit d’autant le temps clinique consacré aux soins des patients. Or, souvent,
les soins constituent souvent leur seule source de rémunération. Deuxièmement,
l’organisation des séances de simulation médicale est soumise à l’emploi du temps des
instructeurs. Ainsi, étant donné leurs faibles nombres, l’absence du ou des instructeurs
empêche l’organisation des séances de simulation médicale. Les participants sont donc
soumis à une contrainte de temps par rapport à l’instructeur. Enfin, le débriefing par un
instructeur peut parfois être intimidant pour les participants. La remise en cause de ses
pratiques par autrui n’est jamais aisée et peut avoir un impact négatif sur les relations entre
les participants et les instructeurs en dehors de la simulation médicale. Ceci peut
éventuellement freiner certains médecins à s’entraîner en utilisant cette méthode.
=" #$%&'()*3+,;850%/<8'5804%1+,*+-%)./0*1-*+
Plusieurs méta-analyses ont montré l’absence de fiabilité de l’auto-évaluation en
médecine (Falchikov, 1989; Gordon, 1991; Ward, 2002).
Ce résultat peut paraître inquiétant car, comme nous venons de le préciser, la capacité
d’auto-évaluation est à la base du système de professions autorégulées dont la médecine fait
partie. En effet, chaque professionnel décide lui-même des formations dont il a besoin pour
maintenir sa compétence en fonction de ses forces et faiblesses ressenties (Spencer, 1999).
Cela signifie-t-il alors qu’un grand nombre de médecins n’est pas compétent faute de pouvoir
choisir les formations continues dont ils ont réellement besoin? Faut-il alors un créer un
organisme de contrôle des compétences des médecins afin de certifier leurs compétences
auprès du public? Les pilotes d’avion sont soumis, eux, à ce type de régulation externe depuis
déjà de nombreuses années. S’ils ne réussissent pas leurs tests, ils sont contraints de
participer à plus de formation ciblées jusqu’à démontrer leurs compétences. La culture
médicale est différente et cette question de l’auto-évaluation a de quoi embarrasser aussi bien
les professionnels de santé que les patients car elle remet potentiellement en cause l’ensemble
de la confiance patient-médecin ainsi que tout le système de régulation médicale dans le
monde.
Néanmoins, plusieurs éléments limites la portée de ces méta-analyses. Ward a déploré
la grande variabilité méthodologique des articles portant sur l’auto-évaluation en médecine
12
(Ward, 2002). Deux types de méthodologies sont globalement utilisés pour comparer le score
d’auto-évaluation et celui du gold standard: interindividuelle et intraindividuelle. Lorsque la
comparaison est interindividuelle, le résultat est donné soit par un taux de corrélation, soit par
un pourcentage d’agrément, soit enfin par une comparaison des scores moyens au niveau
d’un groupe (Ward, 2002). La comparaison intraindividuelle établit une classification de ses
propres savoir-faire les uns par rapport aux autres. L’étalon-or avec lequel est comparé le
score d’auto-évaluation est variable et dépend par exemple de la compétence technique ou
non technique étudiée, et de la définition ou représentation de la compétence en question par
les étudiants ou experts (Ward, 2002). La fiabilité varie aussi selon l’instrument de mesure et
son utilisation. Par conséquent, les conclusions en apparence uniformes des méta-analyses ne
sont peut être par si définitives… De plus, quelques études ont trouvé une fiabilité correcte de
l’auto-évaluation en médecine ou en aviation sous certaines conditions (Palmer, 1985; Hays,
1990; Martin, 1998; Burdekin, 2004). Et enfin, d’autres chercheurs ont récemment remis en
cause le paradigme selon lequel l’auto-évaluation est étudiée (Colliver, 2005; Eva, 2005; Eva,
2008).
Pourquoi l’auto-évaluation semble-t-elle peu ou pas fiable? Tout d’abord, l’auto-
évaluation sous-entend l’attribution d’une note ou au moins d’une appréciation (par exemple
grâce à une échelle de Likert) pour une compétence donnée. Cette appréciation se fait en
appréciant l’écart entre sa propre performance réalisée et la performance « idéale ».
Le premier facteur pouvant expliquer la mauvaise fiabilité de l’auto-évaluation est la
définition de la performance « idéale ». La représentation, la perception, l’idée que l’on se
fait de la performance parfaite varie selon le degré d’expertise du professionnel et aussi selon
la complexité de la tâche (Ward, 2002). Ainsi, un étudiant aura une représentation de la
réalisation parfaite différente de celle de l’expert qui sera probablement beaucoup plus
exigeant car capable de percevoir plus de nuances. Donc lorsque les études comparent le
score de l’auto-évaluation avec le score d’un expert, on peut comprendre que les
appréciations soient différentes. Dans ce cadre, l’instrument de mesure de la performance
aura son importance car il devra permettre de proposer des définitions des performances
idéales accessibles aussi bien aux experts qu’aux autres professionnels (Ward, 2002). D’autre
part, plus la tâche à évaluer est complexe et longue, plus il sera difficile de fournir une auto-
évaluation fiable (Ward, 2002). En effet, dans ce cas, il est probable qu’il y ait des
fluctuations de performance au cours d’une situation longue et complexe et que la tâche
globale englobe plusieurs sous-unités de compétences. Mais l’évaluation finale donne
13
souvent une seule note. Il est alors probable que l’expert et le participant attribuent un poids
différent à différents aspects de la performance.
Le second facteur pouvant expliquer la mauvaise fiabilité de l’auto-évaluation est le
regard que l’on porte sur sa propre performance. La mémoire est un outil important pour
permettre de juger de sa performance. Or, la mémoire peut être affectée par plusieurs
facteurs, et notamment par le stress en situation d’urgence (St Pierre, 2008). Parmi les autres
effets du stress sur la performance, la perception du temps est déformée, le champ de vision
restreint et l’appréciation d’une situation inexacte (LeBlanc, 2005; St Pierre, 2008). Ceci peut
certainement induire un biais de jugement altérant la capacité d’auto-évaluation. Le sujet
réalisant l’auto-évaluation perdrait ainsi son « objectivité » quant à sa performance. De plus,
des raisons psychologiques et sociales poussent chacun individu à se percevoir comme un
moyennement compétent, ne serait-ce que pour préserver l’estime de soi (Wood, 1989;
Athanasou, 2005).
Mais une autre raison majeure pourrait expliquer cette apparente contradiction entre
une faible capacité des professionnels de santé à l’auto-évaluation et une profession
autorégulée. En effet, l’auto-évaluation est presque toujours considéré dans la littérature selon
son aspect sommatif : un score auto-évalué est comparé d’une façon ou d’une autre au score
« réel ». Il s’agit là du paradigme sommatif. Mais, bien qu’ayant récemment attiré l’attention
de plusieurs auteurs, l’autre paradigme de l’auto-évaluation, dit formatif, n’a que peu été
exploré (Colliver, 2005; Eva, 2005; Eva, 2008). Ce paradigme de l’auto-évaluation formative
relève de la réflexion sur ses pratiques, du questionnement, de la mise en perspective de ses
actions, de la distanciation de soi. L’étude de l’auto-évaluation formative se déroule selon
une méthode de type qualitatif où les mots et les idées prédominent sur les scores chiffrés.
Ainsi, alors que l’auto-évaluation sommative est généralement approchée par une analyse de
la relation entre des scores auto-évalués et des scores considérés comme réels, l’auto-
évaluation formative requiert plutôt un processus analysé sur le mode qualitatif dans le sens
où il correspond à une auto-réflexion, sans se préoccuper du score (analysé sur le mode
quantitatif). Il est tout à fait possible que les individus soient capables de l’auto-évaluation
formative (mode qualitatif) sans être capables de l’auto-évaluation sommative (mode
quantitative). En d’autres termes, il est possible que, même si un individu n’est capable de
« deviner » avec précision son score, le processus de réflexion sur sa performance lui
permette de s’améliorer dans le futur.
14
II- CADRAGE DE L’ETUDE ET HYPOTHESE
GENERALE
!" >.430/)%'%24*+
a. Le Constructivisme
Pour le constructivisme, les connaissances et la compréhension du monde ne sont pas
le reflet exact de la réalité, mais sont une construction de celle-ci à partir des éléments déjà
connus, intégrés par chaque individu. Le constructivisme s'attache à étudier les mécanismes
et processus permettant cette construction de la réalité. La compréhension et l’appréhension
de la réalité, constamment renouvelée, s’élaborent à partir des représentations plus anciennes
d’événements passés, que le sujet a d’ores et déjà « emmagasinées » dans son vécu. Le sujet
reconstruit, réajuste, en interne, les informations reçues à travers ses expériences en regard de
ses propres concepts. Le constructivisme met en avant l’activité et la capacité inhérentes à
chaque sujet, ce qui lui permet d’appréhender la réalité qui l’entoure. Piaget est l’un des
pionnier du constructivisme et toute son œuvre tend à montrer que l’on construit ses
connaissances par ses propres actions. Un tel mécanisme ne peut donc se réduire à la seule
innéité (bien que Piaget ne nie pas totalement la présence de « facilités » de certains pour
certains types de tâches), ni à une simple accumulation des connaissances. Piaget décrira le
développement comme « une autorégulation, c’est à dire une suite de compensations actives
du sujet en réponse aux perturbations extérieures et d’un réglage rétroactif (feedback) et
anticipateur constituant un système permanent de telles compensations » (Piaget, 1971).
Dans un courant dit cognitif du constructivisme, Bruner estime que l’apprentissage est
un processus actif dans lequel les apprenants fondent, sur les connaissances actuelles et
passées, la construction de nouvelles idées ou nouveaux concepts (Bruner, 1974). Cette
vision considère que l'apprenant s'appuie sur sa structure cognitive pour transformer
l'information. Ainsi, ce courant reconnaît la construction du savoir sur des bases préexistantes
appartenant au sujet, et aussi l’importance de l’environnement et du contexte d’apprentissage.
Pour sa part, Simpson considère que le constructivisme n'est pas une théorie, mais
plutôt une épistémologie ou point de vue philosophique sur la nature de l'apprentissage
(Simpson, 2002). Schunk confirme la thèse de Simpson en soulignant que la théorie est une
explication scientifiquement valable qui permet la génération et le test d'une hypothèse
15
(Schunk, 2004). Le constructivisme selon Schunk ne prétend pas que les principes
d'apprentissage qui peuvent être découverts et testés existent, mais affirme en revanche que
l'apprentissage est créé par l'apprenant. Schunk poursuit en disant que si nous voulons
considérer le constructivisme comme une théorie, alors il n'est pas une théorie unifiée, mais
doit être considéré comme trois sous-théories différentes: exogène, endogène, et dialectique
(Schunk, 2004).
Il est difficile de proposer une définition simple, univoque et acceptée par tous du
constructivisme. Von Glasserfeld réfute tout courant au sein du constructivisme et défend le
constructivisme radical (von Glasersfeld, 1994). Merriam suggère la définition suivante : « le
constructivisme, représentant un éventail de perspectives, postule que les apprenants
construisent leur propre connaissance à partir de leurs expériences » (Merriam, 2001). Dans
leur définition, le processus cognitif de la construction de connaissance est souligné à la fois
comme une activité mentale individuelle et un échange interactif sociale. Cette définition
semble saisir l'essence des points de vue contradictoires entourant la théorie, et les rassemble
non pas tant en une théorie unifiée, mais plutôt une philosophie d'enseignement bien articulé
(cf socio-constructivisme ci-après).
b. Le socio-constructivisme
Le socio-constructivisme enrichit le constructivisme de l’aspect social de
l'apprentissage. Issu essentiellement des travaux de Lev Vygotsky au début du 20e siècle, le
socio-constructivisme s’appuie sur les hypothèses fondamentales de la réalité, les
connaissances et l'apprentissage. Dans le constructivisme social, la réalité est considérée
comme une construction de l'activité humaine, et plus particulièrement grâce aux interactions
sociales humaines. Selon cette hypothèse, l'individu ne peut pas découvrir seul la réalité parce
que la réalité n'existe pas jusqu'à ce qu'elle soit « inventée » ou construite par la société. La
connaissance est donc vue comme une construction sociale et culturelle (Kim, 2001). Si la
réalité et la connaissance sont des constructions sociales, alors l'apprentissage doit également
être un processus social (Kim, 2001). L'apprentissage devient alors un processus de
collaboration au sein d’une équipe.
Même si les théories constructivistes sont clairement issues des travaux de recherche
sur l’apprentissage des enfants, la vision du constructivisme contemporain est étroitement
16
associée à l'andragogie, l'apprentissage des adultes. Ainsi, le concept de « zone de
développement proximal » (aussi appelée « zone de proche développement ») s’applique
aussi bien aux enfant qu’aux adultes.
L'un des concepts clés issu des recherches de Vygotsky est le phénomène que
Vygotsky a appelé la zone de développement proximal (ZPD). Vygotsky décrit la ZPD
comme « la distance entre le niveau de développement effectif actuel, déterminé par la
capacité à résoudre seul un problème, et le niveau de développement potentiel, déterminé par
la capacité à résoudre un problèmes sous la direction (l’assistance) d’adultes ou en
collaboration avec des pairs plus capables » (Vygotski, 1978). Autrement dit, la définition de
Vygotsky de la ZPD décrit l’écart entre ce que les individus peuvent faire par eux-mêmes et
ce qu'ils ne peuvent pas faire, même lorsque assistée par un adulte ou pair plus « compétent ».
Ce concept est illustré sur la figure suivante (Figure 1).
Figure 1: Représentation de la zone proximale de développement.
En dehors de la ZPD, sont soit des tâches que l'apprenant peut déjà réaliser (vers
l’intérieur de la ZPD), ou des tâches que l'apprenant ne serait pas en mesure de faire (vers
l’extérieur de la ZPD) même avec l'aide d’un instructeur (Vergnaud, 2000). L'enseignement
17
doit alors se concentrer sur les tâches à l'intérieur de la ZPD (zone grise sur la figure) que
l'apprenant ne peut pas faire par lui-même mais que l’on peut raisonnablement s'attendre à ce
qu’il réalise avec l'aide d'un instructeur. Par conséquent, lorsque l'apprenant accomplit seul
après apprentissage une tâche appartenant à la ZPD, cette tâche sera intégrée dans la « zone
de compétence ». Ainsi, si l’on considère ce schéma appliqué à un groupe de compétences
finies et accessibles avec l’aide de pairs, la ZPD se rétrécira au profit de la « zone de
compétence ». Si l’on considère une compétence ou un groupe de compétences infinies, la
« zone de compétence » s’élargira et l’anneau de la ZPD se déplacera vers l’extérieur
repoussant alors la « zone de non compétence ». Donc, d’après ce modèle de ZPD, toute
tentative d’enseignement/apprentissage devra cibler pour des tâches/compétences situées
dans la ZPD. Si les tâches sont à l’extérieur, elles seront impossibles à intégrer par
l’apprenant, si elles sont à l’intérieur, elles sont déjà maîtrisées par l’individu donc sans
intérêt pour l’enseignement-apprentissage.
6" ?%)./0*1-*+
a. Exploration de la notion de compétence.
(i) Selon les disciplines en général
De très nombreux auteurs ont approché la notion de « compétence » et tenté de la
définir. Les définitions proposées varient en fonction de nombreux paramètres tels qu’entre
autre la discipline considérée, l’expérience de l’auteur et ses objectifs, etc... Il semble que les
mots/idées/concepts revenant aujourd’hui dans la plupart des définitions soient
« mobilisation », « ressources cognitives », « transfert » et « action » ou « activité » (Le
Boterf, 1994; Ardouin, 2005).
• De nombreuses approches et définitions selon les domaines et théories
Le Petit Larousse définit la compétence comme « Ensemble des dispositions,
capacités, aptitudes spécifiques qui permettent à tout sujet parlant une langue de la maîtriser,
et qu'il met en œuvre à l'occasion de ses actes de parole effectifs dans des situations concrètes
(ce qui constitue la performance) » en tant que définition principale et comme « aptitude pour
18
un tribunal à juger une affaire (droit) » en tant que seconde définition (Larousse, 2010).
D’autres dictionnaires décrivent la compétence comme une « capacité dans une matière
donnée » ou encore « une connaissance approfondie ». Les dictionnaires des synonymes
indiquent de très nombreux termes comme par exemple : « capacité », « expertise »,
« qualification », « aptitude », « faculté », « habileté », « penchant », « pouvoir »,
« propension », « qualité », « savoir-faire », « virtuosité ». La définition du concept de
« compétence » varie selon les disciplines professionnelles mais aussi le milieu dans lequel il
est appliqué. Ainsi, il peut être considéré tantôt comme un état, un statut, tantôt comme une
capacité. Il se dégage de ce constat de variabilité une impression de « subjectivité » dans la
définition de la notion de compétence.
Comme l’explique Ardouin (Ardouin, 2005), le terme « compétence » provient
historiquement du domaine juridique et s’adresse essentiellement à une notion de groupe. Il
s’agit alors de « la légitimité et l’autorité conférée aux institutions pour traiter de problèmes
donnés ». Ensuite, plusieurs disciplines se sont intéressées à ce terme et l’ont transféré au
niveau de l’individu. Pour les linguistes, la compétence se distingue clairement de la
performance. La compétence correspond à un potentiel, celui de pouvoir produire une infinité
de productions langagières. Quant à la performance, elle est directement liée à l’action
puisqu’elle correspond à l’utilisation effective de la langue en situations concrètes (Jonnaert,
2002). Performance et compétence sont donc à la fois distinctes et liées fonctionnellement.
La performance est ainsi perçue par les linguistes comme l’activation de la compétence
contextualisée.
La psychologie s’est d’abord appuyée sur les théories béhavioristes et
comportementalistes pour décrire la notion de compétence. Ainsi Raynal et Gbato reprennent
la définition de la compétence comme « un ensemble de comportements potentiels (affectifs,
cognitifs et psychomoteurs) qui permettent à un individu d’exercer efficacement une activité,
une fonction, un rôle » (Raynal, 1997; Gbato, 2008). Les théories béhavioristes ont une
représentation quantitative du concept de compétence, avec la fragmentation et la
hiérarchisation des connaissances, contenus et des tâches, potentiellement au détriment d’une
vue d’ensemble. Elles considèrent donc que la compétence réunis plusieurs sous-unités que
sont les savoirs (connaissances), les savoir-faire, et les savoir être. Cette définition peut
laisser penser que la somme des trois éléments induit automatiquement la compétence. Ainsi,
19
cette vision de la compétence fait le parallèle avec le système taylorien et ses tâches
répétitives (Le Boterf, 2002).
Puis les théories cognitivistes et constructivistes sont apparues et ont permis
d’approcher les notions de compétence d’une façon différente. Pour l’approche cognitiviste,
la compétence est initialement simplement vue comme la rencontre d’une situation et de
connaissances à appliquer. Par la suite, elle ajoute la notion de « reconnaissance » (que cette
situation spécifique appartient à une classe particulière) et évolue vers « la capacité d’associer
une classe de problèmes précisément identifiés avec un programme de traitement déterminé »
(Meirieu, 2009). La compétence correspond alors à la capacité d’associer une classe de
situations à un schéma de solutions déjà intégrées pour des situations similaires. Dans le
constructivisme, le sujet construit lui-même son savoir, ses schèmes, ses réalités à partir d'un
existant. Le socioconstructivisme, dans lequel le sujet se forme avec et/ou contre les autres
(Vygotski, 1985), permet aussi d’éclairer la notion de compétence. Ces notions cognitivistes,
constructivistes et socioconstructivistes sont plus en accord avec le monde moderne du travail
qui exige l’intégration de plusieurs types de savoirs afin de résoudre un problème et de
répondre aux exigences de flexibilité des employeurs.
Pour les spécialistes du travail, les compétences lient les connaissances d’un
travailleur et ses actions (Jonnaert, 2002). La notion de contexte est ici fortement présente
puisque la tâche accomplie se produit dans une situation donnée et les situations à gérer sont
censées ne pas se reproduire à l’identique constamment. Pour les spécialistes du travail aussi,
la situation agit comme le révélateur de la compétence à travers la performance.
Plusieurs éléments caractérisent les apports du terme de compétence en
éducation/formation. Les principaux sont l’approche uniciste, la mise en réflexion des
stratégies d’apprentissages, la recherche de sens et l’exploration de la notion de transfert. Les
Sciences de l’Education ont cherché à rendre le savoir opérationnel et à élargir de la triangle :
savoirs, savoir faire, savoir être par l’approche globale du « savoir agir ». En effet, les
Sciences de l’Education et de la Formation tentent de proposer une approche globale du
concept de compétence unifiant l’ensemble des champs théoriques mentionnés
précédemment. Sa vision se veut uniciste. Un certain consensus semble se dégager de la part
de plusieurs auteurs pour définir la compétence comme « faisant référence à un ensemble
d’éléments que le sujet peut mobiliser pour traiter une situation avec succès » (Jonnaert,
2001). Il s’agit donc d’une « mise en œuvre », d’une activation de ressources d’ordres
20
multiples (affectif, cognitif, social, etc...). L’individu qui possèdent l’ensemble de ces
ressources doit alors sélectionner, choisir et coordonner et articuler les ressources les plus
adaptées pour répondre avec succès à une situation nouvelle donnée (désignée aussi par
environnement). Ce modèle global propose de fait un positionnement de chacun des
éléments (performance, schèmes, connaissances, capacités) selon leur caractère
pratique/théorique et visible/invisible (Ardouin, 2005). La compétence correspond alors
l’intersection (et l’association) de ces deux axes. Cette conception globale rejoint la notion de
« combinatoire » de ressources de Le Boterf (Le Boterf, 2002), par opposition à la classique
« addition » de savoirs. Vergnaud qualifie cela de « schème opératoire », ce qui correspond à
« une façon de s’y prendre » pour « agir dans un certain type de situation, pour résoudre une
famille de problèmes, pour faire face à un certain type d’évènements » (Le Boterf, 2002).
Pour ce courant, la compétence ne doit absolument pas être morcelée, découpée en unité de
ressource ou de savoirs unitaire, mais au contraire rassemblée, réunie, mise en réseau. Le
Boterf donne un exemple très convaincant de cette vision : « Pour dispenser des soins
curatifs, un infirmier combinera certaines connaissances techniques et scientifiques
(anatomie, physiologie, pharmacologie…) avec des connaissances contextuelles sur le
malade (historique, entourage…), des savoir-faire méthodologiques (raisonnement
clinique…) et techniques (perfusion, pansements…), tout en mettant en œuvre des qualités
d’écoute » (Le Boterf, 2002).
L’évolution des organisations de travail et des exigences faites aux employés
expliquent la modification de conception de la notion de compétence. Comme l’explique Le
Boterf, « plus l’employé se trouve dans un contexte d’organisation du travail taylorienne et
de situation professionnelle à prescription stricte d’application de consignes, plus la
compétence qu’il est censé mettre en œuvre pourra être définie en terme de «savoir-faire en
situation». Il doit savoir exécuter une opération prescrite et appliquer ses instructions. Plus il
se situe dans une organisation du travail faisant appel à la polyvalence, à la prise d’initiative,
à la prise de risques, et où la prescription est «ouverte», plus la compétence requise pourra
être définie en termes de «savoir agir en situation. » (Le Boterf, 2002).
Cette approche de la compétence rejoint celle des connexionnistes qui tentent
d’expliquer la compétence à partir du fonctionnement cognitif de l’expert (Dreyfus, 1992).
En effet, un expert semble être en mesure de s’adapter spécifiquement à chaque situation,
comme s’il se détachait des programmes de familles de situations pour créer une solution
particulière pour chaque situation. Andronikof reprend l’hypothèse selon laquelle « l’expert a
développé une telle capacité d’évaluation des situations, de mise en lien de celles-ci avec ses
21
connaissances antérieures, et d’adaptation de ses propres routines cognitives à son
environnement, qu’il est apte à créer des liens multiples entre ses connaissances afin de
résoudre spécifiquement une situation donnée » (Andronikof, 2004). Le même auteur
explique très clairement : « Pour que ce nouveau programme de traitement soit le mieux
adapté à la situation, le sujet doit non seulement pouvoir créer des liens multiples et
inattendus, mais aussi utiliser ce que l’on appelle des compétences transversales ou méta
compétences qui correspondent à l’adaptabilité, la flexibilité, l’organisation, la stratégie, mais
aussi à la créativité et l’auto-évaluation » (Andronikof, 2004). Finalement, cette approche
connexionniste rejoint le savoir interagir de Le Boterf et sa double dimension (individuelle et
collective) de la compétence (Le Boterf, 2002). La compétence est vue comme l’aptitude
d’un individu à inter-agir dans une situation particulière en combinant les différents éléments
de cette situation mais aussi en interagissant avec d’autres individus et/ou leurs
représentations (organisations, entreprises).
• Les points communs dans toutes les disciplines:
Malgré les multiples et variées définitions et approches de la compétence, certains
éléments ont tendance à être constants et admis par tous.
La « performance » est un des éléments communs à la notion de compétence dans
tous les domaines. Elle est la réalisation concrète de la compétence, notion abstraite. Meirieu
écrit « que toute capacité ne se manifeste qu’à travers la mise en œuvre de contenus »
(Meirieu, 2009). Ce n’est que par la performance que l’on peut percevoir la compétence. En
d’autres termes, la performance permet de rendre visible comme un révélateur un état de
compétence en lui-même invisible. Il existe donc à la fois une différence claire entre
performance et compétence, et un lien indissociable entre elles. ». Ainsi, la performance est
toujours révélée dans une situation précise, dite « contextualisée ». Le défi sera alors de
pouvoir déduire d’un contexte particulier une compétence « générale ». La performance est
importante car c’est l’élément que le monde du travail considérait comme manquant dans
l’enseignement classique. Un jeune diplôme pouvait savoir comment faire en général, mais
par forcément savoir faire en situation.
La « mobilisation de ressources » est le second élément commun à la notion de
compétence. Perrenoud décrit la compétence comme la « faculté de mobiliser un ensemble de
22
ressources cognitives (savoirs, capacités, informations, etc) pour faire face avec pertinence et
efficacité à une famille de situations. » (Perrenoud, 1999). Dans le même ordre d’idée, pour
Wittorski, la compétence correspond à la « mobilisation dans l’action d’un certain nombre de
savoirs combinés de façon spécifique en fonction du cadre de perception que se construit «
l’auteur » de la situation. » (Wittorski, 1998). Pour évoquer le même concept, Le Boterf parle
de « combinatoire » (Le Boterf, 2002). Cette mobilisation des ressources est censée permettre
à chaque individu compétent de combiner les éléments dont il a besoin pour résoudre une
situation donnée à un moment donné. Ceci correspond à l’ « employabilité » à laquelle Chenu
se réfère et qui fait écho à l’exigence moderne des entreprises et organisations de
« flexibilité » et « polyvalence » de leurs employés (Chenu, 2005).
Comme le pense Chenu, ces deux éléments « performance » et « mobilisation de
ressources » ont certainement contribuer largement au succès du concept de compétence de
l’entreprise à l’école (Chenu, 2005).
• Les limites/interrogations
Le concept de compétence comporte aussi des limites conduisant à certaines
interrogations.
Premièrement, le terme « compétence » est étroitement lié au mode du travail. La
vision de la compétence a varié selon le modèle prédominant dans le travail à différentes
époques. Les licenciements, le chômage, les délocalisations et la concurrence ont modifiés les
attentes des entreprises envers leurs employés. Le fait que le terme de compétence vienne du
monde du travail induit un « statut scientifique incertain » (Crahay, 2006). Ce cheminement
inhabituel pour des termes scientifiques peut interroger et déstabiliser. En effet, en
éducation/formation, le terme compétence porte aussi des dimensions sociales, politique,
économique, voire idéologique qu’on ne peut pas totalement ignorer. La notion de
compétence est venue à la science par le monde du travail. Ainsi, ces dimensions prennent
tous leurs sens.
Deuxièmement, la notion de « mobilisation de ressources » dans le modèle de
compétence en éducation/formation pose inéluctablement la question du transfert. A propos
du counseling d’orientation, Michaud précise que « on ne peut pas parler du développement
de la compétence à s’orienter sans se préoccuper du transfert des apprentissage » (Michaud,
2006). En éducation, la notion de « transfert » est également attachée au terme compétence.
23
Tardif écrit que « le transfert des apprentissages partage obligatoirement les caractéristiques
de la résolution de problèmes » (Tardif, 1999). Le mot « mobiliser » n’est pas synonyme de
reproduire à l’identique mais bien de s’adapter à la situation nouvelle. Il ne s’agit donc pas
d’un transfert simple mais plutôt d’un transfert associé à une transformation.
(ii) En médecine : la compétence clinique
• Intérêts de la définition de la compétence en médecine
Actuellement, la définition, ou tout au moins la réflexion autours de la compétence
médicale, est utilisée pour plusieurs objectifs.
Premièrement, elle tente d’identifier des indicateurs témoignant d’un niveau
acceptable de pratique clinique. Le but est de standardiser et d’uniformiser les pratiques
cliniques afin d’assurer au public la qualité des soins. Ceci participe ainsi à la possibilité de
mieux mesurer la performance des médecins. La conséquence éventuelle est la certification
des jeunes médecins et potentiellement, dans le futur, la re-certification des professionnels
pour autoriser ou non leur exercice clinque (Heffron, 2007).
Deuxièmement, la description des compétences au sein d’une profession permet aussi
de déterminer son champ d’exercice (« scope of practice »), notamment par rapport aux
autres professions (Reeves, 2009).
Troisièmement, le développement de la notion de compétence en médecine a abouti
au concept de formation basée sur la compétence (Albanese, 2008). Il s’oppose au
traditionnel système de formation médical basé sur le temps dans lequel il est admis qu’un
apprenant devient compétent après une certaine durée d’exposition auprès des patients. Par
exemple, un interne en anesthésie réanimation sera considéré comme compétent pour
réanimer un patient présentant une allergie très grave à un médicament après cinq ans
d’internat, et ce quelque soit le nombre des cas rencontrés et quelque soit l’ « assimilation »
de ces expériences. Au contraire, dans le système de formation basée sur les compétences,
l’objectif affiché est d’acquérir la compétence, quelque soit la durée nécessaire. La durée de
formation sera donc variable selon les apprenants puisque la formation se terminera
seulement lorsque la compétence sera démontrée.
• Définition de la compétence en médecine
Les publications concernant la compétence en médecine sont très nombreuses. Elles
24
touchent essentiellement à deux aspects particuliers relatifs à la compétence : l’évaluation de
la compétence des médecins d’une part, et le système de formation basé sur les compétences
(« competency-based education ») d’autre part. De façon particulièrement étonnante, la
plupart des publications sur le sujet omettent la définition de la compétence. Epstein se risque
tout de même à une définition de la compétence médicale en proposant : « l’utilisation
habituelle et judicieuse de la communication, des connaissances, des savoir-faire techniques,
du raisonnement clinique, des émotions, des valeurs et des réflexions dans la pratique
quotidienne pour le bénéfice de l’individu et de la communauté servie » (traduction
personnelle) (Epstein, 2002). Au lieu de fournir une définition précise de la compétence
médicale, les organismes régulateurs de la profession décrivent les cadres généraux de la
profession. Aux Etats-Unis, le « Accreditation Council for Graduate Medical Education » a
défini six domaines de compétences ainsi que les moyens et méthodes de les évaluer chez les
professionnels : les soins aux patients, les connaissances médicales, l’apprentissage par la
pratique, le savoir être, le professionnalisme et l’adaptation de la pratique au système global
de santé . Le Collège Royal des Médecins et Chirurgiens du Canada lui a proposé en 1996 un
cadre innovateur pour l'enseignement de la médecine appelé le cadre des compétences
essentielles des médecins CanMEDS (Frank, 2007). Ce cadre est organisé en fonction de sept
rôles : Expert médical (rôle central), Communicateur, Collaborateur, Promoteur de la santé,
Gestionnaire, Érudit et Professionnel. Les compétences de CanMEDS ont été intégrées aux
normes d'accréditation, aux objectifs de formation, aux évaluations finales en cours de
formation, aux modèles d'examens et au programme du Maintien de certificat au dans de
nombreuses spécialités médicales et chirurgicale au Canada, et est aussi utilisé dans d’autres
pays (Ringsted, 2006).
La perception de la compétence médicale s’est développée parallèlement à celle des
autres domaines en reprenant certains éléments mais aussi en manifestant quelques
différences. Au début des années 1980, Burg considérait que les compétences cliniques
résultaient de l’association d’une part, des tâches à effectuer et d’autre part des types de
connaissances nécessaire pour y parvenir (Burg, 1982). Il représentait ainsi sa vision par une
matrice à double entrée. Dans les années 1990, Southgate définit la compétence médicale
comme « la volonté de sélectionner et d’accomplir de manière suffisante des taches cliniques
significatives dans le contexte d’un environnement social afin de résoudre des problèmes de
santé individuels ou d’une population de manière effective, efficace, économique et
humaine » (Southgate, 1994). Cette définition est intéressante à plusieurs titres. D’abord, il
parle de « volonté » et non pas de résultat. Cette originalité se distingue de la définition de
25
compétence dans les autres domaines qui déduisent la performance des résultats issus des
choix et des actions de l’individu. L’explication pourrait peut être venir de la culture
professionnelle médicale où les médecins ont une obligation de moyens mais pas de
résultats. La volonté se manifeste alors par les moyens mis en œuvre, indépendamment des
résultats obtenus. Ensuite, Southgate a ajouté au concept de compétence médicale l’aspect
contextuel qui rappelle les familles de situations évoquées dans le chapitre précédant.
Finalement, Southgate fait brièvement mention de l’ « économique » et de l’ « humain ».
L’économique rejoint les préoccupations issues du monde de l’entreprise. Par contre,
l’humain apparaît comme original en regard des autres milieux professionnels. Il est
intéressant de constater que la conception de la compétence médicale par le Collège Royal
Canadien développée dans les années 2000 reprend et approfondit l’humain. En effet, il
introduit le professionnalisme comme indispensable à la compétence médicale, au même titre
que le inter-agir (collaborateur) et la communication, ou encore l’expertise médicale. Dans
cette description seule l’expertise médicale correspond à la performance « technique », et elle
ne représente qu’un des sept piliers requis. Le professionnalisme associe la morale, l’éthique,
l'autoréglementation de la profession et aussi la rigueur du comportement personnel. Du fait
de ces éléments, la compétence médicale peut apparaître comme représentant une définition
plus large que la plupart des autres conceptions en éducation.
• Limites de la notion de compétence en médecine
La définition et l’usage de la compétence en médecine présentent plusieurs faiblesses
et peuvent parfois ne pas être parfaitement adapté à la pratique clinique.
Premièrement, Talbot affirme que « l’approche par compétence a tendance à limiter la
réflexion, l’intuition, l’expérience et la compétence d’ordre supérieur nécessaire à la pratique
experte, holistique et bien développée » (Talbot, 2004). Il reproche aussi à cette conception
d’être réductionniste car ne prenant en considération que les tâches et résultats sans tenir
compte du processus complexe pour y parvenir (Talbot, 2004). Lorsque le système où règne
la compétence est adoptée, peu de place est laissée à l’adaptation, à l’innovation, et à la
constatation de ce qui est reconnue comme la « norme » par le système peut parfois avoir
tendance à réduire l’adaptabilité (Reeves, 2009).
Deuxièmement, la mesure de la compétence est également une difficulté majeure.
L’évaluation exige des tests aux qualités psychométriques robustes, ce qui est actuellement
rarement le cas (Heffron, 2007). D’autre part, la description ou définition d’un seuil de
26
performance acceptable pour tel ou tel geste ou situation est généralement défini par un ou
quelques « experts » reconnus sur le sujet. Ceci peut résulter en une vision limitée voire
partiale de la compétence. Pour un certain nombre de praticiens, la notion de compétence
risque alors d’engendrer un sentiment « élitiste » distant inverse à l’objectif visé.
Donc, même s’il reste beaucoup de concepts à éclaircir autours de la notion de
compétence médicale, elle a fortement évoluée depuis les dernières décennies. Il semble
nécessaire d’accompagner ce travail d’exploration de la compétence par la reconnaissance
des contraintes, conflits et risques associés à ce mouvement et d’en appliquer les conclusions
afin de proposer un système optimisé de formation des professionnels de santé.
• Quelles implications pratiques pour la formation de médecins compétents?
Nous souhaitons proposer ici une synthèse des éléments abordés précédemment, ainsi
qu’une mise en relation avec les techniques modernes de formation médicale par simulation.
La conception moderne de la compétence repose principalement sur l’origine de
l’association des théories cognitivistes et (socio-)constructivistes. Les notions de « mise en
œuvre », d’ « activation de ressources » d’ordres multiples (affectif, cognitif, social,
morale,...), de « choix », de « combinaison », de « coordination » d’élément acquis
précédemment représentent aujourd’hui le mieux la compétence. Par ailleurs, la compétence
est clairement associée à la notion de contexte. La compétence se dévoile grâce à la
performance face à une situation particulière.
Si l’on essaie de regrouper l’ensemble de ces notions en une méthode pédagogique
appliquée à l’enseignement de la médecine, les techniques de simulation médicale
apparaissent comme particulièrement intéressantes. En effet, lorsque l’enseignement/le
formateur offre un scénario simulé à un étudiant, il doit systématiquement s’appuyer sur les
acquis antérieurs de l’étudiant. Le scénario simulé se rapproche des « apprentissages par
problèmes » mais avec l’avantage majeur de laisser à l’apprenant faire au lieu simplement,
comme souvent, de décrire et d’expliquer. De plus, la mise en situation se fait par
l’intermédiaire du scénario permettant à l’étudiant de mobiliser ses ressources dans un
contexte particulier qui est celui du cas clinique simulé proposé. Et immédiatement après
cette contextualisation, la décontextualisation est réalisée lors du débriefing (feedback) par
l’enseignant/instructeur qui analyse avec l’étudiant la performance. Ce débriefing autorise
aussi la mise en relations des ressources de l’apprenant, la recherche de sens, et lui permet de
27
lui faire acquérir du recul par rapport à la situation donnée. L’enseignant prend ici plutôt le
rôle d’un guide, d’un médiateur, d’un facilitateur, en facilitant la construction de la
compétence par l’étudiant lui-même. Ceci s’intègre totalement dans une perspective
socioconstructiviste où l’apprentissage émerge à la fois de l’expérience directe de l’apprenant
et son activité mentale de réflexion, voire réflexivité. Ainsi, il est possible d’envisager un
réseau favorisant le transfert vers d’autres contextes, dont l’aboutissement ultime est la
compétence.
Les méthodes de simulation médicale sont des méthodes où l’apprenant est actif, ce
qui, en terme de formation pour adulte, est générateur de motivation. La simulation médicale
permet aussi aux apprenants médecins d’évaluer leurs compétences, soit en observant les
résultats de leurs actions sur les mannequins-patients ou acteurs-patients, soit en étant
observés par un tiers et stout ceci sans faire courir le moindre risque aux patients.
b. Taxonomie
Une taxonomie est une « classification », le plus souvent « hiérarchisée ». Dans le
domaine de l’apprentissage, elle peut permettre de déterminer le niveau auquel un
apprentissage est opéré. En éducation, les auteurs distinguent en général trois domaines
différents: cognitif, psychomoteur et socio-affectif. Différentes taxonomies ont été décrites
pour chacun des domaines. Par exemple, la taxonomie de Bloom pour le domaine cognitif,
celle de Krathwohl pour le domaine socio-affectif et celle de Jewett pour le domaine
psychomoteur. Certaines taxonomies tentent de réunir plusieurs domaines comme la
taxonomie de Gagné.
• La taxonomie de Bloom
La taxonomie de Bloom, créer en 1956 par un groupe d’une quarantaine de
chercheurs, permet de conceptualiser les étapes du processus enseignement-apprentissage
pour le domaine cognitif. Elle est composée de six classes d’objectifs (Figure 2). Elle est utile
pour organiser l’enseignement et/ou l’évaluation.
Le premier niveau est celui de la « connaissance ». A ce niveau, l’apprenant « sait », il
peut répéter des éléments de connaissance comme une définition par exemple. Le second
28
niveau est celui de la « compréhension ». L’apprenant peut alors ré-expliquer un concept ou
une notion à sa propre façon. Au troisième niveau, « application », l’apprenant accompli la
tâche issue du concept enseigné. Par exemple, il prendre en charge un patient simulé. Le
quatrième niveau 4 est celui de l’analyse. L’étudiant est capable d’interpréter, de déduire, de
faire des hypothèses. Le cinquième niveau correspond à la « synthèse ». L’apprenant
rassemble toutes les informations et réorganise son savoir. Enfin, le sixième et dernier niveau
est celui du « jugement ». Il correspond à la capacité d’évaluation de la tâche considérée.
Figure 2 : Taxonomie de Bloom (Source : François Guité,
http://www.opossum.ca/guitef/html)
29
• La taxonomie de Krathwohl
La taxonomie de Krathwohl s’intéresse au domaine affectif (Krathwohl, 1964). Elle
classe « ce que vit une personne lorsqu’elle intègre ou apprend des contenus affectifs tels que
des attitudes ou des valeurs » (Morissette, 1993). Cette taxonomie est basée sur le principe
d’ « internalisation ». L’internalisation correspond au processus par lequel l’affect d’une
personne envers un objet passe d'un niveau de sensibilisation générale (conscience que ce
phénomène existe) à un point où l'affect est internalisés et guide et contrôle de façon
systématique et cohérente le comportement de la personne (Seels, 1990).
Cette taxonomie présente cinq catégories hiérarchisées (Figure 3). La première est la
« réception » et correspond à la prise de conscience de l’existence d’un phénomène par
l’apprenant. Souvent, c’est l’instructeur qui aide l’étudiant à réaliser cela. La seconde étape
est la « réponse ». C’est le moment où la personne passe du stade inactif (réception) au stade
actif par rapport au phénomène. La personne ressent alors des émotions vis à vis de ce
phénomène, ce qui induit des réactions d’approche ou d’évitement. La troisième catégorie est
la « valorisation ». Elle correspond à une telle intégration et à une telle conviction du
phénomène par la personne que le contenu affectif devient une attitude (une valeur). La
quatrième catégorie est l’ « organisation », consistant en la hiérarchisation des contenus
affectifs. Elle permet dans la vie de choisir, d’orienter les réactions d’une personne en
fonction des éléments affectifs qu’elle considère comme prioritaire. Enfin, la cinquième
catégorie est la « caractérisation » et pourrait être considérée comme le stade de l’habitude. A
ce stade, l’intégration du phénomène est telle, que la personne adapte l’ensemble de ses
comportements de façon cohérente selon ses priorités.
30
Figure 3: Taxonomie de Krathwohl.
• La taxonomie de Gagné
Gagné propose par sa taxonomie de rassembler les trois domaines évoqués
précédemment : cognitif, affectif et psychomoteur (Gagné, 1974). Il propose une
classification basée sur cinq champs de capacités (types d’apprentissage) de complexité
croissante : habiletés motrices, attitudes, informations verbales, stratégie cognitives,
intellectuelles. Sa popularité repose en partie sur la claire distinction entre les définitions
abstraites et concrètes de l'apprentissage (Seels, 1990).
Les habiletés motrices correspondent à des tâches nécessitant une activité musculaire
comme par exemple une activité sportive, un geste technique. Les attitudes se rapprochent
des concepts développés par Krathwohl et se réfèrent aux choix d’une personne en fonction
des affects, comme par exemple choisir de voir ce film précisément. Les informations
verbales incluent les connaissances qu’une personne peut répéter et aussi expliquer. Les
stratégies cognitives correspondent au processus par lequel l’apprenant pense et réfléchit,
notamment sur ses propres apprentissages. Enfin, les capacités intellectuelles vont de savoir
distinguer des éléments jusqu’à les agencer et les mettre en réseaux pour résoudre un
problème.
31
• Une taxonomie de la compétence clinique : La pyramide de Miller
La pyramide de Miller est une taxonomie de la compétence clinique (Miller, 1990).
Selon Miller, la compétence clinique est construite sur 4 niveaux, où chaque niveau nécessite
la présence des niveaux qui lui sont inférieurs (Figure 4). Le niveau le plus bas correspond à
« sait ». Ce niveau représente la connaissance des faits et est habituellement testé en utilisant
une certaine forme d'examen écrit ou oral limité au factuel (question à choix multiples,
questions orales, etc). Le niveau immédiatement supérieur est « sait comment », et peut être
considéré comme l'application des connaissances. Cela peut également être testé à l'aide des
examens écrits et oraux (questions à choix multiples, questions à réponses ouvertes et
courtes, etc), mais avec un contexte clinique particulier et exige donc que les étudiants soient
en mesure d'appliquer les connaissances existantes. Le troisième niveau est « démontre » ou
« montre comment » et se distingue des deux précédents niveaux par son aspect
comportemental et/ou psychomoteur plutôt que cognitif. C'est là que les étudiants démontrent
l’application de leur savoir dans le contexte par exemple lors d'une simulation médicale. Le
niveau 3 est généralement testé en utilisant des mannequins ou des patients acteurs. Enfin, le
niveau 4, le plus élevé, correspond à « fait ». C’est le niveau où l'étudiant fait preuve de toute
sa compétence clinique sur des patients réels, en temps réel avec les paramètres cliniques.
L’évaluation à ce niveau doit se faire sur le terrain de stage.
Figure 4 : Pyramide de Miller.
32
:" ><8'5804%1+
a. L’évaluation, la didactique et la compétence
Nous allons essayer d’explorer la relation entre l’évaluation, la didactique et la
compétence.
Tout d’abord, l’histoire de la didactique a influencé l’histoire de l’évaluation. Pendant
longtemps, le modèle prédominant en didactique a été le modèle behavioriste. Il consistait à
modifier le comportement de l’apprenant afin qu’il fournisse une nouvelle réponse à un
stimulus ou à un ensemble de stimuli qui ne la provoquaient pas auparavant. Cette approche a
fortement imprégné le courant contemporain de pédagogie et d’évaluation par objectifs. Dans
ce système, les objectifs d’apprentissage sont élaborés dans le cadre des modèles didactiques.
L’élève devait alors répéter au mieux ses connaissances apprises. Ceci a pu conduire à une
certaine « facilité » en se concentrant plus sur les évaluations et les examens que sur la
connaissance et l’adaptation à la variabilité du monde réel.
Plus tard, sous l’influence notamment de Piaget et Vygotski, le constructivisme est
devenu le modèle didactique prédominant (Vygotski, 1985; Piaget, 1990). Selon le
constructivisme, l’apprenant développe une activité réflexive sur ses propres connaissances
pour en construire de nouvelles. L’apprenant n’est donc pas simplement un récepteur même
actif de connaissances mais il est plutôt un créateur de connaissances. Le modèle d’évaluation
qui va en découler est alors basé sur une approche plus globale par compétences et non plus
par objectifs. L’apprenant doit montrer qu’il s’adapte aux situations nouvelles (Chenu, 2005).
Le but est d’obtenir une meilleure adaptation au monde extérieur en établissant des schémas
de pensées et de raisonnement reproductibles dans différentes situations. Le sujet doit être
capable d’interpréter une situation nouvelle pour lui, afin de décider quelles procédures
connues de lui sont applicables à cette situation. La résolution de problème est devenu un des
piliers de cette approche à la fois en didactique et en évaluation (parfois par famille). On
constate donc bien le lien très étroit entre la didactique et l’évaluation car la manière de
définir la (les) compétence(s), qui dépend de l’approche didactique choisie, va déterminer la
manière d’envisager l’évaluation.
La nature de l’évaluation influence elle aussi les concepts didactiques mis en jeu. Par
nature, nous entendons son but, son moment ou son destinataire.
33
Premièrement, le but de l’évaluation peut être formatif, sommatif (certifiant) ou
pronostique. Dans le cas d’évaluation formative, le but est de savoir où en est l’élève et lui
permettre d’avancer. La didactique de l’erreur est donc indispensable (essai-erreur). Paquet
explique parfaitement la relation entre didactique et évaluation formative : « Il n’est pas
évident d’analyser et de comprendre les actions et les progrès des apprenants face à des
situations de résolution de problèmes en mathématiques, ou de lecture, ou d’écriture d’un
texte sans une connaissance approfondie des objets enseignés et des pratiques sociales de
référence. » (Dolz, 2002). L’évaluation sommative, qu’elle soit critériée ou normative, a pour
but de vérifier les « compétences » de l’apprenant mais aussi parfois à travers lui,
l’enseignement ou le système éducatif plus global dans l’intention éventuellement à son tour
d’améliorer la formation. Ici aussi, la didactique est donc indispensable pour l’analyse de ce
type d’évaluation.
Deuxièmement, le moment de l’évaluation conditionne également ses formes
d’expression. Avant l’enseignement, on essaie de repérer les capacités et les lacunes des
apprenants pour organiser des situations d’apprentissage adaptées. Durant l’enseignement, on
essaie d’identifier les difficultés et les stratégies des apprenants en continu pour aménager le
milieu didactique et intervenir à bon escient de manière à réguler les processus impliqués
dans l’apprentissage (Dolz, 2002). Et après l’enseignement, on essaie d’analyser les progrès.
Enfin, les destinataires peuvent être différents : il peut s’agir des apprenants et des
enseignants participant aux processus didactiques, mais aussi des destinataires extérieurs.
Finalement, la relation entre didactique et évaluation est étroite avec des liens quasi-
indissociables. La didactique cherche à analyser, comprendre, expliquer, modéliser les
différentes facettes du savoir. Son rôle est par conséquent indispensable aussi bien pour
l’enseignement que pour l’évaluation (qui si elle est formative peut également être un outil
d’enseignement!) de « compétences », terme dont la définition elle-même est fortement
associée à la didactique.
b. L’évaluation en médecine
L’évaluation en formation médicale continue peut être abordé à travers le prisme de la
profession de médecin anesthésiste réanimateur. Cette profession peu (re)connue par le grand
public a pourtant été dans les trente dernières années à l’origine de nombreuses avancées
34
bénéficiant par la suite à l’ensemble des disciplines médicales et de leurs patients. A titre
d’exemple, les notions maintenant bien ancrées de « sécurité du patient » (Dripps, 1961), de
respect des durées maximales de travail (repos de sécurité post-garde) ou encore
d’enseignement par simulation médicale (Abrahamson, 1970) ont été initiés par cette
spécialité. Actuellement, la profession mène des réflexions (et des actions !) sur l’évaluation
des compétences de ses médecins.
(i) Sommative
L’évaluation sommative était jusqu’à présent uniquement réservée aux médecins en
formation. Actuellement la profession réfléchit à adopter systématiquement un système
d’évaluation permettant de recertifier les anesthésistes réanimateurs (Kremer, 1991; Heffron,
2007), tout au moins en Amérique du Nord. La demande sociale n’est pas étrangère à cette
mutation en cours. La problématique des instruments de mesure devient alors primordiale.
Comment évaluer de façon fiable la complexité de la compétence requise pour un médecin ?
Avec quels outils ? Et quelles sont les caractéristiques intrinsèques et extrinsèques de ces
tests ? Car si le public exige légitimement une assurance de la compétence des médecins, les
médecins aussi demandent des garanties quant à la fiabilité des outils avec lesquels ils
pourraient être jugés.
La recherche dans ce domaine de l’éducation médicale est très limitée. Certains
chercheurs ont développés des instruments de mesure de performance sur simulateur médical
pour juger de telle ou telle compétence. Mais ces instruments sont difficilement
généralisables en dehors du contexte évalué, notamment en ce qui concerne les compétences
techniques (Hodges, 1999; Friedman, 2008). De plus, l’usage de simulateurs médicaux pour
ces évaluations est indispensable pour des questions éthiques évidentes (Ziv, 2003). D’autres
ont développés des instruments de mesures des compétences non-techniques (Fletcher, 2003;
Chandra, 2008). Là encore, l’emploi de simulateurs médicaux à échelle humaine rend
aléatoire la validité du transfert des résultats de l’évaluation pour la pratique quotidienne.
Quels tests appliquer ? Savoldelli a montré que les résultats d’un test de compétence sur
simulateur médical pour l’examen de fin d’étude de médecins anesthésistes n’était que
faiblement corrélé aux résultats du traditionnel examen oral (Savoldelli, 2006). Dès lors, deux
interprétations sont possibles. La première est que le mode de validation des compétences des
jeunes anesthésistes n’est pas fiable actuellement...La deuxième est que les deux méthodes
35
d’évaluation de la compétences mesure différente composante de cette dernière et que donc,
l’évaluation actuelle ne mesure qu’une partie ou un aspect limité de la compétence des jeunes
médecins... Par conséquent, l’association des deux tests pourrait représenter une meilleure
approximation de la compétence réelle par rapport à l’utilisation d’un seul de ces deux modes
d’évaluation. Une fois de plus, on peut constater le degré de complexité des questions liées à
l’évaluation sommative ou certificative, et ce questionnement rejoint aussi la définition même
de « compétence » discuté précédemment. Ceci pourrait expliquer la grande variabilité dans
les systèmes d’évaluation d’un pays à l’autre. Des éléments culturels ont probablement un
rôle non négligeable dans ces différences et peu de recherche sur aspect a été réalisé jusqu’à
présent.
Finalement, la profession est partagée. Une partie considère qu’il est urgent d’attendre
le développement puis les résultats de recherches en évaluation médicale. Pour eux, la
validité des résultats de cette évaluation est primordiale. L’autre partie considère qu’il est
préférable de se lancer dès à présent dans l’évaluation certificative des professionnels, même
si les outils ne sont pas complètement évalués. Pour eux, il est préférable que la profession
elle-même s’empare de cette activité d’évaluation certificative plutôt que de laisser les
autorités politiques s’en emparer sous la pression du public. En quelques sortes, tout comme
en sciences de l’éducation, les partisans du produit s’opposent donc aux partisans du
processus.
Donc, l’évaluation en formation en anesthésie réanimation comme en formation
médicale en générale se développe sous plusieurs de ces aspects. L’évaluation en terme
cognitif n’est cependant pas encore apparue dans le milieu médical. La recherche en
évaluation en éducation médicale se développe également parallèlement. Tout comme en
sciences de l’éducation en général, les recherches en évaluation vont prendre dans un futur
proche une place cruciale au sein de l’éducation médicale.
!
(i) Formative
L’évaluation formative pour les médecins est en place depuis plusieurs années, aussi
bien en Amérique du Nord qu’en France. Par exemple pour les médecins anesthésistes
réanimateurs, il leur est demandé de montrer leurs investissements dans des formations (en
tant qu’apprenants) et/ou de s’abonner à des revues médicales. Ceci leur permet de récolter
des points formation dont un minimum est exigé toutes les x années. Il s’agissait alors
36
jusqu’à présent uniquement de participer à ces activités pour valider cette évaluation
considérée comme formative. L’impact de ce système d’évaluation formative est
probablement limité car toutes les recherches en éducation médicale tendent à montrer que
l’impact aussi bien des conférences que des publications de recommandations pour la
pratique clinique n’induisent que très peu de changements des pratiques des médecins
diplômés (Davis, 1999).
D’autres modalités d’évaluation formative sont utilisées. La principale, à l’heure
actuelle, est basée sur l’auto-évaluation formative grâce à des questionnaires diffusés dans
des revues scientifiques de la spécialité (papier et/ou électronique). Les réponses aux
questionnaires s’accompagnent de développements théoriques et permettent de comparer ses
propres réponses à celles d’experts. Selon la même modalité d’auto-évaluation formative, les
médecins bénéficiant d’ateliers de formations pratiques reçoivent parfois à la fin de la séance
une grille leur permettant de réfléchir aux progrès accomplis grâce à la formation. On peut
douter d’une quelconque efficacité sur l’amélioration de la pratique clinique de l’auto-
évaluation formative dans ce contexte dans la mesure où les objectifs recherchés par les
médecins peuvent être souvent imprécis et leurs motivations très variables.
Par ailleurs, Belair renforce cette conception et rapporte l’idée d’Allal selon laquelle
« dans une perspective cognitiviste, pour effectuer une évaluation formative qui permette à
l’élève de comprendre le processus rattaché à ses apprentissages, il faut réguler et par
conséquent lui donner des pistes pour améliorer ses manières d’apprendre » (Lebel, 2008).
Allal « a par la suite étayé le concept en ajoutant entre autres, des moments propices à ces
régulations, en parlant de régulation proactive qui se joue avant une activité, de régulation
interactive effectuée pendant une activité puis de régulation rétroactive, au terme de
l’activité » (Lebel, 2008). Lors d’une séance de simulation médicale, la régulation proactive
correspond au briefing qui fixe les objectifs de la séance. La régulation interactive se produit
pendant le scenario lorsque les acteurs jouant le rôle des autres professionnels de santé
adaptent leurs attitudes et actions en fonction de celles du participant. Et enfin, la régulation
rétroactive, au terme de l’activité correspond au temps de débriefing.
c. Barrières à l’évaluation des compétences médicales
Les médecins en formation montrent presque systématiquement une motivation
intrinsèque importante pour ce type d’enseignement, obligatoire ou optionnelle selon les
37
Universités. Ils perçoivent l’applicabilité directe de leur apprentissage et les conséquences
potentiellement dramatiques s’ils ne peuvent pas résoudre leur cas clinique si celui se
présentait avec un patient réel... De fait, ils acceptent parfaitement le feedback de
l’instructeur qui se livre à une évaluation formative lors du débriefing. En ce qui concerne les
médecins plus expérimentés, la motivation varie selon les individus. Certains ne perçoivent
pas l’intérêt de telle formation. Une des raisons est peut être la difficulté d’auto-évaluation
sommative. Plusieurs revues de la littérature concluent à une faible fiabilité de l’auto-
évaluation sommative pour les professionnels de santé. Si l’on ne peut prendre la mesure de
ses lacunes, comment alors ressentir le besoin de formation ? Et pire encore...comment
accepter et percevoir la valeur d’une évaluation formative par un instructeur lors d’une
séance de simulation médicale?
Le premier défi est donc probablement celui de l’implication/la motivation des
médecins pour les formations. Une solution pourrait être de rendre les formations
obligatoires. C’est en réalité ce qui se passe car il est exigé de la part de chaque médecin
d’acquérir régulièrement des points de formation continue, notamment en participant à des
séances de simulation médicale (avec débriefing). Aux Etats-Unis, les médecins bénéficient
en plus de réductions sur leurs primes d’assurances professionnelles.
Une seconde barrière réside dans le coût de l’évaluation formative par simulation
médicale. Pour chaque « apprenant », une séance mobilise plusieurs techniciens et un
instructeur. Le coût en ressources humaines est donc important... L’auto-évaluation formative
grâce par exemple à l’auto-débriefing pourrait être développée. Cela suppose alors le
développement d’outils pour guider l’apprenant dans l’analyse de ses
performances/compétences. Se pose aussi alors la question de la représentation de la
performance parfaite que l’apprenant doit viser. Des outils multimédias pourraient peut être
être bénéfiques (vidéo, serious games, etc).
Une troisième barrière majeure à la mise en place de l’évaluation formative est celle
des trouver des formateurs compétents. En effet, la dernière phase de l’évaluation formative,
le débriefing, s’apparente totalement au cirque, pour reprendre l’analogie de Laveault
(Laveault, 2000). Et rares sont les formateurs présentant toutes ces compétences.
L’instructeur nécessite la plupart du temps d’être un professionnel de santé, de savoir
analyser la performance en temps réel et de faire preuve de « tact », notamment lorsque le
participant est un médecin confirmé. L’instructeur dispose pour cela de plusieurs techniques
dont les plus courantes sont le débriefing sans jugements, ou décrit plus récemment par
Rudolph « avec un jugement juste » (traduction personnelle de « with good judgment »).
38
L’évaluation formative nécessite aussi de la part de l’instructeur de cerner le niveau de départ
des participants aux séances pour mieux se placer ensuite dans leur zone proximale de
développement. A nouveau, ceci est délicat pour des médecins expérimentés.
Donc, les médecins bénéficient de l’évaluation formative principalement pendant leur
formation initiale, mais pas uniquement. La principale modalité actuelle est l’auto-évaluation
formative, notamment au travers de certaines revues scientifiques. Malgré plusieurs barrières
à sa diffusion, le développement de l’usage des simulateurs en formation médicale procure et
procurera de plus en plus de nouvelles opportunités d’évaluations formatives à condition
toutefois que des recherches éclaircissent l’impact des évaluations.
Il est intéressant de constater que lorsqu’on cherche à définir la compétence en
médecine, l’idée d’assurer la sécurité des patients est constamment en arrière plan. Cet
objectif global (au niveau d’un système de soins pour une population) s’appuie en réalité sur
une méthode de nature particulièrement spécifique et individuelle: on détermine la
compétence pour des individus isolés au sein de chaque profession isolée. On suppose donc
implicitement que la somme d’individus compétents forme un tout compétent qui assure la
sécurité des patients. Or, rien de cela n’est certain… Toutes les études relatives à la sécurité
des patients montrent que les accidents de soins ne tiennent en général pas à un seul individu
mais soit à une succession d’erreurs par plusieurs individus soit à des défaillances d’un
système (Helmreich, 2000). Lorsque l’on approfondi la notion de système basé sur la
compétence, cela sous-entend que la qualité des soins pour les patients ne reposerait que sur
des professionnels individuellement compétent en niant l’importance capitale du système
global d’organisation des soins. Devrait-on alors aussi définir la compétence administrative
d’un système de santé?
Ainsi, ces éléments amènent plusieurs réflexions supplémentaires. D’abord, lorsque
l’on utilise la notion de compétence dans un cadre (re-)certificatif, doit-on retirer la licence
aux individus ne satisfaisant pas aux critères établis ou bien les aide-t-on à se remettre au
niveau exigé? Et comment s’assurer de la qualité psychométrique indiscutable des critères de
compétence établis? La simulation médicale a-t-elle une place dans ce processus ? Ensuite, la
définition de la compétence peut aussi être utilisée afin de déterminer les champs de pratiques
professionnelles. Qu’advient-il alors des tâches chevauchant plusieurs professions ? La
compétence n’est-elle pas ici utilisée pour s’attribuer un territoire au détriment d’un autre
groupe professionnel ? Que devient alors la pratique collaborative entre professionnels de
santé? La perception des champs de pratique professionnelle peut être à l’origine de conflits
39
perturbant éventuellement la qualité des soins. Idéalement, il faudrait alors non seulement
déterminer la notion de compétence pour chaque profession mais aussi étudier la compétence
en situation d’interaction entre les professions (interprofessionnelle).
=" ?8,$82*+0@/%$4A5*+B+@C.%0@(3*3+
a. Le concept de simulateur médical et l’usage actuel de la vidéo
• Histoire et nature des simulateurs médicaux
La simulation médicale est une nouvelle forme d’outils de plus en plus utilisée en
formation médicale. Depuis une vingtaine d’années, les progrès dans les domaines techniques
et informatiques ont permis la mise au point d’outils performants permettant de simuler de
nombreuses procédures médicales et la plupart des situations auxquelles les médecins doivent
être en mesure de faire face au cours de leur activité clinique. L’anesthésie-réanimation au
même titre que les disciplines chirurgicales est à la pointe du développement de ces
innovations. Les simulateurs médicaux peuvent permettre de reproduire soit un geste
particulier grâce à un simulateur médical spécifique pour cette tâche, soit des situations
complexes grâce à des mannequins totalement informatisés. Les nombreux types de
simulateurs médicaux développés sont habituellement classés en fonction de leur réalisme
appelé aussi degré de fidélité. Ainsi, on distingue les simulateurs médicaux dits « basse
fidélité » de ceux dits « haute fidélité ». La réalité virtuelle peut être classée dans l’une ou
l’autre catégorie selon les programmes. Certains centres combinent même plusieurs
simulateurs médicaux entre eux en simulateur dits « hybrides » pour élargir encore leurs
possibilités de formation et d’évaluation (Girzadas, 2009; Boet, 2010).
• Fonctions
La simulation médicale est utilisée pour les jeunes médecins en formation et aussi
parfois pour la formation continue des médecins plus expérimentés. Ces outils offrent des
possibilités d’évaluation formatives probablement plus intéressantes que tes méthodes
traditionnelles comme en illustrent de nombreuses publications (Bruppacher, 2010). L’usage
des simulateurs dans l’enseignement médical apparaît aujourd’hui comme un préalable
40
éthique incontournable avant la pratique clinique et le compagnonnage au chevet du patient
(Ziv, 2003).
Loin du premier modèle à échelle humaine créer par Abrahamson en 1961
(Abrahamson, 1997), une des possibilités majeures offerte aujourd’hui par ces simulateurs
médicaux informatisés à échelle humaine est la formation des professionnels de santé aux
facteurs humains dont la gestion des ressources de crise (« Crisis Resource Management »)
(Gaba, 2001). Les professionnels peuvent ainsi interagir avec le « patient-mannequin » en
échangeant une discussion. L’état de santé du patient s’améliore ou se dégrade selon les
traitements entrepris par les soignants.
En fonction de l’objectif de la session, une séance de simulation médicale consiste
soit à réaliser un geste technique de façon répétée, soit à proposer au médecin participant un
scenario qu’il devra résoudre au mieux. La simulation médicale permet donc l’apprentissage
aussi bien des compétences techniques que des compétences non techniques.
• Phases d’une séance de simulation médicale et utilisation de la vidéo
Quelque soit le type de compétences enseignées, une séance de simulation médicale
se déroule selon un schéma pré-établi. La première partie de la séance est le briefing qui
permet à l’instructeur de repréciser le cadre de la séance et ses objectifs précis. Ensuite, se
déroule la simulation médicale à proprement parlée, soit la répétition du geste technique à
apprendre, soit un scénario plus complexe si l’apprentissage des compétences non techniques
est recherché. Enfin, la troisième et dernière partie de la séance est invariablement le
débriefing pendant lequel l’instructeur fait part de son feedback à l’apprenant. Le débriefing
est le processus par lequel l’apprenant analyse, réfléchit et évalue sa performance (Dreifuerst,
2009). Le débriefing, aussi appelé « feedback », permet au(x) participant(s) de recevoir des
critiques constructives, des corrections, l'évaluation de leurs performances et la discussion de
l'expérience simulée. Cette dernière partie est considérée comme indispensable à
l’apprentissage par tous.
Au cours des séances de simulation médicale, l’apprentissage nécessite l’association
de la pratique expérientielle dans le simulateur médical et du débriefing qui approfondit les
connaissances et la réflexion. Savoldelli a d’ailleurs réalisé une étude avec des internes
d’anesthésie et les compétences de ressources de crise (Savoldelli, 2006). Dans cette étude
contrôlée et randomisée, Savoldelli a montré que l’expérience seule par simulateur médical
ne permet pas d’améliorer la performance des compétences non techniques en situations
41
urgentes des apprenants. Le débriefing est donc une pièce maîtresse du dispositif
d’enseignement par simulation médicale. Habituellement, le débriefing est réalisé par un
expert instructeur qui utilise ou non la vidéo du scénario du participant. Les séances de
simulation médicale se composent au minimum d’un scénario immédiatement suivi par un
débriefing, mais cette « unité » peut être répétée plusieurs fois.
La vidéo est un outil très utilisé lors des séances de simulation médicale. Elle est
parfois mise à profit pendant le briefing de la séance. Elle présente par exemple un rappel
théorique des notions médicales qui font parties des objectifs d’apprentissage du jour. Dans le
cas de l’apprentissage des compétences non techniques, les scénarios sont souvent filmés et
enregistrés avec une ou même plusieurs caméras. Un système de répartition permet alors à un
instructeur ou à un assistant technicien de sélectionner la caméra avec l’angle de vue le plus
intéressant pour les apprenants. Ensuite, cette vidéo est exploitée pendant le débriefing pour
analyser plus « objectivement » la performance lors du scénario et appuyer au mieux les
messages de l’instructeur. Lorsque les séances de simulation médicale se font en groupe, la
vidéo permet aux apprenants « non-participants directs » de pouvoir observer la
retransmission du scénario de leur pair et ainsi de pouvoir bénéficier au mieux du débriefing.
Si la séance de simulation médicale a pour objectif une évaluation de l’apprenant ou que le
scénario fait partie d’une étude scientifique, alors la vidéo est utilisée pour que les experts
évaluateurs analysent et/ou notent la performance de l’apprenant tout en maintenant les
experts en aveugle quant au groupe d’appartenance des participants ou parfois même en
maintenant anonyme les vidéos. L’étude de Savoldelli, mentionnée précédemment, est l’une
des seules à avoir étudiée l’impact de la vidéo lors du débriefing sur l’apprentissage des
apprenants (Savoldelli, 2006). Pour l’apprentissage des compétences de gestion de ressources
de crise, il n’a pas mis en évidence d’apport de la vidéo en terme d’amélioration de
performance des apprenants. Néanmoins, la puissance de l’étude était sub-optimale et, de ce
fait, beaucoup de centres d’enseignements par simulation médicale utilisent tout de même la
vidéo pour les débriefings de leurs apprenants.
• Efficacité de l’enseignement par simulation médicale
Plusieurs études ont prouvé l’efficacité pédagogique des simulateurs médicaux,
pour les gestes techniques aussi bien que pour les compétences non techniques. Par exemple,
l’intérêt des simulateurs médicaux de mise en place de cathéter central ou de cathéter
péridural est maintenant démontré (Britt, 2009; Friedman, 2009). L’entraînement à la
42
cricothyroïdotomie, sorte de trachéotomie en urgence, peut faire appel à des mannequins à
l’échelle humaine intégrant un modèle de larynx, ou à des reproductions plus simplifiées
(Friedman, 2008). Les tâches complexes telles que l’intubation sous fibroscopie peuvent
aussi être enseignée à l’aide de différents types de simulateurs médicaux à haute ou basse
fidélité, ou encore grâce à la réalité virtuelle (Naik, 2001; Rowe, 2002; Goldmann, 2006;
Boet, 2009). Comme nous l’avons déjà évoqué, les compétences de gestions de ressources de
crise sont aussi améliorées (Savoldelli, 2006; Bruppacher, 2010).
La formation médicale par simulation s’adapte parfaitement au concept de régulation.
Laveault reprend la définition de la notion de régulation des apprentissage : «le procédé, lié à
l’évaluation, qui consiste pour l’élève ou pour l’enseignant à ajuster les actions afin que
l’apprentissage puisse progresser » (Laveault, 2000). Il poursuit en précisant les conditions
nécessaires à cet ajustement: « (1) un objectif et un standard à partir duquel on pourra juger
que l’on se rapproche plus ou moins de l’objectif; (2) une rétroaction, qui permet de rendre
compte de façon continue de l’écart qui sépare l’élève du but à atteindre. (3) une action qui
vise à réduire l’écart entre la situation actuelle de l’élève et la situation attendue. » (Laveault,
2000). La simulation médicale couplée à des outils d’évaluation formative pourrait donc
présenter un intérêt tout au moins pour les médecins en formation.
• Nombre d’apprenants par séance
Le nombre de participants aux séances de simulation médicale est variable selon
l’objectif d’apprentissage de la séance, technique ou non technique, selon le nombre
d’instructeurs disponibles, selon le niveau des apprenants, et aussi selon les habitudes des
centres de formation. Certains centres forment les apprenants individuellement, d’autres par
petits groupes. Lorsqu’un apprenant participe à un scénario, les autres étudiants du groupe
jouent alors parfois les rôles des autres professionnels présents dans le scénario en respectant
le plus souvent un script, soit jouent le rôle des aides si le participant principal requiert de
l’aide. Enfin, les autres étudiants sont parfois simples observateurs via les systèmes de
retransmission vidéo en direct. Aucune étude n’a évaluée, à notre connaissance et en
enseignement médical, l’efficacité relative de l’enseignement en groupe par rapport à
l’enseignement individuel. Les paramètres de faisabilité et de logistique sont donc souvent
déterminant pour décider du nombre d’apprenants par séances de simulation médicale.
43
b. Cadrage de la recherche: intégration des simulateurs médicaux dans
les taxonomies
D’après les éléments évoqués précédemment, nous pouvons rapprocher deux constats.
Premièrement, il serait extrêmement utile de trouver un ou des moyen(s) d’améliorer la
fiabilité de l’auto-évaluation sommative des médecins dans le contexte d’une profession
autorégulée. Deuxièmement, et dans cette même optique, il serait très intéressant de pouvoir
réaliser des séances de formation par simulation médicale sans avoir besoin de recourir à un
instructeur. Ces deux éléments se rejoignent dans la problématique commune de l’auto-
évaluation selon ses deux paradigmes, l’un sommatif, l’autre formatif.
Dans la perspective d’une approche socioconstructiviste de la compétence en
médecine, les simulateurs médicaux présentent un double intérêt de formation et d’évaluation
avec l’objectif ultime d’améliorer la qualité des soins prodigués aux patients. Les techniques
d’enseignement utilisant les simulateurs médicaux respectent les principes de régulation de
l’apprentissage et d’apprentissage par problèmes. Les séances de simulation médicale
permettent d’accéder au niveau « application » de la taxonomie de Bloom et au niveau
« démontre » ou « montre comment » de la taxonomie de Miller. Le débriefing doit permettre
d’accéder aux niveaux d’ « analyse » et de « synthèse » de Bloom. L’intégration des
techniques de simulation médicale avec un débriefing par auto-évaluation peut donc
théoriquement permettre d’atteindre la plus haute couche des taxonomies de la compétence, à
savoir le niveau « évaluer » de la taxonomie de Bloom. Ceci autorise l’hypothèse d’une
potentielle efficacité supérieure de cette association en terme d’apprentissage de compétence.
44
III- CADRE THEORIQUE
!" D,*10474-804%1+*0+,/741404%1+,*3+<8$48&'*3+
a. Variables indépendantes :
i. Usage proposé du simulateur médical
Nous allons utilisés des simulateurs médicaux de « patients entiers » à échelle
humaine dans le but de reproduire les facteurs humains rencontrés en pratique clinique réelle.
Comme nous l’avons déjà précisé, ces simulateurs médicaux à échelle humaine sont très
réalistes et permettent de répliquer presque la totalité des situations cliniques. Nous allons
donc reproduire une situation d’urgence absolue au bloc opératoire que les internes
d’anesthésie devront résoudre. Pour cela, nous utiliserons un respirateur d’anesthésie et un
moniteur qui permettra au participant de visualiser les fonctions vitales du « patient »
(fréquence cardiaque, tension artérielle, respiration, taux d’oxygène dans le sang du patient,
etc). Ce scénario nous permettra de mesurer leur compétence non technique de gestion de
ressources de crise. Chaque interne participera aux scénarios individuellement. Dans ces
scénarios, deux autres individus seront présents, à savoir le chirurgien et une infirmière de
bloc opératoire. Ces deux personnes seront des acteurs et joueront chacun un rôle écrit.
ii. Usage proposé de l’enregistrement vidéo
Deux caméras vidéo placées dans la salle de simulation enregistreront le son et
l’image de chaque scénario. De plus, les éléments apparaissant sur le moniteur, et donnant à
l’interne d’anesthésie les informations vitales du patient, seront retranscrits sur l’image du
film vidéo. Le DVD du scénario sera ainsi fournit à chaque interne participant directement
après leur scénario afin qu’il/elle puisse visualiser sa performance pendant le débriefing.
Nous utiliserons donc la vidéo comme outil d’amélioration potentiel de l’auto-évaluation
sommative et aussi de réflexivité dans le cadre de l’auto-évaluation formative (auto-
débriefing). Cette exploitation de la vidéo est nouvelle par rapport aux rôles traditionnels de
simple support au débriefing ou évaluation de la performance par un tiers.
45
b. Variables dépendantes :
i. Capacité des internes en anesthésie à l’auto-évaluation sommative
Dans notre étude, nous proposons d’évaluer l’efficacité des internes d’anesthésie à
l’auto-évaluation sommative. Pour cela, nous utiliserons la vidéo des scénarios et
demanderons aux internes de visualiser leur propre performance puis de se noter. Nous
devrons donc utiliser une grille de notation robuste, valide et fiable afin de réellement mesure
la capacité des participants à l’auto-évaluation. En effet, la mesure de la performance non
technique du médecin face à une situation d’urgence absolue est l’élément d’évaluation clé de
cette étude. Nous avons utilisé, pour cette mesure, le score de « compétences non techniques
des anesthésistes » (traduction personnelle de « Anesthetists Non-Technical Skills », dit
ANTS) (Appendice 3). Ce système d’évaluation de la compétence de gestion des ressources
de crise a été créé en 2003 par une équipe irlandaise de psychologues en collaboration avec
des médecins (Fletcher, 2003; Flin, 2003). Le système ANTS est un système de marqueurs
valides et fiables de comportement qui évalue les compétences anesthésiologistes «non
techniques (Flin, 2008). Le système ANTS est divisé en quatre catégories de compétences
principales: appréciation de la situation, travail en équipe, prise de décision et organisation
des actions. Chaque catégorie est subdivisée en un certain nombre d'éléments de compétence,
et pour chaque élément de compétence d'un certain nombre de descripteurs de comportement
témoignant d’une bonne performance et d’une mauvaise performance sont décrits. Pour
chaque scénario, les performances observées sont notées au niveau de la catégorie, guidé par
des descripteurs des éléments composant chaque compétence. Chaque catégorie est notée de
1 à 4, 4 étant le score le plus élevé et 1 le plus petit score possible. Les scores de chaque
catégorie sont ensuite additionnées pour fournir une note globale entre 4 (très mauvaise
performance) et 16 (excellente performance) pour le participant évalué (Fletcher, 2003).
Ainsi, ce système de notation est dit hiérarchique.
Cette même échelle ANTS sera utilisée aussi bien pour l’auto-évaluation par les internes que
par les experts évaluant les performances grâce aux vidéos.
Ainsi nous pourrons comparer les scores auto-évalués avec ceux attribués par les
experts.
46
ii. Performance de gestion des ressources de crise simulée
Les scénarios simulés sont spécialement créés pour induire, repérer et analyser
certains comportements de la part des internes d’anesthésie participants. Deux experts vont
noter chaque performance non technique de gestion de ressources de crise grâce au système
ANTS. Pour chaque interne, ce score sera considéré comme le score de performance « vrai »
et « réel » de la compétence de gestion de ressources de crise.
iii. Débriefing par instructeur
Les participants du groupe débriefing par expert instructeur auront un débriefing à
l’aide de la vidéo. Ils vont visualiser la vidéo des passages de leur scénario considérés comme
formateurs par leur instructeur. L’instructeur fera un débriefing de type « débriefing avec
jugement juste » (traduction personnel de « debriefing with good judgement »). Ce débriefing
vise à ne pas masquer les erreurs des apprenants mais au contraire à les rapporter
ouvertement pour ensuite mieux réfléchir sur leurs causes éventuelles. Ainsi, l’instructeur est
un facilitateur, un guide de réflexion pour l’apprenant. En général, l’instructeur aborde deux
ou trois notions clés de la gestion des ressources de crise avec l’interne.
iv. Auto-débriefing
Dans notre étude, l’évaluation de l’intérêt potentiel de l’auto-évaluation formative
sera possible grâce à un auto-débriefing. L’auto-débriefing se fera bien entendu sans
instructeur mais avec, à la place, un formulaire d’une page unique qui servira de « guide ». Le
formulaire d’auto-débriefing sera basé sur le système ANTS pour inciter les apprenants à la
réflexivité. Pour ce débriefing aussi, et pour ne pas créer de différence inutile avec le
débriefing par instructeur, les participants utiliserons la vidéo et sélectionnerons eux-mêmes
les passages qu’ils considèrent importants à revoir.
Pour mesurer l’efficacité de l’auto-évaluation formative (c’est à dire de l’auto-débriefing), les
scores attribués par les experts permettront de mesurer l’évolution de la performance entre
avant et après l’auto-débriefing.
47
6" EC.%0@(3*3+.$/-43*3+*0+A5*304%13+,*+$*-@*$-@*+
Nous proposons dans cette étude de nous attacher à explorer l’auto-évaluation selon
ses deux paradigmes sommatif et formatif et tenter de répondre à quatre questions de
recherche. Pour cela, nous allons utiliser des simulateurs médicaux pour obtenir des
conditions le plus contrôlées possibles.
En ce qui concerne l’exploration de l’auto-évaluation sommative, nous allons d’abord
mesurer la capacité des internes en anesthésie à l’auto-évaluation sommative de leur propre
performance de gestion des ressources de crise simulée. Au vu de la littérature, nous faisons
l’hypothèse que les internes d’anesthésie ne seront pas fiables dans leur auto-évaluation. Puis
nous allons tenter d’évaluer l’intérêt potentiel d’un moyen d’améliorer la capacité d’auto-
évaluation des apprenants en leur proposant de s’auto-évaluer à l’aide du visionnage de la
vidéo de leur propre performance. Nous faisons l’hypothèse que la fiabilité de l'auto-
évaluation des internes sera améliorée grâce à la vidéo.
En ce qui concerne l’étude de l’auto-évaluation formative, nous allons évaluer son
efficacité par l’intermédiaire de l’auto-débriefing lors des séances de formation par
simulation médicale. De plus, nous allons comparer l’efficacité de cet auto-débriefing avec le
traditionnel débriefing par instructeur lors d’enseignement par simulation des compétences de
gestion de ressources de crise. Nous faisons l’hypothèse que les internes d’anesthésie
amélioreront leur performance de gestion de ressource de crise grâce à un enseignement par
simulation médicale et avec auto-débriefing. De plus, nous suggérons que l’auto-débriefing
sera d’une efficacité similaire à l’efficacité de l’étalon-or, le débriefing par instructeur en
terme d’apprentissage des compétences de gestion des ressources de crise.
Donc, notre étude est une recherche empirique qui eexplore l’auto-évaluation et
associe deux méthodologies de recherche quantitative, à savoir corrélationnelle et
comparative. Cette association nous permet d’envisager d’étudier l’auto-évaluation selon ses
deux paradigmes sommatif et formatif et de tenter de répondre à quatre questions de
recherche.
En ce qui concerne l’auto-évaluation sommative :
- Quelle est la fiabilité de l’auto-évaluation sommative des internes d’anesthésie pour les
compétences de gestions de ressources de crise sans utilisation de la vidéo ?
48
- Est-ce que la fiabilité de l’auto-évaluation sommative des internes d’anesthésie pour les
compétences de gestions de ressources de crise est améliorée par la visualisation de leur
propre vidéo ?
En ce qui concerne l’auto-évaluation formative :
- Est-ce que l’auto-évaluation formative (via l’auto-débriefing) permet l’amélioration des
compétence de gestion de ressources de crise pour des internes d’anesthésie ?
- Est-ce que l’auto-débriefing est d’une efficacité similaire à l’efficacité de l’étalon-or, à
savoir le débriefing par instructeur ?
IV- METHODE
!" F/0@%,%'%24*+
a. Design
Pour tenter de répondre au quatre questions détaillées précédemment, l’étude est de
nature purement quantitative et elle utilise l’association de deux types de méthodologies :
corrélationnelle et comparative. L’étude est prospective et comporte une structure d’essai
contrôlé randomisé.
L’étude a comporté une session de simulation médicale constituée pour chaque
participant deux scénarios successifs de situations d’urgence absolue, séparés par un
débriefing (Appendice 1).
Après leur premier scénario (pré-test), les participants ont été randomisés soit pour un
auto-débriefing (groupe intervention), soit pour un débriefing par instructeur expert (groupe
contrôle, considéré comme le gold standard). Immédiatement après leur pré-test et juste avant
leur débriefing, il était demandé aux participants d’auto-évaluer leur performance non
technique dans le scénario qu’ils venaient d’effectuer. Cette auto-évaluation était réalisée
immédiatement après le pré-test, sans recours à la vidéo, afin de tenter d’éviter de laisser aux
participants un temps de réflexion approfondi.
49
Pour éviter tout biais lié à la durée du débriefing, les deux types de débriefing avaient une
durée de 20 minutes.
Les internes d’anesthésie du groupe débriefing par instructeur expert ont visualisé les
passages considérés comme formateurs du pré-test par leur instructeur. Le même instructeur a
mené l’ensemble des débriefings de ce groupe. Cet instructeur a été formé aux techniques de
débriefings lors d’une formation spécialisée et a également bénéficié d’un apprentissage par
compagnonnage par un instructeur expert pendant plusieurs mois avec de réaliser les
débriefings de cette étude. Après la visualisation des passages vidéo choisis par l’instructeur,
ce dernier encourageait le participant à réfléchir sur la façon d’améliorer sa performance non
technique lors d’une situation d’urgence anesthésique au bloc opératoire. Pour ce débriefing,
l’instructeur suivait mentalement le schéma de l’échelle ANTS mais le participant ne
disposait pas de cet outil. Les passages jugés comme peu formateurs par l’instructeur étaient
visionnés en accéléré.
Dans le groupe auto-débriefing, le DVD du scénario était donné au participant afin
qu’il puisse le visionner. Dans ce groupe, le participant était totalement libre du choix des
passages de la vidéo qu’il souhaitait et d’accélérer certains passages ou d’en revisualiser
certains autres. Il était demandé aux participants de ce groupe de réfléchir sur leur
performance non technique qu’ils venaient d’effectuer lors du premier scénario. Pour les
aider dans cette tâche, un formulaire d’auto-débriefing leur été fourni (Appendice 3). Les
participants devaient également s’auto-évaluer grâce à ce même formulaire en indiquant leur
score. Pendant leur auto-débriefing, les participants de ce groupe ne disposaient évidemment
pas de leur première auto-évaluation, réalisée quant à elle sans avoir recours à la vidéo.
L’échelle ANTS a été utilisée comme un guide à l’auto-débriefing.
Immédiatement après leur débriefing respectif, chaque participant était exposé à un
second scénario (post-test) reproduisant également une situation critique per-opératoire. Le
niveau de difficulté des deux scénarios se voulait similaire.
Enfin, pour des raisons éthiques évidentes, chaque participant a bénéficiait d’un
débriefing par instructeur après le post-test afin de ne pas hypothéquer les bénéfices
individuels de formation dans l’hypothèse où l’auto-débriefing ne serait pas efficace en terme
d’apprentissage de la gestion des ressources de crise.
50
b. Recrutement
Une demande d’autorisation au Comité d’Ethique pour la recherche scientifique de
l’hôpital, dans lequel se situe le centre de simulation où s’effectue l’étude, a été rédigée.
Après avoir répondu à l’ensemble des questions du Comité d’Ethique, nous avons obtenu leur
autorisation pour réaliser l’étude (Hôpital St. Michael’s, Université de Toronto, Toronto,
Ontario, Canada). Nous avons également présenté l’étude au comité des études de troisième
cycle en anesthésie (traduction personnelle de « Post Graduate Committee ») de l’Université
de Toronto. Ce comité a le pouvoir de décision quant à l’enseignement universitaire des
internes en anesthésie inscrits à Toronto. Convaincu du bénéfice en terme de formation pour
les étudiants, nous avons obtenu l’accord de ce comité pour réaliser l’étude pendant leur
temps de travail.
Les internes d'anesthésie de la seconde à la cinquième année de l'Université de
Toronto ont été invités à participer à notre étude. Une première information leur a été
adressée par courriels par l’intermédiaire du coordinateur de l’enseignement avec lettre de
soutien du Vice Président chargé de l’éducation au département d’anesthésie de l’Université.
Par la suite, une relance par courriel individuel a été réalisée. Le nombre total d’internes en
anesthésie de la deuxième à la cinquième années inscrits à l’Université de Toronto était, au
moment de l’étude, de 82, soit 82 participants potentiels.
Enfin, un consentement éclairé a été recueilli de la part de chaque participant. De
plus, chaque participant a également signé un accord de confidentialité afin d’empêcher que
les détails concernant les scénarios cliniques simulés ne puissent être divulgués à tout autre
participant potentiel avant la fin de l'étude.
c. Phase d’Orientation
Avant les sessions de simulation médicale, une séance d'orientation structurée de
trente minutes a été organisée pour tous les participants. Au cours de cette session, les
principes de simulation médicale, la gestion des ressources de crise en anesthésie et les
compétences non techniques ont été discutées (Gaba, 1994; Flin, 2003).
Les compétences non techniques de gestion de ressources de crise anesthésistes ont
été présentées grâce à l’échelle ANTS (Fletcher, 2003; Flin, 2003). Toutes les catégories de
51
ANTS ainsi que ses éléments ont été expliqués aux sujets. Cette échelle a aussi été utilisée à
la fois comme un guide à l’auto-débriefing et comme un outil d'auto–évaluation.
Les sujets ont ensuite été familiarisés avec le mannequin Laerdal SimMan®, les
moniteurs (Laerdal Medical Canada Ltd, Toronto, Canada), la machine d'anesthésie Datex ®
(Datex Corporation, Saint-Laurent, Québec, Canada), et l’environnement de la salle
d'opération. Après l'orientation, les participants ont rempli un questionnaire afin de collecter
des données démographiques et de quantifier leur expérience de simulation médicale
(Appendice 2).
d. Simulation à proprement parlé
Le jour de l'étude, les participants ont assisté à leurs sessions individuellement.
Chaque session a consisté en deux scénarios dans lesquels les participants ont joué leur
propre rôle d'anesthésiste principal. Chaque scénario a duré exactement 5 minutes. Le
scenario était dirigé par un programme informatique contrôlant le mannequin, cecidee façon à
éviter tout biais lié à une variation du scénario lui-même.
Deux membres du personnel du centre de simulation ont agi dans chaque scénario
dans les rôles, pour l’un d'un chirurgien et pour l’autre d’une infirmière de salle d'opération.
Les scriptes de ces deux rôles ont été écrits à l’avance pour assurer la cohérence du travail en
équipe et le réalisme des scénarios. Les deux membres du personnel impliqués ont été
chargés d'aider l’interne d’anesthésiste (tel que le feraient un chirurgien et une infirmière) et
d'effectuer des tâches lorsqu'elle est dirigée, mais en aucune façon les acteurs ne prodiguaient
de conseils sur la gestion de la situation de crise ni sur les diagnostics différentiels. Les deux
scénarios consistaient en un arrêt cardiaque per-opératoire secondaire à une grave anomalie
du rythme cardiaque. Chaque scénario a été enregistré sur DVD avec une superposition
graphique des signes vitaux du patient simulé. Ainsi, lors de la visualisation ultérieure des
scénarios sur DVD, les signes vitaux du parient apparaissaient à l’écran en temps réel.
Les deux scénarios utilisés devaient conduire l’anesthésiste à administrer un choc
électrique externe au patient afin de tenter de rétablir un rythme cardiaque compatible avec
une circulation sanguine efficace. Les scénarios ont été créés et choisis de façon à être de
difficulté égale grâce à un consensus par l’ensemble de nos enseignants de simulation en
anesthésie. Pour nous assurer d’un niveau de difficulté similaire des deux scénarios, nous
52
avons recueilli auprès de chaque participant leur perception du niveau de difficulté de chaque
scénario. Initialement, les deux scénarios utilisés étaient une « fibrillation auriculaire »
secondaire à un infarctus du myocarde et une « fibrillation ventriculaire » due à une
hyperkaliémie (excès de potassium dans le sang). Les 16 premiers sujets recrutés ont été
exposés à ces deux scénarios. Néanmoins, il s’est avéré que le scénario « fibrillation
auriculaire » a été perçu par les participants comme plus difficile. Nous avons donc changé ce
scénario « fibrillation auriculaire » contre un nouveau scénario « fibrillation ventriculaire »
secondaire à un infarctus du myocarde pour les 50 participants suivants. L’inclusion ou non
en fonction de la question de recherche traitée et la randomisation des participants est
détaillée dans la section « Résultats » de ce mémoire. Les scénarios « fibrillation auriculaire »
et « fibrillation ventriculaire » se sont cette fois avérés de même niveau de difficultés par les
participants.
Les scénarios choisis étaient de courte durée et étaient représentaient des arrêts
cardiaques parce qu'ils peuvent être considérés comme l'archétype même de la situation
d’urgence absolue parfaite. De nombreuses procédures et actions standardisées doivent être
prises et toutes les compétences non techniques des anesthésistes peuvent être évaluée dans
un court laps de temps. Pour contrôler un éventuel effet de séquence, l'ordre de présentation
des deux scénarios a été randomisé pour chaque participant et a été réparti également entre
les groupes d'étude. Ainsi, nous avons tenté d’éviter tout biais lié à l’ordre du scénario reçu.
e. Instruments de mesure de la performance
Nous avons choisi d’utiliser le système ANTS détaillé précédemment.
Deux évaluateurs médecins anesthésistes et ayant une expertise en simulation
médicale et en principes de crise de gestion des ressources ont été recrutés et formés par les
principaux investigateurs à évaluer les participants en utilisant le système de notation ANTS.
La formation des évaluateurs était assurée par la lecture de l’article princeps décrivant
l’échelle ANTS (Fletcher, 2003) ainsi que du livret d’accompagnement précisant son
utilisation (Flin, 2003). En outre, ils ont bénéficié d’environ 2 heures de formation basée sur
l’évaluation de scénarios préenregistrés. Ces scénarios préenregistrés étaient similaires aux
scénarios utilisés dans cette étude. Chaque évaluateur a noté indépendamment les
performance grâce au système ANTS puis a discuté les résultats de façon a « calibrer » leurs
53
évaluations l’un avec l’autre. Le processus de formation des évaluateurs s’est achevé quand
les deux évaluateurs ont obtenu des scores d’évaluation sensiblement identiques.
Une fois toutes les données ont été recueillies, les deux évaluateurs ont évalué
indépendamment les vidéos de tous les participants dans un ordre aléatoire, et en aveugle
quant à la randomisation des participants et le niveau de formation. Donc, le système ANTS a
été utilisé aussi bien par les évaluateurs experts que par les internes pour s’auto-évaluer.
f. Statistiques
! Commun aux deux types d’auto-évaluation:
Les données démographiques ont été analysées en utilisant le test du chi carré
(variables qualitatives nominales ou ordinales) et de Mann-Whitney (variables quantitatives
discrètes non distribuées selon la loi Normale), selon les cas. La fiabilité inter-juge a été
évaluée en utilisant le coefficient de corrélation intraclasse pour les scores ANTS totaux.
Bien que les échelles de Likert qui sont utilisées dans le score ANTS soient clairement
ordinales de par leur nature, ces scores se comportent de façon empirique comme des
variables paramétriques. Par conséquent, au lieu des tests non paramétriques pour variables
ordinales, nous avons choisi d’utiliser, comme beaucoup d’autres chercheurs, des tests
statistiques paramétriques pour analyser nos données distribuées selon la loi normale
(Regehr, 1998; Savoldelli, 2006; Carifio, 2008; Welke, 2009). Ainsi, nous avons utilisé les
tests paramétriques suivants : corrélation de Lin pour mesurer l’association entre deux
variables et l’analyse de variance (ANOVA) pour comparer plusieurs moyennes.
Une valeur p inférieure à 0,05 (en bilatérale) a été considérée comme significative
pour toutes les analyses. L'analyse statistique a été réalisée en utilisant SPSS 16.0 (SPSS Inc,
Chicago, IL).
! Auto-évaluation sommative:
Pour évaluer notre critère principal de jugement, nous avons utilisé le coefficient de
corrélation de Lin afin de mesure le degré d’association des scores auto-évalués avec ceux
des experts. Cette opération a été effectuée avant et après l'examen vidéo pour le score ANTS
54
total et également au niveau de chacune des 4 catégories de compétence non techniques. Le
coefficient de corrélation de Lin coefficient combine à la fois avec précision et fiabilité dans
quelle mesure les données observées s'écartent de la ligne de concordance parfaite (c’est à
dire la ligne à 45 degrés sur un nuage de points). Une valeur de 1,0 indique un accord parfait,
une valeur de 0,0 indique aucun accord (Lin, 1989).
Nos critères d'évaluation secondaires étaient:
(i) l’examen de la relation entre les scores d'auto-évaluation et les scores d'experts. Pour
examiner la relation entre les scores d'auto-évaluation et ceux des experts, nous avons
compté le nombre de résidents qui ont sous-estimés et ceux qui ont surestimés leur
performance par rapport aux scores attribués par les experts lors de leur performance
de gestion de ressources de crise.
(ii) l’observation du changement des scores d'auto-évaluation après l'examen vidéo. Pour
analyser l’évolution des scores d'auto-évaluation avant et après l’examen de la vidéo,
nous avons utilisé le coefficient de corrélation intra-classe pour les scores ANTS
totaux des auto-évaluations, et ceci avant et après l'examen vidéo.
! Auto-évaluation formative:
Notre critère de jugement principal, à savoir l’évolution de la performance du pré-test
au post-test, a été analysé par une ANOVA à deux facteurs et à mesures répétée. Le score
ANTS total a été traitée comme la variable dépendante. Les variables indépendantes étaient le
type de débriefing (auto-débriefing versus débriefing par instructeur), pour l’analyse inter-
sujets et la phase de test (pré-test versus post-test) pour l’analyse intra-sujets. Une ANOVA
mixte à deux facteurs a été utilisée parce que nos analyses ont été nécessité à la fois une étude
inter-sujets et intra-sujets. L’ANOVA mixte à deux facteurs a permis de comparer l'effet de la
modalité de débriefing et l'effet de la phase de test, et également l'interaction entre ces deux
variables.
Notre critère d'évaluation secondaire a été l'effet de la phase de test et le type de
débriefing sur les performances au niveau de chacune des 4 catégories de compétences non
techniques. De même, une ANOVA mixte à deux facteurs a été effectuée au niveau des
catégories.
55
! Calcul de la taille de l’échantillon nécessaire:
Ce calcul a été basé sur la question de recherche explorant l’auto-évaluation formative
car ce design une méthodologie de type étude contrôlé randomisée est plus exigeant en terme
de nombre de participants.
La taille de l'échantillon a été calculée a priori. Dans le domaine de la psychologie et
l'éducation, une taille d'effet supérieure à 1,0 SD est considéré comme large et acceptable
pour une intervention d'enseignement donné (Cohen, 1977). Par conséquent, en prenant
l'hypothèse d'une taille d’effet de 1,0 et une puissance de 0,80, nous avons estimé avoir
besoin d’un échantillon de 34 sujets (!<0,05 en bilatéral). Afin d’anticiper toute défaillance
technique du mannequin et des systèmes d’enregistrement audio et vidéos, nous avons décidé
de recruter 25 sujets par groupe.
2. G18'C3*3+*0+0$840*)*103+B
Au total 66 internes en anesthésie ont accepté de participer à l’étude. Tous ont
participé à leurs 2 scénarios : un pré-test et un post-test. Les 16 premiers sujets recrutés ont
été exposés dans un ordre aléatoire aux scénarios « fibrillation ventriculaire » et « fibrillation
auriculaire ». Parmi eux, 6 ont été randomisés au groupe auto-débriefing et 10 au groupe
débriefing par instructeur. Les 50 participants suivants ont eu les scénarios dans un ordre
aléatoire également « fibrillation ventriculaire » et « tachycardie ventriculaire », avec 25
internes d’anesthésie randomisés dans le groupe auto-débriefing et 25 dans le groupe
débriefing par instructeur.
Pour analyser la question de l’auto-évaluation sommative (méthodologie
corrélationnelle) et l’intérêt potentiel de la vidéo, seuls les participants du groupe auto-
débriefing ont été considérés, soit 31 participants (6 + 25). En effet, pour des raisons
évidentes, les internes du groupe débriefing par instructeur ne pouvaient pas être inclus pour
cette question de recherche.
Pour la analyser la question de l’auto-évaluation formative (méthodologie
comparative), les participants des 2 groupes (auto-débriefing et débriefing par instructeur) ont
été considérés, après avoir exclus les 16 participants ayant reçu le scénario « fibrillation
auriculaire » soit pour leur pré-test soit pour leur post-test. Ces 16 participants ont été exclus
56
car nous avons noté en cours d’étude une perception par les participants d’un niveau de
difficulté supérieur de ce scénario par rapport au scénario « fibrillation ventriculaire ». Donc,
pour répondre à cette question de l’auto-évaluation formative, nous avons 50 participants (25
x 2).
a. Etude sommative
• Caractéristiques démographiques et fidélité inter-juges:
Les caractéristiques démographiques des 31 participants inclus pour permettre
d’explorer l’auto-évaluation sommative sont résumées dans le tableau 1.
Tableau 1: Caractéristiques démographiques des participants (n=31).
Sexe (Homme/Femme) 16/15
Nombre d’internes pour chaque année d’internat
(2e/3e/4e/5e année) 6/9/10/6
Nombre de séances de simulation antérieures en
tant que participant* 3.5 (0-10)
* Incluant les séances autres que la formation à la gestion des ressources de crise; valeurs
données en médiane (étendue).
La fidélité inter-juges dans l’évaluation de ces 31 performances non techniques
(évaluées grâce à l’échelle ANTS) des participants par les deux experts a été bonne, le
coefficient de corrélation intra-classe étant retrouvé à 0,80 (p < 0.001). Du fait de cette
bonne fidélité inter-juges, nous avons utilisé la moyenne des scores attribués par les deux
experts pour les analyses ultérieures.
• Critère de jugement principal:
Nous n’avons retrouvé aucune corrélation entre les scores ANTS totaux auto-évalués
et attribués par les experts, que ce soit avant (rho c=0,02; p=0,93) ou après (rho c=0,05;
57
p=0,79) visionnage de leur propre performance sur vidéo par les participants (Figure 5).
Nous n’avons pas retrouvé non plus de corrélation entre les scores de chaque
catégorie attribués par auto-évaluation ou par les experts (Tableau 2).
Figure 5: Relation entre les scores évalués par les experts et les scores auto-évalués.
Tableau 2: Corrélation entre l’auto-évaluation et l’évaluation par expert avant et après
visionnage de la vidéo pour chaque catégories (n=31)
Avant visionnage de la vidéo Après visionnage de la vidéo
rho c (95% IC) p rho c (95% IC) p
Appréciation de la
situation -0,04 (-0,37 ; 0,30) 0,82 0,27 (-0,06 ; 0,59) 0,10
Travail en équipe -0,07 (-0,42 ; 0,29) 0,71 0,00 (-0,36 ; 0,35) 0,98
Prise de décision 0,08 (-0,27 ; 0,43) 0,66 -0,07 (-0,41 ; 0,28) 0,71
Organisation des
actions -0,02 (-0,35 ; 0,32) 0,93 0,14 (-0,19 ; 0,46) 0,42
Score ANTS total 0,02 (-0,34 ; 0,34) 0,93 0,05 (-0,30 ; ,039) 0,79
58
• Critères de jugement secondaires:
! Relation entre les scores d’auto-évaluation et des experts
La relation entre les scores totaux ANTS d’auto-évaluation et ceux des experts, que ce
soit avant ou après visionnage de leur propre vidéo, sont reportés dans le tableau 3. Douze
des 31 participants (38.7%) ont sous-estimé leur performance aussi bien avant que après le
visionnage de la vidéo, par rapport aux scores ANTS donnés par les experts. Quatorze des 31
participants (45.2%) ont surestimé leur performance aussi bien avant que après visionnage de
la vidéo, par rapport aux scores ANTS donnés par les experts.
Tableau 3: Comparaison des scores d’auto-évaluation avec les scores attribués par les
experts, avant et après le visionnage de leur vidéo par les participants (n=31).
Après visionnage de la vidéo
S < E S = E S > E Total
S < E 12 0 0 12
S = E 3 0 1 4
Avant
visionnage
de la vidéo S > E 1 0 14 15
Total 16 0 15 31
S: Score d’auto-évaluation; E: Score de l’expert
! Relation entre les scores d’auto-évaluation avant et après visionnage de la vidéo
Les internes d’anesthésie n’ont pas significativement modifié leurs scores d’auto-
évaluation après le visionnage de leur propre performance sur vidéo. Ceci est reflété par une
corrélation intra-classe très élevée (0,78 ; p < 0,001) entre leur scores auto-évalués avant et
après visionnage de la vidéo (Figure 6). Quatorze internes (45,2%) ont revus à la baisse leur
auto-évaluation de leur score ANTS après visionnage de la vidéo. Huit (25,8%) n’ont
absolument pas modifié leur score ANTS et 9 (29,0%) ont revu à la hausse leur score après
visionnage de la vidéo.
59
Figure 6: Scores d’auto-évaluation avant puis après visionnage de leur propre vidéo par
les participants.
b. Etude formative
• Caractéristiques démographiques et fidélité inter-juges:
Cinquante internes d’anesthésie ont été inclus pour explorer l’intérêt potentiel de
l’auto-évaluation formative. Les caractétistiques démographiques des participants sont
représentées dans le tableau 4.
60
Tableau 4: Caractéristiques démographiques des participants (n=50).
Débriefing
par
instructeur
Auto-
débriefing Significativité
Sexe (Homme/Femme) 13/12 12/13 "2, p=1,00
Nombre d’internes pour chaque année d’internat
(2e/3e/4e/5e année) 7/7/7/4 6/7/7/5 "2, p=0,72
Nombre de séances de simulation antérieures en
tant que participant* 3 (1-9) 4 (0-10) MW, p=0,34
* Incluant les séances autres que la formation à la gestion des ressources de crise; valeurs
données en médiane (étendue).
La fidélité inter-juges dans l’évaluation de ces 100 performances (évaluées grâce à
l’échelle ANTS) des 50 participants par les deux experts a été bonne, le coefficient de
corrélation intra-classe étant retrouvé à 0,76 (p < 0.001). Du fait de cette bonne fidélité inter-
juges, nous avons utilisé la moyenne des scores attribués par les deux experts pour les
analyses ultérieures.
• Critère de jugement principal: l’effet de l’ordre du scénario (pré ou post test)et du
type de débriefing sur le score ANTS total.
Une ANOVA à deux facteurs et à mesures répétées a retrouvé un effet significatif de
l’ordre des scénarios (entre pré et post test) sur la performance des participants (F1,48 = 13,28,
p < 0,01). Aucun effet dû au type au débriefing n’a été retrouvé avoir un impact sur la
performance, que ce soit sur le pré ou le post test (F1,48 = 0,31, p = 0,58). Donc, au total, cela
signifie que les participants ont amélioré leur performance du pré au post test, quelque soit le
type de débriefing utilisé (Figure 7).
61
• Critères de jugement secondaires: l’effet de l’ordre des scenarios et du type de
débriefing sur le score des catégories ANTS.
Une ANOVA à deux facteurs et à mesures répétées similaire a retrouvé un effet
significatif de l’ordre des scénarios (entre pré et post test) sur la performance des participants
pour chacune des quatre catégories de compétences non-techniques : organisation des actions
(F1,48 = 4,22, p < 0,05), travail en équipe (F1,48 = 17,97, p < 0,001), appréciation de la
situation (F1,48 = 8,92, p < 0,005), et prise de décision (F1,48 = 7,79, p < 0,01) (Tableau 5).
Pour chacune des quatre catégories, aucun effet dû au type au débriefing n’a eu un
impact sur la performance, que ce soit sur le pré ou le post test : organisation des actions
(F1,48 = 0,56, p = 0,46), travail en équipe (F1,48 = 1,25, p = 0,27), appréciation de la situation
(F1,48 = 1,15, p = 0,29), et prise de décision (F1,48 = 0,33, p = 0,57) (Tableau 5).
Donc, au total, cela signifie que, pour quelque catégorie de compétences non
techniques que ce soit, les participants ont amélioré leur performance du pré au post test,
quelque soit le type de débriefing utilisé (Figure 7).
62
Tableau 5 : Score (Moyenne ± Ecart-type) des 4 catégories de compétences non
techniques des anesthésistes (ANTS) pour l’ordre des scenarios et le type de débriefing.
Categorie
ANTS
Type de
Debriefing
Score au
Pré test
Score au
Post test F p
Auto Debriefing 2,84 ± 0,77 3,09 ± 0,74 Appréciation
de la
situation Debriefing par
Instructor 2,75 ± 0,74 3,28 ± 0,53
F1,48 = 8,92 < 0,005
Auto Debriefing 2,94 ± 0,67 3,37 ± 0,51 Travail en
équipe Debriefing par
Instructor 3,28 ± 0, 53 3,53 ± 0,40
F1,48 = 17,97 < 0,001
Auto Debriefing 2,91 ± 0,62 3,18 ± 0,63 Prise de
décision Debriefing par
Instructor 3,04 ± 0,74 3,45 ± 0,52
F1,48 = 7,79 < 0,01
Auto Debriefing 2,67 ± 0,49 2,80 ± 0,54 Organisation
des actions Debriefing par
Instructor 2.73 ± 0.54 3.01 ± 0.43
F1,48 = 4,22 < 0,05
63
Figure 7: Auto Débriefing versus Débriefing par Instructeur comparant les pré tests et
post tests pour le score total moyen des compétences non techniques des anesthésistes
(ANTS) score. NS = non significatif.
64
IV- DISCUSSIONS – REFLEXIONS
Notre étude explore donc l’auto-évaluation selon ses deux paradigmes, et ceci dans
une même étude grâce à un design complexe associant corrélation et comparaison.
!" G50%H/<8'5804%1+3%))804<*+
La partie de l’étude explorant l’intérêt potentiel de l’auto-évaluation sommative a
comparé la fiabilité de l’auto-évaluation d’internes en anesthésie avant puis après visionnage
de leur propre vidéo avec l’évaluation de la performance des internes par des experts. Nos
résultats montrent que l’auto-évaluation des compétences non techniques en situation
d’urgence par des internes d’anesthésie n’est pas corrélée avec l’évaluation par des experts.
De plus, contrairement à notre hypothèse initiale, le visionnage de leur propre performance
sur vidéo n’améliore pas la fiabilité de l’auto-évaluation de ces mêmes internes de notre
échantillon.
Ces résultats posent plusieurs questions. D’abord, si l’auto-évaluation des
compétences non techniques en situation d’urgence par les internes d’anesthésie n’est pas
fiable, alors nous pouvons penser qu’il y a certainement des lacunes dans l’actuel système de
formation informel pour l’apprentissage de la gestion des ressources de crise lors des stages
d’internat d’anesthésie de la majorité des programmes de formation. Ensuite, notre étude
induit également des questions quant à la capacité des anesthésistes diplômés pour leurs auto-
évaluations de ces mêmes compétences. Il se pourrait alors que les anesthésistes diplômés et
pratiquants aient intérêt à avoir recours à des séances de simulation médicale itératives avec
évaluateur(s) externe(s) de façon à mieux évaluer leur capacité à la gestion des ressources de
crise, et ainsi permettre de mieux orienter le maintien de compétences de ces professionnels à
travers la formation médicale continue.
La mauvaise fiabilité de l’auto-évaluation de leurs compétences non techniques en
situation aigues par des internes correspond à note hypothèse initiale et est en accord avec la
majorité de la littérature publiée. Deux méta-analyses ont conclu par le passé que les
professionnels de santé ne sont généralement pas à même de s’auto-évaluer de manière fiable
65
(Gordon, 1991; Ward, 2002). Cependant, notre hypothèse consistant à penser que le
visionnage de leur propre vidéo permettrait d’améliorer la capacité des internes à s’auto-
évaluer ne s’est pas vérifiée. Ceci est clairement en contraste avec la littérature existante dans
d’autres domaines d’apprentissage tel que les gestes techniques pour la chirurgie par exemple
(Ward, 2003). Plusieurs explications potentielles pourraient expliquer ces résultats
inattendus. Premièrement, la nature même de la tâche à évaluer pourrait être en cause. En
effet, l’amélioration de la capacité d’auto-évaluation a été démontrée par Ward pour des
compétences techniques de chirurgie coelioscopique par des internes en chirurgie (Ward,
2003). Kevin Eva, de l’Université de McMaster au Canada, a trouvé que les auto-évaluateurs
ont plus de probabilité d’être d’accord avec les experts pour des gestes courts, clairement
structurés et plutôt simples (Eva, 2004). Les gestes techniques ceolioscopiques seraient donc
naturellement plus enclin à une évaluation plus « objective » et ainsi à une auto-évaluation
plus fiable. Nous pouvons raisonnablement penser que la nature plus « subjective » de
l’évaluation des compétences non techniques a conduit à un biais inconscient lors de l’auto-
évaluation, tout particulièrement dans les scénarios reproduisant des situations urgentes
chargées émotionnellement et stressantes.
Une autre possibilité pour expliquer nos résultats est que l’auto-évaluation tout
comme les compétences non techniques ne sont généralement pas enseignées dans les
Facultés de médecine. Ainsi, ces concepts et types de compétences autour de la gestion des
ressources de crise sont probablement moins bien connus que les compétences techniques et
l’évaluation par un tiers de la plupart des étudiants. Ce constat serait également possiblement
applicable pour des professionnels aguerris. Ceci pourrait conduire à des difficultés pour
l’auto-évaluation par l’intermédiaire du phénomène que les psychologues cognitivistes
nomment l’ « illusion de la profondeur d’explication » (traduction personnelle de « illusion of
explanatory depth ») (Rozenblit, 2002). Ce concept de psychologie cognitive pourrait aider à
comprendre une partie de nos résultats. L’ « illusion de la profondeur d’explication » provient
de recherche sur le raisonnement de cause à effet (traduction personnel de « causal
reasonning ») et stipule que les individus pensent habituellement comprendre des
phénomènes complexes avec beaucoup plus de finesse, de précision, de cohérence et de
profondeur qu’ils ne le font réellement. En d’autres termes, ils sont soumis à une illusion de
profondeur d’explication qui pourrait nuire à leur capacité d’auto-évaluation. Ce phénomène
pourrait également expliquer pourquoi la majorité des individus sont persuadés qu’ils sont
eux-mêmes spécialement dotés d’une capacité d’auto-évaluation au-delà de la normale
66
(Pronin, 2002). Eva et coll. ont décrit avec beaucoup d’humour cette difficulté liée à l’auto-
évaluation dans leur article intitulé « Je ne serais jamais un joueur professionnel de football »
(traduction personnelle de « I'll never play professional football ») (Eva, 2008). Ces auteurs
expliquent que chacun est persuadé d’avoir une bonne capacité à l’auto-évaluation
sommative car chacun considère habituellement les grands champs de compétences et non
pas les finesses de l’acte évalué. D’ailleurs, un plus grand nombre d’internes d’anesthésie ont
en effet surestimé leurs performances non techniques dans notre étude.
6" G50%H/<8'5804%1+7%$)804<*+
La partie de l’étude explorant l’intérêt potentiel de l’auto-évaluation formative via
l’auto-débriefing a comparé l’efficacité de l’auto-débriefing d’internes en anesthésie avec un
débriefing par un expert instructeur dans l’apprentissage des compétences de gestion de
ressources de crise. Nos résultats montrent que l’auto-débriefing permet d’améliorer la
performance des compétences non techniques en situation d’urgence des internes en
anesthésie et que cette amélioration n’est pas significativement différente de celle obtenue par
un débriefing par instructeur.
L'auto-évaluation peut être considérée selon ses deux paradigmes : sommatif ou
formatif. Contrairement à l’auto-évaluation sommative, l'auto-évaluation formative ne
s’attache pas à « deviner » les scores puis à les comparer aux scores considérés comme réels
et attribués par les experts. L’auto-évaluation sommative vise plutôt à reconnaître les déficits
de connaissances ou de compétences dans un domaine spécifique qui pourrait, selon le
contexte, compromettre la sécurité des patients. La clé est, pour le médecin praticien, de
suivre attentivement sa propre pratique clinique et de s'engager dans les apprentissages
nécessaires pour corriger ces déficits. Par conséquent, l'auto-évaluation pour l'apprentissage
autodirigé continu est un processus de type narratif, s’appliquant à des sujets spécifiques dans
des contextes spécifiques. Cette approche de type narratif consiste donc plutôt à analyser les
données recueillies selon une approche qualitative à propos de connaissances cliniques de
compétences d'un individu. En d’autres termes, il est important pour le médecin de pouvoir
corriger et améliorer telle ou telle de ses compétences, en décrivant par des mots les éléments
de compétence à améliorer et les buts à atteindre, plutôt que de déterminer avec exactitude un
score pour chaque type de compétence en ayant simplement comme objectif une
67
augmentation « numérique » de ce score. En effet, dans la pratique, l'auto-évaluation
formative est intrinsèquement analysées sur le mode qualitatif et non sur le mode quantitatif
comme cela a été l'objet de la majorité de recherches empiriques antérieures dans le
paradigme de recherche classique sur l’auto-évaluation (Colliver, 2005). La littérature sur la
pratique réflexive soutient l'idée de s'éloigner de la notion d'auto-évaluation en tant que «
processus méta-cognitif conscient et processus post-hoc sommatif» (Eva, 2005). Un
anesthésiste professionnel compétent et assurant la sécurité des patients sécurité des patients
nécessite une capacité d'auto-évaluation devant être conçue comme une « réflexion sur
l'action » constante, en monitorant de façon permanente sa capacité à faire face à des
situations nouvelles. Pour notre part, nous croyons que les auto-évaluations formatives et
sommatives ne sont pas distinctes et séparées comme la littérature a tendance à le penser en
séparant toujours ces deux paradigmes. Même si nous ne sommes pas capables de « deviner »
avec succès notre propre score (Ward, 2002; Eva, 2008), la réflexion personnel par
l’intermédiaire des mots à l’aide d'un instrument initialement destiné à donner un score
chiffré (comme par exemple l’échelle ANTS) peut tout à fait se traduire par une amélioration
de notre pratique clinique. Au lieu de considérer simplement la perspective traditionnelle
numérique et sommative de l'auto-évaluation, notre étude a aussi examiné l'aspect narratif,
réflexif et formatif de l'auto-évaluation. De plus, nous avons démontré l’efficacité de ce
concept dans l'amélioration de la performance de la gestion des ressources de crise, ceci étant
susceptible d’améliorer la qualité des soins urgents prodigués aux patients.
Pour bien évaluer la place de l’auto-débriefing dans l’enseignement de la gestion des
ressources de crise, l’idéal aurait été de comparer l’effet de 3 groupes d’apprenants : un
premier groupe avec aucun débriefing, un second groupe avec auto-débriefing, et un
troisième groupe avec débriefing par instructeur. Dans notre étude, nous avons choisi de ne
pas inclure de groupe témoin pour lequel les participants n’auraient reçu aucun débriefing.
Plusieurs raisons expliquent notre choix. Premièrement, le nombre total potentiel de
participants disponibles pour ce travail était de 82. Par expérience, le nombre de volontaires
dans notre centre pour ce type d’étude est généralement de 50% environ. Nous étions donc en
mesure d’espérer recruter au total entre 35 et 45 internes d’anesthésie. Ce nombre ne
permettait de constituer que deux groupes de 18 à 22 participants ou bien trois groupes de 12
à 15 participants. Dans le cas où nous avions fait trois groupes, nous risquerions de manquer
de puissance statistique. Ceci signifie qu’en cas d’absence de différence significative
d’efficacité entre les types de débriefing (évaluée grâce à la différence de performance entre
68
les groupes), nous n’aurions pu affirmer avec certitude qu’aucune différence n’existe
réellement car une différence aurait éventuellement pu être démontrée si plus de participants
avaient été inclus dans chaque groupe. Nous avons donc décidé de comparer uniquement 2
types de débriefing afin de privilégier la puissance statistique de notre travail (encore une
fois, importante essentiellement en cas d’absence de différence entre les deux groupes). Nous
avions alors deux possibilités. Soit nous pouvions comparer l’efficacité de l’auto-débriefing
contre aucun débriefing, soit comparer l’efficacité de l’auto-débriefing avec celle du
débriefing par instructeur. La première possibilité aurait été intéressante car elle aurait
clairement évalué l’efficacité de l’auto-débriefing en terme de « valeur absolue ». Cependant,
nous avons décidé d’évaluer l’efficacité due l’auto-débriefing en terme de « valeur relative »
en le comparant avec le type de débriefing actuellement considéré comme l'étalon-or, à savoir
le débriefing par instructeur. Nous avons donc utilisé cet étalon-or en tant que groupe
contrôle avec lequel nous avons comparé notre groupe « intervention » (auto-débriefing). Le
risque de ce choix était de ne pas réellement pouvoir mesurer avec certitude le bénéfice du
débriefing en général quelque soit son type (par rapport à pas de débriefing du tout). Un
argument supplémentaire pour notre choix réside dans l’étude menée par Georges Savoldelli
et collaborateurs (Savoldelli, 2006). Leur étude a montré clairement que les apprenants qui ne
reçoivent pas de débriefing sur leur performance lors d’une séance de simulation médicale
n’améliore pas du tout leur compétences de gestion de ressources de crise lors de la répétition
d’un scénario même très similaire au premier (Savoldelli, 2006). Ainsi, comme l’avait déjà
noté Kolb, le débriefing est considéré comme absolument crucial pour l'apprentissage
expérientiel (Kolb, 1981). Dans notre étude, nous n’avons donc pas souhaité privilégier la
présence d’un groupe contrôle sans aucun débriefing. Il ne nous a pas semblé éthique
d’exposer les internes en anesthésie, pour les besoins de notre étude, à deux scénarios sans
aucun débriefing en sachant qu’ils ne bénéficieraient d’aucun apprentissage (Ziv, 2003).
:" I8+$/7'*J4<40/+
L’auto-évaluation formative à travers l’auto-débriefing peut-être rapprochée de la
notion de réflexivité. Le concept de réflexivité a été développé et étudié par plusieurs auteurs
dont entre autres Schön, Jorro et Altet (Schön, 1994; Altet, 2000; Jorro, 2004). Ce concept
peut se définir par une « réflexion se prenant elle-même pour objet » ou par une « propriété
consistant à pouvoir réfléchir sur soi-même » (Ramos, 2004). Il s’agit en quelque sorte de
69
« se regarder faire » ou plus généralement d’ « une prise de conscience » et d’ « un examen
approfondi de sa propre démarche » (Letrilliart). Comme le précise Ramos, « réflexive
signifie beaucoup plus que réfléchie » (Ramos, 2004).
Vygostky a décrit les rapports étroits entre la pensée et le langage (Vygotski, 1985). Il
écrit par exemple : « En se transformant en langage, la pensée se réorganise et se modifie ».
Et d’un autre côté : « La structure du langage n'est pas le simple reflet, comme dans un
miroir, de celle de la pensée » (Clot, 1999). Donc, la pensée et le langage se modifient l’un
l’autre. Les travaux de Vygotski mettent en évidence la puissance du langage dans
l'élaboration de la pensée (Vygotski, 1985). Le langage permet au sujet apprenant d'entrer
dans un processus de réflexivité. Le lien entre les recherches de Vygostki et le concept de
réflexivité est le langage, qu’il soit oral ou écrit. Le langage, notamment écrit, permet de
modifier la pensée et donc la réflexion, et inversement. Nous pourrions rajouter également
par le langage « mentale », comme dans l’exemple de l’Auto-débriefing. En effet, c’est par le
langage qu’un sujet apprenant va pouvoir entrer dans un processus de réflexivité. Et cette
réflexivité aura à son tour une action sur le langage/les actions du sujet en question. Nous
pouvons ainsi rapprocher la réflexivité à l’auto-évaluation formative. Le lien semble donc
s’éclaircir entre réflexivité et auto-débriefing, langage et actions telles que la gestion des
ressources de crise.
Le concept de réflexivité est évidemment absolument central en formation, aussi bien
initiale que continue. Il ouvre la possibilité infinie des auto-apprentissages et donc également
celle du maintien des compétences. La réflexivité en formation est essentielle car elle est
censée permettre aux formés d’acquérir la capacité d’entretenir leurs apprentissages futurs
tout au long de leurs carrières. Depuis plusieurs années, de nombreux auteurs se sont
interrogé sur la contraction apparente entre la capacité généralement faible des professionnels
de santé pour l’auto-évaluation (sommative) et les systèmes professionnels autorégulées
quant à leur formation continue (Gordon, 1991; Ward, 2002). Plusieurs hypothèses ont été
évoquées pour tenter d’expliquer cette contradiction tel un niveau de compétence différente
entre les tiers experts évaluateurs et les apprenants auto-évaluateurs (Sclabassi, 1984;
Calhoun, 1990; Eva, 2004). La réflexivité pourrait donc représenter tout ou partie du chainon
manquant et tellement recherché depuis des années. La réflexivité doit à terme permettre le
maintien et l’amélioration des compétences des professionnels, quelque soit la profession
concernée : enseignants, médecins, conducteurs d’autocars, etc... On peut ainsi considérer
que la réflexivité est une compétence clé qui doit être développée dès la formation initiale et
entretenue attentivement pendant toute la carrière quelque soit la profession concernée. Cette
70
compétence est d’autant plus pour les professions autorégulées telles que les médecins.
=" I4)40*3+,*+';/05,*+
Notre étude présente plusieurs limites. Une première limite est la difficulté d'évaluer
de façon fiable et constante les compétences non techniques en situation d’urgence absolue
entre les experts, comme en témoigne une fiabilité interjuge imparfaite dans notre étude.
Toutefois, la fiabilité interjuge observée (coefficient de corrélation intraclasse aux alentours
de 0,80) peut être considéré comme tout à fait satisfaisant et est supérieure à la fiabilité
interjuge habituellement observés dans les autres études ayant évaluées les compétences non
techniques avec le système ANTS (Yee, 2005; Savoldelli, 2006) ou avec d’autres systèmes
(Kim, 2006) et similaire à la fiabilité interjuge lors de l'évaluation des compétences
techniques (Ward, 2003). Par conséquent, dans notre étude, l’évaluation des performances sur
vidéo par les experts, semble être un outil raisonnable avec lequel il semble permis de
comparer l'auto-évaluation et l’effet des deux types de débriefing. Toutefois, il convient de
noter que tout degré d’imperfection quant à la fiabilité des évaluations par les experts doit
être considérée comme une limite supérieure théorique à la corrélation de l'auto-évaluation
avec l'étalon-or, et une introduction de « bruit » pour la comparaison des 2 types de
débriefing.
Une seconde limite de notre étude est le recrutement d’internes en anesthésie. Même
si le recrutement de plusieurs dizaines de médecins anesthésistes expérimentés serait un réel
défi, nos résultats ne peuvent pas être automatiquement généralisés à d'autres populations
telles que celle des anesthésistes diplômés et expérimentés. Certains auteurs ont émis
l'hypothèse qu’un manque d'expérience dans le domaine d'intérêt particulier considéré
pouvait expliquer la faible capacité d'auto-évaluation (Sclabassi, 1984; Calhoun, 1990). Il
serait ainsi théoriquement envisageable que l'exposition des anesthésistes expérimentés à un
grand volume de situations d’urgences absolues au cours de leurs carrières puissent leur
permettre de mesurer plus facilement leur propre performance dans ces situations. Bien que
les précédentes méta-analyses suggèrent que cela est peu probable (Gordon, 1991; Ward,
2002), nous ne pouvons pas éliminer la possibilité que cette population différente puisse
s’auto-évaluer de façon plus fiable.
D’autre part, les scénarios simulaient spécifiquement un arrêt cardiaque peropératoire.
71
Par conséquent, nos résultats ne peuvent donc également pas être généralisables
automatiquement à d'autres types de situations cliniques notamment plus longues et plus
complexes comme par exemples rencontrés en réanimation.
Une troisième limite est que nous n'avons pas contrôlé le niveau de compréhension
des notions de gestions des ressources de crise des participants avant le pré-test. Il est Malgré
la standardisation de l'enseignement immédiatement avant le pré-test, la compréhension de la
gestion de crise des ressources et des compétences non techniques peut avoir été différente
d’un participant à l’autre (et expliquer une partie de l’absence de fiabilité de l’auto-évaluation
sommative) et du groupe auto-débriefing au groupe débriefing par instructeur. Cependant, la
randomisation des participants dans les deux groupes rend théoriquement cette hypothèse
peut probable.
Une quatrième limite est que nous avons testé l'efficacité de l’auto-débriefing en
mesurant l'évolution de l'acquisition de compétences non techniques immédiatement après le
débriefing. En réalité, en pratique clinique, ces compétences restent possiblement inutilisées
pour une durée considérable après la formation. La rétention de l’apprentissage de la gestion
des ressources de crise après auto-débriefing n’est pas précisément connue. Néanmoins,
d'autres recherches ont démontré que les compétences non techniques, après enseignement à
l’aide de simulateurs médicaux et avec un débriefing multimédia étaient retenues pour une
période minimum de 5 semaines sans instruction (Welke, 2009). D'autres études sont
nécessaires pour évaluer si les compétences non techniques de gestion des ressources de crise
en anesthésie sont également conservées après une auto-débriefing.
Enfin, la question du transfert de compétence du simulateur médical à la pratique
clinique réelle représente une autre limite. En effet, notre étude a évalué l’effet de
l’apprentissage de la compétence des gestions de ressources de crise sur simulateurs
médicaux et non avec des patients réels. Des considérations éthiques évidentes rendent
difficile, voire impossible, la réalisation d’études avec des patients non simulés et la
simulation médicale offre une alternative réaliste pour la recherche et l’enseignement de ce
type de compétences (Ziv, 2003). De plus, la nature rare et imprévisible des situations
d’urgence absolue en anesthésie est un autre frein considérable à la réalisation d’étude en
milieu clinique. Enfin, un dernier argument fort pour accepter la simulation médicale comme
un outil fiable dans ce contexte est apporté par une étude publiée récemment. En effet, cette
équipe canadienne a montré que l’apprentissage sur simulateur médical de compétences très
proches de celles de la gestion des ressources de crise est transférée dans des situations de
gestions de ressources de crise cliniques réels (Bruppacher, 2010).
72
K" L5*'+3C30()*+,M*13*421*)*10+.$%.%3*$N+
a. Auto-débriefings seuls ou en association avec des débriefings
par instructeur?
La question de la mise en œuvre pratique de l'auto-débriefing dans un programme de
formation existant soulève plusieurs questions. La variabilité interindividuelle de l'efficacité
de la formation par auto-débriefing suggère que l'auto-débriefing pourrait avoir intérêt à être
combiné, avec une fréquence restant à déterminer, avec un débriefing par instructeur au sein
d’un même curriculum. Un instructeur en simulation médicale représente un coût très
important : d’une part pour le former lui-même aux techniques de débriefing et d’autre part
parce que ce professionnel est aussi la plupart du temps un médecin praticien dont le salaire
provient la plupart du temps uniquement de ses soins prodigués aux patients. Etant donné le
coût très important de l’instructeur, les centres de formation par simulation médicale ne
disposent habituellement que de un ou quelques instructeurs tout au plus. Par conséquent, le
nombre de séances de simulation médicale offertes aux internes est généralement limité dans
la plupart des centres. Par exemple, à l’Université de Toronto au Canada, chacun de la
centaine d’internes en anesthésie ne bénéficie que d’une seule séance de simulation médicale
par année pendant leurs 5 ans d’internat. Les anesthésistes diplômés, quant à eux, n’ont pas la
possibilité de bénéficier des techniques de simulation médicale pour leur formation médicale
continue. Le coût des instructeurs représente certainement une barrière à l’offre
d’enseignement par simulation médicale (Savoldelli, 2005). Si l’auto-débriefing était intégré
au curriculum existant, la présence de l’instructeur sur place ne serait plus absolument
nécessaire. Les internes ou autres apprenants auraient alors une plus grande exposition à la
simulation et les médecins anesthésistes diplômés pourraient plus facilement envisager la
possibilité de s’entraîner à la pratique de la gestion des ressources de crise. Cette formule
serait donc globalement plus économique en produisant une baisse importante du coût de
chaque séance de simulation médicale.
73
b. Peut-on alors supprimer les enseignants?
Les Technologies de l’Information et de la Communication (TIC) (internet, logiciels
sur CD-ROM, radios, télévisions, etc.) ont permis d’envisager leur utilisation à grande
échelle comme outils d’enseignement. Lorsque ces techniques sont utilisées en éducation, un
double sentiment prédomine souvent chez les enseignants: l’émerveillement des possibilités
offertes par la technologie mêlé à l’anxiété et à la crainte. Ce constat dans le monde de
l’éducation en général s’applique aussi parfaitement à l’éducation médicale.
Les TIC présentent un certains nombres d’avantages. Elles permettent d’affranchir
l’enseignement de la notion d’espace et/ou de temps en fonction de la technologie considérée.
Elles peuvent aussi potentiellement faciliter la personnalisation de l’enseignement. Par
exemple, un programme peut être conçu pour s’adapter au niveau de l’élève afin de le
maintenir le plus possible dans sa zone proximale de développement (Vergnaud, 2000). Les
TIC présentent évidemment aussi quelques inconvénients. Les interactions sociales sont de
natures différentes de celles de l’enseignement traditionnel et peuvent parfois être plus
limitées entre enseignants et apprenants voire même être restreinte uniquement entre
apprenants eux-mêmes. Cela engendre parfois un sentiment de solitude des apprenants et
d’exclusion des enseignants... Les apprenants doivent alors être capable de se motiver seuls,
d’être leur propre moteur d’apprentissage.
Du fait de ces avantages et inconvénients, l’enseignement utilisant les TIC modifie
profondément l’organisation du travail de l’enseignant. Dans le cas d’un enseignement
totalement à distance grâce aux TIC, le rôle de l’enseignant est différent car il ne se trouve
pas en face des élèves. De fait, certains enseignants ont le sentiment d’être remplacé par une
« machine ». En réalité, tout comme en classe, le rôle de l’enseignant est majeur à chaque
phase de l’enseignement : en amont, pendant, et après. Avant la formation, l’enseignant a un
rôle d’organisation, de décision, de construction, où ses connaissances en didactiques
prennent toutes leur place. Pendant la formation de type enseignement à distance par
exemple, l’enseignant peut éventuellement accompagner et guider les apprenants en
répondant à leurs questions. Après l’apprentissage, l’enseignant doit, comme en classe, se
préoccuper du « feedback » ou débriefing aux apprenants, celui-ci étant essentiel pour
l’apprentissage (Hattie, 2007; Butler, 2008). Selon les formations ou enseignements,
l’enseignant peut aussi devoir évaluer l’aboutissement des apprentissages. Donc l’enseignant
n’est pas, et ne sera jamais, remplacé par des systèmes automatisés. Par contre, l’enseignant
74
devra continuer de profiter des possibilités offertes par les TIC pour améliorer l’efficacité de
l’enseignement, par exemple en différentiant plus l’enseignement.
Nous pouvons appliquer ces considérations issues de l’éducation en générale à
l’éducation médicale, et plus particulièrement à l’enseignement de la gestion des ressources
de crise par simulation médicale. L’auto-débriefing peut permettre de se libérer d’une partie
de la contrainte de temps car l’apprenant ne dépend plus de la présence de l’instructeur. Bien
évidemment et ce point doit être souligné, si l’utilisation de l’auto-débriefing ne nécessite pas
la présence physique de l’instructeur en temps réel lors de la séance de simulation médicale,
l’auto-débriefing ne signifie en revanche en aucun cas l’élimination des instructeurs. Par
contre, le rôle des instructeurs sera amené à se concentrer sur d’autres activités. En effet, dans
un tel programme, l'objectif des instructeurs de simulation médicale serait double. Tout
d'abord, que ce soit pour l’auto-débriefing ou pour le débriefing par instructeur, les
instructeurs devront continuer de concevoir les scénarios de simulation médicale en
définissant avec le plus grand soin les objectifs d'apprentissage appropriés. Deuxièmement,
les instructeurs devront certainement continuer de réaliser périodiquement des débriefings
traditionnels dans le but d’offrir aux apprenants une perspective différente et aussi la
possibilité de réfléchir avec des conseils d'experts. L'auto-évaluation pourrait être considérée
comme l'équivalent de la pratique délibérée (traduction personnelle de « deliberate practice »)
entre les séances d’enseignements traditionnels formalisés. Ce système mixte de pratique est
d’ailleurs bien établi depuis longtemps dans d'autres domaines d'apprentissage tels que les
sports et la musique, où les sportifs ou musiciens s’entraîne seuls entre leurs séances
d’entraînement avec leur entraineur. Toutefois, la proportion optimale de chaque type
d’apprentissage basé sur la simulation médicale est inconnue dans le contexte de la gestion
des ressources de crise. Il se peut également que cette proportion varie en fonction du niveau
d’expérience des participants.
Finalement, le choix de l’association ou non de l’auto-débriefing et du débriefing par
instructeur va certainement dépendre des ressources matérielles et humaines locales et
également en fonction de choix de politiques éducationnelles.
c. Comment développer la réflexivité ?
Comme nous avons tenté de le démontrer précédemment, la notion de réflexivité
semble avoir un rôle crucial et être une compétence clé à acquérir pour tout professionnel, et
75
encore plus pour les professions autorégulées telles que les médecins. D’après Perrenoud, la
formation à la pratique réflexive permet « surtout de développer les conditions ou dispositifs
qui permettront d’en faire un nouvel habitus » (Perrenoud, 2001). Mais il reconnaît aussi
qu’il s’agit d’une capacité difficile à acquérir car « adopter ou essayer d’acquérir une pratique
réflexive, c’est agir contre son confort immédiat, déstabiliser des automatismes qu’on a eu le
plus grand mal à mettre en place » (Perrenoud, 2001).
Nous souhaiterions proposer deux exemples d’outils pouvant potentiellement
contribuer à développer la réflexivité lors la formation des internes en général, y compris en
anesthésie réanimation. Les deux outils reposent sur les travaux qui proposent d’utiliser le
langage écrit pour favoriser la réflexivité (Jorro, 2002; Jorro, 2004).
Le premier exemple concerne l’écriture pour publication d’un cas clinique réellement
rencontré en pratique clinique. La publication d’un cas clinique se compose de deux parties :
une première partie où l’auteur décrit la maladie, la situation, l’histoire clinique, et une
seconde partie où l’auteur tente de raisonner et réfléchir sur ce qui s’est passé et comment il
aurait pu améliorer sa prise en charge du patient. La première partie de cet écrit emprunte
évidemment une posture narrative, descriptive, énonciative, où il est décrit le plus fidèlement
possible la situation rencontrée. Une attention particulière doit être apportée pour évacuer la
charge émotionnelle ressentie par le soignant-auteur. La seconde partie de cet écrit emprunte
une posture dialogique où le questionnement et l’interprétation prennent toute leur place, le
but d’écriture d’un cas clinique étant évidemment de rapporter à l’auteur lui-même ainsi
qu’au plus grand nombre les fruits du questionnement ayant suivi pris en charge ce patient.
Les deux modalités – narrative et dialogique - de réflexivité sont donc utilisées dans ce type
d’exercice et en font un potentiel outil pour permettre aux internes ou professionnels
expérimentés d’aborder la réflexivité.
Le second exemple concerne celui du mémoire de recherche de la spécialité médicale.
Ce travail est obligatoire en France pour tout interne afin de valider ses études de spécialités
et peut être mis à profit pour amener un certain degré de réflexivité de la part des internes.
Par exemple, un interne qui peut travailler sur l’impact des nouvelles recommandations pour
la sédation et l’analgésie des patients en situations pré-hospitalières (Gouin, 2008). L’étudiant
sera d’abord obligé de produire une revue de la littérature sur le sujet. Outre l’apport de
connaissances nouvelles, ce travail va inévitablement conduire l’interne à un début de
réflexivité. Puis son étude va l’amener à collecter des données sur le terrain et l’étudiant
constatera ainsi la variété des attitudes et pratiques des médecins urgentistes pré-hospitaliers.
Ce second élément produira à un degré plus appondit de réflexivité sur sa propre pratique.
76
Enfin l’écriture de son mémoire, sur ce sujet précis, va compléter le phénomène de réflexivité
sur ses actions médicales personnelles sur le sujet étudié, voire peut être même initier une
pratique de réflexivité sur d’autres questions de sa pratique médicale. Les travaux de
Vygotski, puis de Jorro, Atlet ou encore Schön et Ramos, permettent un éclairage intéressant
sur le concept de réflexivité que nous pouvons transférer dans le domaine de l’éducation
médicale (Schön, 1994; Altet, 2000; Jorro, 2004; Ramos, 2004). La réflexivité peut être
considérée comme une réelle compétence, centrale et transversale et nous aimerions suggérer
que les deux exemples d’outils précédents pourraient être en mesure de favoriser
l’apprentissage de la réflexivité.
O" #*$3.*-04<*+,*+$*-@*$-@*3+
Notre travail précise un des rôles possibles de l’auto-évaluation formative et répond à
certaines interrogations. Néanmoins, comme toute recherche, elle amène aussi un nombre
important de nouvelles questions qui pourraient faire l’objet de futurs travaux de recherche.
La détection des étudiants ayant la capacité de s’auto-évaluer sommativement de
façon fiable pourrait être intéressante car elle pourrait permettre à ces étudiants de s’entraîner
en vue d’un examen jusqu’à l’atteinte du niveau recherché, optimisant de ce fait leur temps et
l’utilisation des ressources matérielles du centre de simulation. La découverte de ces critères
de prédiction d’une auto-évaluation fiable pourrait aussi permettre d’envisager un
enseignement de ces qualités aux apprenants n’en disposant pas naturellement. Pour les
apprenants qui ne sont pas fiables dans leurs auto-évaluations sommatives, il serait nécessaire
de trouver des outils, autres que le visionnage de la vidéo qui s’est avéré inefficace,
permettant d’améliorer la fiabilité de leur auto-évaluation.
En ce qui concerne l’auto-évaluation formative via l’auto-débriefing, nous avons
constaté une certaine variabilité d’efficacité selon les apprenants. Ceci est d’ailleurs
également vrai pour les débriefings avec instructeurs. Tous les internes ne bénéficient pas de
la même façon de chacune des techniques d’enseignement. Il serait utile de connaître à
l’avance quelle technique est la plus appropriée pour chaque étudiant. Est-ce en fonction de
leur style d’apprentissage ? De leur niveau de connaissance théoriques ? De leur niveau de
confiance en soi ? Une étude déterminant les paramètres prédictifs impliqués ouvrirait de
nombreuses possibilités en terme de différentiation d’enseignement.
77
L’approche de l’auto-évaluation selon ses deux paradigmes aurait-elle des résultats similaires
pour des professionnels en situation de formation continue ?
D’autre part, dans le monde de l’éducation médicale, l’enseignement
interprofessionnel par simulation médicale est en plein développement à l’heure actuelle en
Amérique du Nord et certains pays d’Europe (Hammick, 2007; Reeves, 2010). Ces nouvelles
situations d’enseignement apportent leurs lots de questions par rapport à l’auto-évaluation.
Est-ce que l’auto-évaluation au niveau d’une équipe multidisciplinaire de professionnels de
santé est bénéfique en terme de qualité des soins aux patients ? Ce type d’auto-débriefing en
équipe comporterait alors automatiquement une part d’évaluation formative par les paires au
sein même de l’équipe.
Enfin, nous avons discuté précédemment la notion de réflexivité pour les professions
autorégulées. Cette discussion débouche naturellement sur la question de l’enseignement de
la compétence de réflexivité en tant que tel. Nous avons abordé brièvement ce sujet et
évidemment d’autres études seront nécessaires afin de tenter d’apporter des réponses précises
à ces questions.
V- CONCLUSION
Nous avons dans ce travail exploré l’intérêt potentiel de l’auto-évaluation sous ses
paradigmes sommatif et formatif dans le contexte de l’enseignement des compétences non
techniques en situation d’urgence (dites de gestion de ressources de crise) pour les internes
d’anesthésie.
Notre étude met l'accent sur la capacité générale faible des internes en anesthésie dans
la pratique de l’auto-évaluation sommative de leurs compétences non techniques. En outre, et
contrairement à notre hypothèse initiale, nous n'avons observé aucune amélioration de la
fiabilité de l’auto-évaluation sommative avec l'adjonction du visionnage de la vidéo de leur
propre performance. La formation actuelle informelle à la gestion des ressources de crise
reposant entre autre sur l’auto-évaluation pourrait être inappropriées pour des internes en
anesthésie.
Au contraire, l’auto-débriefing, par l’intermédiaire de l’auto-évaluation formative,
apparaît comme un moyen efficace pour la formation à la gestion des ressources de crise par
78
simulation médicale et peut être même aussi efficace que le traditionnel débriefing par
instructeur. Ces conclusions mettent en évidence le rôle de l'auto-évaluation formative en tant
que processus réflexif au cours du débriefing. Nous discutons la notion de réflexivité et
suggérons quelques outils pour tenter de développer l’apprentissage de cette compétence clé
pour les professions autorégulées. Nos résultats montrent que l'intégration de cette forme
d'apprentissage a le potentiel de diminuer le coût des programmes de formation par
simulation à la gestion des ressources de crise en anesthésie et rendent possible
l’enseignement dans les centres de formation ne disposant pas d’instructeurs. En d’autres
termes, l’auto-débriefing lors de séances de simulation médicale est une méthode productive
si l’on considère son coût modeste au vu de ses résultats importants en terme d’apprentissage.
D'autres recherches sur l'auto-évaluation pourrait déterminer des facteurs prédictifs de
la capacité à l'auto-évaluation par certains internes. De futurs travaux devront également
s’attacher à déterminer le ratio optimum de séances de simulation médicale avec auto-
débriefing et avec débriefing par instructeur. Cela permettrait de différentier les formations
offertes aux internes.
Notre étude montre l’efficacité à court terme d’une seule séance d’auto-formation par
simulation médicale sur un domaine de compétence précis. Néanmoins, nous ne pouvons pas
préjuger de son efficacité à plus tong terme, voire de l’effet de la succession de plusieurs
sessions, et sur d’autres domaines de compétences requis par les professionnels. Quoi qu’il en
soit, il est impossible d’imaginer que l’on puisse espérer une auto-formation par simulation
médicale, dans chaque domaine de compétence requis pour chaque professionnel. Par
conséquent, il semble indispensable d’envisager un « outil » ou un « système » qui puisse
permettre au minimum le maintien et au mieux l’amélioration de chaque compétence requise
pour chaque professionnel. Dans l’idéal, cet outil doit être économique voire gratuit, facile et
rapide à mettre en œuvre, pouvant être utilisable de façon indépendante du temps et du lieu
du professionnel et ne pas nécessiter d’instructeur. La compétence d’auto-apprentissage au
cours des activités professionnelles remplit l’ensemble de ces conditions. Il est donc essentiel
d’intégrer l’auto-formation dans la vie professionnelle réelle au quotidien. La question future
est donc de savoir si les professionnels de santé peuvent acquérir ou développer la
compétence d’auto-apprentissage dans leur vie professionnelle quotidienne. Cette
compétence d’auto-apprentissage pourrait être enseignée ou développée, par exemple à partir
d’une séance de simulation médicale. Cela sous-entend que la compétence d’auto-
apprentissage soit transférable et généralisable pour les différentes compétences, ce qui reste
79
également à démontrer.
Finalement, la question de l’intégration de l’auto-débriefing dans les séances de
simulation médicale, et plus largement de l’intégration et de la recherche sur l’auto-
apprentissage dans le développement professionnel continue, relève d’un choix aussi bien
philosophique qu’économique, et aussi bien éducationnel que politique.
80
VI- BIBLIOGRAPHIE ET SITOGRAPHIE
ACGME Outcome Project. Accreditation Council for Graduate Medical Education Web site.
Disponible à: http://www.acgme.org/Outcome/.
Projet CANMEDS. Collège Royal des Médecins et Chirurgiens du Canada. Disponible à:
http://rcpsc.medical.org/canmeds/about_e.php.
Abrahamson, S. (1970). Human simulation for training in anesthesiology. Medical Physics.
Glasser.
Abrahamson, S. (1997). Sim One--a patient simulator ahead of its time. Caduceus 13(2): 29-
41.
Aiken, L. (2002). Hospital nurse staffing and patient mortality, nurse burnout, and job
dissatisfaction. Jama 288(16): 1987.
Albanese, M. (2008). Perspective: Competency-based medical education: a defense against
the four horsemen of the medical education apocalypse. Acad Med 83(12): 1132-1139.
Altet, M. (2000). L'analyse de pratiques une démarche de formation professionnalisante:
Formes et dispositifs de la professionnalisation: The analysis of practice methods. A
professionalizing training process? Recherche et formation(35): 25-41.
Andronikof, M. (2004). Référentiel de compétences d’un médecin d’urgence.
Ardouin, T. (2005). « Pour une épistémologie de la compétence ». Savoirs et acteurs de la
formation. J. P. Astolfi. Rouen, PURH.
Athanasou, J. A. (2005). Components of self-estimates for adult learning.
Barger, L. (2006). Impact of extended-duration shifts on medical errors, adverse events, and
attentional failures. PLoS Med 3(12): e487.
Boet, S. (2010). [Hybrid simulation: a new concept for new learning goals]. Ann Fr Anesth
Reanim 29(5): 407-408.
Boet, S. (2009). Virtual simulation training for fibreoptic intubation. Canadian Journal of
Anesthesia 56(1): 87.
Britt, R. C. (2009). The impact of central line simulation before the ICU experience. Am J
Surg 197(4): 533-536.
Bruner, J. (1974). Toward a theory of instruction, Belknap Press.
81
Bruppacher, H. R. (2010). Simulation-based training improves physicians' performance in
patient care in high-stakes clinical setting of cardiac surgery. Anesthesiology 112(4): 985-
992.
Burdekin, S. (2004). Mission Operations Safety Audits (MOSA). Aviation Safety Spotlight 3:
21-29.
Burg, F. (1982). Competence in medicine. Medical Teacher 4(2): 60-64.
Butler, A. C. (2008). Feedback enhances the positive effects and reduces the negative effects
of multiple-choice testing. Mem Cognit 36(3): 604-616.
Calhoun, J. (1990). Medical students' development of self-and peer-assessment skills: a
longitudinal study. Teaching and Learning in Medicine 2: 25-29.
Carifio, J. (2008). Resolving the 50-year debate around using and misusing Likert scales.
Med Educ 42: 1150-1152.
Chandra, D. B. (2008). Fiberoptic oral intubation: the effect of model fidelity on training for
transfer to patient care. Anesthesiology 109(6): 1007-1013.
Charatan, F. (2000). Clinton acts to reduce medical mistakes. British Medical Journal
320(7235): 597.
Chenu, F. (2005). Vers une définition opérationnelle de la notion de compétence. Education
permanente 162(1): 201-208.
Clot, Y. (1999). De Vygotski à Léontiev via Bakhtine.
Cohen, J. (1977). Statistical Power Analysis for the Behavioral Sciences. New York,
Academic Press.
Colliver, J. A. (2005). Self-assessment in medical practice: a further concern about the
conventional research paradigm. Teach Learn Med 17(3): 200-201.
Cooper, J. (1982). Critical incidents associated with intraoperative exchanges of anesthesia
personnel. Anesthesiology 56(6): 456.
Crahay, M. (2006). Dangers, incertitudes et incomplétude de la logique de la compétence en
éducation. Revue française de pédagogie(154): 97-110.
Crawford, W. (1971). Human Factors in Aircraft Accidents. Australian Journal of Forensic
Sciences 4(1): 26-32.
Davis, D. (1999). Impact of formal continuing medical education: do conferences,
workshops, rounds, and other traditional continuing education activities change physician
behavior or health care outcomes? Jama 282(9): 867-874.
Dolz, J. (2002). L'évaluation des compétences chez l'apprenant, Presses univ. de Louvain.
82
Dreifuerst, K. T. (2009). The essentials of debriefing in simulation learning: a concept
analysis. Nurs Educ Perspect 30(2): 109-114.
Dreyfus, H. (1992). "La portée philosophique du connexionisme" in Andler D. Introduction
aux sciences cognitives: 352-373.
Dripps, R. (1961). The role of anesthesia in surgical mortality. The Journal of the American
Medical Association 178(3): 261-266.
Epstein, R. M. (2002). Defining and assessing professional competence. Jama 287(2): 226-
235.
Eva, K. W. (2004). How can I know what I don't know? Poor self assessment in a well-
defined domain. Adv Health Sci Educ Theory Pract 9(3): 211-224.
Eva, K. W. (2005). Self-assessment in the health professions: a reformulation and research
agenda. Acad Med 80(10 Suppl): S46-54.
Eva, K. W. (2008). " I'll never play professional football" and other fallacies of self-
assessment. J Contin Educ Health Prof 28(1): 14-19.
Fahrenkopf, A. (2008). Rates of medication errors among depressed and burnt out residents:
prospective cohort study. British Medical Journal 336(7642): 488.
Falchikov, N. (1989). Student self-assessment in higher education: A meta-analysis. Review
of Educational Research 59(4): 395-430.
Fletcher, G. (2003). Anaesthetists' Non-Technical Skills (ANTS): evaluation of a behavioural
marker system. Br J Anaesth 90(5): 580-588.
Flin (2003). ANTS Textbook.
Flin, R. (2008). Safety at the Sharp End: A Guide to Non-Technical Skills. Aldershot,
Ashgate Publishing, Ltd.
Frank, J. (2007). The CanMEDS initiative: implementing an outcomes-based framework of
physician competencies. Medical Teacher 29(7): 642-647.
Friedman, Z. (2009). Clinical impact of epidural anesthesia simulation on short- and long-
term learning curve: High- versus low-fidelity model training. Reg Anesth Pain Med 34(3):
229-232.
Friedman, Z. (2008). Teaching lifesaving procedures: the impact of model fidelity on
acquisition and transfer of cricothyrotomy skills to performance on cadavers. Anesth Analg
107(5): 1663-1669.
Gaba, D. M. Crisis management in anesthesiology.
Gaba, D. M. (1994). Basic principles of crisis management in anesthesiology, Crisis
Management in Anesthesiology. Philadelphia, Churchill Livingstone.
83
Gaba, D. M. (2001). Simulation-Based Training in Anesthesia Crisis Resource Management
(ACRM): A Decade of Experience. Simulation & Gaming 32(2): 175.
Gagné, R. M. (1974). Principles of instructional design. Holt, Rinehart, and Winston.
Gbato, M. (2008). Former pour l'emploi: une autre alternative, Editions L'Harmattan.
Girzadas, J. D. V. (2009). Hybrid Simulation Combining a High Fidelity Scenario with a
Pelvic Ultrasound Task Trainer Enhances the Training and Evaluation of Endovaginal
Ultrasound Skills. Academic Emergency Medicine.
Goldmann, K. (2006). Acquisition of basic fiberoptic intubation skills with a virtual reality
airway simulator. J Clin Anesth 18(3): 173-178.
Gordon, M. J. (1991). A review of the validity and accuracy of self-assessments in health
professions training. Acad Med 66(12): 762-769.
Gouin, P. (2008). [Impact of Sfar experts' conference entitled "Modalities of sedation and/or
analgesia in hospital setting"]. Ann Fr Anesth Reanim 27(5): 390-396.
Hammick, M. (2007). A best evidence systematic review of interprofessional education:
BEME Guide no. 9. Med Teach 29(8): 735-751.
Hattie, J. (2007). The Power of Feedback. Review of Educational Research 77(1): 81.
Hays, R. B. (1990). Analysis of videotaped consultations to certify competence. Med J Aust
152(11): 609-611.
Heffron, M. G. (2007). Competency-based physician education, recertification, and licensure.
WMJ 106(4): 215-218.
Helmreich, R. L. (2000). On error management: lessons from aviation. BMJ 320(7237): 781-
785.
Hodges, B. (2001). Difficulties in recognizing one's own incompetence: novice physicians
who are unskilled and unaware of it. Acad Med 76(10 Suppl): S87-89.
Hodges, B. (1999). OSCE checklists do not capture increasing levels of expertise. Acad Med
74(10): 1129-1134.
Howard, S. K. (1992). Anesthesia crisis resource management training: teaching
anesthesiologists to handle critical incidents. Aviat Space Environ Med 63(9): 763-770.
Jonnaert, P. (2002). Compétences et socioconstructivisme: un cadre théorique, De Boeck
Université.
Jorro, A. (2002). L'écriture accompagnatrice: le journal de formation.
Jorro, A. (2004). Parole, récit et écriture. Les arcanes de la professionnalisation. Questions
Vives(3).
Kim, B. (2001). Social Constructivism.
84
Kim, J. (2006). A pilot study using high-fidelity simulation to formally evaluate performance
in the resuscitation of critically ill patients: The University of Ottawa Critical Care Medicine,
High-Fidelity Simulation, and Crisis Resource Management I Study. Critical care medicine
34(8): 2167.
Kohn, L. (2000). To err is human: building a safer health system. Washington DC: 196ñ197.
Kolb, D. A. (1981). Learning styles and disciplinary differences. The Modern American
College: 232-255.
Krathwohl, D. (1964). Taxonomy of educational objectives, handbook II: Affective domain.
New York: David McKay.
Kremer, B. K. (1991). Physician recertification and outcomes assessment. Eval Health Prof
14(2): 187-200.
Landrigan, C. P. (2004). Effect of Reducing Interns' Work Hours on Serious Medical Errors
in Intensive Care Units. N Engl J Med 351(18): 1838-1848.
Larousse, D. (2010).
"http://www.larousse.fr/dictionnaires/francais/comp%C3%A9tence/17649." 2010.
Laveault, D. (2000). Les mécanismes de la régulation. MEQ 3(3).
Le Boterf, G. (1994). De la compétence: essai sur un attracteur étrange.
Le Boterf, G. (2002). De quel concept de compétence avons-nous besoin? Soins cadres 41.
Lebel (2008). Évaluer les compétences des élèves à l’aulne de l’imaginaire pédagogique
traditionnel : Un enjeu de taille. Presses de l'université du Québec à Trois-Rivières.
LeBlanc, V. R. (2005). Paramedic Performance in Calculating Drug Dosages Following
Stressful Scenarios in a Human Patient Simulator. Prehospital Emergency Care 9(4): 439-
444.
Letrilliart, L. Un glossaire díinitiation ‡ la recherche qualitative.
Lin, L. I. (1989). A concordance correlation coefficient to evaluate reproducibility.
Biometrics 45(1): 255-268.
Martin, D. (1998). Using videotaped benchmarks to improve the self-assessment ability of
family practice residents. Acad Med 73(11): 1201-1206.
Meirieu, P. (2009). Apprendre... oui, mais comment.
Merriam, S. B. (2001). In Adult learning theory. New York, NY.
Michaud, G. (2006). Développer la compétence à s' orienter par le transfert des
apprentissages en counseling d'orientation. CarriÈrologie 10(3-4): 629-647.
Miller, G. E. (1990). The assessment of clinical skills/competence/performance. Acad Med
65(9 Suppl): S63-67.
85
Morissette, D. (1993). Les examens de rendement scolaire, Presses UniversitÈ Laval.
Naik, V. N. (2001). Fiberoptic orotracheal intubation on anesthetized patients: do
manipulation skills learned on a simple model transfer into the operating room?
Anesthesiology 95(2): 343-348.
Neale, G. (2001). Exploring the causes of adverse events in NHS hospital practice. JRSM
94(7): 322.
Newbower, R. (1981). Learning from anesthesia mishaps: analysis of critical incidents in
anesthesia helps reduce patient risk. QRB. Quality review bulletin 7(3): 10.
Palmer, P. B. (1985). Effect of videotape replay on the quality and accuracy of student self-
evaluation. Phys Ther 65(4): 497-501.
Perrenoud, P. (1999). Construir as Competências desde a Escola, Porto Alegre, Artmed
Editora.
Perrenoud, P. (2001). Développer la pratique réflexive dans le métier d'enseignant.
Piaget, J. (1990). Psychologie et pÈdagogie, DenoÎl/Gonthier.
Piaget, J. (1971). La psychologie de l'enfant, Presses universitaires de France Paris.
Pronin, E. (2002). The bias blind spot: Perceptions of bias in self versus others. Personality
and Social Psychology Bulletin 28(3): 369.
Ramos, M. (2004). Réflexivité - étivixelféR. Communication.
Raynal, F. (1997). Pédagogie: dictionnaire des concepts clés. Paris: ESF.
Reeves, S. (2009). The competency movement in the health professions: ensuring consistent
standards or reproducing conventional domains of practice? Adv Health Sci Educ Theory
Pract 14(4): 451-453.
Reeves, S. (2010). The effectiveness of interprofessional education: key findings from a new
systematic review. J Interprof Care 24(3): 230-241.
Regehr, G. (1998). Comparing the psychometric properties of checklists and global rating
scales for assessing performance on an OSCE-format examination. Acad Med 73(9): 993-
997.
Ringsted, C. (2006). Are some of the challenging aspects of the CanMEDS roles valid
outside Canada? Medical Education 40(8): 807-815.
Rowe, R. (2002). An evaluation of a virtual reality airway simulator. Anesth Analg 95(1): 62-
66, table of contents.
Rozenblit, L. (2002). The misunderstood limits of folk science: An illusion of explanatory
depth. Cognitive Science: A Multidisciplinary Journal 26(5): 521-562.
86
Savoldelli, G. (2006). Value of debriefing during simulated crisis management: oral versus
video-assisted oral feedback. Anesthesiology 105(2): 279.
Savoldelli, G. L. (2005). Barriers to use of simulation-based education. Can J Anaesth 52(9):
944-950.
Savoldelli, G. L. (2006). Evaluation of patient simulator performance as an adjunct to the oral
examination for senior anesthesia residents. Anesthesiology 104(3): 475-481.
Savoldelli, G. L. (2006). Value of debriefing during simulated crisis management: oral versus
video-assisted oral feedback. Anesthesiology 105(2): 279-285.
Schön, D. (1994). Le praticien réflexif: à la recherche du savoir caché dans l'agir
professionnel, …ditions Logiques.
Schunk, D. H. (2004). Learning theories: An educational perspective. Englewood Cliffs.
Sclabassi, S. E. (1984). Development of self-assessment skills in medical students. Med Educ
18(4): 226-231.
Seels, B. (1990). Exercises in instructional design. Columbus OH, Merrill Publishing
Company.
Simpson, T. (2002). Dare I oppose constructivist theory?, Routledge.
Southgate, L. (1994). Freedom and discipline: clinical practice and the assessment of clinical
competence. British journal of general practice 44(379): 87-92.
Spencer, J. A. (1999). Learner centred approaches in medical education. BMJ 318(7193):
1280-1283.
St Pierre, M. (2008). Crisis management in acute care settings: human factors and team
psychology in a high stakes environment, Springer Verlag.
Talbot, M. (2004). Good wine may need to mature: a critique of accelerated higher specialist
training. Evidence from cognitive neuroscience. Med Educ 38(4): 399-408.
Talbot, M. (2004). Monkey see, monkey do: a critique of the competency model in graduate
medical education. Med Educ 38(6): 587-592.
Vergnaud, G. (2000). Lev Vygotski.
von Glasersfeld, E. (1994). Pourquoi le constructivisme doit-il Ítre radical. Revue des
sciences de l'Èducation 20(1): 21-27.
Vygotski, L. (1985). Pensée et langage, Paris: Editions sociales.
Vygotski, L. (1978). Mind in society: The development of higher psychological processes,
Harvard University Press.
Ward, M. (2002). Measuring self-assessment: current state of the art. Adv Health Sci Educ
Theory Pract 7(1): 63-80.
87
Ward, M. (2003). Resident self-assessment of operative performance. Am J Surg 185(6):
521-524.
Welke, T. M. (2009). Personalized oral debriefing versus standardized multimedia instruction
after patient crisis simulation. Anesth Analg 109(1): 183-189.
Wittorski, R. (1998). De la fabrication des compétences. Education permanente 135: 56-69.
Wood, J. V. (1989). Theory and research concerning social comparisons of personal
attributes. Psychological bulletin 106(2): 231-248.
Yee, B. (2005). Nontechnical skills in anesthesia crisis management with repeated exposure
to simulation-based education. Anesthesiology 103(2): 241-248.
Ziv, A. (2003). Simulation-based medical education: an ethical imperative. Acad Med 78(8):
783-788.
88
VII- ANNEXES
1. Schéma de la méthodologie
2. Questionnaire aux participants
3. Système d’évaluation des compétences non techniques des anesthésistes :
ANTS
89
Appendice 1 : Schéma de la méthodologie.
90
Appendice 2 : Questionnaire pré-test aux participants
Last Name:
First Name:
Male Female
What postgraduate year are you?
PGY 1 PGY 2 PGY 3 PGY 4 PGY 5
How many simulation sessions have you participated in (as a trainee)?
0 1 2 3 4 5 6 7 8 9 10 >10
How many simulation sessions have you taught as a trainer ?
0 1 2 3 4 5 6 7 8 9 10 >10
91
Appendice 3 : Système d’évaluation des compétences non techniques des anesthésistes : ANTS
