Upload
lamtuong
View
215
Download
0
Embed Size (px)
Citation preview
1
UniversitéPierreetMarieCurie,Paris6
Annéeuniversitaire2015-2016
Mémoireenvuedel’obtentiondu
DiplômeInterUniversitairedePédagogieMédicale
«QoCoMo»
ApplicationInternetd’évaluationparQCM
Soutenule14Octobre2016
par
PhilippePUECH
PU-PHenimageriemédicaleauCHUdeLille&
AdilOUZZANE
MCU-PHenurologieauCHUdeLille
2
TabledesmatièresRésumé..............................................................................................................................3
Mots-clés...........................................................................................................................3
Introduction.......................................................................................................................4
PARTIE1:Développementdel’outilinformatique.............................................................5MatérieletMéthodes.................................................................................................................5
Cahierdescharges..........................................................................................................................5Financement...................................................................................................................................5Ingénierie........................................................................................................................................5Structurationdel’application.........................................................................................................8Descriptiondesprincipauxacteursetdeleursinteractions..........................................................8
Résultats.....................................................................................................................................8Fonctionnalitésactuelles................................................................................................................9
PARTIE2:Evaluation........................................................................................................12UtilisationdeQoCoMopourl’évaluationdefindestage...........................................................12
SaisiedespremiersQCMsdansdeuxservicesduCHRUdeLille..................................................12Utilisationenamphithéâtre.........................................................................................................13Lepointdevuedesenseignantssurl’utilisationdel’outil...........................................................13
Evaluationobjectiveduprojetparlesétudiants........................................................................14Matérieletméthode....................................................................................................................14Résultats.......................................................................................................................................14Leslimitesdecetteévaluation.....................................................................................................15
Conclusion........................................................................................................................18
Références.......................................................................................................................19
3
RésuméNous avons développé en 6mois une plateformepédagogique expérimentale dédiée à lacréation et à la présentation de questions à choix multiples (QCMs). Elle est accessiblelibrement sur le web à http://www.pcih.fr/qcm. Elle est utilisable pour tout typed’enseignement, mais orientée vers l’encadrement des étudiants en médecine en stagehospitalieretlapréparationdel’ECN.Danscepérimètre,sesobjectifsprincipauxsonta)depermettreauxétudiantsderéviserlaspécialitédeleurstagesouslatutelled’unenseignant;b) de mettre étudiants et enseignants en situation de créer des questions structurées,respectant la docimologie de l’ECN et ses référentiels; c) de constituer une large base dedonnéesvalidéedequestionsECNpourpermettreunentraînementludiquemaisefficaceaucoursdu stage;d)d’intégrerunmaximumdedocuments iconographiquesen supportdesQCMspour lesstaged’imagerie.L’applicationparailleursaussi lesenseignantsàcréerdes«quiz» rapides utilisables en amphithéâtre pour améliorer l’interactivité des cours. Cetteplateforme a été utilisée par une quinzaine d’étudiants deMED3 àMED6, qui, pour leurévaluationdefindestage,ontsaisietfaitvalider155QCMs(3/semaine)enimagerienéphro-urologiqueetORL,etenurologie.Nousavonsévaluéleurexpérienceunquestionnaire.-204mots-
Mots-clésQCM,Internet,ECN,imagerie,enseignementdirigé,docimologie,développement
4
IntroductionL’enseignement de la médecine et l’évaluation des connaissances ont beaucoup
évoluéen10ans.Lesnouvellestechnologiesontmodifiélesméthodesd’enseignement[1]:amphisvidéo,coursenligne,roneosélectroniques,groupesdetravailvirtuels…Ilsdisposentaujourd’hui,souventmêmeavantlecours,d’unsupportélectronique,qu’ilssuivententempsréelsurleurordinateurportablependantquel’enseignantofficie.Parailleurs,l’évaluationdesconnaissancesasuivicettemutation,probablementenraisondesréformesdel’ECNetduPACES,quiimposentaucorpsenseignantuneextrêmerigueurdanslerespectdeprogrammesauxpérimètresparfaitementlimités,ainsiquedansladocimologie.D’autresélémentssontàprendre en compte: a) une évolution du nombre des étudiants en médecine nonproportionnelleàcelledesenseignants;b)unaccroissementetunemeilleurestructurationdelaformationcontinue;c)unedemanded’interactivitécroissante.
Tous ces éléments ont contribué au développement et à la suprématie presque
complètedesquestionsàchoixmultiples(QCM)parrapportauxautresmodesd’évaluation(dossiersrédactionnels…)[2].LesQCMssontreconnuscommelaméthoded’évaluationdesconnaissancesla plus rationnelle, la plus objective, la plus intelligible, la plus rapide àprésenter(sursupportnumériqueouenamphithéâtre),àcomposer(nenécessitantplusdecrayonetpapier),etàcorriger(defaçonautomatique,avecrésultatsinstantanés)[3].Toutcecibienentenduàconditionderespecterunecertaineméthodologie.
Auquotidien, lesuniversitairesdes facultésdemédecine(CCU,MCU,PU),ontsous
leurresponsabilitédenombreuxétudiantsdedifférentsniveaux,auxattentesvariées[4].Ilsdoivent les accueillir, les accompagner, les former, puis les évaluer. Actuellement, lesélémentsd’évaluationsontrelativementsubjectifs(feuillestyped’évaluationdestage).Atitred’exemple, dans notre faculté (Lille 2), l’évaluation de fin de stage comporte encore desélémentsrelatifsàlatenuevestimentaire.
Auregarddecesévolutionsetdenouvellescontraintesd’enseignement,nousavons
souhaité développer, dans le cadre du diplôme interuniversitaire de pédagogie médicale(UniversitéPierreetMarieCurieParisVI),uneplateformeInternetdecréationdeQCMstrèssimpled’accès(QoCoMo)quinesoitpasredondanteaveccelleduSIDES,avecpourprincipalobjectif d’être un support d’évaluation de proximité des étudiants enmédecine en stagehospitalier, sans avoir la prétention de devenir une plateforme nationale officielle, uneplateformelucrative,unréseausocialouunoutildédiéauxexamensblancs.
Notretravails’estdiviséendeuxparties:lapremièreconsistaitàdévelopperl’outiletà
yintégrerducontenu;lasecondeàl’évaluerauprèsdesétudiantsquiyavaientcontribué.
5
PARTIE1:Développementdel’outilinformatiqueDifférentesoptionssesontprésentéespourlacréationdel’outilinformatique.SIDES et Moodle, les principales plateformes accessibles dans le domaine académiquemédical, possèdent de nombreux atouts (large périmètre, disponibilité, popularité,robustesse…),maisaussides inconvénientsquiauraientpumettreenpéril lesobjectifsdenotreprojetsurlelongterme:
- hébergementtiers(quenousnecontrôlonspas)- pasd’interfaçagepossibleavecnotrebasededonnéeiconographique(SPOT)- pasdegestiondel’imagerieencoupe- création de contenumalaisée pour les étudiants (et les enseignants), en raison de
processusd’inscription(SIDES),oud’uneinterface(Moodle)«complexes».- durabilité incertaine (Moodle; outil utilisé préférentiellement dans notre faculté,
devrait logiquement s’effacerdevant l’outilnational SIDES, luimêmesupposé«enredéveloppement»)
- plateformeidéale«SIDES»ferméeàtoutdéveloppementtiersouinterfaçageD’autres outils en ligne ou logiciels sont disponibles (Evalbox1, SurveyMonkey2, Questy,Quizfaber3, NetQuiz4, EvalQCM5, Google Forms, QCMPackage6, ECNi.fr7), mais aucun nedisposedefonctionnalitésmédicales,etlesplusintéressantssontpayants.
MatérieletMéthodesCahierdeschargesNotre choix a été de créer une plateforme expérimentale pour intégrer l’ensemble desfonctionnalitésquenoussouhaitionsdefaçonimpérative(tableau1).Financement
Cetypededéveloppementestengénéralcoûteux(environ20à30k€pourcetypedeprojet),maisnousavonsprofitédenotreexpérienceantérieurededéveloppementd’outilspédagogiquesmédicaux(Invision,SPOT,Imagerieducancerdelaprostate…),pourréaliserleprojetsansfinancement.
Ingénierie
QoCoMoestunsitewebbasésurunetechnologie«client/serveur».Cecisignifiequel’applicationestcrééeetenregistréesurunemachine«distante»(appeléeserveur).Nousavons utilisé un espace d’hébergement mutualisé chez le prestataire OVH (Roubaix, FR),permettantdedisposerd’unespace«web»sécurisé(accessibleparunnavigateurInternetavecuneadressehttps://),etd’unebasededonnées.Labasededonnéeschezcethébergeurestdetype«MySQL»,standardactueld’Internet.Lespageswebpeuventêtreéditéesavecn’importequeléditeurdetexteet«uploadées»surleserveurdistant,maispourdesraisons1https://www.evalbox.fr2https://fr.surveymonkey.com3http://www.lucagalli.net/index.php/en/4https://www.ccdmd.qc.ca/catalogue/netquiz-pro-45http://www.evalqcm.fr/6http://www.qcmpackage.com/7https://ecni.fr
6
pratiques, nous avons utilisé un environnement «en ligne» nommé «CodeAnywhere»8,permettantd’accéderdirectementaucodesourcedel’applicationInternet,etdel’éditerentemps réel depuis n’importe quel navigateur Web. L’avantage de ce type d’outil, est depermettrel’accèsaudéveloppementdepuisn’importequellieu(hôpital,faculté,domicile),delamêmemanière,depuisn’importequelordinateur(figure1).
Plateforme,Licence,Outilsdedéveloppement
§ Logiciellibre(académique),gratuitetopen-source § Accès indépendantde laplateforme (Windows,Mac, Linux, iPad,Android)par
navigateurWebmoderne § Compatibilitéaveclesclientsmobiles(typeiOSouAndroid) § Disponibilité sur Internet (non lié à un réseau fermé), depuis n’importe quel
servicedemédecineetn’importequelleuniversité(pasdesélection) § Entièrementdéplaçablesurunréseaufermé(typeintranet;pourpréparerune
épreuveparexemple) § Développement «web» combinant les technologies HTML5, PHP5, MySQL,
Javascript,Ajax,CSS,JQueryInteropérabilitéetInterfaces
§ Interfaceaveclabanquededonnéesd’imagesduserviced’imagerieHuriezLillecontenant plus de 23000 dossiers en imagerie néphro-urologique (base dedonnéesSPOT)
§ Accès possible au logiciel sans login, sans enregistrement (pour préparerrapidementunquizousetestersurunematière)
§ Interopérabilité(compatibilitéSIDESetMoodle)Fonctionnalitéstechniques
§ Accèspar«QRCode»,pouruneutilisationenamphithéâtre(épreuve,questions,réponses…)
§ Lectureetquizsuruneouplusieurssériesd’imagerie(ex:scanner,IRM…) § Adaptéaucontenumultimédia(vidéo,PDF,images,séries,son…)Fonctionnalitésmédicales
§ CréationdeQCMsisolés § CréationdedossiersprogressifsbaséssurdesQCMs § Intégrationdel’imagerie § Anonymisationcomplètedesdonnées § Possibilitédecréeruneépreuveparspécialité,parthème,parquestionECN,par
cursus(MED,DES,…),parniveaudedifficulté § Gestionstatistiquedesrésultats(parquestion,questionsfaciles/difficiles) § Adaptéàtouteslesspécialités,enfavorisantlesinterdisciplinarités § Adaptéàtouslescursus(FMI,MED,troisièmecycleDES,FMC,DIU) § Orienté«ECNi»
Tableau1:Cahierdeschargesinitialdel’applicationQoCoMo
8https://codeanywhere.com
7
CodeAnywhere
Environnement de développement en ligne gratuitpermettant d’éditer le code de l’application en tempsréel.
phpMyAdmin
Outil de création et d’édition en ligne gratuit permettantd’éditeretcontrôlerlesdonnéesdel’application.
Figure1:LesoutilsdedéveloppementdusitewebQoCoMoLestechnologiesutiliséespourécrirelecodeen«Web2.0»sontbrièvementdécritesdansletableau2.HTML5 Langagedecodagedespagesaffichéesdansunnavigateur,agrégeantlePHP,leCSS,lesscripts.PHP Langage interprétésur leserveur,procheduC++,permettantde«fabriquer»unepageweben
tempsréel,enfonctiondeparamètres,tandisqueleHTMLest«figé»(ex:affichagedunomdel’utilisateur).Aucuncoden’estexécutésurleclient.
CSS Langagedédiéàl’affichagehiérarchisédesdonnéessurlapage(polices,tailles,marges,couleurs,…).Javascript Langage interprété, proche du JAVA, exécuté sur la machine cliente, utilisé notamment pour
intéragiràl’écran(ex:boitededialogue)jQuery BibliothèqueextensiondeJavascriptdéveloppéeetdistribuéeparGoogle,disposantdesapropre
syntaxe; incluantdemultiplesraccourcispouraméliorerl’intéractivitédessitesweb(ex:menusdéroulants)
AJAX TechnologieassociéeàjQuerypermettantdemettreàjourunepagewebentempsréel,sansavoiràrafraîchirlapageenentier.
Tableau2:TechnologiesWeb2.0utiliséespourledéveloppementdeQoCoMo
8
Structurationdel’applicationSurleplandudéveloppement,onpeutrésumeruneapplicationenunensemble«d’acteurs»ou objets qui vont communiquer selon différentes «interactions». Ces acteurs sonthiérarchisés.C’estleprincipedelaprogrammationorientée-objet.Chaque«acteur»possèdesesproprespropriétés,etsesproprescapacitésd’interagiraveclesautres.UnacteurpeutêtreparexempleunQCM,uneépreuve,unutilisateur.Pourchaqueacteur, une table spécifique existe dans la base de données, avec ses champsd’enregistrement,qu’ilestpossibledelireoumodifierdansl’application.Pourchaqueacteur,ilfautidentifierlesdonnéesquiluisontpropres,lesactionsqu’ildoitpouvoiraccomplir,lesactions qu’il peut accomplir sur les autres objets. Ceci permet de cloisonner le
développement et de l’accomplir progressivement, en toute sécurité, tout en disposant
rapidementd’unnoyauutilisable.DescriptiondesprincipauxacteursetdeleursinteractionsComme pour toute application web, il faut identifier un acteur «utilisateur», avec sonidentité,saqualité,sesdroits,maisaussisonhistoriquedeprogression.IdentifierunétudiantpermetderetrouverinstantanémentlesQCMsauxquelsiladéjàrépondu,etdeluiprésenterses performances. Les acteurs «enseignants» disposent d’autres droits, comme celui devaliderunQCM.L’autreobjetfondamentaldel’applicationestleQCM(table«QCM»delabasededonnées).Atitreindicatif,àchaqueQCMdel’applicationcorresponduneentréedansunetabledelabasededonnée,comprenant36champsd’information.Nousavonsdéveloppéuneinterfacede création,édition,présentationd’unQCM,pouréditerde façon simpleet rapide les36itemsdechaqueQCM.Aunniveausupérieur,ilfautidentifierl’objet«Epreuve»,quiregroupeplusieursQCMsetvapossédersesproprespropriétés(date,participants,créateur,listedeQCMs,…)dansunetabledédiéede labasededonnées.Outresespropriétés spécifiques, chaqueépreuveestconstituéede«x»QCMssélectionnésdanslatable«QCMs».RésultatsQoCoMoaétédéveloppéeentreAvriletSeptembre2016.Elleestfonctionnelle,maisencoreen construction, constituée actuellement de 2500 lignes de code. C’est une plateforme
expérimentale en pédagogie destinée à s’améliorer progressivement dans les années à
venir.Elleestaccessibleàl’adressesuivante:http://www.pcih.fr/qcm Durant lapériodedumémoire,nousn’avonspaspudévelopper toutes les fonctionnalitéssouhaitéesdanslecahierdescharges,etavonsdéveloppécertainestechnologiesdontilnemanqueque l’intégration dans l’application (ex: imagerie). Il n’est pas possible d’intégrerdirectement des développements en test dans une application utilisée au quotidien, pouréviterl’apparitiondebugsoulapertededonnées.Toutefonctionnalitéajoutéeàl’applicationdoitêtreisolée,testée,puis«branchée»surl’existant.
9
L’applicationtellequ’elleexisteaujourd’huiaserviprincipalementàlasaisied’un«cœur»depremiersQCMs (n=155 en 6mois), afin de tester son utilisabilité; les détails devant êtreintégrésprogressivement,delafaçonlapluspratiqueetsécuriséepourlesutilisateurs.Sonergonomieapuêtreévaluéesurunevingtained’étudiantsen6mois.FonctionnalitésactuellesLesfonctionnalitésetleurétapededéveloppementsontdétailléesdansletableau3etlesfigures2et3.Fonctionnalité Description Etat
Accueil Actuellementtrèssimple,àaméliorer.Paged’accueildusite.
Fait
Création d’une épreuve de
QCMsenmodesimplifié
Création d’un groupe («session») de QCMsautomatiquementenregistrés,etfacilesàretrouverparunliend’administrationouunQRCode(Doodle-like).
Fait
Création d’une épreuve de
QCMsdétaillée
Sélectionougénérationaléatoired’unjeudeQCMsdanslabasededonnées;sélectiondesparticipants(inscritsouviaemail–Doodlelike-)
Adévelopper
Editiond’unQCM Saisie d’éléments de Classement, de la question etdes items (1 à 5), des commentaires de chaqueréponse,duréférentielutilisépourchaqueréponse,du niveau du QCM (Crooks), d’options deprésentation (ordre aléatoire ou non), de lapondérationde lanoteduQCMdans l’épreuve,del’auteur, du référent ayant validé la question.Enregistrement et édition ultérieure possible desdonnées.
Fait
AssistantECN Sélectiondeladiscipline,duchapitreiECNdansuneliste interactive, afin de consolider la base dedonnéesavecdesmots-cléscommuns
Fait
Intégration d’images dans le
QCM
Ajoutd’undocument(PDF,imageJPGouPNG,autrefichiervidéoouson)parglisser-déposer
Développé, nonintégré
InterfaceaveclelogicielSPOT Le logiciel SPOT est une base de données locale(CHRU Lille), qui contient environ 23000 dossiersiconographiques avec mots-clés. Développée parnotreéquipe,ilestévidentqu’ildoitêtrepossible,enfonction des mots-clés du QCMs, de proposer lesdossierslesplusadaptésàlacollectededocumentsillustratifs d’une pathologie (ex: syndrome dejonction).
Adévelopper
Imagesàcliquer Définitionde«zonescliquables»suruneimagePNGouJPG,permettantdetesterlacapacitédel’étudiantàlocaliseruneanomalie.
Développé, nonintégré
Séries d’images scanner ou
IRM
Possibilité d’uploader sur le serveur une séried’images scanner ou IRM en JPG ou PNG, et de lavisualiser telle qu’on le ferait dans un PACS(défilementfluidedesimageslesunessurlesautres;sériessynchronisées).
Développé, nonintégré
Inviter un étudiant à
participerauQCM
Possibleparunlien(URL)ouparunQRCodeaffichéen plein écran. Permet notamment d’interroger unamphithéâtreentempsréel,surunequestion,aprèsquelquesminutesdecours.Ceciinclutl’affichagedu
Fait
10
QRCode(figure4),etl’interfacede«réponse»àunQCM.
Inviter un étudiant à
participeràuneépreuve
Possibleparunlien(URL)ouparunQRCodeaffichéenpleinécran.Permetdetransmettreàungrouped’étudiantsunepageinteractivecontenantles«n»QCMsdel’épreuve,sansenmontrerlesréponses.
Fait
Mode«entraînement» Permet à un étudiant de se connecter directementsurlabasededonnées,etdesetestersurlesQCMs«publics» de la base de données, filtrés pardifficulté, thème ou discipline. Mode idéal, parexemple, pour préparer un examen, réviser lesannales d’un DIU… Ce n’est pas une épreuvepréparée ni contrôlée par un enseignant, c’est unmode«libreetanonyme».
Adévelopper
Suivi des réponses d’un
groupeàunQCM
Cetteinterfacepermetl‘enseignantdecontrôlerentemps réel le nombre de connexions à la question(«quivoitlaquestion»),etlenombrederéponses,ainsi que les statistiques de réussite pour chaqueitemetleQCMdanssaglobalité.Possibilitéd’afficherles donnés épidémiologiques en salle, et d’afficherensuite les réponsesquandunnombre raisonnabled’étudiantsarépondu.
Fait
Suivi des réponses d’un
groupeàuneépreuve
Cetteinterfacepermetdevisualiserlenombreetlaqualitédes réponses àuneépreuvedeQCMspourlaquelleilalancéuneinvitation.
Adévelopper
Affichage de l’ensemble des
QCMsdelabasededonnées
Permetd’avoirunevued’ensembledesdonnéesetduprofildesQCMsquisontdisponibles.
Fait
Tableau 3: Fonctionnalités du logiciel QoCoMo. Description des principales fonctionnalités incluses dansl’applicationenSeptembre2016,etfonctionnalitésdéveloppéesrestantàintégrer.
Figure2:EditionduQCM–onglet«Classement».CettepageintègrelesdonnéesutilesauclassementduQCM,notammentpourpermettreàl’enseignantdeprépareruneépreuveouàl’étudiantdesélectionnerleQCMenfonctiondelaquestiondel’ECNqu’ilsouhaiteréviser.Nousavonsdéveloppéunassistantinteractifproposant un classement très rapide duQCM en fonction d’unmot-clé (ex: «rein» propose «Imagerie-Urologie-Tumeursdurein[I308]»et«Urologie-Cancérologie-Tumeursdurein[I308]»).
11
Figure3:EditionduQCM–onglet«QuestionetRéponses».Cettepageintègrelecontexte,lelibellédelaquestion,etles1à5itemsauxquelsl’étudiantdevrarépondre.LorsdelapréparationduQCM,ilfautsaisirlaquestion,maisaussi,impérativement,uncommentairepourexpliquerlecaractèrejusteoufauxdechaqueaffirmation,ainsiquelasourcejustifiantlaréponse(engénéralleréférentielECN).Cettepageestlecœurdela collaboration entre l’étudiant et l’enseignant, notamment pour contrôler la syntaxe, le caractèreindépendantdesquestionsetnontrompeur,lacorrélationentreunenotionàconnaîtreetlaquestionposée.
Figure4:QR-Coded’invitationàrépondreàunQCM.Cetteimage,enpleinécran,estgénéréeautomatiquement,etamèneauliensuivant:http://www.pcih.fr/qcm/index.php?ask&questionid=pcihmed5d_07,enévitantd’avoiràlesaisir.Ainsi,ilestpossiblededemanderàl’ensembled’unamphithéâtre,derépondreàunQCMenlive(touslessmartphonespeuventlireunQR-Codedepuisleurcaméra),sanspertedetemps.Cetteimageest«testable»avecvotresmartphone.
12
PARTIE2:EvaluationUtilisationdeQoCoMopourl’évaluationdefindestageSaisiedespremiersQCMsdansdeuxservicesduCHRUdeLille
La saisie de 3QCMs par semaine avec relecture a été présentée aux étudiants enmédecinecommeunesubstitutionà leurépreuvepratiqued’évaluationde findestage, habituellement constituée d’une présentation Powerpoint à préparer etprésenteren10minutesàlafindustage.L’objectifétaitdeproposeruneévaluationplus«pratique»,plus«objective»,plusconvivialedesétudiants,etsurtoutplusutilepourleurparcoursprofessionnel.Aprèssapremièremiseen ligne, l’applicationaétéd’abordutiliséedans leserviced’imageriegénito-urinaire,ORLethématologiqueduPrPUECH(CHRUdeLille).Lesétudiantsenstageontétéinvitésà«fabriquer»desQCMenrespectantlesitemsetobjectifsde l’ECN,àdonnerdes réponses justifiéesaveccommentaireet référencepourchaqueproposition(vraieoufausse)etàlesintégrerenlignesurlaplateforme.Ensuitedurantune sessiond’enseignement théorique, chaqueQCMété revuen laprésencedel’ensembledesétudiantsenstageavecunenseignant(PP)oùtouteslespropositionsétaientdiscutées,corrigéespuisvalidées.Lesquestions«litigieuses»,ouprésentantunediscordanceentrelapratiqueetleréférentiel,ouencoredonnantuneréponsedifférenteentredeuxréférentiels(!),étaientidentifiées.Leséniordevaitàlafin de chaqueQCM validé, choisir la discipline concernée (imagerie, urologie…), lepublicconcerné(MED…)etleniveaudedifficulté(IàIII).Lavalidationdesquestionspouvaitnécessiterlerecoursauxréférentielssouventenlignependantlasessionvoiredesupprimercertainespropositionssansréponsesclairesmalgrécerecours.Aprèslespremiersajustementsdel’application,leserviced’urologieduCHRUdeLille(PrVILLERS)aàsontourrejointleprocessus(Juin2016).Lechoixdesitemsétaitlaissélibre aux étudiants à condition d’éviter les redondances ce qui exigeait uneconcertationpréalabledanslegroupe.Durantcettephase,l’évaluationdesétudiantsdanslesdeuxservicesaétéfaiteparlesfeuillesdestagesclassiquesenprenantencompteleurparticipationàl’élaborationdesQCMetleursréponsesdansl’évaluationdesconnaissances.
Le service de néphrologie du CHRU de Lille (Pr HAZZAN) a également souhaitéparticipéàl’évaluationdeQoCoMomaissonutilisationconcrèten’apaseulieudurantlaphaseinitialeetdébuteraàunedateantérieureàcelledenotremémoire.Surleplaninstitutionnel,ledoyendelafacultédemédecinedeLille(PrDidierGOSSET)a été informé par le Pr PUECH du projet, qui l’a présenté au responsable desenseignements(PrTRUFFERT).Cedernieraaccueilliavecintérêtleprojet,enraisonde l’utilité d’une évaluation adaptée aux stages médico-techniques, ne devanttoutefoispasremplacerl’examencliniquedanslesstagespurementcliniques.
13
UtilisationenamphithéâtreNous avons réalisé uneexpériencede test deQoCoMoen amphithéâtre, lors d’uncours d’enseignement optionnel d’imagerie préparant à l’ECN (Pr PUECH; MED6).Nous avons constaté, sur un amphithéâtre d’environ 150 étudiants, une bonneréception de l’idée, malgré des difficultés techniques (pas d’accès Wifi dans cetamphi!). Le QR-Code projeté sur l’écran n’était pas trop «petit» pour lessmartphones,mais la luminositéde l’écrandevaitêtrerespectée.Lesétudiantsontrapidement lancé une application de lecture de QR Code, et 5 questions ont étéréalisées ainsi, avec un taux de participation d’environ 50%pour chaquequestion.Nousavonseul’idéedepré-imprimerlesQRCodesetdelesdistribueràl’entréedel’amphithéâtrepourlaprochainesession.
Lepointdevuedesenseignantssurl’utilisationdel’outil
Endehorsdesajustementstechniquesquenousavonspuréaliseraufuretàmesuredel’évolutionduprojet,plusieurspointsnousontsembléimportantsàrapporter:
1) Lesétudiantsétaientàl’aisedanslesapplicationsweb,etn’avaientaucunsoucià
utiliser QoCoMo au quotidien. La charge de travail ne semblait pas tropimportante.
2) Ce mode d’évaluation «motive» les étudiants à avoir des connaissances
théoriques et pratiques solides sur les questions liées à leur stage (en
l’occurrenceurologie/néphrologie/ORL/maladiesinfectieuses/hématologie),car
toutes leurs réponses seront discutées avec le maître de stage et les autres
étudiants. Aucune approximation ou question «malhonnête/tordue» n’a pupasser.
3) Le fait que les étudiants rédigent les items est très formateur pour eux, car ilsapprennentavecprécisionetdevinentmieuxsurquelsdétailsilspeuventêtremisendifficulté.Ilsseformentaussiàladocimologie.
4) L’enseignantprofiteaussidecetteexpérience.Eneffet,sesconnaissancesnesontpas toujours identiques à celles des référentiels (expérience, âge, nouvellestechniquesdiagnostiques,…),etsonapprochedocimologiquepeutêtrediscutéeparlesétudiants(«làvousexagérezprofesseur,c’estpasauprogramme»).Ainsi,il peut se rapprocher des référentiels actuels et être en mesure de poser desquestions«justes»pourl’ECN.
5) Cemoded’évaluationaétévécuparlesdeuxenseignantscommetrèsimportantpourmieuxconnaîtrelesétudiants,etavoiruncontactrégulieraveceux.Laplupartdesétudiantsontbesoind’un«pointfixe»avecleresponsabledel’enseignement,etcesystèmeapermisdelerespecter.LessessionsdevalidationdesQCMsétait
unmomentfortdustageetunmomentdeconvivialité.6) Lesétudiantsprennentconsciencedel’importancedesstageshospitaliersavecdes
connaissancesàacquérirquinesontpastoujoursfacilesàévaluerdurantlesECN(sens clinique, relation médecin-malade…) et qui sont importantes pour leurpratiqueprofessionnellefuture.C’estaumomentdelacorrectiondesitemsque
14
l’enseignant peut souligner l’importance de certains signes, certains schémasdiagnostiques,pastoujoursclairementénoncésidentifiésdanslesréférentiels.
Evaluationobjectiveduprojetparlesétudiants
Matérieletméthode
Autotal,15étudiantsrépartisentrelesdeuxservicesd’imagerieetd’urologieduCHRUde Lille ont participé à cette phase de développement avec 155 QCMs validés etdisponibles surQoCoMo.Une invitationparmail aétéadresséeà chaqueétudiantpourrépondreàunquestionnaireanonymeen ligne(https://fr.surveymonkey.com)afind’évaluer l’usageet l’utilitéde l’application. Lesquestions leursétaientposéessous formedeQCMsavecunchampsdisponiblepouréventuellementy laisserdescommentaireset/ousuggestions.Cetteévaluationaportésurl’utilitédel’application,sesavantages,sesinconvénientsetlesaméliorationspossibles.
Résultats
Lequestionnaireaétéenvoyéaux15étudiants,maisseuls5ontrépondu.1) Autotal,lesétudiantsonttoustrouvécetteapplication«utile»ou«trèsutile»
(figure5).2) Concernantlemoded’évaluationpréférableenstagemédico-technique,100%des
étudiantspréfèrentpréparerdesQCMsenlienavecl'ECN,lesrelireetlesvalideravecl’enseignant(figure6)plutôtqued’êtreinterrogéselonl’ancienneméthode(présentation Powerpoint d’une pathologie), ou sur le fonctionnement d’unemachine.
3) Concernant les améliorations possibles, l’intégration de l’imagerie ressortaitmajoritairementà40%(figure7).Aucunétudiantnes’estplaintdel’interfaceoudemandédepouvoiraccéderauxQCMsdepuissondomicile.NouscomprenonsquelesétudiantssesontappropriésQoCoMocommeunoutil«destage».
4) Les réponses concernant les avantages et les inconvénients de ce moded’évaluation étaient assez hétérogènes (figures 8 et 9). Les étudiants étaient«obligés» de sélectionner des avantages comme des inconvénients, en lesclassant.Lesdeuxprincipauxavantagesétaient«Discussiondesquestionsavecl'enseignant» ; «Préparation des questions avec les collègues»; les deuxprincipaux désavantages étaient «J'ai l'impression qu'on m'occupe
artificiellementsansmefaireévoluer.»et«JepréféreraissaisirmesQCMssur
SIDESouMoodle,dansuneinterfacequejeconnaisdéjà»5) Enfin,lenombreraisonnabledeQCMàpréparerparétudiantetparsemainede
stagesesituaitentre3et4(figure10).
Les autres réponses pertinentes rapportées par les étudiants dans le champ des
commentaireslibresetregroupéesparcatégoriesontlessuivantes:Lesavantages:
-Permetderéviserlesitemsdel’ECNtoutaulongdustageavecunemeilleureintégrationdesconnaissancesetdespiègeséventuels.
15
-Permetd'avanceràsonrythmetoutaulongdustage.-Parrapportàuneprésentationorale:moinsdestress,plusludiqueetpermetde balayer l'ensemble des items (une présentation powerpointse focaliseuniquementsurunitem).-Facile à faire car les référentiels sont en ligne, il suffit de switcher entre 2fenêtres.-Correctionenfindestageavecl’enseignant:lesmodificationsapportées,lescommentaires,leretourd'expérienceetlefeed-backimmédiatconstituentunenseignementcomplémentaire.
Lesinconvénients:
-Devoirtravailler avec plusieurs référentiels (exemple: urologie etnéphrologie)avecdesdésaccordspossibles.-Un guide "Comment rédiger un QCM" (pas de double négation, etc...)consultable en ligne pourrait aider les étudiants dans la conception despropositions.
Leslimitesdecetteévaluation
Notreidéeestoriginaleetnotreapplicationaététrèsbienappréciéeparlesétudiants.Cependant,sonévaluationcomportequelqueslimites.Premièrement,lenombrederéponsesobtenuànotrequestionnaireétaitfaible,probablementenraisondudélaientrelafindustageetlequestionnaire,etaussienraisonduchangementdevilledesétudiants enMED6 qui ont passé l’ECN. Deuxièmement, seuls les étudiants ayantparticipéàl’élaborationdesQCMontréponduauquestionnaireetaucuneévaluationn’a été faite auprès d’étudiants neutres n’ayant pas participé auprojet sur l’utilitéd’unetelleplateforme.Troisièmement,l’undesintérêtsmajeursdecetteplateforme(l’imagerieencoupe),n’apasétépriscomptecarn’avaitpasétéintégréaumomentdel’évaluation.Enfin,seulesdesstatistiquesdescriptivesontétérapportéescaraucungroupecontrôle«évaluationclassique»n’avaitétéprévudurantcettephase.
Figure5:EvaluationdeQoCoMoparlesétudiants.Quepensez-vousdel’utilitéd’uneévaluationdefindestagepardesQCMs?
16
Figure6:EvaluationdeQoCoMoparlesétudiants.Commentévaluerunétudiantdansunservicemédico-technique?
Figure7:EvaluationdeQoCoMoparlesétudiants.Commentaméliorerlesystème?
17
Figure8:EvaluationdeQoCoMoparlesétudiants.Principauxavantages(àclasseretprésentésicien mode cumulé): Evaluation de mon travail plus objective; M'aide à préparer l'ECN; Facile;Discussion des questions avec l'enseignant; Préparation des questions avec les collègues;Ludique/Amusant;M'aideàpréparerlesexamensdefind'année;Nememetpasensituationdestressdeprésenterdevantunauditoire;Nonsanctionnant(jesaisquesijefaislejobcommeonm'adit,cettepartiedemonstageneserapassanctionnante);Neprendpasbeaucoupdetempsàfaire;Intégrationdel'iconographie(réponsethéoriquecarpasencorefaite,mais"ensupposantque...")
Figure9:EvaluationdeQoCoMoparlesétudiants.Principauxdésavantages(àclasseretprésentésici en mode cumulé): La présentation Powerpoint me permet de montrer ce que je sais fairetechniquement ; J'aimerais être challengé sur une pathologie pendant une présentation ou uneinterrogationsurunpatientouunexamend'imagerie ; Ilnepermetpasdedistinguer les "bons"étudiantsdes"moinsbons",puisqu'ilsuffitderecopierunephraseduréférentielpoursembleraupoint;Ilmefaitperdredutemps.;J'ail'impressionqu'onm'occupeartificiellementsansmefaire
évoluer.;JepréféreraissaisirmesQCMssurSIDESouMoodle,dansuneinterfacequejeconnais
déjà;Tropcomplexe;JepréféreraisêtreinterrogésurmacapacitéàrépondreàdesQCMsplutôtquesurmafaçondelesfaire.;C'estleboulotdesprofs,paslemien.;Risquedesaisirdesitemsavecdeserreurs,etdonc,delestransmettresileQCMestmalvalidé;LesQCMssontenmode"isolé",etilseraitbondepouvoirpréparerdesdossiersprogressifs
18
ConclusionNousavonsconçuuneplateformed’évaluationdesconnaissancesmédicalesdurantlesstageshospitaliersmettantenvaleurladocimologieetlapréparationdel’ECNpourlesétudiantsenmédecine.Sonutilisationaététrèsappréciéeparlesétudiantsayantparticipéàl’élaborationdes150premiersQCMs.SagénéralisationauseindesservicesdenotreCHUresteàévaluer.Bien que partiellement redondante avec des outils existants (type SIDES ouMoodle), elleprésente des fonctionnalités inédites et l’avantage d’être un outil simple et évolutifd’évaluationdesétudiantsenfindestage.Sonutilisationcommeoutild’évaluationd’autrescursus(DES,DPC,DIUouFMC…)estuneperspective.
19
Références[1] JulienMANCINIetal. Lecturecritiqued’articlesauxépreuvesclassantesnationales : letravail(numérique)serait-ilpayant?PédagogieMédicale2010;11(1):67–68.[2] Guy Llorca et al. Evaluation de l’efficacité pédagogique immédiate de deuxméthodesclassiquesenformationmédicalecontinue.Pédagogiemédicale2003;4(1):26-32.[3]Bravard,S.(2005)UsagepédagogiquedesQCMhttp://fle.u-strasbg.fr/evaluation_fle/Bravard_qcm.pdf[4]CoppensN.,MunierV.,(2005),Évaluationd’unoutilméthodologique,le«doubleQCM»,pourlerecueildeconceptionsetl’analysederaisonnementsenphysique,Didaskalia,27,41–77.