1

UniversitéPierreetMarieCurie,Paris6

Annéeuniversitaire2015-2016

Mémoireenvuedel’obtentiondu

DiplômeInterUniversitairedePédagogieMédicale

«QoCoMo»

ApplicationInternetd’évaluationparQCM

Soutenule14Octobre2016

par

PhilippePUECH

PU-PHenimageriemédicaleauCHUdeLille&

AdilOUZZANE

MCU-PHenurologieauCHUdeLille

2

TabledesmatièresRésumé..............................................................................................................................3

Mots-clés...........................................................................................................................3

Introduction.......................................................................................................................4

PARTIE1:Développementdel’outilinformatique.............................................................5MatérieletMéthodes.................................................................................................................5

Cahierdescharges..........................................................................................................................5Financement...................................................................................................................................5Ingénierie........................................................................................................................................5Structurationdel’application.........................................................................................................8Descriptiondesprincipauxacteursetdeleursinteractions..........................................................8

Résultats.....................................................................................................................................8Fonctionnalitésactuelles................................................................................................................9

PARTIE2:Evaluation........................................................................................................12UtilisationdeQoCoMopourl’évaluationdefindestage...........................................................12

SaisiedespremiersQCMsdansdeuxservicesduCHRUdeLille..................................................12Utilisationenamphithéâtre.........................................................................................................13Lepointdevuedesenseignantssurl’utilisationdel’outil...........................................................13

Evaluationobjectiveduprojetparlesétudiants........................................................................14Matérieletméthode....................................................................................................................14Résultats.......................................................................................................................................14Leslimitesdecetteévaluation.....................................................................................................15

Conclusion........................................................................................................................18

Références.......................................................................................................................19

3

RésuméNous avons développé en 6mois une plateformepédagogique expérimentale dédiée à lacréation et à la présentation de questions à choix multiples (QCMs). Elle est accessiblelibrement sur le web à http://www.pcih.fr/qcm. Elle est utilisable pour tout typed’enseignement, mais orientée vers l’encadrement des étudiants en médecine en stagehospitalieretlapréparationdel’ECN.Danscepérimètre,sesobjectifsprincipauxsonta)depermettreauxétudiantsderéviserlaspécialitédeleurstagesouslatutelled’unenseignant;b) de mettre étudiants et enseignants en situation de créer des questions structurées,respectant la docimologie de l’ECN et ses référentiels; c) de constituer une large base dedonnéesvalidéedequestionsECNpourpermettreunentraînementludiquemaisefficaceaucoursdu stage;d)d’intégrerunmaximumdedocuments iconographiquesen supportdesQCMspour lesstaged’imagerie.L’applicationparailleursaussi lesenseignantsàcréerdes«quiz» rapides utilisables en amphithéâtre pour améliorer l’interactivité des cours. Cetteplateforme a été utilisée par une quinzaine d’étudiants deMED3 àMED6, qui, pour leurévaluationdefindestage,ontsaisietfaitvalider155QCMs(3/semaine)enimagerienéphro-urologiqueetORL,etenurologie.Nousavonsévaluéleurexpérienceunquestionnaire.-204mots-

Mots-clésQCM,Internet,ECN,imagerie,enseignementdirigé,docimologie,développement

4

IntroductionL’enseignement de la médecine et l’évaluation des connaissances ont beaucoup

évoluéen10ans.Lesnouvellestechnologiesontmodifiélesméthodesd’enseignement[1]:amphisvidéo,coursenligne,roneosélectroniques,groupesdetravailvirtuels…Ilsdisposentaujourd’hui,souventmêmeavantlecours,d’unsupportélectronique,qu’ilssuivententempsréelsurleurordinateurportablependantquel’enseignantofficie.Parailleurs,l’évaluationdesconnaissancesasuivicettemutation,probablementenraisondesréformesdel’ECNetduPACES,quiimposentaucorpsenseignantuneextrêmerigueurdanslerespectdeprogrammesauxpérimètresparfaitementlimités,ainsiquedansladocimologie.D’autresélémentssontàprendre en compte: a) une évolution du nombre des étudiants en médecine nonproportionnelleàcelledesenseignants;b)unaccroissementetunemeilleurestructurationdelaformationcontinue;c)unedemanded’interactivitécroissante.

Tous ces éléments ont contribué au développement et à la suprématie presque

complètedesquestionsàchoixmultiples(QCM)parrapportauxautresmodesd’évaluation(dossiersrédactionnels…)[2].LesQCMssontreconnuscommelaméthoded’évaluationdesconnaissancesla plus rationnelle, la plus objective, la plus intelligible, la plus rapide àprésenter(sursupportnumériqueouenamphithéâtre),àcomposer(nenécessitantplusdecrayonetpapier),etàcorriger(defaçonautomatique,avecrésultatsinstantanés)[3].Toutcecibienentenduàconditionderespecterunecertaineméthodologie.

Auquotidien, lesuniversitairesdes facultésdemédecine(CCU,MCU,PU),ontsous

leurresponsabilitédenombreuxétudiantsdedifférentsniveaux,auxattentesvariées[4].Ilsdoivent les accueillir, les accompagner, les former, puis les évaluer. Actuellement, lesélémentsd’évaluationsontrelativementsubjectifs(feuillestyped’évaluationdestage).Atitred’exemple, dans notre faculté (Lille 2), l’évaluation de fin de stage comporte encore desélémentsrelatifsàlatenuevestimentaire.

Auregarddecesévolutionsetdenouvellescontraintesd’enseignement,nousavons

souhaité développer, dans le cadre du diplôme interuniversitaire de pédagogie médicale(UniversitéPierreetMarieCurieParisVI),uneplateformeInternetdecréationdeQCMstrèssimpled’accès(QoCoMo)quinesoitpasredondanteaveccelleduSIDES,avecpourprincipalobjectif d’être un support d’évaluation de proximité des étudiants enmédecine en stagehospitalier, sans avoir la prétention de devenir une plateforme nationale officielle, uneplateformelucrative,unréseausocialouunoutildédiéauxexamensblancs.

Notretravails’estdiviséendeuxparties:lapremièreconsistaitàdévelopperl’outiletà

yintégrerducontenu;lasecondeàl’évaluerauprèsdesétudiantsquiyavaientcontribué.

5

PARTIE1:Développementdel’outilinformatiqueDifférentesoptionssesontprésentéespourlacréationdel’outilinformatique.SIDES et Moodle, les principales plateformes accessibles dans le domaine académiquemédical, possèdent de nombreux atouts (large périmètre, disponibilité, popularité,robustesse…),maisaussides inconvénientsquiauraientpumettreenpéril lesobjectifsdenotreprojetsurlelongterme:

- hébergementtiers(quenousnecontrôlonspas)- pasd’interfaçagepossibleavecnotrebasededonnéeiconographique(SPOT)- pasdegestiondel’imagerieencoupe- création de contenumalaisée pour les étudiants (et les enseignants), en raison de

processusd’inscription(SIDES),oud’uneinterface(Moodle)«complexes».- durabilité incertaine (Moodle; outil utilisé préférentiellement dans notre faculté,

devrait logiquement s’effacerdevant l’outilnational SIDES, luimêmesupposé«enredéveloppement»)

- plateformeidéale«SIDES»ferméeàtoutdéveloppementtiersouinterfaçageD’autres outils en ligne ou logiciels sont disponibles (Evalbox1, SurveyMonkey2, Questy,Quizfaber3, NetQuiz4, EvalQCM5, Google Forms, QCMPackage6, ECNi.fr7), mais aucun nedisposedefonctionnalitésmédicales,etlesplusintéressantssontpayants.

MatérieletMéthodesCahierdeschargesNotre choix a été de créer une plateforme expérimentale pour intégrer l’ensemble desfonctionnalitésquenoussouhaitionsdefaçonimpérative(tableau1).Financement

Cetypededéveloppementestengénéralcoûteux(environ20à30k€pourcetypedeprojet),maisnousavonsprofitédenotreexpérienceantérieurededéveloppementd’outilspédagogiquesmédicaux(Invision,SPOT,Imagerieducancerdelaprostate…),pourréaliserleprojetsansfinancement.

Ingénierie

QoCoMoestunsitewebbasésurunetechnologie«client/serveur».Cecisignifiequel’applicationestcrééeetenregistréesurunemachine«distante»(appeléeserveur).Nousavons utilisé un espace d’hébergement mutualisé chez le prestataire OVH (Roubaix, FR),permettantdedisposerd’unespace«web»sécurisé(accessibleparunnavigateurInternetavecuneadressehttps://),etd’unebasededonnées.Labasededonnéeschezcethébergeurestdetype«MySQL»,standardactueld’Internet.Lespageswebpeuventêtreéditéesavecn’importequeléditeurdetexteet«uploadées»surleserveurdistant,maispourdesraisons1https://www.evalbox.fr2https://fr.surveymonkey.com3http://www.lucagalli.net/index.php/en/4https://www.ccdmd.qc.ca/catalogue/netquiz-pro-45http://www.evalqcm.fr/6http://www.qcmpackage.com/7https://ecni.fr

6

pratiques, nous avons utilisé un environnement «en ligne» nommé «CodeAnywhere»8,permettantd’accéderdirectementaucodesourcedel’applicationInternet,etdel’éditerentemps réel depuis n’importe quel navigateur Web. L’avantage de ce type d’outil, est depermettrel’accèsaudéveloppementdepuisn’importequellieu(hôpital,faculté,domicile),delamêmemanière,depuisn’importequelordinateur(figure1).

Plateforme,Licence,Outilsdedéveloppement

§ Logiciellibre(académique),gratuitetopen-source § Accès indépendantde laplateforme (Windows,Mac, Linux, iPad,Android)par

navigateurWebmoderne § Compatibilitéaveclesclientsmobiles(typeiOSouAndroid) § Disponibilité sur Internet (non lié à un réseau fermé), depuis n’importe quel

servicedemédecineetn’importequelleuniversité(pasdesélection) § Entièrementdéplaçablesurunréseaufermé(typeintranet;pourpréparerune

épreuveparexemple) § Développement «web» combinant les technologies HTML5, PHP5, MySQL,

Javascript,Ajax,CSS,JQueryInteropérabilitéetInterfaces

§ Interfaceaveclabanquededonnéesd’imagesduserviced’imagerieHuriezLillecontenant plus de 23000 dossiers en imagerie néphro-urologique (base dedonnéesSPOT)

§ Accès possible au logiciel sans login, sans enregistrement (pour préparerrapidementunquizousetestersurunematière)

§ Interopérabilité(compatibilitéSIDESetMoodle)Fonctionnalitéstechniques

§ Accèspar«QRCode»,pouruneutilisationenamphithéâtre(épreuve,questions,réponses…)

§ Lectureetquizsuruneouplusieurssériesd’imagerie(ex:scanner,IRM…) § Adaptéaucontenumultimédia(vidéo,PDF,images,séries,son…)Fonctionnalitésmédicales

§ CréationdeQCMsisolés § CréationdedossiersprogressifsbaséssurdesQCMs § Intégrationdel’imagerie § Anonymisationcomplètedesdonnées § Possibilitédecréeruneépreuveparspécialité,parthème,parquestionECN,par

cursus(MED,DES,…),parniveaudedifficulté § Gestionstatistiquedesrésultats(parquestion,questionsfaciles/difficiles) § Adaptéàtouteslesspécialités,enfavorisantlesinterdisciplinarités § Adaptéàtouslescursus(FMI,MED,troisièmecycleDES,FMC,DIU) § Orienté«ECNi»

Tableau1:Cahierdeschargesinitialdel’applicationQoCoMo

8https://codeanywhere.com

7

CodeAnywhere

Environnement de développement en ligne gratuitpermettant d’éditer le code de l’application en tempsréel.

phpMyAdmin

Outil de création et d’édition en ligne gratuit permettantd’éditeretcontrôlerlesdonnéesdel’application.

Figure1:LesoutilsdedéveloppementdusitewebQoCoMoLestechnologiesutiliséespourécrirelecodeen«Web2.0»sontbrièvementdécritesdansletableau2.HTML5 Langagedecodagedespagesaffichéesdansunnavigateur,agrégeantlePHP,leCSS,lesscripts.PHP Langage interprétésur leserveur,procheduC++,permettantde«fabriquer»unepageweben

tempsréel,enfonctiondeparamètres,tandisqueleHTMLest«figé»(ex:affichagedunomdel’utilisateur).Aucuncoden’estexécutésurleclient.

CSS Langagedédiéàl’affichagehiérarchisédesdonnéessurlapage(polices,tailles,marges,couleurs,…).Javascript Langage interprété, proche du JAVA, exécuté sur la machine cliente, utilisé notamment pour

intéragiràl’écran(ex:boitededialogue)jQuery BibliothèqueextensiondeJavascriptdéveloppéeetdistribuéeparGoogle,disposantdesapropre

syntaxe; incluantdemultiplesraccourcispouraméliorerl’intéractivitédessitesweb(ex:menusdéroulants)

AJAX TechnologieassociéeàjQuerypermettantdemettreàjourunepagewebentempsréel,sansavoiràrafraîchirlapageenentier.

Tableau2:TechnologiesWeb2.0utiliséespourledéveloppementdeQoCoMo

8

Structurationdel’applicationSurleplandudéveloppement,onpeutrésumeruneapplicationenunensemble«d’acteurs»ou objets qui vont communiquer selon différentes «interactions». Ces acteurs sonthiérarchisés.C’estleprincipedelaprogrammationorientée-objet.Chaque«acteur»possèdesesproprespropriétés,etsesproprescapacitésd’interagiraveclesautres.UnacteurpeutêtreparexempleunQCM,uneépreuve,unutilisateur.Pourchaqueacteur, une table spécifique existe dans la base de données, avec ses champsd’enregistrement,qu’ilestpossibledelireoumodifierdansl’application.Pourchaqueacteur,ilfautidentifierlesdonnéesquiluisontpropres,lesactionsqu’ildoitpouvoiraccomplir,lesactions qu’il peut accomplir sur les autres objets. Ceci permet de cloisonner le

développement et de l’accomplir progressivement, en toute sécurité, tout en disposant

rapidementd’unnoyauutilisable.DescriptiondesprincipauxacteursetdeleursinteractionsComme pour toute application web, il faut identifier un acteur «utilisateur», avec sonidentité,saqualité,sesdroits,maisaussisonhistoriquedeprogression.IdentifierunétudiantpermetderetrouverinstantanémentlesQCMsauxquelsiladéjàrépondu,etdeluiprésenterses performances. Les acteurs «enseignants» disposent d’autres droits, comme celui devaliderunQCM.L’autreobjetfondamentaldel’applicationestleQCM(table«QCM»delabasededonnées).Atitreindicatif,àchaqueQCMdel’applicationcorresponduneentréedansunetabledelabasededonnée,comprenant36champsd’information.Nousavonsdéveloppéuneinterfacede création,édition,présentationd’unQCM,pouréditerde façon simpleet rapide les36itemsdechaqueQCM.Aunniveausupérieur,ilfautidentifierl’objet«Epreuve»,quiregroupeplusieursQCMsetvapossédersesproprespropriétés(date,participants,créateur,listedeQCMs,…)dansunetabledédiéede labasededonnées.Outresespropriétés spécifiques, chaqueépreuveestconstituéede«x»QCMssélectionnésdanslatable«QCMs».RésultatsQoCoMoaétédéveloppéeentreAvriletSeptembre2016.Elleestfonctionnelle,maisencoreen construction, constituée actuellement de 2500 lignes de code. C’est une plateforme

expérimentale en pédagogie destinée à s’améliorer progressivement dans les années à

venir.Elleestaccessibleàl’adressesuivante:http://www.pcih.fr/qcm Durant lapériodedumémoire,nousn’avonspaspudévelopper toutes les fonctionnalitéssouhaitéesdanslecahierdescharges,etavonsdéveloppécertainestechnologiesdontilnemanqueque l’intégration dans l’application (ex: imagerie). Il n’est pas possible d’intégrerdirectement des développements en test dans une application utilisée au quotidien, pouréviterl’apparitiondebugsoulapertededonnées.Toutefonctionnalitéajoutéeàl’applicationdoitêtreisolée,testée,puis«branchée»surl’existant.

9

L’applicationtellequ’elleexisteaujourd’huiaserviprincipalementàlasaisied’un«cœur»depremiersQCMs (n=155 en 6mois), afin de tester son utilisabilité; les détails devant êtreintégrésprogressivement,delafaçonlapluspratiqueetsécuriséepourlesutilisateurs.Sonergonomieapuêtreévaluéesurunevingtained’étudiantsen6mois.FonctionnalitésactuellesLesfonctionnalitésetleurétapededéveloppementsontdétailléesdansletableau3etlesfigures2et3.Fonctionnalité Description Etat

Accueil Actuellementtrèssimple,àaméliorer.Paged’accueildusite.

Fait

Création d’une épreuve de

QCMsenmodesimplifié

Création d’un groupe («session») de QCMsautomatiquementenregistrés,etfacilesàretrouverparunliend’administrationouunQRCode(Doodle-like).

Fait

Création d’une épreuve de

QCMsdétaillée

Sélectionougénérationaléatoired’unjeudeQCMsdanslabasededonnées;sélectiondesparticipants(inscritsouviaemail–Doodlelike-)

Adévelopper

Editiond’unQCM Saisie d’éléments de Classement, de la question etdes items (1 à 5), des commentaires de chaqueréponse,duréférentielutilisépourchaqueréponse,du niveau du QCM (Crooks), d’options deprésentation (ordre aléatoire ou non), de lapondérationde lanoteduQCMdans l’épreuve,del’auteur, du référent ayant validé la question.Enregistrement et édition ultérieure possible desdonnées.

Fait

AssistantECN Sélectiondeladiscipline,duchapitreiECNdansuneliste interactive, afin de consolider la base dedonnéesavecdesmots-cléscommuns

Fait

Intégration d’images dans le

QCM

Ajoutd’undocument(PDF,imageJPGouPNG,autrefichiervidéoouson)parglisser-déposer

Développé, nonintégré

InterfaceaveclelogicielSPOT Le logiciel SPOT est une base de données locale(CHRU Lille), qui contient environ 23000 dossiersiconographiques avec mots-clés. Développée parnotreéquipe,ilestévidentqu’ildoitêtrepossible,enfonction des mots-clés du QCMs, de proposer lesdossierslesplusadaptésàlacollectededocumentsillustratifs d’une pathologie (ex: syndrome dejonction).

Adévelopper

Imagesàcliquer Définitionde«zonescliquables»suruneimagePNGouJPG,permettantdetesterlacapacitédel’étudiantàlocaliseruneanomalie.

Développé, nonintégré

Séries d’images scanner ou

IRM

Possibilité d’uploader sur le serveur une séried’images scanner ou IRM en JPG ou PNG, et de lavisualiser telle qu’on le ferait dans un PACS(défilementfluidedesimageslesunessurlesautres;sériessynchronisées).

Développé, nonintégré

Inviter un étudiant à

participerauQCM

Possibleparunlien(URL)ouparunQRCodeaffichéen plein écran. Permet notamment d’interroger unamphithéâtreentempsréel,surunequestion,aprèsquelquesminutesdecours.Ceciinclutl’affichagedu

Fait

10

QRCode(figure4),etl’interfacede«réponse»àunQCM.

Inviter un étudiant à

participeràuneépreuve

Possibleparunlien(URL)ouparunQRCodeaffichéenpleinécran.Permetdetransmettreàungrouped’étudiantsunepageinteractivecontenantles«n»QCMsdel’épreuve,sansenmontrerlesréponses.

Fait

Mode«entraînement» Permet à un étudiant de se connecter directementsurlabasededonnées,etdesetestersurlesQCMs«publics» de la base de données, filtrés pardifficulté, thème ou discipline. Mode idéal, parexemple, pour préparer un examen, réviser lesannales d’un DIU… Ce n’est pas une épreuvepréparée ni contrôlée par un enseignant, c’est unmode«libreetanonyme».

Adévelopper

Suivi des réponses d’un

groupeàunQCM

Cetteinterfacepermetl‘enseignantdecontrôlerentemps réel le nombre de connexions à la question(«quivoitlaquestion»),etlenombrederéponses,ainsi que les statistiques de réussite pour chaqueitemetleQCMdanssaglobalité.Possibilitéd’afficherles donnés épidémiologiques en salle, et d’afficherensuite les réponsesquandunnombre raisonnabled’étudiantsarépondu.

Fait

Suivi des réponses d’un

groupeàuneépreuve

Cetteinterfacepermetdevisualiserlenombreetlaqualitédes réponses àuneépreuvedeQCMspourlaquelleilalancéuneinvitation.

Adévelopper

Affichage de l’ensemble des

QCMsdelabasededonnées

Permetd’avoirunevued’ensembledesdonnéesetduprofildesQCMsquisontdisponibles.

Fait

Tableau 3: Fonctionnalités du logiciel QoCoMo. Description des principales fonctionnalités incluses dansl’applicationenSeptembre2016,etfonctionnalitésdéveloppéesrestantàintégrer.

Figure2:EditionduQCM–onglet«Classement».CettepageintègrelesdonnéesutilesauclassementduQCM,notammentpourpermettreàl’enseignantdeprépareruneépreuveouàl’étudiantdesélectionnerleQCMenfonctiondelaquestiondel’ECNqu’ilsouhaiteréviser.Nousavonsdéveloppéunassistantinteractifproposant un classement très rapide duQCM en fonction d’unmot-clé (ex: «rein» propose «Imagerie-Urologie-Tumeursdurein[I308]»et«Urologie-Cancérologie-Tumeursdurein[I308]»).

11

Figure3:EditionduQCM–onglet«QuestionetRéponses».Cettepageintègrelecontexte,lelibellédelaquestion,etles1à5itemsauxquelsl’étudiantdevrarépondre.LorsdelapréparationduQCM,ilfautsaisirlaquestion,maisaussi,impérativement,uncommentairepourexpliquerlecaractèrejusteoufauxdechaqueaffirmation,ainsiquelasourcejustifiantlaréponse(engénéralleréférentielECN).Cettepageestlecœurdela collaboration entre l’étudiant et l’enseignant, notamment pour contrôler la syntaxe, le caractèreindépendantdesquestionsetnontrompeur,lacorrélationentreunenotionàconnaîtreetlaquestionposée.

Figure4:QR-Coded’invitationàrépondreàunQCM.Cetteimage,enpleinécran,estgénéréeautomatiquement,etamèneauliensuivant:http://www.pcih.fr/qcm/index.php?ask&questionid=pcihmed5d_07,enévitantd’avoiràlesaisir.Ainsi,ilestpossiblededemanderàl’ensembled’unamphithéâtre,derépondreàunQCMenlive(touslessmartphonespeuventlireunQR-Codedepuisleurcaméra),sanspertedetemps.Cetteimageest«testable»avecvotresmartphone.

12

PARTIE2:EvaluationUtilisationdeQoCoMopourl’évaluationdefindestageSaisiedespremiersQCMsdansdeuxservicesduCHRUdeLille

La saisie de 3QCMs par semaine avec relecture a été présentée aux étudiants enmédecinecommeunesubstitutionà leurépreuvepratiqued’évaluationde findestage, habituellement constituée d’une présentation Powerpoint à préparer etprésenteren10minutesàlafindustage.L’objectifétaitdeproposeruneévaluationplus«pratique»,plus«objective»,plusconvivialedesétudiants,etsurtoutplusutilepourleurparcoursprofessionnel.Aprèssapremièremiseen ligne, l’applicationaétéd’abordutiliséedans leserviced’imageriegénito-urinaire,ORLethématologiqueduPrPUECH(CHRUdeLille).Lesétudiantsenstageontétéinvitésà«fabriquer»desQCMenrespectantlesitemsetobjectifsde l’ECN,àdonnerdes réponses justifiéesaveccommentaireet référencepourchaqueproposition(vraieoufausse)etàlesintégrerenlignesurlaplateforme.Ensuitedurantune sessiond’enseignement théorique, chaqueQCMété revuen laprésencedel’ensembledesétudiantsenstageavecunenseignant(PP)oùtouteslespropositionsétaientdiscutées,corrigéespuisvalidées.Lesquestions«litigieuses»,ouprésentantunediscordanceentrelapratiqueetleréférentiel,ouencoredonnantuneréponsedifférenteentredeuxréférentiels(!),étaientidentifiées.Leséniordevaitàlafin de chaqueQCM validé, choisir la discipline concernée (imagerie, urologie…), lepublicconcerné(MED…)etleniveaudedifficulté(IàIII).Lavalidationdesquestionspouvaitnécessiterlerecoursauxréférentielssouventenlignependantlasessionvoiredesupprimercertainespropositionssansréponsesclairesmalgrécerecours.Aprèslespremiersajustementsdel’application,leserviced’urologieduCHRUdeLille(PrVILLERS)aàsontourrejointleprocessus(Juin2016).Lechoixdesitemsétaitlaissélibre aux étudiants à condition d’éviter les redondances ce qui exigeait uneconcertationpréalabledanslegroupe.Durantcettephase,l’évaluationdesétudiantsdanslesdeuxservicesaétéfaiteparlesfeuillesdestagesclassiquesenprenantencompteleurparticipationàl’élaborationdesQCMetleursréponsesdansl’évaluationdesconnaissances.

Le service de néphrologie du CHRU de Lille (Pr HAZZAN) a également souhaitéparticipéàl’évaluationdeQoCoMomaissonutilisationconcrèten’apaseulieudurantlaphaseinitialeetdébuteraàunedateantérieureàcelledenotremémoire.Surleplaninstitutionnel,ledoyendelafacultédemédecinedeLille(PrDidierGOSSET)a été informé par le Pr PUECH du projet, qui l’a présenté au responsable desenseignements(PrTRUFFERT).Cedernieraaccueilliavecintérêtleprojet,enraisonde l’utilité d’une évaluation adaptée aux stages médico-techniques, ne devanttoutefoispasremplacerl’examencliniquedanslesstagespurementcliniques.

13

UtilisationenamphithéâtreNous avons réalisé uneexpériencede test deQoCoMoen amphithéâtre, lors d’uncours d’enseignement optionnel d’imagerie préparant à l’ECN (Pr PUECH; MED6).Nous avons constaté, sur un amphithéâtre d’environ 150 étudiants, une bonneréception de l’idée, malgré des difficultés techniques (pas d’accès Wifi dans cetamphi!). Le QR-Code projeté sur l’écran n’était pas trop «petit» pour lessmartphones,mais la luminositéde l’écrandevaitêtrerespectée.Lesétudiantsontrapidement lancé une application de lecture de QR Code, et 5 questions ont étéréalisées ainsi, avec un taux de participation d’environ 50%pour chaquequestion.Nousavonseul’idéedepré-imprimerlesQRCodesetdelesdistribueràl’entréedel’amphithéâtrepourlaprochainesession.

Lepointdevuedesenseignantssurl’utilisationdel’outil

Endehorsdesajustementstechniquesquenousavonspuréaliseraufuretàmesuredel’évolutionduprojet,plusieurspointsnousontsembléimportantsàrapporter:

1) Lesétudiantsétaientàl’aisedanslesapplicationsweb,etn’avaientaucunsoucià

utiliser QoCoMo au quotidien. La charge de travail ne semblait pas tropimportante.

2) Ce mode d’évaluation «motive» les étudiants à avoir des connaissances

théoriques et pratiques solides sur les questions liées à leur stage (en

l’occurrenceurologie/néphrologie/ORL/maladiesinfectieuses/hématologie),car

toutes leurs réponses seront discutées avec le maître de stage et les autres

étudiants. Aucune approximation ou question «malhonnête/tordue» n’a pupasser.

3) Le fait que les étudiants rédigent les items est très formateur pour eux, car ilsapprennentavecprécisionetdevinentmieuxsurquelsdétailsilspeuventêtremisendifficulté.Ilsseformentaussiàladocimologie.

4) L’enseignantprofiteaussidecetteexpérience.Eneffet,sesconnaissancesnesontpas toujours identiques à celles des référentiels (expérience, âge, nouvellestechniquesdiagnostiques,…),etsonapprochedocimologiquepeutêtrediscutéeparlesétudiants(«làvousexagérezprofesseur,c’estpasauprogramme»).Ainsi,il peut se rapprocher des référentiels actuels et être en mesure de poser desquestions«justes»pourl’ECN.

5) Cemoded’évaluationaétévécuparlesdeuxenseignantscommetrèsimportantpourmieuxconnaîtrelesétudiants,etavoiruncontactrégulieraveceux.Laplupartdesétudiantsontbesoind’un«pointfixe»avecleresponsabledel’enseignement,etcesystèmeapermisdelerespecter.LessessionsdevalidationdesQCMsétait

unmomentfortdustageetunmomentdeconvivialité.6) Lesétudiantsprennentconsciencedel’importancedesstageshospitaliersavecdes

connaissancesàacquérirquinesontpastoujoursfacilesàévaluerdurantlesECN(sens clinique, relation médecin-malade…) et qui sont importantes pour leurpratiqueprofessionnellefuture.C’estaumomentdelacorrectiondesitemsque

14

l’enseignant peut souligner l’importance de certains signes, certains schémasdiagnostiques,pastoujoursclairementénoncésidentifiésdanslesréférentiels.

Evaluationobjectiveduprojetparlesétudiants

Matérieletméthode

Autotal,15étudiantsrépartisentrelesdeuxservicesd’imagerieetd’urologieduCHRUde Lille ont participé à cette phase de développement avec 155 QCMs validés etdisponibles surQoCoMo.Une invitationparmail aétéadresséeà chaqueétudiantpourrépondreàunquestionnaireanonymeen ligne(https://fr.surveymonkey.com)afind’évaluer l’usageet l’utilitéde l’application. Lesquestions leursétaientposéessous formedeQCMsavecunchampsdisponiblepouréventuellementy laisserdescommentaireset/ousuggestions.Cetteévaluationaportésurl’utilitédel’application,sesavantages,sesinconvénientsetlesaméliorationspossibles.

Résultats

Lequestionnaireaétéenvoyéaux15étudiants,maisseuls5ontrépondu.1) Autotal,lesétudiantsonttoustrouvécetteapplication«utile»ou«trèsutile»

(figure5).2) Concernantlemoded’évaluationpréférableenstagemédico-technique,100%des

étudiantspréfèrentpréparerdesQCMsenlienavecl'ECN,lesrelireetlesvalideravecl’enseignant(figure6)plutôtqued’êtreinterrogéselonl’ancienneméthode(présentation Powerpoint d’une pathologie), ou sur le fonctionnement d’unemachine.

3) Concernant les améliorations possibles, l’intégration de l’imagerie ressortaitmajoritairementà40%(figure7).Aucunétudiantnes’estplaintdel’interfaceoudemandédepouvoiraccéderauxQCMsdepuissondomicile.NouscomprenonsquelesétudiantssesontappropriésQoCoMocommeunoutil«destage».

4) Les réponses concernant les avantages et les inconvénients de ce moded’évaluation étaient assez hétérogènes (figures 8 et 9). Les étudiants étaient«obligés» de sélectionner des avantages comme des inconvénients, en lesclassant.Lesdeuxprincipauxavantagesétaient«Discussiondesquestionsavecl'enseignant» ; «Préparation des questions avec les collègues»; les deuxprincipaux désavantages étaient «J'ai l'impression qu'on m'occupe

artificiellementsansmefaireévoluer.»et«JepréféreraissaisirmesQCMssur

SIDESouMoodle,dansuneinterfacequejeconnaisdéjà»5) Enfin,lenombreraisonnabledeQCMàpréparerparétudiantetparsemainede

stagesesituaitentre3et4(figure10).

Les autres réponses pertinentes rapportées par les étudiants dans le champ des

commentaireslibresetregroupéesparcatégoriesontlessuivantes:Lesavantages:

-Permetderéviserlesitemsdel’ECNtoutaulongdustageavecunemeilleureintégrationdesconnaissancesetdespiègeséventuels.

15

-Permetd'avanceràsonrythmetoutaulongdustage.-Parrapportàuneprésentationorale:moinsdestress,plusludiqueetpermetde balayer l'ensemble des items (une présentation powerpointse focaliseuniquementsurunitem).-Facile à faire car les référentiels sont en ligne, il suffit de switcher entre 2fenêtres.-Correctionenfindestageavecl’enseignant:lesmodificationsapportées,lescommentaires,leretourd'expérienceetlefeed-backimmédiatconstituentunenseignementcomplémentaire.

Lesinconvénients:

-Devoirtravailler avec plusieurs référentiels (exemple: urologie etnéphrologie)avecdesdésaccordspossibles.-Un guide "Comment rédiger un QCM" (pas de double négation, etc...)consultable en ligne pourrait aider les étudiants dans la conception despropositions.

Leslimitesdecetteévaluation

Notreidéeestoriginaleetnotreapplicationaététrèsbienappréciéeparlesétudiants.Cependant,sonévaluationcomportequelqueslimites.Premièrement,lenombrederéponsesobtenuànotrequestionnaireétaitfaible,probablementenraisondudélaientrelafindustageetlequestionnaire,etaussienraisonduchangementdevilledesétudiants enMED6 qui ont passé l’ECN. Deuxièmement, seuls les étudiants ayantparticipéàl’élaborationdesQCMontréponduauquestionnaireetaucuneévaluationn’a été faite auprès d’étudiants neutres n’ayant pas participé auprojet sur l’utilitéd’unetelleplateforme.Troisièmement,l’undesintérêtsmajeursdecetteplateforme(l’imagerieencoupe),n’apasétépriscomptecarn’avaitpasétéintégréaumomentdel’évaluation.Enfin,seulesdesstatistiquesdescriptivesontétérapportéescaraucungroupecontrôle«évaluationclassique»n’avaitétéprévudurantcettephase.

Figure5:EvaluationdeQoCoMoparlesétudiants.Quepensez-vousdel’utilitéd’uneévaluationdefindestagepardesQCMs?

16

Figure6:EvaluationdeQoCoMoparlesétudiants.Commentévaluerunétudiantdansunservicemédico-technique?

Figure7:EvaluationdeQoCoMoparlesétudiants.Commentaméliorerlesystème?

17

Figure8:EvaluationdeQoCoMoparlesétudiants.Principauxavantages(àclasseretprésentésicien mode cumulé): Evaluation de mon travail plus objective; M'aide à préparer l'ECN; Facile;Discussion des questions avec l'enseignant; Préparation des questions avec les collègues;Ludique/Amusant;M'aideàpréparerlesexamensdefind'année;Nememetpasensituationdestressdeprésenterdevantunauditoire;Nonsanctionnant(jesaisquesijefaislejobcommeonm'adit,cettepartiedemonstageneserapassanctionnante);Neprendpasbeaucoupdetempsàfaire;Intégrationdel'iconographie(réponsethéoriquecarpasencorefaite,mais"ensupposantque...")

Figure9:EvaluationdeQoCoMoparlesétudiants.Principauxdésavantages(àclasseretprésentésici en mode cumulé): La présentation Powerpoint me permet de montrer ce que je sais fairetechniquement ; J'aimerais être challengé sur une pathologie pendant une présentation ou uneinterrogationsurunpatientouunexamend'imagerie ; Ilnepermetpasdedistinguer les "bons"étudiantsdes"moinsbons",puisqu'ilsuffitderecopierunephraseduréférentielpoursembleraupoint;Ilmefaitperdredutemps.;J'ail'impressionqu'onm'occupeartificiellementsansmefaire

évoluer.;JepréféreraissaisirmesQCMssurSIDESouMoodle,dansuneinterfacequejeconnais

déjà;Tropcomplexe;JepréféreraisêtreinterrogésurmacapacitéàrépondreàdesQCMsplutôtquesurmafaçondelesfaire.;C'estleboulotdesprofs,paslemien.;Risquedesaisirdesitemsavecdeserreurs,etdonc,delestransmettresileQCMestmalvalidé;LesQCMssontenmode"isolé",etilseraitbondepouvoirpréparerdesdossiersprogressifs

18

ConclusionNousavonsconçuuneplateformed’évaluationdesconnaissancesmédicalesdurantlesstageshospitaliersmettantenvaleurladocimologieetlapréparationdel’ECNpourlesétudiantsenmédecine.Sonutilisationaététrèsappréciéeparlesétudiantsayantparticipéàl’élaborationdes150premiersQCMs.SagénéralisationauseindesservicesdenotreCHUresteàévaluer.Bien que partiellement redondante avec des outils existants (type SIDES ouMoodle), elleprésente des fonctionnalités inédites et l’avantage d’être un outil simple et évolutifd’évaluationdesétudiantsenfindestage.Sonutilisationcommeoutild’évaluationd’autrescursus(DES,DPC,DIUouFMC…)estuneperspective.

19

Références[1] JulienMANCINIetal. Lecturecritiqued’articlesauxépreuvesclassantesnationales : letravail(numérique)serait-ilpayant?PédagogieMédicale2010;11(1):67–68.[2] Guy Llorca et al. Evaluation de l’efficacité pédagogique immédiate de deuxméthodesclassiquesenformationmédicalecontinue.Pédagogiemédicale2003;4(1):26-32.[3]Bravard,S.(2005)UsagepédagogiquedesQCMhttp://fle.u-strasbg.fr/evaluation_fle/Bravard_qcm.pdf[4]CoppensN.,MunierV.,(2005),Évaluationd’unoutilméthodologique,le«doubleQCM»,pourlerecueildeconceptionsetl’analysederaisonnementsenphysique,Didaskalia,27,41–77.