Transcript
Page 1: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Les MOOC, analyse de dispositifs

Évaluation par les pairsAtelier colloque e-learning 3.0

Rémi BacheletEcole Centrale de Lille

Université de Genève, 17-18 octobre 2014

Page 2: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

• D’où vient le MOOC GdP, à quoi sert-il ?

• Le dispositif expérimental : GdP2, 5 devoirs, double correction

1. L’évaluation par les pairs : un objet statistique à identifier

2. … dont on peut objectiver la fiabilité..

3. .. optimiser les résultats..

4. .. et améliorer le processus

Partie atelier :

• Trouvez les failles du système présenté + proposez des parades

• Quelles prochaine(s) étapes pour progresser ?

Les diapos seront tweetées et sur Slideshare

2

Page 3: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Introduction

Genèse, raison d’être

Page 4: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

D’où vient le MOOC GdP ?

• L’historique

– Partage de mes cours sur pages perso

– Enrichissement et visibilité SEO

– Passage des diapos aux vidéos

– FOAD expérimentale

– Projets de développement, Wikimédia

• Le déclencheur

– Expériences de MOOC US => on peut faire mieux

– Approche « hacking/ingénierie », il faut que ça marche … et tout de suite, plaisir.

4

Page 5: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Chronologie

1997-2010 : partage de mes cours sur le net sous licence cc-by-sa-NC, OCW, Wikimédia, CentraleWiki2010

• Été : cours en vidéo sur YouTube, référencement• Site gestiondeprojet.pm• Lancement FOAD GdP – 8 sessions, 400 certifiés en 2 ans

2012• Octobre-novembre : Suivi de MOOCs : Organizational analysis, ITyPA …

2013 • 11 janvier : ouverture des inscriptions premier xMOOC en France• 18 mars : Session 1 du MOOC Gestion de Projet 3.000 inscrits : 2 parcours individuels• Mai-juin : parcours par équipes : +1 parcours collectif• Sept 2013 MOOC GdP2 10.000 inscrits : examens surveillés + intégration cursus

2014• Mars 2014 MOOC GdP3 11.000 inscrits : 7 modules + modèle économique• Sept 2014 MOOC GdP4 19.000 inscrits : partenariats univ + EP développée

Page 6: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Pourquoi faire ?

• Depuis janvier 2013, les objectifs ont changé

– Au début : démontrer que l’on peut faire un xMOOC« pédagogiquement riche » … sans ressources financières

– Ensuite : Massif et à distance … mais une « vraie » certification, ECTS

– Maintenant : Agir en faveur de l’accès à des cours ouverts de qualité pour tous :

• Expliciter : Trilogie stratégique

• Partager : Tourner un cours en home studio, formation au pilotage de MOOC, prudence par rapport aux SPOCs …

• Chiffrer : au-delà du modèle économique la valeur créée par un MOOC

6

Page 7: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

.. et maintenant de quoi va-t-on parler ?

De l’évaluation par les pairs

.. C’est loin d’être nouveau, mais c’est le cœur du parcours avancé d’un MOOC, les enjeux sont considérables, car permet de concilier

1. Richesse pédagogique : au-delà des quiz2. Passage à l’échelle : corriger 1000 copies3. Changement de paradigme : des apprenants actifs aux compétences plus

développées

Peut-on chiffrer l’importance de ce parcours ?• Oui, relativement à un xMOOC « classique » et un cMOOC « par

équipe »– 10-15% des apprenants du « MOOC GdP classique »– effectif du « MOOC GdP par équipe » X10

7

Page 8: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

09/01/2015

Page 9: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

09/01/2015

Page 10: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

De la Big Science à la Big Education

Une autre manière de concevoir l’enseignement supérieur et la recherche …

Du prof solitaire « seul maître à bord après Dieu »,

– à un travail en équipe(s),

– de nouveaux métiers : community manager, ingénieur plateforme, ingénieur pédagogique, assistant d’enseignement, assistants

– dialectique global/local : appropriation par les étudiants, collectivement

=/ pas d’argent ? Tant pis… on y va avec un modèle ouvert !

… et au lieu d’avancer lentement avec une édition par an, on progresse le plus vite possible.. 4 éditions et la cinquième est programmée.

Total : Plus de 45.000 inscriptions, 150.000 heures de cours

09/01/2015

Page 11: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Équipe MOOC GdP

Rémi

Ghislaine

Bich Van

Paul-André

Élodie

Julie

Bruno

Françoise Maelle

Yannick

Fabien

Jérémie

Eric

Isabelle

July

Thierry

Chinda “keo”Emmanuelle

Sébastien

Stéphanie

Thérèse

Guillaume

Amandine

Solveig

Amaury

Page 12: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Partie 1

Trois Questions de départ

Page 13: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

13

Page 14: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Partie 1.2

De quoi s’agit-il ? Les 5 devoirs corrigés

Page 15: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Page 16: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Page 17: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Page 18: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Page 19: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Page 20: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Nous analyserons ici les données du GdP2

Double correction intégrale

– Évaluation par les pairs (4+ devoirs à évaluer)

– Note finale manuelle (équipe pédagogique)

20

Nombre de devoirs rendus

devoir 1 : carte conceptuelle 997

devoir 2 : étude d'investissement 1011devoir 3 : compte-rendu 944

devoir 4 : cahier des charges 867devoir 5 : planning 831

Page 21: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Partie 2

L’évaluation par les pairs, du quali au

quanti

Page 22: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

22

Page 23: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Avant cet atelier, vous avez regardé..

23

Page 24: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Partie 2.1

Avant l’EP - Former et sensibiliser les

apprenants

Page 25: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

25

L’EP fait partie du contrat pédagogique

Page 26: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

26

Elle est accompagnée : vidéo, messages…

Page 27: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

27

Plus qu’attribuer une note, la mission est de faire un feedback constructif

Page 28: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Annotation des documents, explications

Page 29: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Partie 2.2

.. mais encore faut-il avoir une plateforme adaptée .. et former à

s’en servir

Page 30: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

30

Page 31: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

32

Page 32: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Partie 2.3

et guider de manière adaptée ..pour chaque

devoir..Bêta-test du cas

Corrigés, barèmes, exemples de notation, forum de discussion ..

Page 33: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

34

Page 34: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

35

Page 35: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

36

Page 36: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Partie 2.4

bon alors, de quoi parle-t’on en termes

statistiques ?Quelles modalités d’administration de la preuve ?

Page 37: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

38Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2

Légende sur les graphiques : EP ici = Equipe Pédagogique

Page 38: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Répartition des notes Devoir 2

Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2

Page 39: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Répartition des notes Devoir 3

Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2

Page 40: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Répartition des notes Devoir 4

Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2

Page 41: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Répartition des notes Devoir 5

Source : Aline Bourelle (8/2014), devoir 1, MOOc GdP2

Page 42: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Qu’est-ce que ça veut dire ?

Qu’on n’a pas une loi normale/de Gauss mais que l’on se rapproche d’une loi log-normale (mais sans y être exactement)

• les test statistiques habituels sont inappropriés

• ln(100-note) comme préalable aux tests

Page 43: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Partie 3

Est-ce que ça marche?

Faut-il travailler à l’échelle individuelle ou collective ?

Page 44: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Les étudiants sont-ils efficaces comme évaluateurs ?

Certains auteurs répondent oui– Sadler & Good 2006 -> forte corrélation– Bouzidi & Jaillet 2007 -> questions fermées et semi-

fermées

D’autres sont tièdes…– Doiron 2003 - > pas rigoureuse, non fiableOnline student peer review, evaluation, feedback, critique and debate need to be examined more closely in order to establish rules and guidelines to maximise their potential.

45

Page 45: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

46

Page 46: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Partie 3.1

Une approche individuelle de l’efficacité de l’EP : comparaison

notes des pairs / notes de l’encadrement

Page 47: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

48Source : soutenance de Master de Drissa Zongo (9/2014)

Page 48: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

corrélation de Kendall cor.test(EP, Pairs ,method="kendall")corrélation de Pearson cor.test(EP, Pairs)

- H0 : la corrélation est nulle - H1 : la corrélation n’est pas nulle

Seuil = 0.05Si p-value > 0.05 => H0Si p-value < 0.05 => H1

P-value < 2.2e-16 pour tous les devoirs,Valeur de corrélation > 0.5 => forte corrélation

Corrélation (EP,

moyenne des

notes pairs)

Corrélation de Pearson Corrélation de Kendall

corrélation

(cor)

p-value corrélation (tau) p- value

Moyenne des 5

devoirs 0,77251 < 2.2e-16 0,6336516 < 2.2e-16

49Source : soutenance de Master de Drissa Zongo (9/2014)

Page 49: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Partie 3.2

Une approche collective de l’EP : comparaison de la *moyenne* des

notes des pairs / notes de l’encadrement

Page 50: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2

Page 51: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Page 52: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Page 53: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Page 54: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Page 55: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Page 56: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

57

Calcul des proportions de bonnes corrections

• 57% sont très bien évaluées,• 83%= bien ou très bien évaluées• 17% mal évaluées => établir des critères de passage « en manuel »• 3% sont très mal corrigés => pb technique

+-10 points => -/+2 points sur 20, erreur typique avec des profs

Bien corrigées à

+/-5 points

Bien corrigées à

+/-10 points

Bien corrigées à

+/-20 points

Moyenne 57% 83% 97%

Source : soutenance de Master de Drissa Zongo (9/2014)

Page 57: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

.. Et la conclusion ?

Ca marche pas mal du tout

.. notamment compte-tenu de ce que dit la docimologie

• Écarts entre correcteurs

• Écarts sur la re-correction d’une même copie

• Les pairs surnotent un peu (2.6%)

Page 58: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Partie 4

Consolider les notes des pairs – d’accord,

mais comment ?Moyenne ou médiane ? Combien d’avis différents faut-il ?

Page 59: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

60

Page 60: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

61

Page 61: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Etude de la fonction ErreurMoyenne- ErrreurMediane

Ecart =|ErreurMoyenne|–|ErrreurMediane|Elle est positive si la moyenne introduit plus d’erreur et négative sinon

Min. 1st Qu. Median Mean 3rd Qu. Max.-14.2000 -3.0000 -0.7500 -0.9867 1.1000 13.6700

coefficient de dissymétrie (skewness) : -0.2145285

62Source : soutenance de Master de Drissa Zongo (9/2014)

Page 62: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

63

36.45%

44.97%

50.39%54.74%

56.60%60.04%

70.97%

78.02% 80.97% 82.60%85.93%

93.13%95.45% 96.35% 96.70%

0.00%

20.00%

40.00%

60.00%

80.00%

100.00%

120.00%

1 correction 2 corrections 3 corrections 4 corrections Ttes les corrections

Evolution moyenne des bonnes corrections en fonction du nombre de corrections

Précision de -/+ 5

Précision de -/+ 10

Précision de -/+ 20

Source : soutenance de Master de Drissa Zongo (9/2014)

Page 63: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

.. Et si on résume ?

1. si on est capable de mettre en place un pilotage de l’EP, il faut préférer la moyenne

• Filtrage/affinage manuel (10-15% des travaux).

• Signal : Présence de 0, pas de consensus

2. À partir de 3 pairs, c’est acceptable, 4 c’est « optimal »

Page 64: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Conclusion

Où doit-on aller maintenant ?

Un feedback aux pairs ? Des incitations ? Coupler avec une auto-évaluation ?

Page 65: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Axe de progrès 1 : l’auto-évaluation

66

Mise en place de l’auto-évaluation sur Canvas par UNOW, agence de conception/hébergement

Page 66: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

.. Auto-évaluation dans le GdP4

Après avoir1. Évalué/commenté 3+ autres travaux2. Reçu des retours sur votre propre devoir

.. Quelle est, d’après vous la note appropriée pour le travail que vous avez produit ?

Auto-évaluation = le meilleur progrès en termes d’apprentissage (Sadler & Good 2006)

Page 67: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

5-10% de non-participants à l’EP => Axe de progrès 2 : incitation + feedback sur les évals

68Macro « post-traitement » réalisée par Mohammed Hichem BENBITOUR et Drissa ZONGO

Page 68: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Quels types de bonus-malus ?

• Travail fait : si vous n’avez pas réalisé toutes vos évaluations– Malus pour “travail non fait”

• Précision :– Bonus : plus ou moins fort si la note que vous avez proposée est

proche ou très proche de la note finale– Malus : si la note est éloignée ou très éloignée de la note finale

69

Chef de projet évaluation par les pairs GdP4 : Paul-André CARTON

Page 69: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

.. Feebdack dans le GdP4

1. Système de bonus-malus

2. Tableau de synthèse explicatif

On observe apparemment un progrès dans la capacité de nos apprenants à évaluer (résultats préliminaires GdP4)

Page 70: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

72

Page 71: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

.. Badge intégrant l’EP dans le GdP4

L’évaluation par les pairs demande du travail, 3 heures, il faut la prendre en compte dans la note finale

Badge ouvert Mozilla

• 70< [note du devoir] +- [15 points sur éval des pairs]

Page 72: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

74

Relecture des diapos : Merci à Thérèse Récalde

Page 73: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Partie atelier - À vous de jouer pour préparer le GdP5 :

1. Post-it rouge: Trouvez les failles du système présenté

2. Post-it vert : proposez des parades et pour l’avenir, comment progresser ?

Page 74: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Post-it rouge 1/3

• S’agit-il d’apprentissage par les pairs ou d’évaluation par les pairs? Lequel est le plus efficace pour l’apprentissage ?– Il y a en fait les deux composante : la notation /100 et les

annotations et échanges de messages entre apprenants

• Peut-on évaluer la qualité du feedback formatif ?• Sur le GdP1 nous avons mis au point un questionnaire dédié à

l’avancé avec des questions sur la légitimité de l’EP. Il faudrait reprendre ces questions dans le GdP4

• Si l’évaluation par les pairs relève de la réplication de celle par les enseignants, il s’agit de trouver des pistes d’enseignement mutuel et de voir si l’on peut apprendre mieux

Page 75: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Post-it rouge: Trouvez les failles du système présenté

• Est-ce que les pairs détectent le plagiat ?

• Est-ce que l’EP s’applique à tout type de contenu et à tous types de compétences à évaluer ?

• L’objet de l’apprentissage n’est pas ce que l’on évalue avec le bonus/malus, alors qu’il est intégré dans la note

Page 76: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Post-it rouge: Trouvez les failles du système présenté

• Est-il possible d’évaluer un pair lorsque l’objet de l’apprentissage est complexe ?

• Y-a-t ’il une corrélation entre les compétences à évaluer et les compétences par rapport à la matière à évaluer ?

• (proposé ensuite par PM) a-t-on des effets du type « concours de beauté ? » par exemple avec l’autoévaluation après avoir reçu l’évaluation et les commentaires par les pairs ?

Page 77: Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014

Post-it vert : proposez des parades et pour l’avenir, comment progresser ?

• L’évaluation dépend-elle du profil de l’étudiant (qui mettrait en avant des aspects particuliers) ?

• Trouver un autre renforcement positif (badge..)

• Voir le modèle de peer ranking d’Eric Mazur (Mazur?)


Recommended