1

IDEA, École des Ponts ParisTech

16 mai 2013

L’évaluation des

acquis des étudiants

marc.romainville@fundp.ac.be http://www.fundp.ac.be/det

≠ enregistrer de manière objective des acquis (thermomètre)

= construire un point de vue sur des performances censées représenter des acquis

Évaluer ?

2

Vain débat entre objectivité et subjectivité

objectivité (évaluation qui existerait en elle-même, indépendamment du sujet pensant) = chimère

subjectivité (évaluation qui appartiendrait seulement au sujet pensant) = à encadrer et à expliciter

Évaluer ? (II)

caractère fondamentalement inférentiel appréhender une compétence à partir de performance(s)

plus la compétence est large, plus l’inférence est grande et douteuse

caractère impliquant

« l’évaluation nous en dit parfois plus sur l’évaluateur que sur l’évalué »

caractère « bricolé » du jugement évaluatif

Évaluer ? (III)

3

I. Les difficultés (1)

a) Un « système d’exigences diffuses et implicites »

« Les étudiants de classes cultivées sont les mieux (ou les moins mal) préparés à s’adapter à un système d’exigences diffuses et implicites puisqu’ils détiennent, implicitement, le moyen d’y satisfaire ». BOURDIEU P. et PASSERON J.-C., 1964, p.113.

4

I. Les difficultés (1)

a) Un « système d’exigences diffuses et implicites »

contrats didactiques peu explicites

o exigences effectives derrière les exigences annoncées

I. Les difficultés (1)

a) Un « système d’exigences diffuses et implicites »

contrats didactiques peu explicites

o attitudes à adopter à l’oral

o exigences effectives derrière les exigences annoncées

o traitement demandé par les amorces comme ‘définir’, ‘démontrer’…

multiplicité de contrats … contradictoires !

5

Deux commentaires reçus la même

semaine…

Histoire : 8/20

« Identifiez à l’avenir les noms, les lieux, les dates, les événements. Faites comme si je ne connaissais rien de ce dont vous parlez. »

Anglais : 8/20

« Ne me racontez pas ce qui s’est passé : j’ai lu le livre avant vous ! »

6

I. Les difficultés (2)

b) Manque de fidélité faible degré d’explicitation des objectifs en termes de connaissances et de compétences à faire acquérir

critères peu explicites

résultats peu similaires (autre moment, autre personne)

c) Manque de validité biais docimologiques traditionnels et spécifiques o contagion des évaluations (réduction de la

dissonance cognitive) o effet d’ordre et de position de correction o effet de halo : niveau scolaire de l’élève, origine

socioculturelle et ethnique (recherche de consonance cognitive ou compensation de préjugés défavorables)

o préférences idéologiques et/ou scientifiques

les évaluations ne mesurent pas toujours ce qu’elles prétendent mesurer et rien que cela

I. Les difficultés (3)

7

d) Évaluation normative plus que

critériée (« constante macabre »)

Classer les étudiants les uns par rapport aux autres selon des courbes de résultats attendues (enjeux sociaux)

Juger de l’atteinte des objectifs par les étudiants

I. Les difficultés (4)

e) Évaluation qui peine, surtout dans les grands groupes, à favoriser une approche en profondeur

f) Évaluation trop déconnectée de l’apprentissage évaluation

formative

non de l’apprentissage

mais pour l’apprentissage

I. Les difficultés (5)

8

II. Les balises (1) a) En revenir aux fondements du processus

d’évaluation

Évaluer, c’est mesurer puis apprécier, à l’aide de critères, l’atteinte des objectifs d’enseignement, en 3 étapes :

recueillir, de manière systématique, valide et fidèle, des informations appropriées à ses objectifs d’enseignement (observation) interpréter ces informations à l’aide de critères (analyse) en vue d’établir des conclusions et des décisions (certificative) ou de de poser une action régulatrice (formative) (jugement et rétroaction)

b) Élaborer ses évaluations selon un démarche systématique en 6 étapes

II. Les balises (2)

9

1. Définir les connaissances et

compétences à mesurer

Les classer

savoir, savoir-faire, attitude

restitution, compréhension, application, analyse, synthèse, évaluation (Bloom)

Les hiérarchiser

Vérifier qu’elles aient fait effectivement et toutes l’objet d’enseignement

Objectif cognitif Connaissance Compréhension Application Analyse Synthèse Jugement Évaluation

Caractérisation de ce niveau

hiérarchique

Repérer de l’information et s’en souvenir. Connaître des événements, des dates, des lieux, des faits, des idées, des règles, des lois, des formules….

Saisir des significations. Traduire des connaissances dans un nouveau contexte. Interpréter des faits à partir d’un cadre donné.

Réinvestir des méthodes, des concepts et des théories dans de nouvelles situations. Résoudre des problèmes en mobilisant les compétences et connaissances requises.

Percevoir des tendances. Reconnaître les sous-entendus. Extraire des éléments. Identifier les parties constituantes d’un tout pour en distinguer les idées

Utiliser des idées disponibles pour en créer de nouvelles. Généraliser Mettre en rapport des connaissances issues de plusieurs domaines.

Comparer et distinguer des idées. Déterminer la valeur de théories et d’exposés. Poser des choix en fonction d’arguments raisonnés.

Capacité à

Mémoriser et restituer des informations dans des termes voisins de ceux appris.

Traduire et interpréter de l'information en fonction de ce qui a été appris.

Sélectionner et transférer des données pour réaliser une tâche ou résoudre un problème.

Distinguer, classer, mettre en relation les faits et la structure d’un énoncé ou d’une question.

Concevoir, intégrer et conjuguer des idées en une proposition, un plan, un produit nouveaux.

Estimer, évaluer ou critiquer en fonction de normes et de critères que l'on se construit.

Verbes d'action

Citer Décrire Définir Énumérer Désigner Nommer

Expliquer Démontrer Interpréterr Traduire Illustrer Discuter.

Appliquer Adapter Employer Calculer Résoudre Mettre en œuvre

Décomposer Extraire Rechercher Choisir Discriminer Comparer Catégoriser

Composer Construire Créer Élaborer Inventer Mettre en rapporrt

Evaluer Juger Critiquer Justifier Défendre Recommander etc.

Exemple

Donner les 6 niveaux de la taxonomie de Bloom.

Expliquer la taxonomie de Bloom.

Classer plusieurs exercices d'évaluation à l'aide de la taxonomie de Bloom.

Identifier les liens établis entre l'utilisation de la taxonomie de Bloom et les capacités d'auto-régulation des apprenants.

Construire des exercices d'évaluation en se servant de la taxonomie de Bloom.

Donner les avantages et inconvénients de la taxonomie

10

2. Élaborer le dispositif approprié

Congruent par rapport aux objectifs (ex. compréhension : livre ouvert & examen

intégré)

Favorisant l’approche en profondeur

« Compétence compatible » évaluer la maîtrise des ressources et leur mobilisation

tâches complexes et ouvertes, voire en situation (réelle ou fictive)

en associant le continu et le formatif au certificatif

Préciser la forme la plus adéquate

part continu / terminal

degré de choix de l’étudiant

travail individuel ou de groupe, examen sur table (avec ou sans préparation),

oral (idem, individuel ou en groupe),

(e)portfolio1, examen intégré, combinaison…

2. Élaborer le dispositif

approprié (II)

1 Collection de travaux d’un étudiant qui fait foi de ses

compétences acquises en gardant des traces pertinentes de ses réalisations

11

3. Rédiger les questions

Nombre et type : fermées (vrai/faux, QCM) ou ouvertes (texte lacunaire, réponse courte, longue)

Adaptées aux objectifs Prétestées Respect des règles de rédaction :

verbe d’action (« citez ») résultat attendu précisé (« les 5 causes ») conditions précisées règles spécifiques pour les QCM (ex. même longueur et même degré de vraisemblance des propositions)

Le mot « spinaker » désigne

1. un chien écossais

2. une voile triangulaire de grande surface, légère et très creuse, que les yachts envoient dans la marche au vent arrière

3. un chant tyrolien

4. un instrument de musique

12

4. Clarifier le contrat didactique

Remise d’un plan de cours Séance de présentation et de discussion Situations pédagogiques actives

simulation d’examen oral (observateurs & synthèse) comparaison, par les étudiants, de copies antérieures simulation de correction par l’enseignant correction ou commentaires par les étudiants sur des copies antérieures soumission d’une question portant sur la matière juste d’être vue : essai de réponse en diade, discussion de quelques réponses construction progressive de la grille d’évaluation création de questions par les étudiants passation de l’examen le … 1er jour de cours

Les éléments essentiels d’un plan de cours

Environnement

externe

Finalités

Environnement

interne

Habilités

intellectuelles

Objectifs

spécifiques

Maîtrise

du contenu

Ressources

externes

Activités

du cours

Les ressources

biblio, syllabus

Évaluation

du cours

13

5. Noter

Sur la base d’une grille de critères ou d’un corrigé construits a priori, mais prétestés, voire discutés

Traiter les copies ou travaux de manière anonyme

en commençant par un échantillon

question par question, dans un ordre différent pour chaque question

Établir la note selon une méthode prédéfinie

T. David, Université de Lausanne, 2009

14

F. Retourner de l’information

En évaluation certificative

retour prudent et bienveillant

neutre et technique, sur la base des critères et donc des objectifs

en laissant des portes de sortie en termes d’image de soi : évaluer des acquis, pas des personnes !

F. Retourner de l’information (II)

En évaluation formative

rétroaction en cours de route = facteur clé d’apprentissage

rétroaction

o précoce et régulière

o suit de près l’évaluation

o non démotivante

– ton ni trop critique ni trop autoritaire

– concerne la performance, pas la personne

15

F. Retourner de l’information (III)

ooriente l’action de l’étudiant – informative (analyse de la réponse)

–porte sur un nombre limité d’aspects

–détaillée (en quoi et pourquoi ?) mais pas trop…

–compréhensible par l’étudiant

–comprend des pistes, voire des remèdes

– individualisé et ouvrant à un dialogue

odurable : développe les compétences d’auto-régulation de l’étudiant

16

F. Retourner de l’information (IV)

Exemples de dispositifs

o contrôle continu

o multiplier étapes et acteurs de l’évaluation – présentation orale intermédiaire et évaluation par les pairs

– nouvelle soumission « réparatrice » possible

– portfolio progressif et commenté

o grilles d’auto-évaluation

o évaluation et discussion intermédiaire entre pairs

o recours aux TIC : sur le document et/ou en ligne (forums, blogs, réseaux sociaux…)

o stations d’évaluation formative

17

18

Références

Allal L. (2013). Évaluation : un pont entre enseignement et apprentissage à l’université. In M. Romainville et al. Évaluation et enseignement supérieur. Bruxelles : De Boeck.

Bourdieu P. & Passeron J.-C. (1964). Les héritiers. Les étudiants et la culture. Paris : Les Éditions de Minuit.

Carless D. et al. (2011). Developing sustainable feedback practices. Studies in higher education, 36, 395-407.

De Landsheere G. (1980). Évaluation continue et examens. Précis de docimologie. Paris : Labor-Nathan.

Guingouain G. (1996). Les pièges de l’évaluation. In A. Lieury (éd), Manuel de psychologie de l’éducation et de la formation, Paris, Dunod, 271-302.

Merle P. (2009). Les notes. Secrets de fabrication. Paris : PUF.

Références (II) Nicol D. & MacFarlane-Dick D. (2006). Formative

assssment and self-regulated learning. Studies in higher education, 31, 1999-218.

Noizet & avec Caverni J.-P. (1978). Psychologie de l'évaluation scolaire. Paris : PUF.

Rust C., Price M. & O’Donovan B. (2003). Improving students’ learning by developing their understanding of assessment criteria and process, Assessment & evaluation in Higher Education, 28(3), 147-164.

Suchaut B. (2008). La loterie des notes au bac. IREDU, Dijon, Université de Bourgogne.

William D. (2010). Le rôle de l’évaluation formative dans les environnements d’apprentissage efficace. In H. Dumont et al. (eds). Comment apprend-on ? (143-169). Paris : OCDE.

Numéro spécial de la revue RIPES (Revue Internationale de Pédagogie de l’Enseignement Supérieur « Innover dans l’évaluation des apprentissages: pourquoi et comment ? », janvier 2012 Téléchargeable à l’adresse : http://ripes.revues.org/495