Le Centre international d’études pédagogiques

CIEP

Ministère de l’Education nationale

Quand les psychométriciens

s’en mêlent…Patrick Riba

Objectifs des analyses statistiques

Déterminer la qualité du matériel (qualités psychométriques des items)

Déterminer le niveau de difficulté des items

Mise en banque des items

Vérifier les biais potentiels liés au sexe, à la langue maternelle des candidats …

Outils d’analyse (1)

Modèle de mesure classique

Difficulté de l’item (taux de réussite)

Fonctionnement de la clé

Rôle des distracteurs

Discrimination de l’item (coefficient de corrélation bisérial)

Fidélité du test (α de Cronback)

Les items non conformes sont exclus.

Exemple

Item 23 e03q3

A

B

C*

Pro

port

ion

Score GroupsSubgroup 0 -- Subtest 0

0.0

0.2

0.4

0.6

0.8

1.0

1 2 3 4

Item 16 e01q3

A

B*

C

Pro

port

ion

Score GroupsSubgroup 0 -- Subtest 0

0.0

0.2

0.4

0.6

0.8

1.0

1 2 3 4

Item validé Item rejeté

On doit observer une progression du taux de réussite entre le groupe 1 et 2, entre le groupe 2 et 3 …

Seule la clé doit avoir un rptbis supérieur à 0.

Distracteurs A B C

rptbis 2 -29 21

Distracteurs A B C

rptbis -28 43 31

Item rejeté

Ce distracteur est à modifier car il attire les réponses de candidats dont le niveau (ici A1) est bon.

Outils d’analyse (2)

Modèle de Rasch

Les items non conformes sont exclus.

Caractère unidimensionnel des données :les items évaluent uniquement le niveau en langue française.

Vérification de la cohérence des données :la difficulté de l’item par rapport à la compétence du candidat.

Fonctionnement différentiel de l’item :Bais liés au sexe, à la langue maternelle des candidats …

Comportement de l’item :Comparaison entre les probabilités prévues par le modèle et les probabilités observées.

Exemple

Infit Outfit

0,98 0,78

Item validé Item rejeté

Les probabilités de succès prévues par le modèle doivent être le plus proche possible des probabilités observées.

Les indices infit et outfit doivent être compris entre 0,7 et 1,3.

Infit Outfit

1,37 1,7 Il semble qu’il y a trop de réponses inattendues.

Item rejeté

… le téléfilm « les rats »

Heure :…

Cochez la chaîne

TF1 France 2 France 3

Canal + Fr5 / Arte M6

… un documentaire Heure :…

Cochez deux chaînes

TF1 France 2 France 3

Canal + Fr5 / Arte M6

Vous voulez voir …

Banque d’items (1)

Concept d’une banque d’items

Elle est constituée d’un grand nombre d’items

On connaît la difficulté des items et leurs qualités psychométriques.

Les items peuvent être utilisés plusieurs fois.

Une échelle de niveau de difficulté commune pour tous les items

Elle facilite la fabrication d’une grande variété de tests.

Fabrication de versions de tests de niveaux équivalents.

Objectifs

Banque d’items (2)

Avantages

Flexibilité

Caractère dynamique de la banque d’items

Sécurité et économie

Validation et expérimentation

Contraintes

Contraintes de construction

Contrôle continu de la qualité

Coût et rentabilité à long terme

Chaque diplôme a sa propre banque d’items.

Chaque banque d’items comporte uniquement les items qui auront été validés par le modèle de Rasch.

Création d’items ancres :équivalence des versions du DELF-DALF.

Constitution de la banque d’items

La banque d’items du DELF-DALF