BAIRSTOW Dominique LAVAUR Jean-Marc & LAXEN Jannika

Workshop on L2 proficiency assessmentFebruary 24/25th 2012

Recherches en psychologie cognitive : Développement, l’organisation et le fonctionnement du lexique mental bilingue.

Liens existants en mémoire entre les équivalents de traduction.

Modification des liens avec l’apprentissage de la langue L2

Mémoire sémantique commune ou quasi-commune correspondant à un haut degré de maîtrise des deux langues.

Niveau de langue des participants aux expériences de psychologie

Homogénéiser des résultats obtenus avec des populations et des langues différentes dans des contextes expérimentaux très diversifiés (Wei & Moyer, 2008).

Evaluations (tests de langue) utilisées avant et après les expériences (auto-évaluation, test de vocabulaire, traduction de mots + données personnelles)

Leur but est de déterminer des niveaux de maîtrise de la L2 et de constater des évolutions des traitements effectués dans différentes tâches (Lavaur & Bairstow, 2011).

Les évaluations de la compétence dans les deux langues ne permettent pas :

d’estimer le fonctionnement de la mémoire bilingue

De tester les participants sur leurs capacités à établir des liens entre les deux langues

Le test permet d’estimer la facilité avec laquelle un apprenant passe :

du niveau lexical (forme des mots) au niveau sémantique (significations associées).

A partir d’une tâche expérimentale utilisée dans les recherches sur le lexique mental bilingue.

Dans cette tâche, les participants doivent décider le plus rapidement possible si deux mots présentés à l’écran (ex : LUNE-MOON ou LUNE-RIVER) sont ou non des traductions.

Cette tâche est sensible à :

la sémantique des mots (niveau de concrétude, nombre et dominance des traductions, écart sémantique entre les différentes traductions d’un même mot ; Laxen & Lavaur, 2010)

leur forme (mots cognats et homographes interlexicaux ; Laxen, Lavaur & Aparicio, 2011)

leur fréquence objective et subjective (familiarité) dans chacune des deux langues.

Cette tâche permet de présenter toutes les traductions possibles d’un même mot contrairement aux tâches classiques de traduction où seul le lexique mental dit « actif » est testé.

Le test évalue :

les facilitations ou conflits et interférences liés à la forme des mots dans les deux langues

(même forme dans les deux langues, même signification comme TAXI-TAXI- ou significations différentes comme COIN-COIN pièce de monnaie en anglais).

I l permet :

un diagnostic rapide du fonctionnement de la mémoire sémantique des apprenants

Ce test est couplé :

avec des évaluations classiques du niveau de langue (auto-évaluation des différentes compétences linguistiques dans la langue orale et écrite)

et des tests de traduction spontanée et de complétion de phrases (voir Lavaur & Bairstow, 2011).

Le test mesure une compétence bilingue, (établir des liens entre les équivalents de traduction )

Il évalue le fonctionnement de la mémoire bilingue (efficacité, rapidité).

Il implique deux grands niveaux de traitement (lexical, sémantique).

Dans sa version visuelle, les codes orthographiques et sémantiques sont impliqués de sorte que les participants doivent détecter les formes présentées, accéder à leur sens et les apparier comme étant ou non des traductions.

L’intérêt du test dépasse la mesure de la compétence dans une langue donnée puisqu’il estime la capacité à relier deux langues et résoudre les interférences éventuelles.

Il peut être appliqué à une large population indépendamment du niveau de fluence dans chacune des deux langues testées.

De très nombreuses variables sont susceptibles d’affecter la performance au test

d’où la nécessité d’établir une hiérarchie dans ces variables.

La version pilote permet d’introduire les variables par ordre de complexité croissante.

La fréquence des mots dans chacune des langues est une variable dont les effets sont attestés dans de nombreuses tâches .

Cependant, les contacts avec les langues varient d’une langue à l’autre pour un sujet donné.

Il semble donc plus pertinent de prendre en compte la familiarité des mots (valeur subjective qui tient compte de ces contacts).

D’un point de vue méthodologique, les mots sont testés dans les deux sens de la traduction (L1L2, L2L1).

L’accès à la mémoire sémantique semble également dépendre de la langue de départ qui peut orienter les traitements effectués.

Faire varier le sens de la traduction de manière non prévisible pour les participants permet d’estimer leurs capacités à établir des liens sémantiques tout en changeant de langue.

La capacité à établir des liens rapides entre les équivalents de traduction doit être mise en relation avec la capacité à discriminer des mots qui ne sont pas reliés dans la mémoire sémantique.

Le test estime à la fois le traitement des équivalents de traduction et celui des non équivalents de traduction.

A partir d’une base lexicale (Balota, 1999), les variables contrôlées pour la version pilote du test sont :

la forme des mots (pas de lien orthographique ou phonologique entre les mots des deux langues),

le nombre de lettres (3 à 7) la différence de lettres au sein d’un même

couple (+ ou – 2). le nombre de traductions : mots à une

traduction ou à une traduction nettement dominante

Le matériel est sélectionné à partir de deux bases lexicales (anglaise et française) indiquant la familiarité.

Une base composée de 270 couples d’équivalents de traduction répartis en 2 niveaux de familiarité (élevé, bas)

Les 168 couples de mots choisis seront répartis en 3 blocs en fonction de l’ordre des langues (L1L2, L2L1, aléatoire)

Familiers Non familiers

Équivalents 42 42

Non équivalents

42 42

Le contrebalancement des couples et des listes tient compte:

de la place des couples au sein d’un même bloc,

de la présence de chaque couple de mots dans tous les blocs,

de la présentation de chaque couple dans les deux sens de traduction.

Temps de présentation de chaque couple:1.5 sec/diapo, donc durée du test environ 5 minutes. Mots organisés en trois blocs avec une pause entre chaque bloc.

Questionnaire de données personnelles: Echelles d’auto-évaluation de compréhension

et production (oral ou écrit), de 1 à 7. Questions sur l’âge d’acquisition. Contexte de pratique des langues.

Quelques couples du test de reconnaissance en traduction…

Répondez OUI, NON ou PASS!

NAINDWARF

LEVRENECK

REQUINSAND

On peut utiliser différentes méthodes: analyser les bonnes réponses, faire une analyse sur la certitude des

réponses) ou analyser des erreurs (réponse oui/ sur réponse

non). Il faut également prend en compte :

le sens de traduction ainsi que l’ordre des langues dans les blocs (fixe ou aléatoire)

la familiarité

Répartition des réponses sur 25 participants:

Equilibre entre les blocs L’ordre des langues ne modifie pas la

performance Plus d’omissions que d’erreurs

Bloc L1L2

Bloc L2L1

Bloc aléatoir

e

Total

Score 50.2 % 53.14 % 54 % 52.5 %

Erreurs 10.8 % 7.43 % 4.9 % 7.7 %

Omissions

39 % 39.43 % 41.1 % 39.8 %

Répartition des erreurs: sur réponses « oui » (fausses reconnaissances)et sur réponses « non » (fausses alarmes)

Bloc L1L2

Bloc L2L1

Bloc aléatoir

eTotal

Erreurs Traductions

18.4 % 14.3 % 9.5 % 14.2 %

Erreurs non traductions

3.3 % 1.5 % 1.1 % 2 %

Omissions traductions

35.4 % 40.3 % 42.7 % 39.4 %

Omissions non traductions

42.9 % 43.9 % 46.7 % 44.4 %

Répartition des réponses selon la familiarité

Nombre supérieur de réponses correctes pour les couples familiers (participants non natifs anglais).

Nombre supérieur d’erreurs et d’omissions pour les couples non-familiers.

Couples familiers

Couples non familiers

Scores 86.76 % 18.14 %

Erreurs 4.95 % 10.43 %

Omissions 8.28 % 71.43 %

Relation entre score moyen d’auto-évaluation et nombre de bonnes réponses au test (divisé par 100)

Les participants ont tendance à sous-estimer leurs compétences

Globalement, il n’y a pas de grand effet lié à l’ordre de présentation des couples:

L’effet peut se trouver atténué par un effet d’habituation à la tâche

Ou par un temps d’exposition trop long pour chaque item (ce qui permet de développer des stratégies de traduction)

On remarque qu’il y a globalement plus d’omissions que d’erreurs.

Pas de distinction entre les omissions sur « oui » et celles sur « non ».

En ce qui concerne les erreurs, il y en a largement plus sur les réponses « oui » (fausses reconnaissances) que sur les réponses « non » (fausses alarmes).

On constate un très fort effet de la familiarité:

Les participants testés ne sont pas natifs anglais La familiarité semble être un facteur très

discriminant

Cet effet de familiarité s’étend à la fois aux erreurs et aux omissions

Le nombre de bonnes réponses de chaque participant semble corrélé assez positivement avec la moyenne de ses scores d’auto-évaluation

Lorsque ces deux scores s’écartent, on constate que les participants ont tendance à minimiser leurs compétences linguistiques.

Globalement, le test est un bon indicateur du score d’auto-évaluation

Le test est un bon reflet des techniques courantes d’évaluation linguistique

Il permet également d’estimer la capacité à extraire des informations à partir d’un mot qu’on ne connaît pas

Ainsi que la capacité à extraire des informations à partir du mot de la langue dominante pour éliminer ou accepter un item

L’effet de la familiarité est bien présent, mais ne discrimine qu’entre un niveau très élevé et un niveau très bas: pas de nuance

On ne constate pas d’effet selon l’ordre de présentation des mots au sein de chaque couple: présentation trop lente ou matériel trop simple (effet plafond)?

Nécessité d’injecter de nouveaux facteurs pour affiner la discrimination entre les différents niveaux

Le test nous donne deux niveaux dans la capacité des participants à faire des liens entre les deux langues : débutant ou expert.

Nécessité de rajouter une variable afin d’affiner ces catégories. Nous disposons de nombreuses variables qui pourraient servir à cette distinction.

Facteurs permettant un affinage: rajouter des couples de mots ayant un indice

de familiarité intermédiaire (entre 3,5 et 4,5) ; utiliser l’homophonie, l’homographie, Autres facteurs: nombre de traductions,

disponibilité contextuelle, la concrétude ou encore la probabilité de traduction.

La deuxième étape du test pourra donc intégrer l’un de ces facteurs afin d’affiner encore l’évaluation de la capacité à faire des liens entre deux langues.

But du test : créer un outil simple et rapide permettant d’évaluer les compétences linguistiques d’un individu, avant sa participation à une expérience par exemple

Pour affiner la discrimination du test, il convient d’y introduire de nouveaux facteurs qui permettront de mieux évaluer les compétences

Un autre paramètre à prendre en considération est celui du mode de réponse: utiliser la plateforme Eprime, par exemple, permettra entre autres de prendre en compte le temps de réponse dans les mesures.

Séparer ce qui relève du temps de décision et ce qui relève du temps de coordination cérébro-motrice, ainsi que ce qui relève de la partie perceptive de quelle façon les deux mots sont traités ?

Successivement, parallèlement, ou encore avec un système de feedback ?

La présentation audiovisuelle avec une composante orale et une écrite: un mot entendu pouvant générer des candidats de façon différente qu’un mot écrit.

On pense également à la façon dont l’activation se propage, par exemple une activation par stimulus auditif et visuel, puis appariement des deux.

Références Lavaur, J-M., & Bairstow, D. (2011). Languages on the screen: is film

comprehension related to the viewer's fluency level and to the languages in the subtitles?  International

Journal of Psychology (Online access). Laxen, J., & Lavaur, J-M. (2010). The Role of Semantics in Translation Recognition: Effects of number of translations, dominance of translations, and semantic

relatedness of multiple translations. Bilingualism, Language and Cognition, 13(2), 157-183. Laxen, J., Lavaur, J-M., & Aparicio, X. (2011). Reconnaissance en traduction et homographie interlangue. Psychologie Française, 56(3), 161-172. Wei, L., & Moyer, M. (2008). The Blackwell guide to research methods in

Bilingualism and Multilingualism. Malden : Blackwell Publishing Limited.