Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet

Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur

Assistance à l’interaction

Modèles, Outils, Usages, Evaluation

Jean-Paul Sansonnet LIMSI-CNRS

Assistance à l’interaction 2


Analyse et Modèles pour l’Interaction

1. Modèles et outils pour l’interaction– Visualisation interactive d’information

– Plasticité des interactions

– Agents conversationnels animés

2. Analyse et modèles des interactions– Analyse des comportements et des émotions

– Analyse sémantique des usages

– Analyse des traces pour la socio-informatique



Visualisation interactive d’information



Plasticité des interactions• Interaction dynamique• Interaction contextuelle• Interaction multimodale

• Approches de conception• Modèles d’architecture• Représentations de connaissances• Outils logiciels

Tournez à droite



Agents Assistants : applications

• Accueil– Accueil des utilisateurs sur les applications et services en ligne

– Présentation de fonctionnalités et de procédures pour les applications et services en ligne

• Aide interactive– Traitement de requêtes : questions sur la structure et le

fonctionnement, commandes, contrôle à distance

– Médiation avec des apprenants : apprentissage humain, scolarisation, entrainement, aide aux handicaps

• Médiation sociale– Dialogues : Chatbots, conversations artificielles de type Eliza

– Collectifs : Mondes mixtes humains/agents, avatars, jeux de rôles



Trois niveaux de personnages

Têtes Parlantes

Fixes

Lip Synch

Dialogue

Emotions

Agents Déictiques

Fixes - bras mobiles

Référence Extensionnelle

Tutorat - Explications

Emotes

Agents In Situ

Personnages mobiles

Réalité Virtuelle et augmentée

Training - Action

GRETA (Pélachaud Paris 8) STEVE (Rickel et al USC) VTE (Gratch et al USC)



Agents : Dialogiques – Rationnels - Animés

Agent Assistant

Usager novice

Représentation Symbolique

Composant



Assistants de composants Java



Assistants de sites web : GT ACA



Action Incitative « Tête Parlante »• Action incitative intergroupe : AMI-PS-LIR• Application : Agent Assistant pour la Recherche d’Information

– Outil permettant des études perceptives : audio, graphique, émotions, …– Audio 3D : synthèse sensible aux mouvements de tête– Interpolation graphique entre expressions en temps-réel

Poser 5



Texte Parole 3D

• Texte à partir de RITEL (LIR)– « Bonjour et bienvenue » bOZur" e bjIvny"

– Phonème visème pour l’animation du visage

– Phonème parole synthétisée

• Ajustement dynamique de la synthèse selon l’orientation de la tête (PS)

– Mesure de patterns de rayonnement pour plusieurs phonèmes discrets (effectuée en nov-2005)

Pattern de rayonnement Phonème : « i »

Pattern de rayonnement Phonème : « m »



Animation et Rendu visuel

Tête parlante

Ch Jacquemin (AMI)



Emotions Complexes & Spontanées

Annotation multi-niveaux : Emotions, Multimodalité, Contexte

ReX

FP

6 H

um

ain

e -

Th

èse S

. A

bri

lian

(co-d

ir.

J.-C

. M

art

in &

L.

Deville

rs)

ANVIL



Agents multimodaux : études perceptives

• H et F extravertis – Redondance positive

• H introvertis– Moins de différence entre redondance et

complementarité

• F introverties– Non influencées par

redondance/complémentarité

Impact de la Redondance vs Complémentarité sur le rappel écrit et les évaluations des explications et des l’expressivité des agents



Outils d’interaction pour l’autisme

• Etude exploratoire : Lycée– Domaines d’apprentissage

• Jeux de dialogue• Planification spatiale (plus court chemin)

– Modalités : Synthèse, Image, Texte

• Expressions faciales– Reconnaissance à partir d’images : oui– Reconnaissance avec dialogues et

ambiguités sémantiques : non

Thèse O. Grynszpan (co-dir. J.C. Martinet J. Nadel CNRS Salpétrière)



Dialogue avec expressions faciales humaines

Images réalisées avec Poser 5

d’après le codage de Ekman, 2003

Dialogue qui nécessite un raisonnement pragmatique

Une des 3 affirmations correspond à une interprétation littérale incorrecte du dialogue

L’expressions affichée correspond à la réplique sélectionnée



Pratiques Collectives Distribuées

• Quatre modes d’interaction – Personne document: une personne

produit, supprime, modifie, annote, consulte ou traite un document;

– Personne personne: l’envoi de messages par E-mails, groupes de discussion, forums, chat…) pour demander, informer, commander, (“actes de langage”)

– Document personne: un document actif anticipe les besoins de l’usager (notification d’un événement, besoin d’information,…)

– Document document: un document actif produit, supprime, modifie, annote, consulte ou traite un autre document.

Bill Turner (AMI) - Financement UNESCONuméro Spécial « Journal of Computer Supported Cooperative Work » (été 2006)



Objets de socio-informatique• Objets produits lors d’un traitement automatique des données y compris linguistiques

• Destinés à augmenter la réflexivité de l’action collective et à faciliter les liens sociaux

• L’annotation de l’usage des objets informationnels est réalisée avec ANVIL

Les objets en contexte

Les classes d’objets

Les objets dans le temps

Les objets dans les textes

Documents

Laboratoire dInformatique pour la Mécanique et les Sciences de lIngénieur Assistance à linteraction Modèles, Outils, Usages, Evaluation Jean-Paul Sansonnet