106
Virtualité augmentée et usage du son Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Phicons + Earcons = Phearcons Sylvain DAUDÉ Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Directrice de thèse : Laurence NIGAY Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG, Université de Grenoble

Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Embed Size (px)

Citation preview

Page 1: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Virtualité augmentée et usage du sonVirtualité augmentée et usage du sonPhicons + Earcons = PhearconsPhicons + Earcons = Phearcons

Sylvain DAUDÉSylvain DAUDÉ

Directrice de thèse : Laurence NIGAYDirectrice de thèse : Laurence NIGAY

Equipe Ingénierie de l’Interaction Homme-Machine (IIHM) Laboratoire CLIPS-IMAG, Université de Grenoble

Page 2: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 22

Plan de l'exposéPlan de l'exposé

• Domaine : virtualité augmentéeDomaine : virtualité augmentée

• Sujet : phearconsSujet : phearcons

• Démarche de travailDémarche de travail

• ContributionsContributions

• Etat d’avancementEtat d’avancement

Page 3: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 33

Plan de l'exposéPlan de l'exposé

• Domaine : virtualité augmentéeDomaine : virtualité augmentée

• Sujet : phearconsSujet : phearcons

• Démarche de travailDémarche de travail

• ContributionsContributions

• Etat d’avancementEtat d’avancement

Page 4: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 44

Monde physiqueMonde réel

Monde non-tangibleMonde numérique

Monde virtuel

• Graphisme assisté par ordinateur : Graphisme assisté par ordinateur : • Enrichissement de scènes virtuelles avec des images Enrichissement de scènes virtuelles avec des images

du monde réeldu monde réel

• Interaction Homme-Machine : Interaction Homme-Machine : • Enrichissement du monde réel avec de l’informatiqueEnrichissement du monde réel avec de l’informatique

• Deux approches pour relier les deux mondes :Deux approches pour relier les deux mondes :

Monde physique, monde numériqueMonde physique, monde numérique

Page 5: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 55

• Deux approches pour relier les deux mondesDeux approches pour relier les deux mondes• … … avec un objectif communavec un objectif commun

Monde physiqueMonde réel

Monde non-tangibleMonde numérique

Monde virtuel

Monde physique, monde numériqueMonde physique, monde numérique

Page 6: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 66

Monde physique, monde Monde physique, monde numérique :numérique :Objet de la tâche et InteractionObjet de la tâche et Interaction

Mondenumérique

Mondephysique

Objet de la tâche

Avec objetsphysiques

InteractionAvec objets numériques

Interactionphysique

Interactionnumérique

Réalitéaugmentée

Virtualitéaugmentée

Page 7: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 77

Monde physique, monde Monde physique, monde numérique :numérique :Objet de la tâche et InteractionObjet de la tâche et Interaction

Mondenumérique

Mondephysique

Objet de la tâche

Avec objetsphysiques

InteractionAvec objets numériques

Interactionphysique

Interactionnumérique

Réalitéaugmentée

Virtualitéaugmentée

Pixels miroir [Vernier 99]

Page 8: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 88

Monde physique, monde Monde physique, monde numérique :numérique :Objet de la tâche et InteractionObjet de la tâche et Interaction

Mondenumérique

Mondephysique

Objet de la tâche

Avec objetsphysiques

InteractionAvec objets numériques

Interactionphysique

Interactionnumérique

Réalitéaugmentée

Virtualitéaugmentée

Chirurgie guidée par l’image [Grimson 96]

Page 9: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 99

Avec objetsphysiques

Mondephysique

Mondenumérique

Objet de la tâche

InteractionAvec objets numériques

Interactionnumérique

Réalitéaugmentée

Virtualitéaugmentée

Mon domaine : Mon domaine : Virtualité AugmentéeVirtualité Augmentée

Interactionphysique

InteractionEntités

numériques

Entitésphysiques

Page 10: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1010

Mondenumérique

Mondephysique

Objet de la tâche

Avec objetsphysiques

InteractionAvec objets numériques

Interactionphysique

Interactionnumérique

Réalitéaugmentée

Virtualitéaugmentée

Mon domaine : Mon domaine : Virtualité Augmentée et son en Virtualité Augmentée et son en sortiesortie

InteractionEntités

numériques

Entitésphysiques

sources sonores

Page 11: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1111

Intérêt du son en sortie Intérêt du son en sortie en virtualité augmentéeen virtualité augmentée

• Manipulation de sons (non tangibles) avec Manipulation de sons (non tangibles) avec des entités physiques (tangibles)des entités physiques (tangibles)

Page 12: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1212

Intérêt du son en sortie Intérêt du son en sortie en virtualité augmentéeen virtualité augmentée

• Manipulation de sons (non tangibles) avec Manipulation de sons (non tangibles) avec des entités physiques (tangibles)des entités physiques (tangibles)

• Canal de communication supplémentaireCanal de communication supplémentairepour alléger ou remplacer le système visuelpour alléger ou remplacer le système visuel• situations mobilessituations mobiles• interfaces pour aveuglesinterfaces pour aveugles• retour d’informations dans les interfaces retour d’informations dans les interfaces

graphiquesgraphiques

Page 13: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1313

Intérêt du son en sortie Intérêt du son en sortie en virtualité augmentéeen virtualité augmentée

• Manipulation de sons (non tangibles) avec Manipulation de sons (non tangibles) avec des entités physiques (tangibles)des entités physiques (tangibles)

• Canal de communication supplémentaireCanal de communication supplémentairepour alléger ou remplacer le système visuelpour alléger ou remplacer le système visuel

• Ouie = outil d’analyseOuie = outil d’analyse• informations sonores simultanées : « effet informations sonores simultanées : « effet

cocktail »cocktail »• alertesalertes• données multidimensionnellesdonnées multidimensionnelles• motifs temporelsmotifs temporels

Page 14: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1414

Intérêt du son en sortie Intérêt du son en sortie en virtualité augmentéeen virtualité augmentée

• Manipulation de sons (non tangibles) avec des Manipulation de sons (non tangibles) avec des entités physiques (tangibles)entités physiques (tangibles)

• Canal de communication supplémentaireCanal de communication supplémentairepour alléger ou remplacer le système visuelpour alléger ou remplacer le système visuel

• Ouie = outil d’analyseOuie = outil d’analyse• Media d’ambiance : en arrière-planMedia d’ambiance : en arrière-plan

• sons en arrière-plan entendus uniquementsons en arrière-plan entendus uniquement• lorsque l’utilisateur choisit de s’y concentrerlorsque l’utilisateur choisit de s’y concentrer• lorsqu’un changement soudain intervient dans le sonlorsqu’un changement soudain intervient dans le son

• suivi des sons d’arrière-plan + activité principale suivi des sons d’arrière-plan + activité principale indépendanteindépendante

Page 15: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1515

Intérêt du son en sortie Intérêt du son en sortie en virtualité augmentéeen virtualité augmentée

• Manipulation de sons (non tangibles) avec des Manipulation de sons (non tangibles) avec des entités physiques (tangibles)entités physiques (tangibles)

• Canal de communication supplémentaireCanal de communication supplémentairepour alléger ou remplacer le système visuelpour alléger ou remplacer le système visuel

• Ouie = outil d’analyseOuie = outil d’analyse• Media d’ambiance : en arrière-planMedia d’ambiance : en arrière-plan• Sentiment d’immersion Sentiment d’immersion

ex : réalité virtuelleex : réalité virtuelle

Page 16: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1616

Plan de l’exposéPlan de l’exposé

• Domaine : virtualité augmentéeDomaine : virtualité augmentée

• Sujet : phearconsSujet : phearcons

• Démarche de travailDémarche de travail

• ContributionsContributions

• Etat d’avancementEtat d’avancement

Page 17: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1717

Phicons + Earcons = PhearconsPhicons + Earcons = Phearcons

• Phearcons = association Phearcons = association • d’objets physiques (d’objets physiques (phicons, physical icons [Ishii]phicons, physical icons [Ishii]))• avec des sources sonores spatialisées (avec des sources sonores spatialisées (earcons earcons

[Blattner][Blattner]) )

Queue d’impression

Niveau sonore chez Maman

Radio

Niveau sonore cafet

Page 18: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1818

Exemples d’applicationExemples d’application

• Suivi d’informations en arrière-planSuivi d’informations en arrière-plan• média d’ambiancemédia d’ambiance• effet cocktaileffet cocktail• passage du premier plan à l’arrière-plan en approchant passage du premier plan à l’arrière-plan en approchant

ou en éloignant l’objet physique correspondantou en éloignant l’objet physique correspondant

Page 19: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 1919

Exemples d’applicationExemples d’application

• Suivi d’informations en arrière-planSuivi d’informations en arrière-plan

• Composition Assistée par OrdinateurComposition Assistée par Ordinateur• manipulation directe de sources sonoresmanipulation directe de sources sonores

Page 20: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2020

Exemples d’applicationExemples d’application

• Suivi d’informations en arrière-planSuivi d’informations en arrière-plan

• Composition Assistée par OrdinateurComposition Assistée par Ordinateur

• AudioconférenceAudioconférence• intervenants représentés par leurs photosintervenants représentés par leurs photos• possibilité d’ « éteindre » momentanément un locuteurpossibilité d’ « éteindre » momentanément un locuteur• passage d’un groupe de discussion à un autrepassage d’un groupe de discussion à un autre

Page 21: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2121

ObjectifsObjectifs

• Caractériser et évaluer :Caractériser et évaluer :• l’interaction avec les Phearconsl’interaction avec les Phearcons• la spécification des Phearcons par l’utilisateurla spécification des Phearcons par l’utilisateur

Page 22: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2222

ObjectifsObjectifs

• Caractériser et évaluer :Caractériser et évaluer :• l’interaction avec les Phearconsl’interaction avec les Phearcons• la spécification des Phearcons par l’utilisateurla spécification des Phearcons par l’utilisateur

• Développer et évaluer à partir de cette Développer et évaluer à partir de cette caractérisation une plate-forme logicielle et caractérisation une plate-forme logicielle et matérielle de spécification et d’exécution des matérielle de spécification et d’exécution des PhearconsPhearcons

Page 23: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2323

Travaux relatifsTravaux relatifs

• Utilisation d’objets physiques et de médias Utilisation d’objets physiques et de médias d’ambianced’ambiance• Tangible Bits, Ambient Room [Ishii]Tangible Bits, Ambient Room [Ishii]

• "The smooth transition of users' focus "The smooth transition of users' focus of attention between background andof attention between background andforeground using ambient media andforeground using ambient media andgraspable objects is a key challenge ofgraspable objects is a key challenge ofTangible Bits."Tangible Bits."

Page 24: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2424

Travaux relatifsTravaux relatifs

• Utilisation d’objets physiques et de médias Utilisation d’objets physiques et de médias d’ambianced’ambiance• Tangible Bits, Ambient Room [Ishii]Tangible Bits, Ambient Room [Ishii]

• "The smooth transition of users' focus "The smooth transition of users' focus of attention between background andof attention between background andforeground using ambient media andforeground using ambient media andgraspable objects is a key challenge ofgraspable objects is a key challenge ofTangible Bits."Tangible Bits."

Page 25: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2525

Travaux relatifsTravaux relatifs

• Utilisation d’objets physiques et de médias Utilisation d’objets physiques et de médias d’ambianced’ambiance

• Suivi d’informations sonores en arrière-planSuivi d’informations sonores en arrière-plan• [Conversy] [Conversy] : : sources sonores sources sonores

écologiquesécologiques• AROMA [Pedersen] AROMA [Pedersen] : : conscience de groupeconscience de groupe• [Malandrino] [Malandrino] : : état du réseauétat du réseau

Page 26: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2626

Classification des PhearconsClassification des Phearcons

Mondenumérique

Mondephysique

Avec objetsphysiques

Avec objets numériques

Interactionphysique

Interactionnumérique

Réalitéaugmentée

Virtualitéaugmentée

Objet de la tâche

Interaction

Page 27: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2727

Classification des PhearconsClassification des Phearcons

Lien entre le monde physique et le monde numérique

Statique

Dynamique

Mondenumérique

Mondephysique

Avec objetsphysiques

Avec objets numériques

Objet de la tâche

Interaction

Page 28: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2828

Plan de l'exposéPlan de l'exposé

• Domaine : virtualité augmentéeDomaine : virtualité augmentée

• Sujet : phearconsSujet : phearcons

• Démarche de travailDémarche de travail

• ContributionsContributions

• Etat d’avancementEtat d’avancement

Page 29: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 2929

Démarche de travailDémarche de travail

Justification théorique :propriétés ergonomiques

Justification expérimentale :magicien d’oz

Règles de conceptionpour l’interaction

Expérimentations

Phearcons

Processus de sonification

Architecture logicielle

Paramètres de conceptionpour la spécification

Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons

InteractionSpécificatio

n

Page 30: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3030

Plan de l'exposéPlan de l'exposé

• Domaine : virtualité augmentéeDomaine : virtualité augmentée

• Sujet : phearconsSujet : phearcons

• Démarche de travailDémarche de travail

• Contributions :Contributions :

• interaction avec les phearcons : justification théorique et interaction avec les phearcons : justification théorique et

expérimentaleexpérimentale

• spécification des phearcons : processus de sonificationspécification des phearcons : processus de sonification

• plate-forme de définition et d’exécution des phearconsplate-forme de définition et d’exécution des phearcons

• Etat d’avancementEtat d’avancement

Page 31: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3131

Spécification

Expérimentations

Phearcons

Processus de sonification

Architecture logicielle

Paramètres de conceptionpour la spécification

Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons

Interaction avec les Phearcons : Interaction avec les Phearcons : justification théorique et justification théorique et expérimentaleexpérimentale

Justification théorique :propriétés ergonomiques

Justification expérimentale :magicien d’oz

Règles de conceptionpour l’interaction

Interaction

Page 32: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3232

Propriétés ergonomiques [Scapin 86]Propriétés ergonomiques [Scapin 86]

• AdaptabilitéAdaptabilité• L’utilisateur choisit les objets et les sons les plus L’utilisateur choisit les objets et les sons les plus

pertinents par rapport aux informations diffusées.pertinents par rapport aux informations diffusées.• Il positionne les objets selon son but et sa tâche Il positionne les objets selon son but et sa tâche

courants.courants.

Page 33: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3333

• AdaptabilitéAdaptabilité• FamiliaritéFamiliarité

• L’utilisateur s’entoure d’un environnement familier.L’utilisateur s’entoure d’un environnement familier.

Propriétés ergonomiques [Scapin Propriétés ergonomiques [Scapin 86]86]

Page 34: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3434

• AdaptabilitéAdaptabilité• FamiliaritéFamiliarité• Concision de la manipulation des sources Concision de la manipulation des sources

sonoressonores• L’utilisateur manipule directement les sources L’utilisateur manipule directement les sources

sonores.sonores.• ex : déplacer-déposer une source sonoreex : déplacer-déposer une source sonore

Propriétés ergonomiques [Scapin Propriétés ergonomiques [Scapin 86]86]

Page 35: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3535

• AdaptabilitéAdaptabilité• FamiliaritéFamiliarité• Concision de la manipulation des sources Concision de la manipulation des sources

sonoressonores• Interaction multifilaire avec les sources sonoresInteraction multifilaire avec les sources sonores

• L ’utilisateur manipule plusieurs sources simultanémentL ’utilisateur manipule plusieurs sources simultanément• Il suit plusieurs sources d ’informations simultanémentIl suit plusieurs sources d ’informations simultanément

Propriétés ergonomiques [Scapin Propriétés ergonomiques [Scapin 86]86]

Page 36: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3636

• AdaptabilitéAdaptabilité• FamiliaritéFamiliarité• Concision de la manipulation des sources sonoresConcision de la manipulation des sources sonores• Interaction multifilaire avec les sources sonoresInteraction multifilaire avec les sources sonores• Observabilité des sources sonoresObservabilité des sources sonores

par leur meilleure discriminationpar leur meilleure discrimination• effet cocktaileffet cocktail• spatialisationspatialisation• association objet-son -> meilleure mémorisation association objet-son -> meilleure mémorisation

de la nature et de l’emplacement des sources sonoresde la nature et de l’emplacement des sources sonores

Propriétés ergonomiques [Scapin Propriétés ergonomiques [Scapin 86]86]

Page 37: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3737

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :motivationmotivation

• Validation d’hypothèses théoriquesValidation d’hypothèses théoriques• utilisabilitéutilisabilité

• satisfaction des utilisateurs ?satisfaction des utilisateurs ?• association naturelle entre objet et son ?association naturelle entre objet et son ?• simplicité d’utilisation ?simplicité d’utilisation ?• discrimination des sources sonores ?discrimination des sources sonores ?

• utilitéutilité• efficacité pour le suivi de sources sonores en arrière-efficacité pour le suivi de sources sonores en arrière-

plan ?plan ?

Page 38: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3838

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :motivationmotivation

• Validation d’hypothèses théoriquesValidation d’hypothèses théoriques• Règles de conception pour une plate-formeRègles de conception pour une plate-forme

• nature du lien entre objets et sources nature du lien entre objets et sources d’informationsd’informations

• actions possibles et souhaitablesactions possibles et souhaitables• caractéristiques souhaitées des sources sonorescaractéristiques souhaitées des sources sonores

Page 39: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 3939

• 11 sujets11 sujets• non experts et non informaticiensnon experts et non informaticiens• âgés de 26 ans en moyenneâgés de 26 ans en moyenne• recrutés par bouche à oreillerecrutés par bouche à oreille

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :protocole expérimentalprotocole expérimental

Page 40: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4040

Son + image

Contrôle des sources sonores

Complice

Sujet

Magicien

Son spatialisé 5.1

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :protocole expérimentalprotocole expérimental

Page 41: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4141

Pression artérielle (alerte)

Respiration (continu)

Radio (continu)

Météo (toutes les 5 minutes)

Bébé à la maison (continu)

Rôle d’infirmier

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :sources sonores présentées aux sources sonores présentées aux sujetssujets

Page 42: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4242

• Choix de l’objet à associer à chaque sonChoix de l’objet à associer à chaque son• effectué parmi un ensemble d’objetseffectué parmi un ensemble d’objets

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :phase de calibrationphase de calibration

Page 43: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4343

• Choix de l’objet à associer à chaque sonChoix de l’objet à associer à chaque son• Choix des commandesChoix des commandes

• modalités proposées : modalités proposées : • voix, gestes, manipulations de l’objet, combinaison de voix, gestes, manipulations de l’objet, combinaison de

modalitésmodalités

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :phase de calibrationphase de calibration

Page 44: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4444

• Choix de l’objet à associer à chaque sonChoix de l’objet à associer à chaque son• Choix des commandesChoix des commandes

• modalités proposéesmodalités proposées• commandes pour chaque source sonore :commandes pour chaque source sonore :

• arrêter / jouer le sonarrêter / jouer le son• augmenter / diminuer le volumeaugmenter / diminuer le volume• faire venir le son de partout / de la direction de la sourcefaire venir le son de partout / de la direction de la source

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :phase de calibrationphase de calibration

Page 45: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4545

• Choix de l’objet à associer à chaque sonChoix de l’objet à associer à chaque son• Choix des commandesChoix des commandes

• modalités proposéesmodalités proposées• commandes pour chaque source sonorecommandes pour chaque source sonore• commandes pour toutes les sources sonores à la fois :commandes pour toutes les sources sonores à la fois :

• arrêter / jouer les sonsarrêter / jouer les sons

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :phase de calibrationphase de calibration

Page 46: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4646

Appeler chez soi si anomalie bébé

Saisir des feuilles de soin

Appeler un médecin si anomalie pression/respiration

Noter les variations de pression

Répondre aux appels

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :phase d’expérimentationphase d’expérimentation

Page 47: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4747

• Questionnaire avec réponses ouvertes et Questionnaire avec réponses ouvertes et ferméesfermées

• Entretien à la fin de l’expérimentationEntretien à la fin de l’expérimentation

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :recueil des résultatsrecueil des résultats

Page 48: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4848

• 10 des 11 sujets apprécient ce mode 10 des 11 sujets apprécient ce mode d’interactiond’interaction

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :principaux résultatsprincipaux résultats

Page 49: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 4949

• 10 des 11 sujets apprécient ce mode 10 des 11 sujets apprécient ce mode d’interactiond’interaction

• ils apprécient de pouvoir suivre des informations ils apprécient de pouvoir suivre des informations tout en faisant autre chosetout en faisant autre chose

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :principaux résultatsprincipaux résultats

Page 50: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5050

• 10 des 11 sujets apprécient ce mode 10 des 11 sujets apprécient ce mode d’interactiond’interaction

• ils apprécient de pouvoir suivre des informations ils apprécient de pouvoir suivre des informations tout en faisant autre chosetout en faisant autre chose

• ils sont à l’aise avec les associations objets / sonsils sont à l’aise avec les associations objets / sons

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :principaux résultatsprincipaux résultats

Page 51: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5151

• 10 des 11 sujets apprécient ce mode 10 des 11 sujets apprécient ce mode d’interactiond’interaction

• cependantcependant

• ils ont des difficultés à se souvenir des commandes ils ont des difficultés à se souvenir des commandes choisies (mais pas des objets choisis) choisies (mais pas des objets choisis)

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :principaux résultatsprincipaux résultats

Page 52: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5252

• Association information-objetAssociation information-objet• apparence de l’objet rappelant la sémantiqueapparence de l’objet rappelant la sémantique

de l’informationde l’information

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception déduitesrègles de conception déduites

Page 53: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5353

• Association information-objetAssociation information-objet• Actions possiblesActions possibles

• objets suggérant des manipulationsobjets suggérant des manipulations• 3D, taille de la main, boutons3D, taille de la main, boutons

• manipulations possiblesmanipulations possibles• manipulation de boutons, déplacement dans zonesmanipulation de boutons, déplacement dans zones

• tâches souhaitablestâches souhaitables• rejouer dernière séquence de sonrejouer dernière séquence de son• jouer son de tous les haut-parleursjouer son de tous les haut-parleurs

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception déduitesrègles de conception déduites

Page 54: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5454

• Association information-objetAssociation information-objet• Actions possiblesActions possibles• Sources sonoresSources sonores

• sons facilement identifiablessons facilement identifiables• sons suivis émis ponctuellement sons suivis émis ponctuellement

• régulièrement / lors d’événementsrégulièrement / lors d’événements

• si la source est rendue muette par l’utilisateursi la source est rendue muette par l’utilisateur• événements observables de manière non auditiveévénements observables de manière non auditive

• si la source est muette sans avoir été éteinte par si la source est muette sans avoir été éteinte par l’utilisateurl’utilisateur

• possibilité d’avoir un diagnostic de pannepossibilité d’avoir un diagnostic de panne• manipulation préconisée : secouer l’objet correspondantmanipulation préconisée : secouer l’objet correspondant

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception déduitesrègles de conception déduites

Page 55: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5555

Spécification des phearconsSpécification des phearcons

Justification théorique :propriétés ergonomiques

Justification expérimentale :magicien d’oz

Règles de conceptionpour l’interaction

Interaction

Expérimentations

Phearcons

Processus de sonification

Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons

Spécification

Paramètres de conceptionpour la spécification

Architecture logicielle

Page 56: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5656

Comment spécifier les Phearcons ?Comment spécifier les Phearcons ?

Source d’informations

Objet physique Son

Indiquer l’objet

Indiquer lien vers la source

???

Paramètres caractérisant la transformation d’informations en sons (sonification)

Page 57: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5757

Comment obtenir des paramètres Comment obtenir des paramètres de conception pour la sonification ?de conception pour la sonification ?

• Adapter le processus de visualisation de Ed Adapter le processus de visualisation de Ed Chi Chi [Chi ’00] à la sonification[Chi ’00] à la sonification

• structuration du processus de sonification en structuration du processus de sonification en étapes d’abstractionétapes d’abstraction

• identification de paramètres de conception pour identification de paramètres de conception pour chaque étape de sonificationchaque étape de sonification

Page 58: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5858

Processus de visualisation de Chi :Processus de visualisation de Chi :transformation des donnéestransformation des données

DonnéesCLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

Ensemble dedocuments

Abstraction analytique :Vue sur les données

Transformation des données

Liste dedocuments

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

Abstraction de visualisation :Espace visuel abstrait

Transformation de visualisation

Vue :Vue sur l’espace

Transformation de réalisation visuelle

Page 59: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 5959

Liste dedocuments

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

Espace 2D

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

Abstraction analytique :Vue sur les données

Transformation des données

Abstraction de visualisation :Espace visuel abstrait

Transformation de visualisation

Vue :Vue sur l’espace

Transformation de réalisation visuelle

Processus de visualisation de Chi :Processus de visualisation de Chi :transformation de visualisationtransformation de visualisation

Données

Page 60: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6060

Vue déformée

Processus de visualisation de Chi :Processus de visualisation de Chi :transformation de réalisation transformation de réalisation visuellevisuelle

Abstraction analytique :Vue sur les données

Transformation des données

Abstraction de visualisation :Espace visuel abstrait

Transformation de visualisation

Vue :Vue sur l’espace

Transformation de réalisation visuelle

Espace 2D

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

CLIPS CLIPSCLIPS CLIPSCLIPS CLIPSCLIPS CLIPS

Données

Page 61: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6161

Processus de sonification :Processus de sonification :transformation des donnéestransformation des données

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

Image

Suite de colonnesde pixels

. . .

Page 62: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6262

. . .

Niveau de gris = intensitéOrdonnée = hauteur

Séquence de sons. . .

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

Processus de sonification :Processus de sonification :transformation de sonificationtransformation de sonification

Page 63: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6363

Séquence de sons. . .

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

Processus de sonification :Processus de sonification :transformation de diffusiontransformation de diffusion

Page 64: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6464

Transformation des donnéesTransformation des données

• Commun avec la Commun avec la visualisationvisualisation

• Dépendant Dépendant • des donnéesdes données• de la sémantique des de la sémantique des

donnéesdonnées• de la tâche de l’utilisateur de la tâche de l’utilisateur

finalfinal• ex : ex : AROMA [Pedersen]AROMA [Pedersen]

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

Page 65: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6565

• Espace sonore abstraitEspace sonore abstrait• = espace euclidien= espace euclidien• = 1 point sans spatialisation= 1 point sans spatialisation• son abstrait =son abstrait =

• duréedurée• traits acoustiques variant pendant cette traits acoustiques variant pendant cette

duréedurée

Transformation de sonification :Transformation de sonification :espace sonore abstraitespace sonore abstrait

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

Page 66: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6666

Transformation de sonification :Transformation de sonification :deux niveaux de sonificationdeux niveaux de sonification

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de Deux niveaux de

sonificationsonification• 1 donnée1 donnée 1 son 1 son

Page 67: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6767

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de Deux niveaux de

sonificationsonification• 1 donnée 1 son• 1 ens. données1 ens. données 1 ens. 1 ens.

sonssons

Transformation de sonification :Transformation de sonification :deux niveaux de sonificationdeux niveaux de sonification

Page 68: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6868

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de Deux niveaux de

sonificationsonification• 1 donnée 1 son• 1 ens. données 1 ens.

sons

Transformation de sonification :Transformation de sonification :représentation d’un ensemble de représentation d’un ensemble de donnéesdonnées

Page 69: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 6969

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de sonificationDeux niveaux de sonification

• 1 donnée1 donnée 1 son 1 son

Son spatialisé :Son spatialisé :• sémantique position sémantique position sémantique sémantique

du sondu son• spatialisation analogique par spatialisation analogique par

rapport à un phénomènerapport à un phénomène• sonore : cathédralesonore : cathédrale• non sonore : non sonore : Diary in the Sky Diary in the Sky

[Walker][Walker]

Transformation de sonification :Transformation de sonification :représentation d’une donnéereprésentation d’une donnée

Page 70: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7070

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

RDV à 15h

Transformation de sonification :Transformation de sonification :représentation d’une donnéereprésentation d’une donnée

• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de sonificationDeux niveaux de sonification

• 1 donnée1 donnée 1 son 1 son

Page 71: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7171

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de Deux niveaux de

sonificationsonification• 1 donnée 1 son• 1 ens. données1 ens. données 1 ens. 1 ens.

sonssons

Transformation de sonification :Transformation de sonification :représentation d’un ensemble de représentation d’un ensemble de donnéesdonnées

Page 72: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7272

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

Transformation de sonification :Transformation de sonification :représentation d’un ensemble de représentation d’un ensemble de donnéesdonnées

Même endroit

Endroits différents

Simultané Alterné

Colonne de pixels

Sonstéréo

Diary in the Sky

Synthèsevocale

Espace

Temps

• Espace sonore abstraitEspace sonore abstrait• Deux niveaux de sonificationDeux niveaux de sonification

• 1 donnée 1 son• 1 ens. données1 ens. données 1 ens. 1 ens.

sonssons

Coordination des sons de Coordination des sons de l’ensemble de sonsl’ensemble de sons

Page 73: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7373

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

Transformation de diffusionTransformation de diffusion

• Transformation en 4 étapesTransformation en 4 étapes(i) choix du point de vue sur (i) choix du point de vue sur

l’espace sonore abstraitl’espace sonore abstrait

(ii) espace sonore -> paramètres (ii) espace sonore -> paramètres pour le dispositif de rendupour le dispositif de rendu

(iii) paramètres pour le dispositif (iii) paramètres pour le dispositif de rendu -> signal sonorede rendu -> signal sonore

(iv) signal sonore -> son (iv) signal sonore -> son physiquephysique

Page 74: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7474

Données

Abstraction analytique :Vue sur les données

Transformation des données

Rendu sonore

Transformation de diffusion

Transformation de sonification

Abstraction de sonification :Espace sonore abstrait

Transformation de diffusionTransformation de diffusion

• Transformation en 4 étapesTransformation en 4 étapes• Dispositif physiqueDispositif physique

• précision sonoreprécision sonore• degré de spatialitédegré de spatialité• répartition géom. des haut-parleursrépartition géom. des haut-parleurs• degré de partagedegré de partage• liberté de déplacementliberté de déplacement• degré d’immersiondegré d’immersion• ex : ex : Soundbeam Soundbeam

Neckset [Sawhney]Neckset [Sawhney]

Page 75: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7575

Earcons de Blattner

Earcons sériede Brewster

Earcons parall.de Brewster

Param.Système

Sonnerie (dép.de l’appelant)

Sonnerie (indép.de l’appelant)

Oui

Oui

Oui

Gram-maire

Non

Non

...

...

...

Données àsonifier

X appelle

Quelqu’unappelle

Synthétique

Musical

Musical

Nature du son

...

...

Alterné

Alterné

Simultané

Simultané /alterné

...

...

• Exemple : la catégorie des « earcons »Exemple : la catégorie des « earcons »

Contributions (a) classificationContributions (a) classification

Page 76: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7676

• Identification d’étapes de conceptionIdentification d’étapes de conception

Contributions (b) aide à la Contributions (b) aide à la conceptionconception

Page 77: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7777

• Identification d’étapes de conceptionIdentification d’étapes de conception

• Identification de paramètres de conceptionIdentification de paramètres de conceptionà chaque étape :à chaque étape :

• guide pour la conceptionguide pour la conception

• fondation pour intégrer et générer des heuristiques fondation pour intégrer et générer des heuristiques de conceptionde conception

• sonifications dépendantes du contextesonifications dépendantes du contexte

Contributions (b) aide à la Contributions (b) aide à la conceptionconception

Page 78: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7878

• Paramètres identifiés permettant la spécification Paramètres identifiés permettant la spécification des sources sonoresdes sources sonores

• spécification grâce à une interface graphique : spécification grâce à une interface graphique : la plateforme en cours de développementla plateforme en cours de développement

Spécification des PhearconsSpécification des Phearcons

Données

Abstraction analytique :Vue sur les données

Abstraction de sonification :Espace sonore abstrait

Rendu sonore

Transformation des données

Transformation de sonification

Transformation de diffusion

Source d’informations

Objet physique Son

Montrer objet devant caméra

Indiquer URL ou périphérique

???

Page 79: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 7979

Plate-forme logicielle et matériellePlate-forme logicielle et matériellede spécification et d’exécutionde spécification et d’exécution

Justification théorique :propriétés ergonomiques

Justification expérimentale :magicien d’oz

Règles de conceptionpour l’interaction

InteractionSpécificatio

n

Expérimentations

Phearcons

Processus de sonification

Architecture logicielle

Paramètres de conceptionpour la spécification

Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons

Page 80: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8080

Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons

Caméra + projecteur

• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur

[Bérard][Bérard]

Page 81: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8181

Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons

Caméra + projecteur

• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur

[Bérard][Bérard]

• Si objet déplacé :Si objet déplacé :

Page 82: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8282

Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons

Caméra + projecteur

Radio FMEtat : actif

• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur

[Bérard][Bérard]

• Si objet déplacé :Si objet déplacé :• informations contextuelles projetéesinformations contextuelles projetées

Page 83: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8383

Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons

Caméra + projecteur

Radio FMEtat : actif

• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur

[Bérard][Bérard]

• Si objet déplacé :Si objet déplacé :• informations contextuelles projetéesinformations contextuelles projetées• son caractéristique jouéson caractéristique joué

Page 84: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8484

Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons

• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur

[Bérard][Bérard]

• Si objet déplacé :Si objet déplacé :• informations contextuelles projetéesinformations contextuelles projetées• son caractéristique jouéson caractéristique joué

• 4 zones de volume4 zones de volume

max

med.

min

off

Radio FMEtat : actif

Caméra + projecteur

Page 85: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8585

Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons

• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur

[Bérard][Bérard]

• Si objet déplacé :Si objet déplacé :• informations contextuelles projetéesinformations contextuelles projetées• son caractéristique jouéson caractéristique joué

• 4 zones de volume4 zones de volume

• zone Historique (H)zone Historique (H)

max

med.

min

off

Radio FMEtat : actif

Caméra + projecteur

H

Page 86: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8686

Plateforme en cours de Plateforme en cours de développement :développement :interaction avec les phearconsinteraction avec les phearcons

Surround

• Suivi des objets : vision par ordinateur Suivi des objets : vision par ordinateur

[Bérard][Bérard]

• Si objet déplacé :Si objet déplacé :• informations contextuelles projetéesinformations contextuelles projetées• son caractéristique jouéson caractéristique joué

• 4 zones de volume4 zones de volume

• zone Historique (H)zone Historique (H)

• zone Surroundzone Surround max

med.

min

off

Radio FMEtat : actif

Caméra + projecteur

H

Page 87: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8787

Plateforme en cours de Plateforme en cours de développement :développement :spécification des phearconsspécification des phearcons

Page 88: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8888

Plateforme en cours de Plateforme en cours de développement :développement :spécification des phearconsspécification des phearcons

Page 89: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 8989

Plateforme en cours de Plateforme en cours de développement :développement :spécification des phearconsspécification des phearcons

Page 90: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9090

Plateforme en cours de Plateforme en cours de développement :développement :spécification des phearconsspécification des phearcons

Page 91: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9191

• Code de chaque Phearcon généré selon ARCH Code de chaque Phearcon généré selon ARCH [UIMS’92][UIMS’92]

NF

ANF

CD

PL

PP

Plateforme en cours de Plateforme en cours de développement :développement :spécificationspécification

Page 92: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9292

• Code de chaque Phearcon généré selon ARCH Code de chaque Phearcon généré selon ARCH [UIMS’92][UIMS’92]

NF

ANF

CD

PL

PP

Plateforme en cours de Plateforme en cours de développement :développement :spécificationspécification

Page 93: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9393

• Code de chaque Phearcon généré selon ARCH Code de chaque Phearcon généré selon ARCH [UIMS’92][UIMS’92]

NF

ANF

CD

PL

PP

Plateforme en cours de Plateforme en cours de développement :développement :spécificationspécification

Page 94: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9494

• Code de chaque Phearcon généré selon ARCH Code de chaque Phearcon généré selon ARCH [UIMS’92][UIMS’92]

NF

ANF

CD

PL

PP

Plateforme en cours de Plateforme en cours de développement :développement :spécificationspécification

Page 95: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9595

• Code de chaque Phearcon généré selon ARCH Code de chaque Phearcon généré selon ARCH [UIMS’92][UIMS’92]

Données

Abstraction analytique :

Vue sur les données

Abstraction de sonification :Espace sonore abstrait

Rendu sonore

Transformation des données

Transformation de sonification

Transformation de diffusion NF

ANF

CD

PL

PP

Plateforme en cours de Plateforme en cours de développement :développement :spécificationspécification

Page 96: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9696

• Code de chaque Phearcon généré selon ARCH Code de chaque Phearcon généré selon ARCH [UIMS’92][UIMS’92]

• Spécification d’une PhearconSpécification d’une Phearcon= configuration de chaque niveau de l’arche= configuration de chaque niveau de l’arche

Données

Abstraction analytique :

Vue sur les données

Abstraction de sonification :Espace sonore abstrait

Rendu sonore

Transformation des données

Transformation de sonification

Transformation de diffusion NF

ANF

CD

PL

PP

Plateforme en cours de Plateforme en cours de développement :développement :spécificationspécification

Page 97: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9797

Plan de l'exposéPlan de l'exposé

• Domaine : virtualité augmentéeDomaine : virtualité augmentée

• Sujet : phearconsSujet : phearcons

• Démarche de travailDémarche de travail

• ContributionsContributions

• Etat d’avancementEtat d’avancement

Page 98: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9898

Etat d’avancementEtat d’avancement

Spécification

Expérimentations

Phearcons

Processus de sonification

Architecture logicielle

Paramètres de conceptionpour la spécification

Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons

en coursen cours

Justification théorique :propriétés ergonomiques

Justification expérimentale :magicien d’oz

Règles de conceptionpour l’interaction

Interaction

Page 99: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 9999

Etat d’avancementEtat d’avancement

• Plateforme en cours de développementPlateforme en cours de développement

• tracking visueltracking visuel : : okok• routines sonores routines sonores : : okok• interface graphique de spécificationinterface graphique de spécification : : fin en fin en

févrierfévrier

Page 100: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 100100

Ce qui reste à faire...Ce qui reste à faire...

• Expérimentations utilisant notre plateforme : Expérimentations utilisant notre plateforme : mars à maimars à mai

• utilité des paramètres de sonificationutilité des paramètres de sonification• sonification d’informations contextuelles avec Gaëtan sonification d’informations contextuelles avec Gaëtan

ReyRey• ex : activité de groupeex : activité de groupe

• utilisation de longue durée (2 mois) avec des sources utilisation de longue durée (2 mois) avec des sources distantesdistantes

Page 101: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 101101

Ce qui reste à faire...Ce qui reste à faire...

• Expérimentations utilisant notre plateforme : Expérimentations utilisant notre plateforme : mars à maimars à mai

• Rédaction du mémoire : mai à aoûtRédaction du mémoire : mai à août• envoi de la thèse le 31 août, soutenance fin octobreenvoi de la thèse le 31 août, soutenance fin octobre

Page 102: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 102102

PublicationsPublications

Justification théorique :propriétés ergonomiques

Justification expérimentale :magicien d’oz

Règles de conceptionpour l’interaction

InteractionSpécificatio

n

Expérimentations

Phearcons

Architecture logicielle

Paramètres de conceptionpour la spécification

Plate-forme matérielle et logicielle d’exécution et de spécification des phearcons

Doct. cons. CHI ’04 (soumis)Doct. cons. CHI ’04 (soumis)

ICAD ’04 (soumis)ICAD ’04 (soumis)

Ubiquité Mobilité ’04 (soumis)Ubiquité Mobilité ’04 (soumis)

Processus de sonification

IHM ’02IHM ’02ICAD ’03ICAD ’03

début marsdébut marsinformations contextuellesinformations contextuellesInfo’Vis 04Info’Vis 04

mars-mai :mars-mai :• utilité paramètres sonificationutilité paramètres sonification• utilisation longue durée utilisation longue durée

Page 103: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 103103

Merci pour votre attention !Merci pour votre attention !

des questions ?

Page 104: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 104104

• Association information-objetAssociation information-objet• apparence de l’objet rappelant la sémantiqueapparence de l’objet rappelant la sémantique

de l’information de l’information (charge (charge informationnelle)informationnelle)

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception déduitesrègles de conception déduites

Page 105: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 105105

• Association information-objetAssociation information-objet• Actions possiblesActions possibles

• objets suggérant des manipulationsobjets suggérant des manipulations• 3D, taille de la main, boutons 3D, taille de la main, boutons

(affordance)(affordance)

• manipulations possiblesmanipulations possibles• manipulation de boutons, déplacement dans zones manipulation de boutons, déplacement dans zones

(concision + charge (concision + charge informationnelle)informationnelle)

• tâches souhaitablestâches souhaitables• rejouer dernière séquence de son rejouer dernière séquence de son

(observabilité)(observabilité)• jouer son de tous les haut-parleurs jouer son de tous les haut-parleurs

("satisfaction")("satisfaction")

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception déduitesrègles de conception déduites

Page 106: Virtualité augmentée et usage du son Phicons + Earcons = Phearcons Sylvain DAUDÉ Directrice de thèse : Laurence NIGAY Equipe Ingénierie de lInteraction

Journée des thèses - 29 janvier 2004 - Journée des thèses - 29 janvier 2004 - 106106

• Association information-objetAssociation information-objet• Actions possiblesActions possibles• Sources sonores Sources sonores (observabilité + honnêteté)(observabilité + honnêteté)

• sons facilement identifiablessons facilement identifiables• sons suivis émis ponctuellement sons suivis émis ponctuellement

• régulièrement / lors d’événementsrégulièrement / lors d’événements

• si la source est rendue muette par l’utilisateursi la source est rendue muette par l’utilisateur• événements observables de manière non auditive événements observables de manière non auditive (équivalence)(équivalence)

• si la source est muette sans avoir été éteinte par l’utilisateursi la source est muette sans avoir été éteinte par l’utilisateur• possibilité d ’avoir un diagnostic de pannepossibilité d ’avoir un diagnostic de panne• manipulation préconisée : secouer l’objet correspondantmanipulation préconisée : secouer l’objet correspondant

Expérimentations Magicien d’Oz :Expérimentations Magicien d’Oz :règles de conception déduitesrègles de conception déduites