1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002

1

Concepts liés au son,usage du son dans les IHM, mon projet de recherche

Sylvain DaudéEquipe IIHM7 mars 2002

2

Plan de l ’exposé

Concepts sur le son

Usage de sons dans les IHM

Mon projet de recherche

3

De la vibration acoustiqueau signal sonore

• Son = sensation auditive engendrée par une vibration acoustique

• Enregistrement de la vibration par un capteur de pression

=> pression en fonction du temps = signal sonoreassimilé à la vibration acoustique

pression

temps

4

Mécanismes de la « sensation auditive » (1/3)

• Mécanismes mis en jeu dans la sensation auditive :

• localisation de la source du son

• azimut = direction dans un plan horizontal• élévation = direction dans un plan vertical• distance• diffusion, orientation, occlusion, dynamique des sources …

=> séparation de sources provenant d’endroits différents

• processus actif : mouvements de la tête, « effet cocktail »

5



• identification de la source

• comparaison du son à des archétypes de sources sonores + recherche de corrélation entre les sources

=> séparation des sources provenant du même endroit(« effet cocktail »)

=> classification des sources en catégories => assignation d’une sémantique aux sources

• intervention des autres sens

6



• analyse qualitative du son

• hauteur (fréquence du signal sonore)

• timbre = texture sonore• couleur (composition en fréquences)• aspects dynamiques (attaque, extinction, évolution fréq.)

• intensité sonore (amplitude du signal sonore)

• composition des sons (enchaînement temporel, consonance)

7

Apport du sonpar rapport à la vision (1/2)

• Canal supplémentaire :

• plus d’informations à la fois• décharge cognitive lorsque plusieurs canaux sensoriels sont utilisés• média d ’ambiance :

• disponible en permanence• ne nécessite pas d ’action physique• zone de perception plus étendue que devant un écran par ex.

• utile lorsque les autres canaux sont saturés ou indisponibles(ex : canal visuel : petits écrans, temps de brouillard, cockpits)

8

Apport du sonpar rapport à la vision (2/2)

• Outil d ’analyse

• Timbre + localisation = information multidimensionnelle

=> analyse de données multidimensionnelles

• Analyse de corrélations temporelles

9

Les limites du son

• Pas de possibilité d’arrêt sur image (par ex, difficile de comparer deux sons longs)

• Imprécision de l’analyse du son pour les sons non parlés (en général, nécessité de revenir à l ’information première)

• Fatigue pour les sons fréquents ou répétitifs

=> à utiliser avec modération et à propos

10

Représentationsdu son (1/3)

• Représentation temporelle = signal sonore

+ représentation utilisable pour l’enregistrement et la synthèseaccès à l’intensité et au temps

- pas d ’accès à la hauteur ni au timbre

Solution : faire intervenir la fréquences

amplitude

temps

11


• Représentation fréquentielle

+ Représentation fidèle et réversibleOpérations mathématiques facilitéesAccès à la hauteur (= fréquence)

- Disparition du tempsInstabilité par rapport à la représentation temporelleInadaptation au temps réel

Solution : Faire intervenir à la fois le temps et la fréquence

amplitude (complexe)

fréquence

12


• Représentation temps-fréquence

+ « Visualisation » du son(hauteur, timbre, intensité, temps)

- Représentations spécialisées :

• en visualisation (non linéaires : WignerVille…)• en traitement du signal (linéaires : ondelettes…)

Nécessité d ’un compromis dans les échellestemps-fréquence (Heisenberg)

fréquence

temps

13

Ex 1 : représentation temps-fréquence de sons périodiques

Son de clarinette La fondamentale de ce son

Fondamentale

Deux processus perceptifs concurrents pour la hauteur :

• la fréquence de la fondamentale (ex : son de la fondamentale)• l’intervalle entre les harmoniques (ex : transistors)

Harmoniques= fréquencesmultiples de lafondamentale

14

Ex 2 : représentation temps-fréquence de sons voisés

i é è

Fondamentale = hauteur duson (partie voisée)

Formants déterminent lavoyelle (leur répartitiondépend du sexe et du registre)

Partie bruitée instable,étalée en fréquences=> hauteur ambiguë

p t k

Voyelles :

Consonnes :

15

Ex 3 : représentation temps-fréquence d’autres sons

Son de percussion : étalé en fréquence, pas de sensation nette de hauteur

Illusion de Shepard-Risset : ambiguïté dans la perception de la hauteur

16


Concepts sur le son



17

Usage du sondans les IHM

Son en entrée : information ou bruit

• traitement de signaux sonores

Son en sortie : [Pressing, 1997]

• artistique (informatique musicale)• environnemental (jeux, réalité virtuelle)• informatif (monitoring, feedback, auralisation)

Hors IHM : stockage d ’enregistrements, psycho-acoustique...

18

Classification des sonsinformatifs (1/4)

• L’information de référence est sonore : multimédia

• L’information n’est pas sonore : traduction sonore de l’information = sonification

• Synthèse de parole

19




• Auditory Icons (Gaver) : sons analogiques

+ intuitif

- difficile à réaliser techniquement, design

20




• Earcons (Blattner) : sons arbitraires organisés selon une grammaire arbitraire

+ simple à réaliser

- nécessité d’apprentissage, grammaire limitée

21



• L’information n’est pas sonore : traduction sonore de l’information= sonification

• Fonction de correspondance de paramètres :transfert de la structure de l’information vers la structure du son

+ sonification la plus proche de l ’information

- paramètres structurels significatifs dans l ’infoet dans le son difficiles à trouver, au cas par cas

22

Le son 3Ddans les IHM

La spatialisation de sons en IHM peut avoir pour but :

• de présenter plusieurs sources grâce à l ’effet cocktail

• de définir des sons réalistes (ex : réalité virtuelle)

• de permettre une métaphore (ex : métaphore de l’horloge, Brewster)

• de prolonger virtuellement le monde réel(ex : RA, systèmes pour aveugles)

23


Concepts sur le son



24

Projet de recherche

• Earcons + Phicons = Phearcons

• Définitions :

• Earcons (Ear Icons, Blattner) :

messages audio non parlés utilisés dans l’interface machine-homme pour donner à l’utilisateur des informations sur des objets, des interactions ou des opérations de l’ordinateur

• Phicons (Physical Icons) :

objets physiques permettant la manipulation d ’objets virtuels

25

Projet de recherche : objectifs

• Concevoir et développer une plate-forme qui permet :

• L’association entre un concept du domaine et un objet physique• Lien dynamique et explicite entre le monde numérique et le monde réel

• L’association entre un concept du domaine et une “sonification”• Conception de l’interface en sortie

• L’association entre un objet physique et une “sonification”= modification du rendu sonore par manipulation d’objets physiques

• Conception de l ’interface en entrée

26

Exemples d’application

Queue d’impression

Niveau sonore chez Maman

Trafic sur l’A7

Niveau sonore cafet

• Tâches de “monitoring”

• Média d’ambiance

27



• Media d’ambiance + effet cocktail

28



• Intérêts :

• Manipulation des sources : mise en avant d’une source quand nécessaire (exemple de la tasse à café)

• Mémorisation accrue car l’association est faite par l’utilisateur

29


• Jeu augmenté

• Réalité augmentée

• Spatialisation du son traduisantle déplacement effectué par l ’enfant

30


• Musique

Objet physique= instrument de musique paramétrable

31

Plate-forme à concevoir

• Flexibilité

• Choix des objets physiques • Reconnaissance de la position des objets dans l ’espace

• Choix des sources d’informations• Liens avec des applications existantes

• Choix des sonifications

32

Plate-forme à concevoir

• Définition des liens entre objets physiques, sonificationet concept du domaine :

• Lien (objet physique, concept du domaine)

• Multimodalité : paradigme du mets çà là• Définition par parole = « cet objet est le niveau sonoredans la cafet » + geste de désignation de l ’objet

• Lien (concept du domaine, sonification) : ???

• Lien (objet physique, sonification) : ???

33

Projet de recherche :étapes de travail

• Etat de l’art : applications, sonification etc.

• Expérimentations fréquentes magicien d’Oz dans le playground

• Espace de conception : caractéristiques pertinentes

• Lien avec le processus de visualisation (thèse Fred)

• Conception et développement de la plate-forme

34

Projet de recherche : exemples de problèmes (1/2)

• Identifier des applications candidates

• (e-mail, activité distante, cubes de jeu etc.)

• Critères de correspondance entre source et sonification :

• trouver les métaphores possibles par application• quelles caractéristiques ?

35

Projet de recherche : exemples de problèmes (2/2)

• Conception de la plate-forme

• Comment spécifier une sonification ?• Comment présenter une sonification ?• Proposer un ensemble d ’objets prédéfinis

36

MERCI !

37

Annexe 1 :Vibration acoustique

Vibration acoustique = succession rapide d ’ondes de compression et de dépression

Source sonore Milieu ambiant(air, eau…)

Zone compriméeNouvelle zone comprimée

Décompression

Propagation de l’ondede compression

...

Dépression Nouvelle zone en dépressionRecompression

...

Propagation de l ’ondede dépression

38

Annexe 2 :Perception d ’une source en 3D

azimut

source

élévation

direction depropagation

orientation

distance

Azimut :• déphasage interaural• intensité interaurale

Élévation :• timbre (source connueou en mouvement)

Distance :• atténuation intensité, BF, HF• taux son direct / réverbéré

Autres propriétés : orientation (sources directives),diffusion (sources réparties), occlusion ;

Autres indices : dynamique de la source, mouvements de tête,couplage avec le visuel

39

Annexe 3 :Son 3D : dispositifs de sortie

• 1 canal : distance, élévation ; ex : hauts-parleurs directifs

• 2 canaux : azimut• sur hauts-parleurs :

• stéréo : son entre les hauts-parleurs• « décorrélation croisée » : son venant des côtés

• sur écouteurs :• stéréo : son à l’intérieur de la tête• HRTF : filtrage des oreilles• BRIR : propriétés acoustiques de la salle

• Autres systèmes « pseudo-3D » (quadriphonie, 5.1, THX) :meilleure précision, meilleur réalisme,agrandissement de la zone de bonne écoute

• Rares systèmes de vraie 3D (CNMAT)

Documents

1 Concepts liés au son, usage du son dans les IHM, mon projet de recherche Sylvain Daudé Equipe IIHM 7 mars 2002