« Mémoire de fin d’études »

Réalité Augmentée : Perspectives et Lumières

Comment améliorer l'aspect visuel d'éléments virtuels

au sein de la réalité augmentée?

Auteurs :

Damien Leroux

Mathieu Jeudy

Promotion : 2006

Maître de mémoire :

Mr Lioret

SOMMAIRE

1. Introduction et problématique ............................................................................................. 1

2. La perspective .......................................................................................................................... 3

2.1. La perspective et ses principes ........................................................................................ 3

2.1.1. Généralités sur la perspective ................................................................................... 3

2.1.1.1. La notion de point de fuite .................................................................................. 3

2.1.1.2. Les types de perspective .................................................................................... 4

2.1.2. Les techniques utilisées ........................................................................................... 11

2.1.2.1. Modèle et alignement ........................................................................................ 11

2.1.2.2. Les différents positionnements possibles ...................................................... 13

2.2. Intégration dans l’environnement et application en réalité augmentée .................... 17

2.2.1. Positionnement et modélisation .............................................................................. 17

2.2.2. Les solutions de positionnement utilisées pour la réalité augmentée .............. 20

2.2.2.1 Les solutions basées capteurs ............................................................................ 20

2.2.2.2 Les solutions basées vision .................................................................................. 23

3. La photométrie ....................................................................................................................... 25

3.1. Simulation des processus photométriques ................................................................... 25

3.1.1. Génération de lumières ............................................................................................ 25

3.1.1.1. Définition et théories des lumières .................................................................. 26

3.1.1.2. De la lumière physique à la lumière numérique ............................................ 28

3.1.2. Les modèles d’illumination ....................................................................................... 34

3.1.2.1. La réflexion lumineuse ...................................................................................... 34

3.1.2.2. L’absence de lumière......................................................................................... 37

3.2. Application en réalité augmentée ................................................................................... 39

3.2.1. Les illuminations ........................................................................................................ 39

3.2.1.1. La circulation de la lumière dans une scène en réalité augmentée ........... 40

3.2.1.2. Le rendu de l’image ........................................................................................... 43

3.2.2. Les ombres ................................................................................................................. 46

3.2.2.1. Ombres virtuelles ............................................................................................... 46

3.2.2.2. Ombres réelles ................................................................................................... 48

3.2.3. Les reflets ................................................................................................................... 49

3.2.3.1. Reflets virtuels .................................................................................................... 49

3.2.3.2. Reflets réels ........................................................................................................ 50

4. Conclusion .............................................................................................................................. 52

5. Bibliographie & Webographie ............................................................................................ 54

1

1. Introduction et problématique

La puissance des systèmes informatiques s’est très vite améliorée ces 20 dernières

années. Cette puissance créée par l'homme augmente les possibilités créatives. L'ère de

l'unique 2D1 laissa place à celle de la 3D2, un réalisme répondant à la principale contrainte

physique de la réalité : la perspective. Malgré cette avancée majeure, une barrière

subsiste entre la réalité et la 3D : la non-interaction entre ces 2 mondes. Une nouvelle

technologie appelée « réalité augmentée » tend à répondre à ce besoin. Son but est

d’améliorer l’immersion de l'humain dans le virtuel, aussi bien au niveau d'un jeu que d'une

simple application.

La réalité augmentée consiste à intégrer des images virtuelles 2D ou 3D dans un

flux d'images réelles et ceci en temps réel. Grâce à ce système, l'utilisateur a la possibilité

d’interagir directement avec le milieu virtuel. De nombreuses applications ont ainsi pu être

créées. Les domaines d'application de la réalité augmentée sont divers et variés. En effet,

celle-ci est utilisée aussi bien dans le jeu vidéo, que dans les médias (presse, publicité),

l'architecture, la médecine, l'art, l'industrie ou encore le tourisme.

Le domaine du jeu vidéo, dans lequel la réalité augmentée s'illustre au mieux,

propose déjà nombreuses créations. La réalité augmentée (orientée jeux vidéo) a dans

ses débuts abouti à un jeu de morpion, développé par Stricker, Klinker et Reiners du

ZGDV3. Grâce à des lunettes 3D(HMD), les scènes réelles et virtuelles se mélangent ; Le

joueur visualise ainsi les pions virtuels en relief par-dessus le plateau réel (Annexe 1.1).

Plus récemment, Sony a développé le jeu « Invizimals », permettant au joueur d’observer

dans son environnement, grâce à la camera de la PSP, des monstres divers et variés. (La

position des monstres étant précisée dans l’environnement grâce à des cartes) (Annexe

1.2).

Concernant les médias, elle est de plus en plus présente, que ce soit dans la

presse ou bien la publicité. Par exemple, les journaux « Le Parisien » et « Aujourd’hui en

France » utilisent la technologie dans le but d’améliorer l’interactivité avec le lecteur.

« Télé7Jours » a également présenté à l’occasion des 50 ans du magazine, une

couverture comportant une photo de Johnny Halliday. Lorsque l’utilisateur filmait la

couverture, une vidéo publicitaire avec le chanteur s’affichait à l’écran.

Au niveau de l’architecture d’intérieur, il existe deux principaux projets menant au

même résultat. Ils permettent d’insérer des meubles virtuels dans un environnement réel

pris en photo et retranscrit numériquement. Le premier projet se nomme ARIS. C’est un

projet européen mené en collaboration avec les universités de Bristol et Manchester ainsi

que les sociétés Intracom et Ikea. Le second projet s’appelle Playviz, celui-ci est mis à

disposition sur le site des magasins BUT ; nous avons donc pu le tester. La réalité

augmentée mais également la réalité diminuée y sont implémentées. La réalité diminuée

est l’inverse de la réalité augmentée : elle permet de supprimer des éléments réels d’une

1 Il n’existe pas de profondeur ni de perspective

2 Représentation de l’espace qui nous entoure : hauteur, largeur et profondeur.

3 Zentrum für Graphische Datenverarbeitung e.V.

2

scène réelle. Nous avons pu nous rendre compte des imperfections de Playviz,

notamment la gestion hasardeuse des perspectives, le placement incohérent des ombres

lors d’ajout de meubles dans une pièce et enfin un rendu de qualité médiocre lors de

l’utilisation de l’outil gérant la réalité diminuée (interpolation des couleurs sans création de

textures).

Concernant l’architecture d’extérieur, le principal intérêt de la réalité augmentée est

de voir si un projet de construction s’intégrera de manière adéquate avec l’environnement

devant l’accueillir. L’un des principaux projets menés utilisant la réalité augmentée est

celui de l’illumination du Pont Neuf à Paris. Ce projet a été conduit par l’EDF en alliance

avec le Loria et le Crai en 1998. A partir d’une vidéo du Pont Neuf, les chercheurs ont

remplacé une séquence de la vidéo par la maquette virtuelle du Pont Neuf. Les lumières,

les ombres et reflets avaient été mis en place afin de donner un aperçu du rendu final au

plus proche de la réalité (Annexe 1.3).

La réalité augmentée est utilisée également dans le tourisme ou pour des

indications directionnelles. Nous pourrons ainsi citer l’application « Around me »

téléchargeable sur les terminaux Iphone et Android. Cette application indique les

principaux points d’intérêt (gares, bars, hôtels,…) en filmant le lieu où nous nous trouvons

(Annexe 1.4).

Un projet destiné aux sites touristiques a également été mis en place, celui-ci se

nomme « ARCHEOGUIDE ». Le premier site de test pour l’application est le Site

d’Olympie en Grèce. Dotés de dispositifs HMD et après avoir sélectionné leur parcours et

leurs centres d’intérêt, les visiteurs étaient alors guidés au sein du site. Des images

calculées en 3D s’affichaient dans les lunettes au fur et à mesure de leur visite (Annexe

1.5).

La réalité augmentée dans le milieu médical et industriel représente une réelle

avancée technologique et un outil d’aide à la décision. Effectivement, la réalité augmentée

permet aux employés de l’industrie d’être guidés dans leurs tâches de maintenance, en

affichant notamment des indications en 2D au-dessus des machines. En médecine, la

réalité augmentée permet une assistance pour les biopsies ou encore l’apprentissage

relatif au forceps pour les étudiants.

La réalité augmentée est en bonne voie, mais reste limitée et améliorable. En effet,

au vu des exemples précédents et des dernières recherches dans le domaine, la gestion

des lumières, des ombres et également de la perspective n’est pas toujours satisfaisante.

C’est sur ces différents points que va se porter notre étude.

Nous verrons en détail comment ont évoluées les techniques permettant

d’améliorer l’aspect visuel de la cohérence entre le réel et le virtuel en réalité augmentée.

Cette problématique répond au besoin d’améliorer la sensation d’immersion au sein de la

réalité augmentée. Il est important que les images virtuelles empilées sur des éléments

réels paraissent appartenir à l’environnement réel et non au monde virtuel.

Pour ce faire, les deux grandes notions que doit respecter la réalité augmentée

seront mises en avant : la perspective et la lumière.

3

2. La perspective

2.1. La perspective et ses principes

Le plus utilisé des modes de représentation d’objet 3D sur une surface plane (donc

2D) est celui de la représentation en perspective. Il existe différentes techniques qui ont

toutes pour but de représenter de la façon la plus réaliste possible les éléments réels.

La représentation en perspective est un concept né à l’époque de la renaissance et

était utilisée par les peintres. Le premier peintre à avoir mis la perspective en avant est

Masaccio4. Depuis, le principe est toujours le même, cependant il s’applique aussi au

monde du numérique.

Chaque perspective prend en compte différents critères : la réalité spatiale (donc

3D), la position de l’observateur, la surface plane destinée au rendu et enfin le procédé de

transformation. Il existe différents types de perspectives classées dans les perspectives

spatiales. Nous pourrons ainsi citer la perspective cylindrique5, la perspective conique et

enfin la perspective curviligne.

2.1.1. Généralités sur la perspective

Pour la plupart des représentations en perspective, une des notions primordiales

est celle du point de fuite.

2.1.1.1. La notion de point de fuite

Le point de fuite est un point imaginaire. Il va définir la façon dont les éléments vont

être placés sur la surface de représentation. Les lignes directrices de la représentation des

éléments sont appelées lignes fuyantes et se dirigent vers le point de fuite.

4 peintre italien(1401 – 1428)

5 Perspective cylindrique aussi appelée perspective axonométrique

4

Chaque partie visible d’un élément suivra au minimum une ligne fuyante. Il peut y

avoir un ou plusieurs points de fuite au sein d’une unique représentation.

Fig. 2.1 : Représentation d’éléments suivants un seul point de fuite

Nous voyons ici que les côtés des polygones sont placés selon les lignes fuyantes

elles-mêmes dirigées vers l’unique point de fuite (Fig. 2.1). Seul l’axe de profondeur est ici

utilisé.

En utilisant jusqu’à trois points de fuite, chaque axe (correspondant respectivement

à la profondeur, la hauteur et la largeur) est pris en compte (Annexe 2.1).

2.1.1.2. Les types de perspective

Comme nous l’avons mentionné auparavant, il existe différents types de

perspective : la perspective cylindrique, la perspective curviligne, la perspective linéaire.

La perspective cylindrique

La perspective cylindrique résulte d’une projection affine6. Ce type de perspective

conserve les proportions exactes des éléments réels. De plus, cette perspective

conserve :

-le parallélisme des droites permettant d’obtenir une représentation fidèle sans

déformation

-le barycentre : les proportions de chaque droite sont ainsi respectées

La perspective cylindrique, représentation affine regroupe deux types de

représentation qui sont la perspective cavalière et la projection orthogonale.

6 Projection orthogonale (perpendiculaire à un plan)

5

La perspective cavalière

Contrairement aux autres perspectives, la perspective cavalière ne contient pas de

point de fuite. En effet, comme nous l’avons vu auparavant, la proportion est conservée

d’un espace vers un autre, c'est-à-dire que la forme projetée est une simple diminution de

sa taille réelle.

Fig. 2.2 : Report des coordonnées dans le cadre d’une perspective cavalière

Comme nous pouvons le voir sur le schéma (Fig. 2.2), la perspective cavalière

comporte deux axes orthogonaux et un troisième axe présentant une inclinaison. C’est ce

troisième axe qui va donner l’illusion de profondeur. Il existe un angle de fuite : celui entre

les axes Ox et Oy sur le schéma.

Cette représentation comporte certaines limites. En effet, il est difficile de connaitre

exactement la position des objets les uns par rapport aux autres dans ce type de

représentation (Annexe 2.4). De plus, les objets sphériques sont représentés sous formes

elliptiques.

6

En mathématiques, la perspective cavalière peut se traduire sous forme matricielle :

P = 1 k.cos α 0

0 k.cos α 1

k correspond au rapport de transformation et α à l’angle de fuite.

Cette représentation est donc impropre. Par conséquent, ce type de perspective ne peut

être utilisé pour l’art ou bien dans la réalité augmentée, ce qui a amené à utiliser d’autre

type de projection.

La projection orthogonale

La projection orthogonale est utilisée en infographie. En réalité augmentée, ce type

de représentation peut être avantageux. La génération de figures ou d’objets est facile.

Par conséquent, le temps de calcul étant réduit, elle se révèle adéquate pour des

applications temps réel ne nécessitant pas de profondeur. En effet, la projection

orthogonale se distingue par une profondeur inexistante.

Une projection orthogonale s’effectue toujours par l’intermédiaire d’une droite. Nous

nous intéresserons uniquement aux projections orthogonales de l’espace (3D) vers un

plan (2D). En effet, dans le cadre d’applications temps réel, les éléments appartenant au

milieu réel sont en 3D. Dans le cadre d’une projection dans l’espace, la droite de

projection et le plan sont perpendiculaires.

Fig. 2.3 : Exemple de projeté orthogonal sur un plan

Nous pouvons voir par exemple sur la figure 2.3 que le point en 3 est le projeté

orthogonal du point e3. Le point en 3 appartenant au plan, appartient également à la droite

D perpendiculaire au plan et passant par le point e3.

7

La perspective curviligne

La perspective curviligne tend à représenter les objets au plus proche de la

perception rétinienne7. Les travaux les plus conséquents dans le domaine de la

perspective curviligne sont ceux de Panofsky8. Léonard de Vinci9 a également étudié ce

type de perspective.

Ce type de perspective n’est que peu, voire pas utilisé en infographie. En effet, le

référentiel curviligne, en forme de cercle, n’est pas adapté aux fenêtres des systèmes

d’exploitation.

Contrairement aux perspectives linéaires, la perspective curviligne se base sur un

axe de fuite et non un point de fuite. A en suivre la thèse de Panofsky, l’axe de fuite serait

le prédécesseur du point de fuite. A l’inverse du point de fuite, les différentes lignes de

perspective ne se rejoignent pas en un seul point de fuite, mais selon un axe. Nous

parlons alors de construction en « arête de poisson ».

Fig. 2.4 : Procédé de représentation curviligne

A partir de deux cercles de projection, afin de tenir compte des points à 180°

horizontalement et verticalement, nous obtenons différents points et lignes de fuite dont la

représentation s’apparente à une « arête de poisson » (Fig. 2.4).

7 Perception humaine

8 Historien de l'art et essayiste allemand, auteur de différents ouvrages dont La Perspective comme forme

symbolique en 1927 (1892-1968) 9 Peintre italien et homme d’esprit universel, auteur de l’ouvrage Trattato della pittura (1452-1519)

Boite intérieure Cercle de projection verticale Cercle de projection horizontale

8

Cette représentation s’apparent à une image pouvant être obtenue grâce à un objectif

grand angle, appelé « fisheye » (Fig. 2.5).

Fig. 2.5 : Rendu obtenu grâce à un objectif « fisheye »

Perspective curviligne

Perspective linéaire

Fig. 2.6 : Représentation d’un objet selon deux perspectives

En perspective curviligne contrairement à la perspective linéaire (Cf. paragraphe suivant

« la perspective linéaire »), nous tenons compte des déformations selon l’axe horizontal

(Fig. 2.6). Par conséquent, les parties centrales de l’objet sont de taille plus importante

que les parties latérales. De plus, nous observons une distorsion.

A partir d’un point p(x,y,z) appartenant à l’espace 3D, nous pouvons obtenir les

coordonnées du point p’(x’,y’) dans le référentiel curviligne de rayon R, comme suit:

d=

x’ = R * (1+x/d)

y’ = R * (1+y/d)

9

La perspective linéaire

La perspective linéaire est celle se rapprochant le plus d’une représentation

pouvant être obtenue avec un appareil photo contenant un objectif classique.

Elle date du 15ème siècle, son invention a longtemps été attribuée à Piero Della

Francesca10 dont le tableau le plus célèbre est « La cité idéale » (Fig. 2.7).

Fig. 2.7 : La cité idéale de Piero Della Francesca

La perspective linéaire comporte un unique point de fuite. Sur le tableau de Della

Francesca (Fig. 2.7), nous pouvons voir que les lignes verticales se rejoignent toutes vers

un même point lointain. Quant aux lignes horizontales, celles-ci sont plus ou moins

parallèles.

Ce type de perspective en a intéressé plus d’un dont Léonard de Vinci, Albrecht

Dürer11, ainsi que des géomètres célèbres comme Blaise Pascal12. Léon d’Alberti13 serait

le premier à avoir correctement exposé les principes de cette perspective. Le travail de

Léon d’Alberti serait basé sur les prouesses de Filippo Brunelleschi14 ayant fait une

représentation très réaliste du baptistère de Florence.

Albrecht Dürer a également écrit un ouvrage sur les principes de la projection

perspective, notamment sur la perspective linéaire, intitulé « Instructions pour mesurer ».

Au cours de cet ouvrage, nous retrouvons une gravure expliquant comment obtenir une

représentation perspective de la scène (Fig. 2.8).

10

Peintre et mathématicien italien (1412-1492) 11

Peintre, graveur et mathématicien allemand (1471-1528) 12

Mathématicien, physicien, inventeur, philosophe, moraliste et théologien français. (1623-1662) 13

Ecrivain, philosophe, peintre, architecte, théoricien de la peinture et de la sculpture, humaniste italien de la Renaissance (1404-1472) 14

Peintre, ouvrier et architecte italien (1377-1446)

10

Fig. 2.8 : Le dessinateur de la femme couchée, Albrecht Dürer(1527)

La perspective linéaire se base sur une projection centrale. De la même façon que

nous obtenons une photo, la représentation en perspective linéaire n’est qu’un

rétrécissement de la perception réelle. Le rendu final est obtenu par projection centrale

(Fig. 2.9).

Fig. 2.9 : Projection centrale d’une image

Même si la représentation en perspective linéaire peut faire penser à une

représentation en perspective cylindrique à un seul de point de fuite, elle reste différente.

Contrairement à la perspective cylindrique, la perspective linéaire conserve l’alignement

des points mais ne conserve ni les distances, ni les rapports de distance (Annexe 2.5).

Nous avons vu ici différents types de perspectives qui sont la perspective

cylindrique, la perspective curviligne et enfin la perspective linéaire. La perspective

curviligne est très contraignante et donne un résultat quelque peu irréaliste même si elle

tend à se rapprocher au maximum de la perception rétinienne.

Les perspectives cylindrique et linéaire sont utilisées à plus grande échelle. La perspective

linéaire est la représentation la plus fidèle à une photographie.

Afin de mettre en œuvre la perspective au sein d’une représentation virtuelle, différentes

techniques ont été mises en place.

11

2.1.2. Les techniques utilisées

Nous nous intéresserons ici à toutes les contraintes posées par la prise en compte

de la perspective. Nous devrons veiller à l’alignement. Nous présenterons également le

modèle de caméra utilisé.

2.1.2.1. Modèle et alignement

Dans le domaine de l’intégration 3D, le modèle sténopé est utilisé. Le modèle

sténopé correspond à une projection perspective, il se base sur la perspective linéaire (Cf.

2.1.1.2 « la perspective linéaire »). Le modèle sténopé transforme un point de l’espace 3D

en un point image appartenant à l’espace 2D.

Il se décompose en trois transformations, celle entre le repère réel et celui de la caméra

, celle entre le repère caméra et le repère capteur et enfin entre le repère capteur et le

repère image (Fig. 2.9).

Fig. 2.10 : Représentation du modèle sténopé

Afin de mieux comprendre le fonctionnement du modèle sténopé, nous allons

expliquer en quoi consistent les différentes transformations qui le composent. Les

coordonnées du point résultant (affiché sur l’écran) sont calculées via une projection des

points de la scène (Annexe 2.2).

Le modèle sténopé est régi par deux types de paramètres : les paramètres

intrinsèques ainsi que les paramètres extrinsèques. Ce sont respectivement les

paramètres internes au système, c'est-à-dire la caméra et les paramètres externes, relatifs

à la scène.

3

2

1

12

Les paramètres extrinsèques sont ceux correspondant à la transformation .

Cette dernière est composée d’une rotation ainsi que d’une translation. Une rotation se

décrit en fonction de trois angles, une translation en fonction de trois composantes

correspondant à la direction. Le nombre de paramètres extrinsèques est donc de six.

Les paramètres intrinsèques, comme nous l’avons dit auparavant, sont directement

liés à la caméra. Ils sont relatifs en premier lieu au centre optique. La position du centre

optique par rapport au plan image se définit comme suit :

-les coordonnées du point principal, c'est-à-dire le point d’intersection entre l’axe

optique et le plan image.

-la distance focale, correspondant à la distance entre le centre optique et le point

principal. L’apparence de la scène est proportionnelle à la distance focale. Plus la distance

focale est importante, plus le niveau de détail de la scène est élevé, et inversement.

Certains dispositifs de prise utilisent la distance focale pour réaliser des zooms avant et

arrière.

Nous avons alors 3 paramètres intrinsèques, deux pour les coordonnées du point

principal, un pour la distance focale. A ces paramètres, s’ajoute un quatrième paramètre :

le rapport d’aspect. Il correspond au rapport entre la largeur et la hauteur d’un pixel.

Prenons l’exemple où le rapport d’aspect est différent de 1(Fig. 2.11 b), les pixels sont

non-carrés. Si nous souhaitons afficher cette image sur un écran avec des pixels carrés,

nous observons une déformation (Fig. 2.11 c).

A B C

Fig. 2.11 : Problème des pixels non carrés

Tous ces paramètres, qu’ils soient intrinsèques ou extrinsèques doivent être pris en

compte pour l’alignement de la caméra.

Les paramètres intrinsèques, directement en rapport avec la caméra peuvent être

fixés une fois pour toutes, nous appelons cette étape la calibration. Les paramètres

extrinsèques correspondant à la position et l’orientation de la caméra, sont obtenus par le

calcul de positionnement de caméra.

1

13

Lors de la calibration, les quatre paramètres intrinsèques sont fixés:

- Deux coordonnées x et y pour la position du point principal, souvent placé au centre

de l’image.

- Le rapport d’aspect peut être connu à l’avance avec une bonne précision ou fixé au

préalable à un.

- La distance focale doit être exprimée dans la même unité que la taille de l’image

pour le modèle sténopé.

2.1.2.2. Les différents positionnements possibles

Il existe deux types de positionnement possible, le positionnement basé modèle, et

le positionnement basé image.

Le positionnement basé modèle

Le positionnement basé modèle repose sur la connaissance d’un modèle partiel de

la scène. Ce positionnement consiste à mettre en correspondance les points du modèle

avec ceux de l’image. Ce procédé a été utilisé en réalité augmentée dans le cas du projet

d’illumination du pont neuf à Paris. Ce projet a été réalisé par Gilles Simon15 et Marie-

Odile Berger16. A une vidéo du pont neuf, ont été rajoutées les lumières.

A partir d’un modèle partiel du pont, différents points clés sont sélectionnés dans

l’espace 2D. Par la suite, le procédé consiste à faire correspondre ces différents points de

l’espace 2D avec des points de l’espace 3D. Nous parlons alors d’appariement 3D-2D.

Cette étape est nécessaire afin de connaître les points de vue de la caméra dans chaque

image de la séquence. Une des techniques d’appariement 3D-2D consiste à suivre les

points dans les différentes images de la séquence.

Le positionnement basé modèle est un processus séquentiel. Le modèle de départ

est recalé dans chaque image de la séquence. Nous désignons ce procédé par « recalage

temporel ». Le recalage temporel est adapté dans le cadre d’application temps réel.

Afin de connaître le point de vue, nous devons considérer deux situations, celle où

nous connaissons les paramètres intrinsèques et celle où nous ne les connaissons pas.

Lorsque les paramètres intrinsèques de la caméra sont connus, nous avons besoin de

quatre couples points 3D-2D afin de retrouver le point de vue de la caméra. Lorsque les

paramètres intrinsèques sont inconnus, quatre couples de points ne suffiront pas, nous

devrons disposer de six couples. Il existe des méthodes de résolution directe pour trouver

les points de vue de la caméra, par conséquent le positionnement basé modèle est rapide.

Sa rapidité et son procédé séquentiel le rendent adéquat pour les applications de réalité

augmentée.

15

Maître de conférences et enseignant, chercheur au laboratoire LORIA 16

Chercheur à l’INRIA et chef de l’équipe de projet Magrit du laboratoire LORIA

14

Un processus de calcul robuste du point de vue de caméra a été mis en place par

le laboratoire LORIA, notamment par Gilles Simon. Ce système de recalage 3D-2D a été

mis au point en 1998 et utilisé pour le projet d’illumination du Pont Neuf.

A partir d’un modèle connu d’un objet 3D, ce système va suivre les primitives 3D-

2D afin de calculer le point. Une fois les différents points de vue trouvés, il est possible de

simuler l’éclairage du Pont Neuf. Dans ce procédé, les lignes jaunes correspondent aux

primitives 2D, les lignes vertes aux primitives 3D, et les lignes bleues aux primitives qui

n’ont pas encore été traitées (Fig. 2.12 A).

A

B

C

Fig. 2.12 : Fonctionnement du processus et exemple de rendu final

15

Le processus peut se décomposer en trois phases. La première consiste à suivre

les primitives 2D pour en déduire les points de vue 3D (Fig. 2.12 A). Suite à cette étape,

les points de vue sont obtenus, nous obtenons une « reprojection » du modèle après

chaque itération. A partir de ce modèle crée, l’éclairage est simulé (Fig. 2.12 C).

Nous avons pu voir que le positionnement basé modèle est adéquat pour les

applications temps réel. De plus, il existe des solutions permettant de calculer le point de

vue rapidement. Cependant, une autre méthode de positionnement est parfois utilisée, il

s’agit du positionnement basé image.

Positionnement basé image

Le positionnement basé image est arrivé après le positionnement basé modèle. Le

positionnement basé modèle peut être contraignant dans certaines situations. En effet,

lors de tournage en extérieur, les dimensions de la scène ne sont pas forcément connues,

il est donc difficile d’en établir un modèle. Dans ces conditions, le positionnement basé

image se révèle alors adapté car il ne nécessite aucune connaissance de la scène, il se

base uniquement sur les images à augmenter. Cependant, les algorithmes associés sont

plus complexes, et le temps de traitement plus important qu’avec un positionnement basé

modèle.

Le positionnement basé image consiste à calculer simultanément les positions de la

caméra ainsi que les points 3D de la scène filmée. A partir de deux images de la scène

filmée, il est possible de retrouver la position du point 3D. En effet, si nous considérons un

point 3D filmé sous deux points de vue caméra différent, une seule solution est possible.

Le point 3D se trouve à l’intersection des droites (Fig. 2.13), cette méthode est appelée

méthode de triangulation.

Fig. 2.13 : Méthode de triangulation

16

Sur la figure 2.13, t et t+1 correspondent à la position de la caméra à deux instants

différents. Le point M est le point 3D, les points m1 et m2 sont respectivement les projetés

du point M au temps t et t+1. Les points m1 et m2 sont des points appariés de la scène

filmée.

Il n’est pas toujours évident de trouver le point de vue de la caméra pour un point

3D donné. Par conséquent, le positionnement basé image cherche à calculer le point de

vue permettant d’obtenir l’image filmée, ainsi que la position exacte du point 3D. Cette

étape de calcul s’appelle l’ajustement de faisceaux et consiste à minimaliser la fonction de

coût elle-même appelée erreur de « reprojection ». Le point de vue de la caméra et la

position du point filmé sont considérés exacts lorsque l’erreur de « reprojection » est nulle.

Afin de connaître les points de vue de la caméra, le positionnement basé image

repose sur la connaissance de correspondance 2D-2D entre points de la scène filmée.

Afin d’obtenir un résultat convenable, un minimum de quatre images et de huit points de

correspondance est nécessaire.

A B

Fig. 2.14 : Appariement de points automatique

Une méthode consiste à retrouver automatiquement les points de correspondance

2D entre deux images. Nous pouvons voir que des points de correspondance sont

détectés automatiquement entre l’image à l’instant t (Fig. 2.14 A) et l’image à l’instant

t+1(Fig. 2.14 B). A partir de ces points appariés, seront calculés le point de vue ainsi que

la position réelle des points filmés.

Nous avons mis en exergue l’existence de deux techniques pour le positionnement :

le positionnement basé modèle ainsi que le positionnement basé image. Le

positionnement basé image est plus performant et ne nécessite aucune connaissance à

priori de la scène contrairement au positionnement basé modèle. Cependant, sa mise en

œuvre et le temps d’exécution associés à ce dernier sont relativement importants. Par

conséquent, le positionnement basé modèle sera préféré dans les applications temps réel

car il nécessite un temps de calcul particulièrement faible.

17

2.2. Intégration dans l’environnement et application en réalité

augmentée

Nous avons vu dans la partie précédente les principes de la perspective, le modèle

de caméra utilisé et les techniques de positionnement existantes. Nous aborderons ici

comment placer de façon cohérente les objets virtuels dans la scène ainsi que la

modélisation de scènes partiellement connues ou non connues.

Dans le cadre de la réalité augmentée, des solutions techniques spécifiques sont

utilisées pour le positionnement. En effet, la mobilité de l’utilisateur et l’usage de dispositifs

HMD par exemple obligent à mettre en œuvre ces solutions.

2.2.1. Positionnement et modélisation

Deux cas de figure se présentent, celui où nous disposons d’un positionnement

basé modèle et celui où nous disposons d’un positionnement basé image. Dans le cadre

d’un positionnement basé modèle, nous plaçons les éléments virtuels en utilisant le

modèle de base. Dans le cadre d’un positionnement basé image, nous devons essayer

d’établir une correspondance entre les points obtenus et la scène filmée.

Lorsque nous souhaitons intégrer une image virtuelle à une scène réelle, nous

devons tenir compte des occultations. Il existe deux types d’occultation, l’occultation des

éléments réels par le virtuel et l’occultation des éléments virtuels par le réel.

L’occultation du réel par le virtuel est rapidement mise en œuvre. Il suffit

uniquement de placer le contenu virtuel par-dessus l’image réelle. Quant à l’occultation du

virtuel par le réel, le procédé se révèle plus complexe. Il est nécessaire de créer un

masque d’occultation ; plusieurs moyens permettent d’y aboutir, que ce soit le fond bleu, le

suivi de contours ou encore la modélisation de l’objet occultant. A partir du masque

d’occultation et l’utilisation d’opérateurs de fusion, nous obtiendrons la composition finale

(Annexe 2.3).

La technique du fond bleu est très répandue dans le cas d’insertions d’objets réels

au sein d’une scène entièrement virtuelle, c’est le cas pour la météo par exemple ou

encore les plateaux de tournages télévisés. Or ici, nous nous intéressons au cas contraire,

le fait d’insérer des éléments virtuels dans une scène réelle, ce qui est plus délicat. Afin

d’insérer des objets virtuels en utilisant cette technique, la même scène doit être filmée

deux fois, une première fois avec le fond bleu afin d’obtenir le masque d’occultation et une

seconde sans le fond bleu. L’opération se présente fastidieuse, le mouvement de caméra

doit être exactement identique au sein des deux séquences d’images. La technique du

suivi de contours semble alors plus adaptée.

18

Le suivi de contours consiste à détourer manuellement la première séquence de

l’image afin d’obtenir la zone occultante. Cette dernière sera alors suivie dans chaque

image. Afin d’effectuer un suivi automatique, les logiciels de traitement d’image se basent

sur le fait que les bords du masque d’occultation correspondent à des contours forts de

l’image, la différence de contraste est relativement élevée dans ces zones. Le suivi

automatique consiste donc à faire corréler le masque d’occultation avec les contours forts

de l’image. La dernière solution consiste à modéliser l’objet occultant.

L’objet occultant est modélisé en trois dimensions. Nous allons présenter

brièvement en quoi consiste la méthode de modélisation de l’objet occultant et reviendrons

plus en détail sur les techniques de modélisation par la suite. Une première phase

consiste à modéliser l’objet. La modélisation est plus ou moins complexe en fonction de sa

forme. Une fois l’objet modélisé, nous le disposons au sein de la scène en faisant attention

au respect des proportions et de l’alignement des perspectives. Une fois l’objet placé dans

la scène, l’algorithme présent au sein du logiciel de traitement d’image se chargera de le

remplacer par l’objet réel (Fig.2.16). Cette technique reste assez complexe et demande

une précision accrue, elle sera utilisée dans le cas où le suivi de contours ne peut être

utilisé.

Fig. 2.16 : Modélisation de l’environnement réel et incrustation de l’objet virtuel

Nous allons dorénavant nous pencher sur la modélisation de l’environnement réel.

Nous présenterons la modélisation d’une scène partiellement connue ainsi que la

modélisation d’une scène sans connaissance préalable.

Modélisation d’une scène partiellement connue

Ici, nous connaissons les coordonnées de différents points de l’objet ainsi que les

paramètres de la caméra. Nous pouvons alors modéliser des objets de la scène, y

appliquer des modifications au niveau de la taille et du positionnement afin que la

modélisation coïncide avec l’image. Cette technique permet de n’utiliser qu’un seul logiciel

identique à celui employé pour la modélisation des objets virtuels. Cependant, il est

fastidieux de gérer les relations entre blocs lorsqu’un objet en comporte plusieurs. De plus,

un recadrage progressif de l’objet virtuel est nécessaire pour qu’il coïncide avec la scène

réelle.

19

Modélisation d’une scène sans connaissance préalable

Dans le cas présent, la modélisation se base sur une seule image et nous ne

disposons pas d’informations concernant l’objet. Comme nous l’avons vu auparavant (Cf.

2.1.2.2), nous devons disposer de six couples de points 2D-3D pour obtenir le point de

vue de la caméra. Ici, nous ne disposons pas des coordonnées 3D des points, par

conséquent nous devons mettre en place une solution alternative. Nous allons donc nous

référer à nos connaissances du monde qui nous entoure. Nous traçons alors des droites

de l’image afin de retrouver le point de vue et d’obtenir un modèle 3D. Un travail de

modélisation par contrainte de segments sur l’image fut effectué par Paul Debevec17 (Fig.

2.17). Cette méthode était d’ailleurs implémentée au sein du logiciel Canoma18.

Fig. 2.17 : Modélisation et texturage de la cathédrale de Rouen par contrainte de

segments

La méthode d’intégration d’objets virtuels au sein d’une scène réelle est différente

en fonction du positionnement utilisé au départ. Nous devons tenir compte des

occultations des objets réels par le virtuel et inversement. Une des techniques afin de

prendre en compte cet aspect consiste à modéliser l’objet réel. Nous pouvons alors

modéliser un objet réel d’une scène partiellement connue ou bien sans connaissance

préalable.

17

Chercheur en informatique graphique, spécialisé dans les images HDR et la réalité virtuelle, travaillant à l’institut de création technologique dans l’université du sud de la Californie. 18

Logiciel de modélisation 3D

20

2.2.2. Les solutions de positionnement utilisées pour la réalité

augmentée

En réalité augmentée, le positionnement est relatif à l’observateur lui-même. La

position de la caméra est dépendante de la position de l’observateur lui-même. A partir de

dispositifs directement montés sur la tête de l’observateur (systèmes HMD), nous

retrouvons la position de la caméra. Dans ce cas, nous considérons que la position des

yeux de l’observateur est identique à celle de son visage. D’autres solutions basées

capteurs peuvent être utilisées. Certaines solutions couplant données images, et données

capteurs sont en plein essor. Nous appelons ces dernières, solutions hybrides.

2.2.2.1 Les solutions basées capteurs

Il existe différentes sortes de capteurs. Nous pouvons ainsi les classifier en

plusieurs catégories qui sont les capteurs magnétiques, les capteurs acoustiques, les

capteurs optiques, inertiels ou encore de positionnement global.

Capteurs magnétiques

Ce type de système se compose de six bobines au total. Il fonctionne selon le

principe de l’émission-réception. Les trois premières bobines émettent un champ

magnétique, reçu par les trois autres placées sur l’objet à suivre.

Ces capteurs sont précis mais présentent quelques limites. En effet, leur champ

d’action s’élève à une trentaine de mètre cube. De plus, si des objets métalliques sont

présents dans la scène, ils peuvent en altérer le fonctionnement.

Fig. 2.18 : Le « Wintracker » d’ Immersion19, composé de 3 capteurs magnétiques

19

Spécialiste européen des solutions de simulation visuelle et de réalité virtuelle

21

Capteurs acoustiques

Les capteurs acoustiques fonctionnant grâce aux ultrasons ont une précision

comparable à celle obtenue grâce aux capteurs magnétiques et disposent d’un champ

d’action tout aussi restreint. Cependant, ils présentent un avantage, la présence d’objets

métalliques ne cause aucune distorsion. Composés d’un haut parleur et d’un microphone,

leur fonctionnement est régi par la vitesse du son. En connaissant le temps que met le son

pour parcourir la distance haut-parleur/microphone, il est possible d’en déduire cette

dernière.

Fig.2.19 : Capteur acoustique CMS20S – Zebris

Capteurs optiques

Les capteurs optiques sont des caméras pouvant calculer la position de cibles

particulières. Il existe deux types de cibles, les cibles passives et les cibles actives. Les

cibles passives sont des sphères de couleurs uniformes, alors que les cibles actives sont

des sphères émettant une lumière. Très utilisé pour la motion capture, ce type de capteur

est précis mais présente le même inconvénient que les précédents, c'est-à-dire un champ

d’action restreint.

Fig. 2.20 : Capteur optique et cibles passives- ART GmbH

22

Capteurs inertiels

Afin de contrer les problèmes rencontrés avec les capteurs acoustiques,

numériques ou encore optiques, de nouveaux capteurs ont été imaginés. Ces capteurs

fonctionnent de façon autonome. En général composés de plusieurs capteurs

(gyroscope20, accéléromètre21, magnétomètre22), ils utilisent les différentes données

recueillies par chacun afin de déduire l’orientation de façon convenable. Bien que leur

champ d’action soit plus important que les capteurs énumérés précédemment, ils sont

encore très peu utilisés en réalité en raison de leur manque de précision.

Fig. 2.21 : Capteur inertiel – i4 Motion

Capteurs de positionnement global

Les capteurs de positionnement global sont plus connus sous le nom de GPS pour

Global Positioning System. Le GPS a été imaginé par les militaires américains et utilise les

satellites. De la même façon que les capteurs acoustiques, il mesure le temps séparant

l’émission et la réception du signal. Ce système est implémenté au sein des Smartphones

et peut servir à des applications de réalité augmentée tel que AroundMe23 (Fig. 2.22).

Malgré tout, sa précision n’est que d’une dizaine de mètre, alors que nous avons des

précisions au millimètre dans le cas des capteurs acoustiques par exemple.

Fig. 2.22 : Iphone doté d’un GPS et aperçu de l’application AroundMe

20

Capteur de position angulaire 21

Capteur permettant de mesurer l’accélération d’un objet. 22

Capteur permettant de mesurer l’aimantation d’un objet, d’en déduire sa position en fonction du champ magnétique. 23

Logiciel d’information utilisant la réalité augmentée

23

Nous avons abordé les différentes solutions basées capteurs. Qu’ils soient

magnétiques, acoustiques, optiques, inertiels ou encore de positionnement global, ils

donnent des résultats plus ou moins satisfaisants. D’autres solutions ont été mises en

place, ce sont les solutions basées vision.

2.2.2.2 Les solutions basées vision

Les solutions basées vision reposent sur les principes évoqués précédemment

concernant le positionnement (Cf. 2.1.2.2 et 2.2.1). Se basant sur une analyse des images

à augmenter, que ce soit en positionnement basé modèle ou positionnement basé image,

elles permettent une précision en général meilleure que les solutions basées capteurs.

Cependant, comme nous l’avons évoqué auparavant, le positionnement basé

image est lourd en temps de calcul et inadapté à la réalité augmentée. De plus, nous ne

disposons pas au départ de plusieurs images permettant de restituer fidèlement les

différents points de vue. Les solutions présentes sur le marché favorisent donc le

positionnement basé modèle.

Le positionnement basé modèle utilise le suivi d’indices. Afin de rendre fiable ce

suivi automatique d’indices, différentes solutions ont été mises en œuvre, certaines

utilisant des marqueurs afin de renforcer les contraintes 2D et d’autres utilisant les

contraintes 3D. Renforcer les contraintes permet d’obtenir un suivi automatique et fiable.

Les marqueurs artificiels

Les marqueurs sont simplement des motifs blanc et noir imprimés sur un support.

Ces marqueurs sont fréquemment utilisés et certains sont connus sous le nom de

QRCode. Le jeu Invizimals sous PSP fonctionne en utilisant des marqueurs artificiels

(Annexe. 1.2). La librairie ARToolkit24, disponible en opensource25 permet de développer

diverses applications utilisant ce type de marqueurs. Malgré leur utilisation relativement

répandue, l’utilisation de marqueurs présente quelques désagréments. En effet, les

marqueurs dénaturalisent la scène et limitent les mouvements car ils doivent toujours se

trouver face à l’observateur.

De plus, l’utilisation devient délicate lorsque nous sommes en présence de

plusieurs marqueurs. En effet, plus le nombre de marqueurs est important, plus il est

difficile, dans un contexte temps réel, de les reconnaitre et les différencier.

24

Librairie C++ spécialisé en réalité augmentée 25

Distribution libre

24

Le suivi d’indices naturels

A partir d’images de la scène filmée, nous faisons une extraction d’indices (coins,

tâches localisées,…) afin de les suivre dans le but de positionner les objets virtuels. Nous

pouvons nous baser sur un projet crée par Marie-Odile Berger ainsi que Gilles Simon,

consistant à positionner des informations en temps réel via ce procédé.

La scène est tout d’abord séparée en plusieurs plans et des points d’appariement

sont déduits (Fig. 2.23 A). Chaque plan est symbolisé par des cadres bleus. La contrainte

des plans permet une uniformité globale de rendu et permet ainsi d’éliminer les mauvais

appariements. A partir de ces appariements sont insérées les données virtuelles (Fig.2.23

B).

A B

Fig. 2.23 : Suivi d’indices naturels et exemple de rendu

Nous avons abordé les différentes notions de perspective, de positionnement ou

encore de modélisation temps réel. Cependant, afin de rendre le résultat d’autant plus

réaliste, un autre aspect que celui de la perspective doit être pris en compte : la

photométrie.

25

3. La photométrie

La lumière est un ensemble d’ondes (appelé rayonnement) qui, au contact d’une

surface va en faire ressortir la couleur. En somme, lorsque la lumière atteint une surface,

elle commence d'abord par la teinter avec sa propre couleur (sauf avec la lumière blanche

qui n'a pas de couleur dominante). La lumière rebondit ensuite de la surface vers

l'observateur. Ce qui détermine la couleur de la surface, c’est son caractère absorbant, ou

non, vis-à-vis des couleurs qui compose la lumière. En effet, pour une surface donnée,

seules certaines couleurs de la lumière seront renvoyées, nous donnant alors la couleur

de la surface.

Dans la réalité, seule une partie de ces ondes électromagnétiques26 sont visibles à

l’œil nu : celles dont les longueurs d’ondes se situent entre 380 nanomètres27 (le violet) et

780 nanomètres (le rouge). Une lumière blanche, émise par le soleil par exemple, est le

regroupement de toutes les ondes allant du violet vers le rouge. Afin de représenter

virtuellement la lumière dans nos systèmes informatiques, des études ont été menées.

Différents types de données et systèmes de manipulation de données ont donc été mis en

place.

L’étude de l’impact des rayonnements lumineux sur des objets, qu’ils soient réels

ou virtuels, constitue la photométrie. Afin de simuler virtuellement la lumière et donc de

reproduire les processus photométriques qui l’accompagnent, différents consensus furent

établis.

3.1. Simulation des processus photométriques

L’utilisation de la lumière en réalité augmentée demande à ce que de nombreuses

propriétés, incombant directement aux processus photométriques, soient initialisées. Pour

cette raison, dans cette partie 3.1, nous expliquerons dans la théorie et dans la pratique,

comment la lumière agit, dans le monde réel, comme dans un milieu virtuel.

3.1.1. Génération de lumières

Une lumière, c’est d’abord une source lumineuse. Cette source lumineuse possède

des propriétés physiques qui permettent de diffuser la lumière. Nous allons commencer

par décrire les propriétés qui définissent la lumière (couleur, direction, puissance) puis

nous étudierons la manière de la représenter et de l’utiliser dans un environnement virtuel.

26

Propagation d’un champ magnétique et d’un champ électrique en ligne droite 27

1 nanomètre = 0.000000001 mètre

26

3.1.1.1. Définition et théories des lumières

Une lumière est un rayonnement d’ondes électromagnétiques dont l’œil humain ne

perçoit qu’une partie : comme énoncé précédemment, les ondes comprises entre 380

nanomètres et 760 nanomètres. Ce spectre lumineux (Fig. 3.1), qui résulte de la

décomposition de la lumière blanche (Fig. 3.2), représente la plage complète des couleurs

qui peuvent être émises par la lumière. Il est important d’insister sur le fait que cette plage

de couleurs soit celle émise par la lumière : il ne faut donc pas s’étonner de ne pas voir

dans son spectre le marron ou le gris. En effet le marron est un mélange de trois

couleurs : le rouge, le jaune et le bleu tandis que le gris est le mélange de l’ensemble des

couleurs de la lumière (le blanc) avec le noir qui se trouve être l’absence de couleurs.

Fig. 3.1- Le spectre lumineux visible par l’œil humain

Fig. 3.2 - Décomposition de la lumière par un prisme transparent (selon Newton28)

La lumière, en plus de ses caractéristiques colorimétriques, possède une vitesse,

une direction, un sens et une puissance. Selon les différents types d’éclairages (Cf. 3.1.2),

la direction de la lumière peut être ciblée ou omnidirectionnelle. De même, une lumière

peut être interprétée soit comme un rayon unique soit comme un spot (ensemble de

plusieurs rayons formant un cône).

Dans le cas d’un rayon unique, quelle que soit la distance de la source de lumière

par rapport à l’objet, la quantité de lumière reçue sera identique. Avec un spot, plus l’objet

est proche de la source lumineuse, plus il est éclairé localement (selon la taille de l’objet

par rapport à la source lumineuse) (Fig. 3.3). Dans les deux cas, plus l’objet est proche de

la source lumineuse plus l’intensité de la lumière reçue est importante.

Fig. 3.3 Le spot et le rayon

28

Philosophe, mathématicien, physicien, alchimiste, astronome et théologien anglais (1642 – 1727)

27

La propagation de la lumière n’est possible qu’à travers des substances

transparentes. Selon la densité ou la pureté de ces substances, la propagation de la

lumière sera plus ou moins efficace. Pour exemple, le vide29 n’entraine aucune perte de

puissance de la lumière alors que le brouillard laisse difficilement passer la lumière au-

delà d’une certaine distance. Il en va de même avec certains verres plus purs que d’autres

permettant un passage plus aisé de la lumière.

De plus, les matériaux transparents sont connus pour dévier le parcours de la

lumière selon l’angle d’incidence de la lumière par rapport à la surface de ces matériaux

(Fig. 3.2). Il serait essentiel, le jour où les machines seront assez puissantes pour le faire,

de prendre en compte cette divergence de la lumière, afin de rendre encore et toujours

plus réel les objets et lumières virtuels insérés en réalité augmentée.

Dans le cas de surfaces non transparentes ou faiblement transparentes, une partie

de la lumière est toujours réfractée. Par réfracter, il faut entendre qu’une partie de la

lumière rebondit sur l’objet pour se diriger soit vers un autre objet soit vers un observateur.

En fonction de la couleur de l’objet, certaines couleurs de la lumière seront absorbées

tandis que d’autres seront renvoyées. Par exemple, dans le cas d’une pomme verte :

Avec une lumière blanche, la pomme absorbe presque complètement l’ensemble

des couleurs de la lumière blanche excepté le vert de la pomme raison pour

laquelle nous la voyons verte.

Avec une lumière rouge, la pomme nous paraîtra sombre et son vert sera

difficilement perceptible. Cela est du au fait que la pomme absorbe le rouge en

grande partie et donc que très peu de lumière est renvoyée par la pomme.

Dans le cas où un objet réfracte la lumière mais n’en émet pas, on parle de source

de lumière secondaire.

La réalité augmentée, qui implique de nombreux calculs, ne peut pas être dissociée

de la qualité et du niveau technologique que nous possédons actuellement. Cette qualité

technologique apparente est le résultat de l’utilisation des systèmes informatiques les plus

récents sur lesquels ont été mises en place de nombreuses structures de données. Afin

d'adapter les propriétés physiques de la lumière qui s'exécutent dans la réalité, plusieurs

systèmes de données ont été créés, modifiés et améliorés de sorte que la lumière virtuelle

n'ait plus rien à envier à la lumière réelle.

29

Absence de matière dans une zone spatiale.

28

3.1.1.2. De la lumière physique à la lumière numérique

« La couleur est la gloire de la lumière » (Jean Guitton30). Cette citation montre

l’importance de la couleur pour la lumière. Ce que nous percevons de la lumière n’est ni

sa vitesse ni sa direction mais sa couleur.

La couleur de la lumière

- Le codage RGB

Informatiquement, la couleur est formée de trois composantes: le rouge, le vert et le

bleu. Chacune de ces composantes est codée sur 8 bits31 (Annexe 3.1) et peut donc se

voir attribuer une valeur de 0 à 255. Cette valeur retranscrit l’intensité de rouge, de vert ou

de bleu que l’on souhaite utiliser pour obtenir une couleur. L’ensemble des trois couleurs

forme une structure de données de vingt-quatre bits appelée : format RGB (Red Green

Blue).

Par exemple, pour obtenir une couleur chair, il faudra doser le mélange de rouge, de vert

et de bleu ainsi :

Couleurs Format Décimal Format Binaire

rouge 251 11111011

vert 208 11010000

bleue 151 10010111

Format RGB : 251, 208, 151 (soit 11111011 11010000 10010111)

Pour obtenir la couleur blanche, le format RGB sera : 255, 255, 255 et pour obtenir le noir,

il sera : 0, 0,0.

La gestion des couleurs en format RBG a l’avantage d’être rapide et peu complexe,

raison pour laquelle elle s’applique à la majorité des systèmes informatiques et

numériques (téléviseurs, caméscopes, etc…). Elle s’éloigne cependant trop, dans son

utilisation, de la manière dont l’esprit humain perçoit les couleurs. Rappelons qu’en réalité

augmentée, c’est justement cet esprit qui doit être satisfait afin que le réel et le virtuel ne

fassent plus qu’un. Un autre type de codage des couleurs a été inventé pour satisfaire

cette exigence : le codage TSL.

30

Philosophe et écrivain français de l’académie française (1901 – 1999) 31

Chiffre binaire valant 0 ou 1, 8 bits représente une suite de 8 chiffres valant 0 ou 1 : 00000000 =0, 11111111 = 255

29

Le codage TSL

Le codage TSL (aussi appelé HSL), dont l’origine remonte aux travaux d’ Albert

Henry Munsell32, se base sur les trois grands principes qui reprennent la théorie des

couleurs (Fig. 3.4):

o La teinte : c’est la représentation chromatique du spectre lumineux de la lumière

sous la forme d’un cercle de 360 degrés. Cette représentation demande de connaître

à l’avance la position des couleurs sur le cercle chromatique. C’est cette

représentation qui fait la force et la faiblesse du format TSL : il est en effet plus

difficile de situer la couleur chair sur ce cercle même si nous la plaçons intuitivement

dans la partie orange du cercle. Cependant, les traitements qui concernent la

saturation d’une couleur répondent parfaitement aux règles de la théorie des

couleurs.

o La saturation : c’est la pureté de la couleur, c'est-à-dire le pourcentage de couleur

pure utilisé pour obtenir la couleur finale. Diminuer ce pourcentage revient à griser la

couleur. Par exemple la couleur chair est un orange pur (rouge et vert) dont la

saturation va être diminuée. On peut alors facilement observer sur la fig. 3.4 que

lorsque que l’orange est desaturé (donc qu’il se rapproche du centre), il tend vers le

bleu. On retrouve alors notre mélange RGB de rouge, de vert et de bleu.

o La luminance : elle représente l’intensité de la couleur. Une luminance de 100%

indique que la quantité de noir présente dans la couleur est nulle. Ainsi, la couleur

complètement desaturée (donc grise) mais avec une luminance maximale (sans

aucun noir) est le blanc (Fig. 3.4).

Fig. 3.4 – Représentation du format TSL

32

Peintre et professeur d’art américain, inventeur du nuancier de Munsell (1858 - 1918)

30

Vitesse

Dans la réalité, et plus particulièrement dans le vide, la vitesse de la lumière (aussi

appelée célérité) est de 299 792 45833 m/s. Cette valeur présente un réel intérêt pour la

réalité. Cependant, dans la réalité augmentée, elle n’est pas utilisée. En effet, la vitesse de

la lumière est tellement grande que l’illumination d’un objet, dans une pièce par exemple,

est instantanée pour l’œil humain.

Pour qu’une telle valeur présente un intérêt, il faudrait créer des systèmes à

l’échelle spatiale, de sorte à simuler l’éclairage d’astres grâce à des étoiles avec le

décalage de temps que mettrait la lumière pour aller d’une étoile à un astre. Par exemple,

la lumière que dégage le Soleil met 0.5034 seconde pour arriver sur Terre. Aujourd’hui, Il

n’existe pas d’applications en réalité augmentée qui nécessitent la création de système à

l’échelle spatiale.

Cette vitesse n’étant pas utile dans un système informatique 3D temps-réel,

l’illumination d’un objet ne la prend pas compte.

Direction

La direction que suit la lumière est d’abord déterminée par la position de la source

lumineuse par rapport au reste des objets d’une scène. Ensuite le type de source

lumineuse voulue doit être spécifié :

o Lumière omnidirectionnelle (Fig. 3.5): La lumière émise par la source lumineuse

impactera directement sur l’ensemble des objets présents autour de celle-ci. Ce

type de lumière est à l’image du soleil et permet dans des environnements 3D de

simuler des lumières d’ambiance.

o Lumière Spot (Fig. 3.6): il faut d’abord déterminer la direction dans laquelle la

lumière pointe. Ensuite, il est nécessaire de déterminer l’angle d’ouverture du

faisceau lumineux émanant de la source lumineuse. Ce type de lumière est souvent

utilisé pour reproduire des lumières de lampe, de téléphone, etc… C’est la forme

arrondie de la majorité des ampoules qui a engendré ce comportement de la

lumière (Annexe 3.2).

o Lumière Rayon (Fig. 3.7): Après avoir déterminé la direction dans laquelle le rayon

pointe, il faut affecter une largeur à celui-ci. Ce type de rayon est utilisé pour

simuler des lasers ou pour éclairer des objets sans que la distance de l’objet par

rapport à la source lumineuse importe (Fig. 3.3)

33

Valeur définie en 1983 par le bureau international des poids et mesures 34

Valeur au niveau du demi-grand axe de l’orbite de la terre

31

Fig.3.5-Lumière

omnidirectionnelle

Fig. 3.6 - Lumière Spot

Fig. 3.7 Lumière Rayon

Pour ce qui est du spot ou du rayon, il est souvent d’usage de dégrader légèrement

les bords de la lumière qui émane de la source lumineuse. Cela apporte, notamment en

réalité augmentée, un résultat qui se rapproche de la réalité. En effet, dans la réalité, un

rayon lumineux (aussi appelé faisceau) est composé d’une multitude de rayons tous émis

de la source lumineuse. Au centre du faisceau lumineux, tous les rayons convergent,

raison pour laquelle la lumière reste intense et opaque. Sur les bords du faisceau, le

nombre de rayons chute très rapidement mais graduellement, ce qui constitue un dégradé

(Annexe 3.3).

Après avoir spécifié le type de source lumineuse souhaité, il faut, dans le cas du

spot et du rayon, spécifier la direction de la lumière. Dans la réalité, nous devons déplacer

physiquement la source lumineuse pour l’orienter et donc lui donner une direction. Dans

un environnement virtuel, il existe différentes méthodes pour faire cela:

o La méthode positionnelle

C’est le moyen le plus simple et le plus utilisé pour donner une direction à la lumière.

En effet, dans un environnement virtuel, l’ensemble de l’espace est quadrillé et déterminé

par des positions. De plus, il est facile de fournir à une source lumineuse les coordonnées

d’un objet placé dans l’espace afin que la lumière s’oriente sur celui-ci.

De même que nous choisissons des coordonnées pour positionner la lumière, on

en choisit d’autres pour affecter une direction à la lumière. La lumière est positionnée en

xl,yl,zl et pointe aux coordonnées xc,yc,zc (Fig. 3.9).

32

o Les quaternions

Dans un espace 2D, il est possible de diriger une lumière en lui attribuant

simplement un angle α (Fig. 3.8).

Fig. 3.8 – éclairage dirigé en 2D

Dans un espace 3D, attribuer un angle à une source lumineuse (par rapport à

l’horizon) n’indique pas dans quel sens tourner la source lumineuse afin d’en choisir la

direction. Afin de répondre à cette exigence, les travaux de Leonhard Euler35 suivis de

ceux de Carl Friedrich Gauss36 et William Rowan Hamilton37 ont permis l’apparition des

quaternions38. Ils permettent de tourner la lumière autour d’un vecteur N selon un angle α

(Fig. 3.10). En effet, en orientant le vecteur N dans la direction de son choix, on affecte un

axe de rotation à la source lumineuse. L’angle α détermine ensuite de combien de degrés

la lumière tourne.

35

Mathématicien et physicien suisse (1707- 1783) expert en calcul infinitésimal et en théorie des graphes. 36

Mathématicien, astronome et physicien allemand (1777 - 1855) expert en théorie des nombres. 37

Mathématicien, physicien et astronome irlandais (1805 - 1865) qui a découvert les quaternions. 38

Nombres hypercomplexes (Annexe 3.4).

Fig. 3.9 – La méthode positionnelle

Fig. 3.10 – éclairage dirigé grâce aux

quaternions

33

La puissance lumineuse

En photométrie, l’intensité lumineuse est une mesure de l’éclat perçu par l’œil

humain d’une source lumineuse. Il ne faut donc pas la confondre avec la puissance

lumineuse, qui elle, représente le nombre de photons émis par une source lumineuse par

unité de temps. En physique, la puissance est la quantité d’énergie fournie par unité de

temps.

Dans la réalité, plus cette puissance est importante :

- plus la quantité de lumière réfractée est importante.

- plus la sensation d’aveuglement de l’observateur est importante c'est-à-dire qu’il

discernera de moins en moins les objets qui sont les plus proches de la source

lumineuse. Nous pouvons observer ce phénomène entres les deux images

présentées en Fig. 3.11 : Sur l’image de gauche, la faible puissance des lumières

offre plus de lisibilité que sur l’image de droite.

Fig. 3.11 – différence de puissance lumineuse

Pour reproduire le phénomène de puissance lumineuse en informatique, que ce soit

en 2D ou en 3D, un facteur d’atténuation de la lumière, en fonction de la distance, est mis

en place. La valeur de cette atténuation commence à 1 et peut finir à 0. Lorsque le facteur

d’atténuation vaut 1, la surface éclairée est au plus proche de la source lumineuse et

lorsqu’il vaut 0, cette même surface n’est pas du tout éclairée.

Par exemple, lorsqu’un objet se situe à bonne distance de la source lumineuse et que le

facteur d’atténuation atteint alors 0.4, la lumière qui atteindra l’objet représentera 40 % de

sa couleur original mélangés à 60 % de noir. En somme, le facteur d’atténuation obscurci

la couleur en diminuant la luminance (Cf. 3.1.1.2).

34

Pour calculer ce facteur d’atténuation, trois constantes doivent être déterminées :

l’atténuation constante (Kc), l’atténuation linéaire (Kl) et l’atténuation quadratique (Kq)

(Annexe 3.5). Si nous appelons la distance que parcourt la lumière Dl, alors :

Facteur d’atténuation = 2Dl Kq + Dl Kl + Kc

1

, avec Kc, Kl,Kq, Dl > 0

Nous avons décrit dans cette première partie (3.1.1) la manière dont la lumière est

générée, et paramétrée en informatique, afin que soient retranscrites le plus fidèlement et

facilement possible ses propriétés. Nous allons maintenant mettre en avant la manière

dont les objets sont affectés par la lumière.

3.1.2. Les modèles d’illumination

Il existe plusieurs façons d’éclairer des objets car leurs surfaces peuvent être très

différentes selon leur composition: métal, plastique, bois… Chacune de ces surfaces n’a

pas la même façon de recevoir et de renvoyer la lumière. De même, chaque surface

représente une forme, de sorte que chaque point de la surface ne recevra pas la même

quantité de lumière. Enfin, lorsqu’un objet intercepte le trajet de la lumière, il en affecte le

parcours. Cela affecte ensuite les autres objets qui sont dans la nouvelle direction de la

lumière. Décrivons maintenant les procédés servant, dans un environnement virtuel, à

reproduire la manière dont la lumière affecte un objet.

3.1.2.1. La réflexion lumineuse

On observe une réflexion de la lumière lorsque celle-ci rencontre une surface qui

n'absorbe pas toute son énergie de radiation et en repousse une partie (Cf. 3.1.2.2). La

lumière qui arrive sur une surface est appelée incidente et la lumière qui en repart est

appelée réfléchie. La quantité de lumière réfléchie par un objet ainsi que la manière dont

elle est réfléchie sont très dépendantes de la texture de la surface de cet objet. La couleur

de la lumière réfléchie dépend de la couleur de la lumière incidente, de la texture et de la

couleur de la surface.

La lumière, lorsqu’elle atteint une surface, peut être réfléchie ou réfractée. Lorsque

la lumière est réfléchie, on parle de réflexion spéculaire. Lorsqu’elle est réfractée, elle

n’est pas renvoyée mais déviée ; c’est le cas des surfaces transparentes (verre, vitre,

prisme). Dans un environnement virtuel, comme dans la réalité, on discerne alors trois

modèles d’éclairage:

35

La réflexion diffuse

Le modèle de réflexion diffuse correspond à la réflexion constante d’une lumière

dans toutes les directions à partir de la surface qui reçoit la lumière (Fig. 3.12). Cette

réflexion concerne les surfaces mates, c’est-à-dire les surfaces composées de

nombreuses aspérités qui ont une taille supérieure aux longueurs d’onde de la lumière.

Lorsque la lumière est interceptée par la surface, alors les couleurs de cette surface sont

additionnées à celles de la lumière.

La réflexion diffuse dépend de l’angle θ entre le rayon incident de la lumière et la

normale39 de la surface touchée par ce rayon (Fig. 3.14). Elle fait donc varier la luminance

des couleurs de la surface. Cette luminance (intensité lumineuse) se transcrit

mathématiquement ainsi :

VD = pd x Il x cosθ

VD est la valeur du rayon réfracté. pd est le coefficient de réflexion diffuse de la

surface. Il varie de 0 (absorption complète) à 1 (renvoi complet de la lumière). I l est

l’intensité lumineuse du rayon incident. Cosθ varie entre 0 et 1 (θ variant de 90° à 0°) et

représente de manière progressive l’intensité lumineuse avec laquelle est renvoyée la

lumière (Fig. 3.15). Par exemple, lorsque la lumière arrive complétement

perpendiculairement sur la surface, l’angle d’incidence θ de la lumière est 0, cosθ vaut

alors 1. De ce fait, l’intensité lumineuse n’est pas diminuée par la façon dont la lumière est

interceptée par la surface. Lorsque θ est supérieur à 90, la surface n’est pas illuminée (Cf.

3.1.2.2)

Fig. 3.14 – angle d’incidence

Fig. 3.15 – le cosinus

39

Droite perpendiculaire

Fig. 3.12 – lumière diffuse

Fig. 3.13 – lumière spéculaire

36

La réflexion spéculaire

Quand les imperfections de surface sont plus petites que la longueur d'onde de la

lumière incidente (c'est le cas d'un miroir, par exemple), la totalité de la lumière est

réfléchie de manière spéculaire (Fig. 3.13), c'est-à-dire que l'angle de réflexion de la

lumière est égal à son angle d'incidence. La réflexion spéculaire peut s’observer sur les

surfaces brillantes, et est caractérisée par la présence de zones claires sur une surface,

dont la position dépend du point de vue de l’observateur. Le modèle de réflexion

spéculaire le plus célèbre est celui de Bui Tuong Phong40 (Annexe 3.6)

Dans le modèle de Phong, plus le rayon réfracté R de la lumière coïncide avec la

vision V de l’observateur 0, plus les couleurs présentes dans le rayon L vont être

présentes dans le rayon de sortie R (Fig. 3.16). Le rayon réfracté devient un rayon réfléchi

car il renvoie davantage les couleurs du rayon L que les couleurs de la surface S qui le

réfracte. L’intensité lumineuse pour un rayon réfléchi se calcule alors ainsi :

VS = ps x Il x cosnΩ

VS est la valeur du rayon réfléchi. Ps est le coefficient de réflexion spéculaire de la

surface. Il varie de 0 (pas de réfraction spéculaire) à 1 (réfraction totale). Il est l’intensité

lumineuse du rayon incident. cosnΩ varie entre 0 et 1 (θ variant de 90° à 0°) et représente

de manière progressive l’intensité lumineuse avec laquelle est renvoyée la lumière. n est

un entier permettant de contrôler l’étendue de la zone réfléchissante sur la surface.

Le parfait exemple de réfraction spéculaire est le miroir : en effet, l’ensemble des

rayons lumineux interceptés par le miroir est réfléchi sans aucune perte d’intensité. Dans

le cas d’un miroir parfait, VS = Il.

Fig. 3.16 – lumière spéculaire

40

Chercheur vietnamien et pionnier en matière de d’informatique graphique (1942–1975)

37

La lumière ambiante

Le modèle d’illumination le plus simple est celui de la lumière ambiante. Ce modèle

représente une source lumineuse qui éclaire l’ensemble des surfaces d’un objet présent

dans une scène. L’intensité lumineuse qui affecte alors l’ensemble des surfaces d’un objet

a pour valeur :

VA = pa x Ia

VA est la valeur de l’intensité lumineuse à la surface de l’objet. pa est un facteur qui

détermine la quantité de lumière ambiante réfléchie par la surface et Ia est l’intensité de la

lumière ambiante.

Ce modèle d’illumination trouve son intérêt dans l’optimisation des ressources

informatiques utilisées pour l’affichage des lumières. En effet, dans la réalité, la lumière

ambiante correspond à l’ensemble des rayons qui se réverbèrent sur toutes les surfaces

des objets d’une scène (lumière réfractée et réfléchie). Reproduire ce phénomène n’est

pas toujours possible et demande de très grandes ressources informatiques (peu

disponibles selon les systèmes). Afin de pouvoir reproduire cette lumière ambiante sur

l’ensemble des systèmes, il est plus commun de créer une lumière pour la scène qui y

affectera tous les objets. Cette source de lumineuse n’existe donc pas dans la réalité mais

est obligatoire dans un environnement 3D et très particulièrement en réalité augmentée.

3.1.2.2. L’absence de lumière

L’absence de lumière est tout aussi importante que la lumière elle-même : elle

contraste notre environnement, nous informe sur la profondeur, la forme et la position des

objets.

La lumière, lorsqu’elle atteint une surface, est en partie absorbée (exception faite

des surfaces réfléchissantes pures). Cette absorption dépend de la couleur et de la texture

de la surface. Le noir est une « couleur » qui absorbe complètement la lumière. Le blanc

renvoie toutes les couleurs qu’il reçoit. Les autres couleurs renvoient uniquement leurs

couleurs et absorbent toutes les autres. Par exemple, une lumière blanche qui éclaire une

tomate verra l’ensemble de son spectre lumineux absorbé excepté le rouge qui sera

renvoyé. Par contre, si une lumière bleue l’éclaire, elle ne sera éclairée non pas grâce à

sa couleur, mais grâce à sa texture brillante (donc spéculaire), permettant le renvoi de

lumière bleue non absorbée.

L’absence de lumière sur certaines surfaces s’explique notamment par la position

des surfaces les unes par rapport aux autres ainsi qu’avec les sources lumineuses qui les

entourent : on parle d’ombre.

38

Ombre propre

L’absence de lumière sur une partie d’un objet se nomme l’ombre. Selon la forme

de l’objet, elle peut être tranchée (Fig. 3.17) ou progressive (Fig. 3.18). Elle n’est jamais

vraiment totale dès lors qu’une source lumineuse est présente dans la scène. En effet, la

réverbération de la lumière dans la scène permet un éclairage minimal des surfaces non

exposées à la source lumineuse.

Fig. 3.17 – ombre tranchée

Fig. 3.18 – ombre progressive

Pour déterminer une ombre propre, c'est-à-dire l’endroit où la lumière impacte plus sur

l’objet lui-même, il faut calculer le produit scalaire de la normale N de chaque face de

l’objet avec le vecteur V représentant la direction de la lumière (Fig. 3.16). On obtient:

S = VN = )cos(NVVN

Où N et V sont les normes respectives des vecteurs N et V : on considérera ici deux

vecteurs unitaires41 car leur longueur n’intervient pas dans la recherche de l’ombre.

Cos(NV) permet de connaître l’angle entre N et V. Si cet angle est supérieur à

(soit 90

degrés) pour une surface X, alors la lumière ne peut pas la toucher : cette surface est

dans la partie ombrée de l’objet.

Le procédé qui permet de savoir si une partie d’un objet sous la lumière est éclairée

ou non est analogue à la technique qui permet de calculer la réflexion lumineuse de la

lumière sur un objet (Cf. 3.1.2.1). En effet, on retrouve le cosinus dans chaque formule mis

à part que la formule du produit scalaire est simplifiée pour la réflexion lumineuse : une

simplification due à la normalisation des vecteurs N et V (c’est-à-dire que N et V valent 1).

Ombre portée

L’absence de lumière se manifeste notamment par la présence d’ombre portée. En

effet, des zones sombres sont créées lorsqu’un objet opaque intercepte la lumière dans

son parcours. Ces zones sombres ont la particularité de représenter l’objet qui a intercepté

la lumière sur la surface d’un autre objet. Cette représentation est une projection de l’objet

(Fig. 3.19). La taille de l’ombre dite « portée » dépend de la taille de l’objet intercalé et de

sa distance par rapport à la source lumineuse.

41

Vecteur dont la norme (longueur) est de 1

39

Plus l’objet est près de la lumière, plus la zone d’ombre sera grande. L’intensité de

l’ombre dépend de la lumière ambiante et des différentes sources lumineuses présentes

dans la scène.

Fig. 3.19 – ombre portée

La compréhension des procédés décrits dans ce paragraphe (couleur, direction et

intensité de la lumière en informatique, lumière spéculaire, diffuse, ambiante, ombre

portée et propre) est primordiale à la compréhension de la partie 3.2 où ils seront

appliqués à la réalité augmentée.

Il faut donc garder en tête que la lumière affecte l’ensemble des objets qui l’entoure,

qu’ils soient directement ou indirectement exposés à celle-ci. Cette propriété fait de la

lumière une part de chaque objet, part qu’il faut retranscrire fidèlement afin de rendre à

chaque objet le réalisme qui lui est nécessaire en réalité augmentée : cela passe par

l’éclairage des surfaces, la simulation du parcours de la lumière, la génération des ombres

ainsi que celle des reflets.

3.2. Application en réalité augmentée

Il est nécessaire que la partie virtuelle dans une application puisse communiquer

avec sa partie réelle en réalité augmentée. La façon dont ces deux parties peuvent

communiquer n’est pas le sujet à l’honneur ici. Cependant, c’est la représentation en trois

dimensions de la réalité qui permet à la partie virtuelle de comprendre la partie réelle. A

l’inverse, c’est principalement une action manuelle et humaine qui permet à la partie réelle

de comprendre la partie virtuelle.

Une fois cette communication établie, les informations que ces parties s’échangent,

sur le plan de la perspective (Cf. 2), comme sur celui des lumières (Cf. 3), doivent être

contrôlées et dirigées afin de répondre au besoin visuel d’immersion de l’observateur.

3.2.1. Les illuminations

L’illumination d’un objet représente toutes les techniques et manières d’affecter à

un objet une lumière. Ces techniques, certaines informatiques et d’autres physiques,

répondent aux besoins de réalisme et d’efficacité que necéssite un contexte réalité

augmentée temps-réel.

40

3.2.1.1. La circulation de la lumière dans une scène en réalité augmentée

Il existe de nombreux processus qui permettent à la lumière d’être émise, puis

reçue par un objet et enfin renvoyée par celui-ci dans diverses directions. Lorsque cette

lumière est réelle, c'est-à-dire lorsque l’on filme une scène, la camera reçoit alors la

lumière émanant des différents objets et sources lumineuses de la pièce. Dans le cas où

un objet virtuel est inséré dans cette pièce, il est d’abord nécessaire de lui appliquer les

processus photométriques qui interviennent dans la pièce, puis de retranscrire à la camera

ce résultat.

Afin d’obtenir ce résultat, et dans un souci d’optimisation de la rapidité avec

laquelle il est calculé, différentes techniques existent aujourd’hui :

Le z-buffer

La méthode la plus rudimentaire pour afficher des objets virtuels est le z-buffer. On

parle alors de tampon de profondeur. Pour chaque pixel42 de l’écran d’affichage, un rayon

est lancé. Celui-ci part du centre optique de la caméra, c'est-à-dire de l’endroit où

l’observateur regarde la scène (donc l’écran). Il traverse ensuite l’écran d’affichage ; c'est-

à-dire le matériel physique qui va permettre à l’observateur de voir la scène où l’objet

virtuel est inséré. La position où le rayon traverse l’écran se trouve être un pixel : un point

de l’écran. La couleur de ce pixel, sur l’écran, est alors déterminée en fonction de

l’illumination du point de la surface la plus proche de la caméra qui croise le rayon lancé

(Fig. 3.20).

Fig. 3.20 Le fonctionnement du z-buffer

Comme nous le font remarquer Gilles Simon43 et Julien Decollogne44 , cette

technique est appelée z-buffer car le fait de lancer des rayons permet de déterminer la

profondeur des points de la scène associée à chaque pixel.

42

Unité de surface permettant de mesurer une image numérique : une image de 50 pixels en largeur sur 50 pixels en longueur possèdera en tout 250 carrés, chacun ayant sa propre couleur. 43

Chercheur en réalité augmentée de l'équipe projet INRIA de l’université Henri Poincaré de Nacy 1 44

Infographiste dans le domaine de l’audiovisuel et de la 3D.

41

Le z-buffer présente notamment l’avantage en réalité augmentée, lorsque le lancer

de rayons démarre d’une source lumineuse, de calculer les ombres portées de l’objet sur

la scène (Cf. 3.2.2).

Cette méthode est considérée comme la plus rudimentaire. En effet, bien que son

utilisation séduise grâce au temps de calcul très faible qu’elle engendre, elle prend

uniquement en compte les lumières : ambiante, diffuse et spéculaire, qui interviennent sur

l’objet grâce aux sources lumineuses placées dans la scène. Si d’autres objets

réfléchissants l’entourent, les lumières renvoyées par ceux-ci ne seront pas prises en

compte pour l’éclairage de l’objet. Pour cette raison, le lancer de rayons a été inventé.

Le lancer de rayons

Une version plus élaborée du z-buffer est le lancer de rayons, aussi appelé

« raytracing ». C’est le « ray casting45 », inventé par Arthur Appel46 en 1968, qui en est à

l’origine. Les algorithmes de lancer de rayons permettent de prendre en compte les

phénomènes de réflexion, réfraction et transparence qui se produisent sur les objets ; cela

en les prenant en compte lorsque la lumière interceptée par un objet peut en affecter un

autre.

Le principe du lancer de rayons est de reconstituer le chemin inverse de la lumière

en partant de la camera vers les sources lumineuses. Pour faire cela, les phénomènes

physiques qui régissent le parcours de la lumière doivent être respectés. Le parcours

inverse commence donc comme celui du z-buffer, c'est-à-dire qu’un premier rayon part de

la camera, traverse un pixel de l’écran, puis intercepte l’objet le plus proche. A partir du

point P qui touche l’objet, on détermine les rayons allant des sources lumineuses qui

l’entoure jusqu’à ce point P. Ensuite, et c’est ici que se trouve la différence avec le z-

buffer, on recherche les rayons réfléchis par d’autres surfaces vers l’objet. On remonte

ensuite ces rayons de la même manière jusqu’à la source lumineuse pour en connaître

l’intensité et la couleur (Fig. 3.21). Une fois cette étape finalisée, on peut affecter au point

P la couleur qui lui correspond en ayant pris en compte l’ensemble des processus

lumineux.

Fig. 3.21 Le lancer de rayons

45

Calcul de la valeur d’un point sur un objet en prenant en compte la réflexion des autres objets autour

42

Cette technique permet donc, pour un objet comme pour les surfaces qui

l’entourent (autres objets, murs, sols, etc..), de simuler les réflexions lumineuses comme

les ombres.

Identifier la position des sources lumineuses

En réalité augmentée, les objets virtuels insérés dans une scène réelle doivent être

affectés par la lumière qui s’y trouve et qui, elle, est réelle. Dans le but d’assurer cette

cohérence photométrique dans la scène, il faut donc déterminer la position des sources

lumineuses réelles. La manière de procéder est encore à l’étude même si des solutions

partielles existent. Ces solutions sont partielles soit parce qu’elles sont inutilisables en

temps-réel, soit parce qu’elles nécessitent des post-traitements.

La solution la plus simple pour déterminer où sont placées les sources lumineuses

consiste à le faire manuellement, c’est-à-dire que l’observateur choisit, en fonction de ce

qu’il sait et voit, où placer les sources lumineuses. La réalité augmentée demande à ce

que ce processus soit automatisé, raison pour laquelle la « light probe » existe. Le

principe, expérimenté et automatisé par Paul Debevec, est le suivant.

Sur la connaissance de la géométrie d’une boule, une sphère complètement

réfléchissante est premièrement placée dans une scène, là où elle sera exposée à un

maximum de lumière (Annexe 3.12). L’observation HDR (Cf. 3.2.1.2 HDR), de près, de

cette sphère permet l’acquisition des directions des sources lumineuses dans l’espace.

Ensuite, la connaissance de la géométrie de la pièce, par rapport à la sphère, permet de

connaître les positions exactes des sources lumineuses. Dans le cas de scènes

d’extérieur, si des sources lumineuses précises visent des objets (phares de voiture par

exemple), la position de ces sources est calculée, sinon elle n’est pas nécessaire (comme

pour le cas du Soleil). Pour connaître la taille et l’orientation de la sphère par rapport à la

scène, une feuille blanche avec des points noirs est placée sous la sphère. Cette feuille

permet, grâce à la réflexion des points sur l’orbe, de déterminer la taille, la position et

l’orientation des lumières.

Une optimisation de cette technique pourrait consister à ce que la sphère possède

son propre système informatique pour l’observation des impacts lumineux. Cela éviterait

de devoir faire une observation de près et de loin de la sphère et de devoir utiliser une

grille de points en dessous de la sphère.

46

Chercheur d’IBM à New York

43

3.2.1.2. Le rendu de l’image

Illumination globale

L’illumination globale prend en compte la réflexion lumineuse de chaque surface

d’une scène. Grace à cela, la quantité de lumière qui touche une surface est calculée

d’une part en fonction de la lumière qui l’atteint directement et d’autre part en fonction de

la lumière qui a été réfléchie par d’autres surfaces. Cela permet un rendu très réaliste

(Annexe 3.7) car ce procédé répond aux contraintes physiques de la réalité qui régissent

les lois sur la lumière. La radiosité est l’une des principales techniques utilisées en

illumination globale afin d’augmenter le réalisme d’une scène virtuelle (Fig. 3.22). Elle

représente, comme l’indique Stephen N. Spencer47 lors du SIGGRAPH48 de 1983, la

quantité d’énergie libérée par une surface. Dans notre cas, c’est l’énergie lumineuse, part

de la radiosité, qui nous intéresse. La radiosité d’une surface tient aussi bien compte de

l’énergie émise par la surface que de l’énergie réfléchie. Dans une scène 3D, les fenêtres

peuvent donc être considérées comme émettrices d’énergie mais elles réfléchissent aussi

la lumière qui parcourt la pièce.

Fig. 3.22 A gauche, la pièce virtuelle est éclairée avec le processus de radiosité

La radiosité devient donc un procédé d’illumination qui tient compte des échanges

énergétiques générés par les ondes lumineuses entre objets de la scène. Pour ce faire, la

scène dans laquelle ce procédé va être utilisé, est divisée en un ensemble de facettes

élémentaires composées de triangles49. Chaque facette reçoit de l’énergie émanant des

autres facettes, en absorbe une partie ou la totalité (cela dépend des propriétés de la

facette) et renvoie l’énergie qui n’a pas été absorbée aux autres facettes. Dans ce modèle,

les sources lumineuses ne sont rien d’autre que des facettes hautement émettrices. D’un

point de vue mathématique (Annexe 3.11), plus le nombre de facettes dans la scène est

important, plus les calculs qui résultent de la radiosité sont longs et coûteux. De ce fait, la

radiosité ne peut pas être appliquée en réalité augmentée, c'est-à-dire en temps-réel.

47

Ingénieur des sciences informatiques travaillant à l’université de Washington 48

Conférence annuelle, tenu par l’Acm Siggraph depuis 1974, sur les graphismes en informatiques. 49

Un triangle est un ensemble de trois points, ce qui forme un plan (ou face) permettant d’en déduire la normale. Cette normale est ensuite utilisée pour calculer l’impact de la lumière sur la face en question.

44

En effet, les rendus de scène avec l’illumination globale prennent des heures pour chaque

frame50. Les rendus en réalité augmentée doivent se calculer en quelques millisecondes51.

Cette situation en a incité certain à faire des pré-calculs d’illumination globale sur

des objets avant de les confronter à la réalité dans la réalité augmentée.

Malheureusement, cela ne fait généralement qu’agrandir le décalage entre l’objet virtuel

mis en avant et la réalité. Aujourd’hui, c’est donc la lumière ambiante (Cf. 3.1.2.1) qui est

mise en avant pour simuler l’effet d’illumination globale en temps réel. Cette lumière

ambiante est calculée en fonction de la couleur dominante qui entoure l’objet.

Dans un souci de réalisme, il est fort à parier que l’illumination globale soit utilisée

en réalité augmentée dès que les systèmes informatiques seront assez puissants pour la

calculer très rapidement.

Images HDR

Dans la réalité, l’intensité de la lumière peut varier considérablement d’une scène à

une autre. Par exemple, dans une pièce où un petit spot lumineux très fort éclaire une

partie de la pièce, la lumière peut être très intense au niveau du spot, mais très faible à

l’opposé de la pièce. Cette différence de contraste lumineux est quantifiée et représente

l’étendue dynamique de contraste d’une image (« dynamic range » en anglais). Cette

étendue dynamique est le rapport de contraste entre les parties les plus brillantes et les

plus sombres d’une scène.

La majorité des dispositifs actuels d’affichage ou d’acquisition d’images repose sur

un codage 8 bits de l’information, c'est-à-dire que l’intensité lumineuse d’une scène est

représentée par un nombre entier entre 0 et 255 (inclus). Dans la réalité, l’intensité

lumineuse varie plutôt entre 0 et 100000. Une précision vraiment importante de l’intensité

lumineuse d’une scène est donc perdue. Cela se traduit par des scènes où les objets dans

la pénombre sont imperceptibles, au contraire de ceux dans la lumière et vice-versa. Pour

dépasser ces contraintes techniques, des chercheurs se sont intéressés à la prise en

compte d’images à haute étendue dynamique appelées HDR (annexe 3.8).

HDR (High dynamic Range) est la représentation large de l’étendue dynamique de

contraste d’une image. Les écrans HDR sont capables d’afficher fidèlement des images

comportant une étendue dynamique allant de l’intensité 0 à 60000. Qui plus est, de

nouveaux protocoles d’acquisition permettent aujourd’hui d’obtenir des images HDR et de

les stocker sous forme de nombres flottants.

La plupart des systèmes ne pouvant comporter uniquement des valeurs d’intensité

comprises entre 0 à 255 sur une même scène, un procédé doit être mis en place pour

afficher des images HDR : le tone mapping. Cette technique consiste à représenter les

valeurs de l’intensité réelle (celles allant de 0 à 100000) sur une courbe d’intervalle [0,255]

(Fig. 3.23). Cette courbe est généralement non linéaire et permet des restitutions

différentes d’images HDR.

50

Un frame correspond à une image. Une vidéo est en moyenne composée de 25 à 32 frames par seconde. 51

Une milliseconde = 0.001 seconde

45

En effet, dans la réalité, l’œil s’adapte localement au contraste, de sorte qu’il est

impossible de passer d’une intensité très faible à une intensité très forte sans être ébloui.

Cette caractéristique humaine a mené des chercheurs à proposer des algorithmes

d’adaptation locale de la courbe du tone mapping.

De même qu’il a fallu adapter les images HDR sur des interfaces non HDR, il est

permis de créer des images HDR sans matériel d’acquisition HDR. Pour ce faire, plusieurs

images avec des intensités lumineuses différentes sont enregistrées (Annexe 3.9).

Chaque image pouvant prendre une valeur de 0 à 255, prendre dix images d’une même

scène permet d’avoir 2550 valeurs différentes d’intensité lumineuse. Ce procédé est

largement utilisé dans la réalité augmentée et est exploité notamment par Paul Debevec

dans ses travaux.

Fig. 3.23 le tone mapping, courbe de réponse réduisant l’étendue de

l’intensité lumineuse d’une image HDR à des entiers compris entre 0 à 255.

Lorsqu’un objet est éclairé, la scène qui l’entoure, et qui est aussi éclairée de ce

fait, va directement impacter sur l’objet. La gestion des interférences lumineuses entre

parties éclairées, qu’elles soient réelles ou virtuelles, est un sujet complexe. En effet, les

traitements à effectuer dépendent du type d’interaction dont il s’agit (ombre ou reflet) et du

sens de l’interaction (réel sur virtuel ou virtuel sur réel). Dans le cas des ombres et des

réflexions spéculaires sur un objet virtuel, par exemple, il est nécessaire de connaître

(donc de calculer) les positions des sources lumineuses réelles, cela dans le but de

retranscrire fidèlement les ombres et les reflets.

46

3.2.2. Les ombres

« Il n’y a pas de lumière sans ombre » disait avec raison Louis Aragon52. En effet,

chaque fois qu’une lumière illumine un objet, le fait que certaines des zones de cet objet

ne reçoivent pas de lumière nous informe sur la position de cet objet ainsi que sur sa

forme (Annexe 3.10). En réalité augmentée, en ce qui concerne la photométrie d’un rendu,

l’objectif est de restituer les ombres produites par les objets virtuels et réels. Pour faire

cela, il faut adapter les techniques de circulation de la lumière aux mondes réel et virtuel.

3.2.2.1. Ombres virtuelles

Tout objet inséré dans une scène doit être soumis à la lumière qui y circule : c’est

une loi obligatoire pour s’assurer de la cohérence visuelle de l’objet dans son nouvel

environnement. Pour cette raison, il faut commencer par modéliser l’espace de la pièce en

3D (Cf. 2.2.1), afin de pouvoir y placer les sources lumineuses correspondant à

l’illumination réelle (Cf. 3.2.1.1).

Générer l’ombre propre (partie de l’objet n’étant pas exposée à la lumière) d’un

objet virtuel ne présente aucune difficulté. Comme décrit dans la partie 3.1.2.2, la normale

associée à chaque surface d’un objet permet de déterminer l’ombre propre d’un objet

aisément. Des techniques d’illumination globales telles que l’occultation ambiante

permettent notamment de donner facilement de la profondeur à un objet (Annexe 3.13).

Par contre, lorsque les ombres portées d’un objet, doivent se répercuter sur l’espace réel,

les traitements sont différents. Il faut modéliser virtuellement en 3D les différents objets de

la pièce susceptibles de recevoir l’ombre. Les objets simples : sols, plafonds et murs sont

très facilement modélisables. Malheureusement, des objets plus complexes : meuble,

appareil, décoration en tout genre, demandent encore l’intervention d’une présence

humaine en matière de modélisation. Pour cette raison, en réalité augmentée, l’ombre

portée ne sera pas simulée comme elle le serait dans la réalité. Cependant, lorsque des

objets complexes sont modélisés, ils servent uniquement à accueillir les ombres tandis

que leurs textures sont tirées de l’objet qu’ils modélisent dans la réalité.

La position et la taille de l’ombre

Une fois que l’objet est modélisé, il faut calculer, s’il y a lieu, l’ombre portée qu’il va

recevoir. Pour ce faire, une première méthode consiste à représenter l’objet virtuel en

double. Ce deuxième objet va être assujetti à une projection sur un plan (ce qui va

l’aplatir), et à un obscurcissement.

52

Poète français du XXème

siècle

47

Fig. 3.24 ombre portée par simple projection

Cette méthode présente l’avantage qu’elle permet de très vite calculer l’ombre, elle

ne prend cependant pas en compte la perspective des lumières ce qui ne permet pas de

déformer l’ombre portée de l’objet avec la distance. En effet, comme le montre la figure

3.24, sur un même plan, l’ombre portée de l’objet mis en hauteur, restera identique quelle

que soit sa position.

Une autre méthode propose d’utiliser le lancer de rayons afin de calculer

efficacement et rapidement les ombres portées d’un objet virtuel dans une scène réelle.

Ce qu’il faut donc commencer par calculer, c’est la position des sources lumineuses dans

la scène. Ensuite, pour chaque objet de la scène, des rayons sont lancés, en partant des

sources lumineuses. Les rayons qui interceptent l’objet, continuent leur route en passant à

travers celui-ci, pour informer la lumière des positions où elle ne devra pas avoir d’effet, ce

qui constitue alors l’ombre. D’autres techniques existent et sont vraiment performantes

dans leur rendu réaliste, comme par exemple utiliser la radiosité pour calculer les ombres.

Cependant ces dernières sont trop coûteuses en temps de calcul pour être utilisées dans

un contexte temps-réel.

L’aspect de l’ombre

L’ombre, même lorsqu’elle respecte les contraintes de position et de taille qui lui

incombe, est trop tranchée. Soit elle est présente : zone d’occultation, soit elle ne l’est

pas : zone d’éclairage (Fig. 3.25). Pour remédier à cet inconvénient, il faut fondre l’ombre

de manière réaliste, en ajustant ses contours et ses nuances : c’est la zone de pénombre,

nommée ainsi par Gilles Simon et Julien Decollogne dans leurs travaux sur l’éclairage en

temps réel. La raison de son existence réside dans le fait que les matériaux d’un objet ne

sont pas parfaitement lisses. De même, la forme d’un objet est souvent arrondie : les

angles d’un objet ne peuvent pas être parfaitement pointus. Pour ces raisons, lorsque la

lumière passe progressivement d’un objet à un autre, l’ombre de cet objet tend rapidement

mais progressivement vers la lumière.

Fig. 3.25 ombre tranchée à gauche et ombre réaliste à droite

48

Pour réaliser cette zone de pénombre, la plus simple des méthodes consiste à

calculer plusieurs fois la même ombre en déplaçant très légèrement la source lumineuse à

chaque calcul. L’ensemble des ombres obtenues forme alors l’ombre de l’objet (Fig. 3.26).

Fig. 3.26 ombre obtenue par déplacement de la source lumineuse

Une autre méthode vise à utiliser partiellement la radiosité pour déterminer les

ombres de manière réaliste en temps-réel. Dans cette optique, Simon Gibson53 propose

un algorithme permettant, pour un objet ciblé (l’objet virtuel inséré dans la réalité), de

sélectionner les sources lumineuses qui interviennent le plus dans la création de l’ombre

de celui-ci. Sur le principe de la radiosité, ces sources lumineuses sont des facettes

triangulaires émettrices d’énergie. Ce même algorithme va ensuite classer toutes les

facettes en fonction de la lumière (radiosité) qu’elles dégagent. Cela permet alors de

choisir les facettes avec le plus de radiosité pour afficher les ombres d’un objet. Ces

ombres seront donc, comme le permet la radiosité et le demande la réalité, altérées par la

distance et la position des sources lumineuses par rapport à l’objet.

3.2.2.2. Ombres réelles

Les ombres réelles d’une scène sont celles qui existent sans qu’aucune altération

virtuelle n’en ait modifié l’équilibre. Le but est, lorsqu’un objet virtuel est inséré dans une

scène réelle, de retranscrire les ombres réelles de la scène sur celui-ci. Ignorer ces

ombres porte grandement préjudice à l’aspect réaliste de la scène.

Comme pour la synthèse d’ombre virtuelle, il va être nécessaire de modéliser en 3D

les objets réels qui font de l’ombre à l’objet virtuellement inséré dans la scène. Une fois

modélisé, les techniques expliquées précédemment pour générer l’ombre virtuelle d’un

objet virtuel sont utilisées (Cf. 3.2.2.1). De ce fait, on peut exactement connaître la façon

dont l’objet virtuel inséré dans la scène va être affecté par les ombres réelles (celles-ci

étant synthétisées virtuellement). Bien que l’objet virtuel soit affecté par l’ombre, le reste

de la scène est aussi affecté par cette ombre qui se superpose à l’ancienne.

Pour éviter que toutes les ombres ne se noircissent du fait de l’ajout des ombres

artificielles, les parties des ombres qui n’affectent pas visuellement l’objet inséré dans la

scène sont soustraites aux ombres créées virtuellement.

53

Ex-chercheur de l’université de Manchester en science informatique, ayant travaillé avec Paul Debevec

49

Les ombres réelles présentes dans une scène donnent le ton. Ajouter des objets

virtuels sur une scène implique qu’ils peuvent se trouver dans l’ombre d’un objet de la

scène réelle, mais cela implique aussi qu’ils vont déclencher la création d’une nouvelle

ombre : leur ombre. Pour cette raison, en réalité augmentée, l’ombre virtuelle créée se

fond parmi ses consœurs qui, elles, sont réelles.

3.2.3. Les reflets

Un reflet est, en physique, l'image virtuelle formée par la réflexion spéculaire d'un

objet sur une surface. La nature spéculaire de la réflexion est liée aux caractéristiques du

corps réfléchissant (Cf. 3.1.2.1). En informatique, donc dans un environnement

partiellement ou totalement virtuel, cette réflexion doit être émulée. La difficulté en réalité

augmentée est de refléter des objets virtuels sur des objets réels et vice-versa.

3.2.3.1. Reflets virtuels

Les reflets virtuels sont les reflets qui doivent apparaitre sur des objets réels à

cause d’objets virtuels insérés dans la scène. Insérer une barque virtuelle dans un lac réel

demande à ce que la barque se reflète sur l’eau. Le premier travail à effectuer est donc de

déterminer les surfaces et objets du monde réel qui ont un fort coefficient de réfraction. Il

est aujourd’hui impossible en temps réel de connaître de façon automatisée les surfaces

qui correspondent à cette définition.

Lorsque des objets réels d’une pièce sont modélisés pour avoir leurs équivalents

virtuels (notamment pour la prise en charge des ombres), et une fois que la texture est

appliquée à l’objet, c’est à l’observateur de déterminer quelle en est la matière : du coton,

du fer, de l’eau, du bois, etc.… A chaque type de matériaux est attribué un coefficient de

réfraction qui affectera directement l’apparence de celui-ci selon les objets qui lui sont

proches ainsi que la luminosité de la pièce.

Ensuite, en fonction de la position de l’observateur, de la position de l’objet virtuel et

de la surface réfléchissante, le reflet de l’objet sera imprimé. Pour ce faire, un lancer de

rayons est utilisé, partant de l’œil de l’observateur, en direction de la surface

réfléchissante. Une fois que le rayon a atteint cette surface, il rebondit (Cf. 3.1.2.1). Si le

rayon rebondissant atteint l’objet virtuel celui-ci s’affiche sur la surface réfléchissante au

point de réfraction.

L’impossibilité de déterminer automatiquement la matière d’un objet en le filmant

oblige à ce qu’un coefficient moyen de réfraction lui soit affecté.

50

3.2.3.2. Reflets réels

Les reflets réels se caractérisent par l’affichage d’une partie réelle de la pièce et de

ses objets sur l’objet virtuel inséré dans cet environnement. Les objets virtuels ont donc

des paramètres qui leurs sont propres, tels que la forme, la texture ou le coefficient de

réflexion. Ces paramètres devront être pris en considération pour le calcul des reflets. Les

reflets de la scène réelle sur les objets virtuels peuvent être traités de plusieurs manières

en réalité augmentée.

Une première méthode, dont l’histoire est disponible sur le site de Paul Debevec,

consiste à utiliser le principe de mapping d’environnement aussi appelé « reflection

mapping ».

Cette technique vise à approximer l’apparence de la réflexion sur l’objet virtuel en

créant une texture de l’environnement réel filmé (sans la présence du ou des objets

virtuels dans la scène). Cette texture est conditionnée sous forme de sphère, de cylindre,

de cube (pour les forme les plus simple) ou sous forme de parabole, de pyramide ou

d’octaèdre54 (pour les formes plus complexes) selon la forme qui se rapproche

globalement le plus des parties de l’objet virtuel qui porteront la réflexion.

Une fois cette texture générée, elle est directement imprimée sur l’objet virtuel (Fig.

3.27). Cela présente d’abord l’avantage d’être très rapide en temps de calcul, mais aussi

celui de pouvoir appliquer à l’objet directement les réflexions diffuse et spéculaire résultant

des lumières réelles de la scène, celles-ci étant calculées puis appliquées sur la texture de

recouvrement. Malgré ces avantages, le résultat obtenu, bien que convainquant, n’est pas

représentatif de la réalité : En effet, d’une part il reprend le fond de l’image ce qui restreint

le domaine d’application de cette technique aux espace uniformes55. D’autre part, le reflet

de la scène sur l’objet sera identique quelle que soit la position de l’objet dans la scène.

Fig. 3.27 exemple de mapping d’environnement : Sur cette photo, on observe que

l’arrière-plan est imprimé sur la soucoupe volante virtuelle hautement

réfléchissante grâce à la technique du « reflexion mapping ».

54

Polyèdre à huit faces 55

Espace dans lequel le décor est identique autour de l’observateur (exemple : un couloir, une route, une rue, et non pas : une pièce d’intérieur ou une salle de concert)

51

Une fois la texture imprimée, si d’autres objets virtuels ont été insérés dans la

scène autour de l’objet cible des reflets, ils sont pris en compte. D’abord les ombres de

ces objets sont projetées, puis l’ensemble ; objet et ombre, est utilisé pour être reflété sur

l’objet cible des reflets. Pour ce faire, la méthodologie décrite dans la partie dédiée aux

reflets virtuels est utilisée (Cf. 3.2.3.1).

Une seconde méthode consiste à utiliser une technique identique à celle de la light

probe (Cf. 3.2.1.1) pour obtenir un reflet réaliste. Placer une sphère dans la scène permet

de capturer l’ensemble de la scène de différents points de vue. La light probe étant

caractérisée par la réflexion de l’environnement sur celle-ci, le résultat de la réflexion

appliqué à l’objet virtuel est des plus réalistes. L’inconvénient majeur de cette technique

est qu’elle demande un prétraitement (celui de placer la light probe dans l’environnement).

Celle-ci reste cependant extrêmement utile dans le domaine du cinéma par exemple.

52

4. Conclusion

Cet écrit avait pour objectif de décortiquer les procédés techniques permettant

d’améliorer l’aspect réel d’éléments virtuels en réalité augmenté. Ces procédés devaient

s’illustrer dans les domaines de la perspective et des lumières. Les techniques mettant en

avant ces procédés tendent à fondre le monde réel avec le monde virtuel.

Pour ce faire, la recherche des perspectives a d’abord dû se confronter à choisir la

représentation la plus fidèle à la réalité. Sur les principes de point de fuite et de projection

(Cf. 2.1.1.), les perspectives cylindrique, curviligne et linéaire ont montré leurs avantages

et leurs inconvénients. Ces perspectives doivent ensuite être manipulées dans un

contexte virtuel (Cf. 2.1.2.) afin d’être comprises et exploitées en réalité augmentée. Dans

cette optique, la recherche des perspectives est d’abord nécessaire : deux écoles

s’affrontent alors. La première prône une identification des perspectives en connaissant au

préalable la scène (le positionnement basé modèle avantageux en terme de temps de

traitement) et l’autre prône une identification des perspectives à partir de deux images

différentes de la scène (le positionnement basé image avantageux en terme de facilité

d’acquisition). Une fois les perspectives de la scène réelle acquises, l’angle de vue de

l’objet virtuel est adapté.

Le positionnement de l’objet, quant à lui, demande à gérer les occultations que

génère la scène réelle sur les objets virtuels et vice-versa (Cf. 2.2.1.). En réalité

augmentée, cela est mis en œuvre par le repérage des droites formées par un objet réel

qui, mit en relation avec la perspective, permet de récupérer la 3D de l’environnement

filmé. Cela a pour effet d’autoriser ou non l’affichage de certains éléments de l’image

réelle sur l’image virtuelle qui y est insérée. Pour placer correctement et définitivement un

objet virtuel dans un monde réel en réalité augmentée, il faut aussi pouvoir connaître la

position de la scène par rapport à l’observateur (Cf. 2.2.2.). Pour ce faire, des capteurs

magnétiques, acoustiques, optiques, inertiels GPS et visuels sont utilisés afin d’assurer

une cohérence de positionnement entre objet réel et objet virtuel.

Une fois le respect des perspectives assuré, il faut se pencher sur celui de la

photométrie. C’est ainsi que commence d’abord l’analyse des processus lumineux qui

nous entourent, et qu’il faut comprendre, afin de les reproduire et de les ajuster dans un

souci de réalisme (Cf. 3.1.1.). Ainsi la lumière doit être numérisée pour être simulée

informatiquement : la couleur de la lumière devient un codage RGB ou TSL, sa vitesse

n’est plus, sa direction est omnidirectionnelle ou ciblée, son ciblage est positionnel ou

quaternaire et sa puissance est régit par l’atténuation. Cette numérisation demande à ce

que toutes données ou méthodes de calcul qui en découlent soient adaptées au besoin

d’illumination de l’objet virtuel (Cf. 3.1.2.). Des modèles d’illumination ont donc été créés

pour simuler la réflexion diffuse, la réflexion spéculaire et la lumière ambiante tout comme

les ombres tranchées, progressives et portées.

Ces modèles d’illumination sont directement appliqués à l’objet virtuel inséré en

réalité augmentée, et cela à travers plusieurs techniques (Cf. 3.2.1.) : le z-buffer pour la

retranscription 3D-2D des couleurs, le lancer de rayons pour le parcours de la lumière par

réflexion lumineuse, l’identification des sources lumineuses, l’illumination globale pour son

53

calcul récursif mais coûteux et le rendu haute définition pour le réalisme des couleurs. Ces

techniques de rendus doivent être accompagnées par la génération de deux phénomènes

indissociables de la lumière et du réalisme d’une scène: les ombres et les reflets. L’ombre

d’un objet virtuel doit donc être travaillée dans sa position, sa taille et sa forme soit par

projection simple (image miroir de l’objet couvrant) soit par projection calculée

(interception des rayons lumineux) (Cf. 3.2.2.).

Le reflet d’un objet virtuel doit être manipulé de la même façon (Cf. 3.2.2.) et peut

être restitué graphiquement grâce à la réfraction de l’image virtuelle sur le monde réel.

Ces reflets restent limités dans le sens où il est difficile, à partir d’une image, de

déterminer les coefficients de réfraction des objets réels. Les reflets réels sur objet virtuel

sont plus facilement modélisable grâce aux techniques de « réflexion mapping » utilisables

en temps réel et de light probe plus réalistes mais nécessitant un prétraitement.

Les différentes techniques mises en avant pour la réalité augmentée permettent

aujourd’hui de simuler les phénomènes visuels nés de la perspective et de la photométrie.

Si c’est aujourd’hui l’interactivité qui prime sur le visuel, cela est dû au manque de

performances des machines informatiques grand public : ordinateur, téléphone, télévision.

Ce manque de performances a déjà trouvé des solutions scientifiques et techniques qui ne

peuvent cependant pas être destinées au grand public : super – calculateur, capteur

physique, camera 3D.

Il serait intéressant de savoir comment les constructeurs de systèmes informatiques

comptent intégrer dans leurs produits l’utilisation grandissante de la réalité augmentée

pour une immersion visuelle aussi réussie que peut l’être l’interactivité.

54

5. Bibliographie & Webographie

o Gilles Simon, Julien Decollogne. Intégrer images réelles et images 3D Post

production et réalité augmentée. Dunod, 2006. ISBN : 2100498606

o Olivier Cotte, Marek Doska, Claudio Gallego, Bruno Giacobbé. After Effect.

Eyrolles, 2004. ISBN: 2212113994.

o Martin Evening. Photoshop 6.0 pour les photographes. Eyrolles, 2001. ISBN :

2212092903.

o R. Horaud et O. Monga. Vision par ordinateur : outils fondamentaux, deuxième

édition revue et augmentée. Hèrmes, 1995. ISBN : 2-86601-481-2.

o R. I. Hartley and A. Zisserman. Multiple View Geometry in computer Vision.

Cambridge University Press, 2000. ISBN: 0521623049.

o James D. Foley, Andries van Dam, Steven K. Feiner, John F. Hughes, Richard

L. Philips. Introduction à l’infographie. Vuibert, 2000.ISBN: 2-7117-8672-2.

o Rémy Malgouyres. Algorithmes pour la synthèse d’images et l’animation 3D.

Dunod, 2005. ISBN : 2100490680.

o Jérémie Bonamant Téboul. Le grand livre de la peinture sur figurine. Tutti frutti

2007. ISBN : 978-2-915667-26-4.

o Philippes RIS. Thèse de doctorat. http://ph.ris.free.fr/these/Ph.RIS-

Chp2Illumination.pdf

o Reinhard Erik, Ward Greg, Pattanaik Sumanta, Debevec Paul. High dynamic

range imaging: acquisition, display, and image-bases lighting. 2006. ISBN: 978-0-

12-585263-0

o G. Simon, M. Berger. Reconstruction et augmentation simultanées de scènes

planes par morceaux. http://hal.inria.fr/docs/00/18/63/03/PDF/rfia08.pdf / 2008.

o Appel Arthur. Some techniques for machine rendering of solids. AFIPS

Conference Proc. 1968.

o Bui Tuong Phong. Illumination of Computer-Generated Images. Department of

Computer Science, University of Utah, 1973.

o G. Simon, Jon Cook, Toby Howard, Roger Hubbold. Rapid Shadow Generation

in Real-world Lighting Environments. Eurographics Symposium on Rendering 2003

o http://www.cs.cmu.edu/ (l’école des sciences informatiques)

o http://www.debevec.org/ (le site internet des travaux de Paul Debevec)

o http://www.augmented-reality.fr/ (blog sur l’actualité de la réalité augmentée)

o http://www.la-realite-augmentee.fr/ (site regroupant les avancés récentes en réalité

augmentée)

o http://www.se.rit.edu/ (conglomérat de professionnels du numérique)

o http://www.hitl.washington.edu/artoolkit/ (technique d’affichage d’objet virtuel en

réalité augmentée)

o http://www.immersion.fr/index.php/ (entreprise spécialisée dans l’immersion)

o http://fr.wikipedia.org/wiki/R%C3%A9alit%C3%A9_augment%C3%A9e/ (piste de

recherche)

o http://home.blarg.net/~building/strategies/technology/billinghurst.htm/ (travaux

étudiants)

o http://www.laval-virtual.org/ (Rencontres Internationales de la Réalité Virtuelle)

55

o http://www.profil-couleur.com/ (site relatif à la photométrie)

o http://www.colorimetrie.be/phenomenes_lumineux.htm/ (site relatif à la photométrie)

o http://leplusbeaumetier.voila.net/technique/qualitelumiere.html/ (site relatif à la

photométrie)

o http://oncle.dom.pagesperso-

orange.fr/astronomie/histoire/mesure_de_c/mesure_c.htm/ (site relatif à la physique

des ondes lumineuses)

o http://culturesciencesphysique.ens-lyon.fr/ (site relatif à la physique des ondes

lumineuses)

o http://www.opengl.org/ (bibliothèque graphique)

o http://www.autodesk.fr/ (modeleur 3D)

o http://www.fantasylab.com/newPages/rtgi.html/ (illumination globale)

o http://www.hdrlabs.com/ (la photographie HDR)

o http://www.loria.fr/~gsimon/francais.html/ (Gilles Simon)

o http://user.cs.tu-berlin.de/~eitz/hdr/ (les images HDR)

o http://en.wikipedia.org/wiki/Paul_Debevec/ (informations complémentaires sur Paul

Debevec)

o http://www.siggraph.org/education/materials/HyperGraph/radiosity/overview_1.htm

(illumination globale et radiosité)

o http://freespace.virgin.net/hugo.elias/radiosity/radiosity.htm (la radiosité)

o http://fr.wikipedia.org/wiki/Albert_Henry_Munsell (histoire du peintre Albert Henry

Munsell)

o http://www.andrew-whitehurst.net/amb_occlude.html (la technique de l’ « Ambient

occlusion »)

o http://leahpar.etnalag.free.fr/images/cours/algebre_oral/proj_ortho.pdf (Projection

orthogonale)

o http://lsc.cemif.univ-evry.fr/~mallem/cours/VR91_Mallem.pdf (Vision pour la réalité

augmentée)

o http://www.umc.edu.dz/catalogue/theses/informatique/BOU5151.pdf (Incrustation

d’objets virtuels dans des séquences vidéo pour la réalité augmentée temps réel)

o http://hal.archives-ouvertes.fr/docs/00/04/93/34/PDF/Perspective_binoculaire-

STP.pdf (article sur la perspective curviligne)

o http://fr.wikipedia.org/wiki/Perspective_curviligne(Perspective curviligne)

o http://www.optique-

ingenieur.org/fr/cours/OPI_fr_M04_C01/co/Grain_OPI_fr_M04_C01_2.html (le

modèle sténopé)

o http://www.irisa.fr/lagadic/pdf/2009_TSI_marchand.pdf (Techniques de suivi visuel

pour la RA)

o http://www.loria.fr/~gsimon/ (portail de Gilles Simon)

o http://www.loria.fr/~gsimon/Demo/demofr.html (moteur robuste de recalage 3D-2D)

o http://ethesis.inp-toulouse.fr/archive/00001324/01/dehais.pdf (Contributions pour la

réalité augmentée, suivi et recalage)

ANNEXES

1. Introduction et problématique ................................................................................... 1

Annexe 1.1 - Le jeu du morpion ....................................................................................... 1

Annexe 1.2 - Invizimals .................................................................................................... 1

Annexe 1.3 - L’illumination du pont Neuf ......................................................................... 1

Annexe 1.4 - Around me ................................................................................................... 2

Annexe 1.5 - Le système ARCHEOGUIDE ...................................................................... 2

2. La perspective............................................................................................................. 3

Annexe 2.1 – Représentation en perspective à plusieurs points de fuite ......................... 3

Annexe 2.2 – Formules de projection d’un point 3D dans une image .............................. 4

Annexe 2.3 – Les modes de fusion .................................................................................. 7

Annexe 2.4 : Représentation en perspective cavalière .................................................... 8

Annexe 2.5 : Rapport de distance en perspective linéaire ............................................... 9

3. La photométrie .......................................................................................................... 10

Annexe 3.1 – Les bits : conversion en nombre décimal ................................................. 10

Annexe 3.2 Génération d’un spot dans la réalité grâce à une ampoule et la tête d’une lampe ............................................................................................................................. 11

Annexe 3.3 Faisceau non réaliste à gauche. Faisceau réaliste à droite (ajout d’un dégradé sur les bords) ................................................................................................... 11

Annexe 3.4 Les quaternions ........................................................................................... 11

Annexe 3.5 Les constantes d’atténuations de la puissance lumineuse. ......................... 12

Annexe 3.6 Le modèle Phong. ....................................................................................... 12

Annexe 3.7 Rendu d’illumination globale. ...................................................................... 13

Annexe 3.8 : L’image originale à droite et le rendu HDR de l’image à droite. ................. 13

Annexe 3.9 : Construction d’une image HDR sans matériel d’acquisition d’image HDR. ....................................................................................................................................... 14

Annexe 3.10 : La forme et la position des objets sont connues grâce aux ombres. ....... 15

Annexe 3.11 Le calcul de la radiosité ............................................................................. 16

Annexe 3.12 Exemple de light probe.............................................................................. 17

Annexe 3.13 Occultation ambiante................................................................................. 17

1

1. Introduction et problématique

Annexe 1.1 - Le jeu du morpion

Stricker, Klinker et Reiners ont créé un jeu de morpion

dont l’écran, le bouton « GO » et les jetons sont

uniquement synthétisés en 3D. Ces éléments n’existent

pas dans la réalité mais sont visibles grâce à des

lunettes HMD (Head Mounted Display)

Annexe 1.2 - Invizimals

Le joueur filme son bureau sur lequel se

trouve la carte. Apparait alors en temps

réel à l’écran de la PSP, la scène de

combat entre monstres.

Annexe 1.3 - L’illumination du pont Neuf

Avant

Après

2

Annexe 1.4 - Around me

Annexe 1.5 - Le système ARCHEOGUIDE

3

2. La perspective

Annexe 2.1 – Représentation en perspective à plusieurs points de fuite

Représentation utilisant deux points de fuite, ici l’axe de la profondeur et l’axe de la largeur

sont pris en compte et suivent les lignes fuyantes.

Représentation utilisant 3 points de fuite, tous les paramètres, largeur, profondeur et

hauteur sont pris en compte.

4

Annexe 2.2 – Formules de projection d’un point 3D dans une image

5

6

7

Annexe 2.3 – Les modes de fusion

Afin d’occulter un objet virtuel par le réel, nous devons utiliser les modes de fusions.

A partir d’une image originale, nous détourons un masque d’occultation afin d’obtenir une

image ne comportant que la zone intérieure du masque d’occultation. Pour les masques

d’occultation, la couleur blanche correspond au domaine visible, la couleur noir au

domaine invisible. La couleur blanche correspond à 1 et la couleur noire à 0.

Etape 1

Image originale masque d’occultation

Nous avons une image de rendu à laquelle nous avons ajouté un élément virtuel, ici un

texte. A cette image, nous appliquons un masque d’occultation.

Etape 2

Image de rendu 1 - masque d’occultation

Dans l’opération 1 – masque d’occultation, nous obtenons le

contraire du masque d’occultation de départ. En combinant le

résultat de l’étape 1 et de l’étape 2, nous obtenons une

composition finale.

X =

X =

8

Annexe 2.4 : Représentation en perspective cavalière

Comme nous l’avons mentionné, il est difficile de percevoir la position des objets les

uns par rapport aux autres en perspective cavalière. Nous allons présenter différents cas.

Les objets sont toujours placés de façon identique. Cependant, notre perception peut être

différente. Chaque figure est munie d’un trait nous aidant à mieux percevoir la position des

objets.

Ici, nous pouvons imaginer que les deux objets sont positionnés l’un en dessous de

l’autre à un même niveau de profondeur.

Les objets ont les mêmes positions que précédemment. Malgré cela, nous pouvons

penser que l’objet violet est plus proche alors que l’objet bleu est plus éloigné.

C’est ainsi une des limites de la perspective cavalière qui est mise en avant. La

perception de l’environnement est totalement subjective. Une même scène peut être

perçue de plusieurs façons.

9

Annexe 2.5 : Rapport de distance en perspective linéaire

Contrairement à la perspective cavalière, les proportions, donc les rapports de distance,

ne sont pas conservés.

Prenons le cas d’un cube représenté en perspective cavalière ainsi qu’en perspective

linéaire.

Dans cette représentation, le rapport 𝐶𝐷

𝐴𝐵 = 1.

Voyons ce que donne ce même cube en perspective linéaire.

Les lignes bleues sont les lignes de fuite reliées à un unique point de fuite P. Dans cette

représentation, le rapport 𝐶𝐷

𝐴𝐵 <1. Nous montrons ainsi que les rapports de distance ne

sont pas conservés en perspective linéaire.

10

3. La photométrie

Annexe 3.1 – Les bits : conversion en nombre décimal

Le terme bit signifie « binary digit », c'est-à-dire 0 ou 1 en numérotation binaire. Il

s'agit de la plus petite unité d'information manipulable par une machine numérique. Il est

possible de représenter physiquement cette information binaire par un signal qui, au-delà

d'un certain seuil, correspond à la valeur 1.

Avec un bit il est ainsi possible d'obtenir deux états : soit 1, soit 0.

Avec deux bits, il est possible d'obtenir quatre états différents (2*2) :

Bit 1 Bit 0 Valeur

0 0 0

0 1 1

1 0 2

1 1 3

Avec trois bits, il est possible d'obtenir huit états différents (2*2*2) :

Bit 2 Bit 1 Bit 0 Valeur

0 0 0 0

0 0 1 1

0 1 0 2

0 1 1 3

1 0 0 4

1 0 1 5

1 1 0 6

1 1 1 7

Pour un groupe de n bits, il est possible de représenter 2N valeurs.

Conversions :

Pour convertir un mot binaire en nombre décimal, il faut multiplier la valeur de chaque bit

par son poids puis additionner chaque résultat. Le poids d’un bit se calcule en mettant 2 à

la puissance N où N est la position du bit en partant de la droite.

Ainsi, le mot binaire 0101 vaut en décimal :

0101 = 2^3 x 0 + 2^2 x 1 + 2^1 x 0 + 2^0 x 1

0101 = 8x0 + 4x1 + 2x0 + 1x1

0101 = 5

11

Annexe 3.2 Génération d’un spot dans la réalité grâce à une ampoule et la tête d’une

lampe

Annexe 3.3 Faisceau non réaliste à gauche. Faisceau réaliste à droite (ajout d’un dégradé

sur les bords)

Annexe 3.4 Les quaternions

Un quaternion est un type de nombre hypercomplexe. L’ensemble des quaternions,

noté , constitue une extension de l’ensemble des nombres complexes, extension

similaire à celle qui conduit de l’ensemble des nombres réels à celui des nombres

complexes .

La relation qui existe entre les quaternions et les rotations en 3 dimensions fait de

l’ensemble des quaternioins un outil utile pour le traitement de l’espace. Un quaternion est

un quadruplet de nombre réels, le premier étant un « scalaire » (a) et les trois autres étant

un trio de vecteur (b, c, d) :

Le quaternions Q correspondant à une rotation R= autour d’un axe N(x,y,z)

(vecteur normé) est le suivant :

12

Annexe 3.5 Les constantes d’atténuations de la puissance lumineuse.

L’atténuation constante, l’atténuation linéaire et l’atténuation

quadratique de la lumière sont trois valeurs obligatoirement positives.

L’atténuation constante représente l’atténuation générale de la

lumière. C’est la seule constante qui ne prend pas en compte la

distance parcourue par la lumière. Elle permet donc de réduire dès le

départ la quantité de lumière émise par la source lumineuse.

L’atténuation linéaire représente la vitesse avec laquelle l’intensité

lumineuse diminue en fonction de la distance parcourue (courbe

bleue). L’atténuation quadratique a le même but que l’atténuation

linéaire mis à part, du fait qu’elle est multipliée par la distance au

carré, qu’elle permet une diminution lente, puis très rapide, de

l’intensité lumineuse en fonction de la distance parcourue. Cela

s’explique par la forme de la fonction carré (courbe rouge).

Annexe 3.6 Le modèle Phong.

L'illumination de Phong est un modèle local, c'est-à-dire que le calcul se fait en

chaque point. Ce modèle permet de calculer de manière crédible la lumière réfléchie par le

point étudié, pour cela il combine trois éléments : la lumière ambiante, la lumière diffuse et

la lumière spéculaire. Le but de ce modèle est de calculer l'intensité lumineuse qui va être

émise par réflexion par le point étudié, éclairé par une source supposée ponctuelle, dans

une direction précise (celle de l'observateur). Pour cela, la lumière est séparée en trois

composantes :

La composante ambiante représente les parasites provenant d'autre chose que la

source considérée, la lumière réfléchie par d'autres points par exemple. La lumière

ambiante est supposée égale en tout point de l'espace.

La lumière incidente est réfléchie dans toutes les directions. La composante diffuse

indique l'intensité qui repart en tenant compte de l'inclinaison avec laquelle la lumière

incidente arrive sur la surface, mais en supposant que l'intensité est la même quelle

que soit la direction que prend le rayon réfléchi.

Malgré tout, il y a plus de lumière renvoyée dans la direction de la réflexion

géométrique (celle dans laquelle repartirait le rayon en arrivant sur un miroir). Le rôle

de la composante spéculaire est d'en tenir compte.

13

Annexe 3.7 Rendu d’illumination globale.

Sur l’image de gauche, seule une illumination directe a été rendue. A droite, par

contre, une illumination globale est effective. Elle prend en compte la réflexion de la

lumière sur le sable, teintant ainsi la créature dans les mêmes tons.

Annexe 3.8 : L’image originale à droite et le rendu HDR de l’image à droite.

14

Annexe 3.9 : Construction d’une image HDR sans matériel d’acquisition d’image HDR.

Pour construire une image HDR, le principe d’abord consiste à prendre plusieurs photos

d’une même scène en capturant différents intervalles d’intensité en allant du plus sombre

au plus lumineux. Il faut pour cela disposer d’un appareil photo qui en est capable (comme

tous les reflex par exemple)

Ensuite, en fonction de la courbe de tone mapping décrite, l’ensemble des valeurs de ces

images est ramené de sorte à qu’il n’y ait, non pas 9 intervalles de 0 à 255, mais un seul.

Cela donne une image plus contrastée:

15

Annexe 3.10 : La forme et la position des objets sont connues grâce aux ombres.

Sans ombres, la forme des objets est

inconnue.

Sans ombres portées, la position des objets

les uns par rapport aux autres nous est

inconnue.

Avec les ombres, la forme des objets est

connue : pyramide et planche.

Sans ombres portées, la position des objets

les uns par rapport aux autres nous est

inconnue.

Avec les ombres, la forme des objets est

connue : pyramide et planche.

Avec ombres portées, on observe que la

planche est en partie au-dessus des

pyramides.

16

Annexe 3.11 Le calcul de la radiosité

Une fois que l’ensemble de la scène est modélisé en plusieurs triangles, chaque

triangle possède un coefficient (appelé View factor ou Form Factor) pour chaque autre

triangle de la scène. Ces coefficients permettent de déterminer comment les triangles se

voient entre eux. Ainsi, chaque triangle saura comment il sera affecté par la lumière émise

ou réfléchie par tous les autres. Plus un triangle B est loin d’un triangle A ou moins le

triangle A se trouve face au triangle B et plus le View factor sera faible.

La radiosité se calcule donc ainsi :

Bi est le coefficient de radiosité de cette surface jaune. Elle est calculée en additionnant la

possible énergie émise Ei par la surface et le produit du facteur de réflexion ρi de la

surface avec la somme de l’ensemble des radiosités Bj et des View fators Fj des autres

surfaces

Une fois les facteurs de radiosité déterminés, il faut commencer par déterminer les

triangles émetteurs de lumière (une fenêtre par exemple), ce qui affectera les triangles

récepteurs qui ont un fort View factor avec ces émetteurs (le sol par exemple), cela

constitue la première passe (1st Pass). Les triangles récepteurs deviennent ensuite des

émetteurs grâce à leur caractère réfléchissant, ce qui affecte d’autres triangles récepteurs

(2nd Pass). Plus ce processus est répété, plus la scène sera réaliste mais plus l’affichage

de la scène sera long (3rd Pass, ect..).

17

Annexe 3.12 Exemple de light probe

La Light probe permet de faire un

mapping de la scène qui s’y reflète.

Ce plan est ensuite utilisé pour

obtenir un affichage panoramique de

la scène.

Annexe 3.13 Occultation ambiante

L’occultation ambiante, généralement appelée « Ambient Occlusion », est une

technique d’ombrage 3D dérivée des principes d’illumination globale. Cette méthode

ajoute du réalisme à un objet en lui attribuant une profondeur de forme. Lorsque cette

méthode s’exécute, chaque face d’un objet est soumise aux faces qui l’entourent. Plus de

faces l’entourent, plus la face en question sera sombre. A l’inverse, si aucune face ne

l’entoure, la face sera parfaitement éclairée.

Cette technique, ajoutée à la lumière diffuse émise par un objet, donne un résultat

très concret et réaliste.

Exemple d’occultation ambiante

Exemple d’occultation ambiante

avec de la lumière diffuse.