CM L1 "Esthétique des arts numériques"
[ Réalité Augmentée, Réalité Virtuelle ]
médias du cours [ 02.02 ]
...............................................................
"La réalité a toujours été trop étriquée pour l'imagination de l'homme. Le désir de créer une « machine fantasmatique interactive » n'est que la manifestation la plus récente d'un désir immémorial de rendre nos rêves tangibles, de ce besoin d'exercer notre imagination, notre jugement dans des mondes, dans des situations, dans des incarnations différents de ceux de nos vies quotidiennes. La caractéristique la plus importante de l'intelligence humaine est peut-être notre faculté à intérioriser le processus d'expérience. Lorsqu'un homme réfléchit à la manière de grimper à un arbre, son imagination lui sert de laboratoire virtuel où se déroulent des expériences de physique, de biomécanique et de physiologie. Et dans les domaines de la justice, de l'art ou de la philosophie, l'imagination est le laboratoire de l'esprit."
Brenda Laurel
"Réalité Augmentée"
Définition de Gilles Simon
"La réalité augmentée est une alternative à la réalité virtuelle. Les techniques de réalité virtuelle immergent l’utilisateur dans un environnement entièrement synthétique : l’utilisateur ne peut alors plus voir le monde réel qui l’entoure.
En Réalité Augmentée, on permet à l’utilisateur de voir le monde réel, avec des objets virtuels qui se superposent à la scène observée.
Une définition précise de la RA a été donnée en 1997 dans la revue Presence : il s’agit d’intégrer des objets 3D dans l’environnement réel, en temps réel et en respectant la perspective de la scène observée. Cette définition concerne des applications interactives telles que l’assistance en milieu industriel ou l’aide à la décision. Mais le terme est aussi communément employé de manière moins restrictive, pour désigner plus généralement l’ajout d’objets synthétiques dans des images réelles, sans la contrainte du temps réel : cela concerne par exemple le cinéma des effets spéciaux, ou l’étude d’impact à partir de séquences vidéo en architecture."
Définitions de la RV, "Réalité Virtuelle"
Dictionnaire des Arts Médiatiques /
"(n.f.) Technologie propre aux systèmes informatiques visant à créer des environnements qui simulent le monde naturel ou un monde imaginaire et qui donnent à l'utilisateur l'impression de la réalité. Les systèmes de réalité virtuelle peuvent être immersifs ou à l'écran. Les systèmes immersifs comportent des interfaces tels les casques de visualisation ainsi que les combinaisons et les gants sensitifs à retour tactile et d'effort, qui tendent à couvrir l'intégralité du champ sensoriel de l'utilisateur d'une façon apparentée à l'environnement naturel. Les systèmes à l'écran ont des interfaces plus limitées : le champ visuel occupé par l'environnement virtuel coïncide avec l'écran d'un moniteur, et il peut être amélioré par le port de lunettes stéréoscopiques permettant de créer un effet de profondeur. Ces systèmes peuvent également comporter des gants dotés de capteurs de position, représentés dans l'environnement qui paraît à l'écran et permettant de déplacer ou d'actionner certains de ses éléments. Signalons que certains casques de visualisation comportent un dispositif pour ainsi dire semi-immersif de réalité augmentée, qui permet un affichage en transparence de l'environnement virtuel, tout en donnant accès à l'environnement réel de l'utilisateur.
Les systèmes de réalité virtuelle ont trois composantes principales :
1) la machine de réalité (l'ordinateur) ;
2) le logiciel ;
3) différentes interfaces.
La machine de réalité, l'ordinateur lui-même, forme le coeur du système et génère l'environnement virtuel ; il faut y ajouter des composantes matérielles de traitement de l'information visuelle et sonore. La machine de réalité comporte toutes les données nécessaires à la constitution et au fonctionnement de l'environnement virtuel, en particulier une géométrie, qui décrit la nature formelle et la position des éléments constitutifs (en général objets et acteurs) de l'environnement, ainsi qu'une dynamique, qui spécifie les relations d'interaction entre ces éléments dans l'environnement. Le logiciel détermine les modalités d'interaction entre l'utilisateur et l'environnement virtuel.
Différentes interfaces relient le corps humain et la machine et établissent le contact entre l'utilisateur et l'environnement virtuel, tels les casques de visualisation, les combinaisons et les gants sensitifs, auxquels il faut ajouter des dispositifs qui ne sont pas intégralement immersifs, comme les lunettes stéréoscopiques, les bras à retour d'effort, les bio-capteurs et les souris 3D. Les systèmes de réalité virtuelle ont des applications, entre autres dans les domaines militaire et aéronautique, où ils servent à l'entraînement avec des équipements spécialisés ainsi qu'à la simulation de vol ; dans le domaine de l'architecture, où ils permettent, par exemple, de circuler dans les plans tridimensionnels des bâtiments à construire ; et, de façon encore expérimentale, dans le domaine de la médecine, où l'on envisage l'exécution d'opérations à distance ou sur des parties difficilement accessibles du corps humain. Il existe également des applications de ces systèmes dans les domaines de l'art, de l'éducation et du divertissement.
L'expression « réalité virtuelle » a été introduite par Jaron Lanier, fondateur avec Jean-Jacques Grimaud de VPL Research en 1985, compagnie qui a produit le dispositif du DataGlove. Les premières expérimentations de réalité virtuelle datent cependant des années 1960, avec l'invention par Morton Heilig du Sensorama, sorte de machine cinématographique proposant une expérience d'immersion dans l'image, la fabrication par Ivan Sutherland au Massachusetts Institute of Technology d'un dispositif d'affichage stéréoscopique monté sur tête avec capteurs de position, et la mise sur pied par Frederick Brooks, de l'Université de Caroline du Nord, d'un programme de recherche visant à créer un dispositif combinant la visualisation et le retour d'effort. Le procédé LEEP, qui entre dans le dispositif d'affichage d'un bon nombre de casques de visualisation, a été introduit dans le milieu des années 1970. Les recherches de Myron Krueger dans le domaine de la réalité artificielle remontent à 1969. En fait, la recherche se poursuit de façon intensive depuis les années 1980.
Plusieurs dispositifs de visualisation ainsi que de retour tactile et d'effort ont ainsi été mis au point dans les centres et entreprises de recherche et développement, en même temps qu'on continuait de perfectionner les composantes matérielle et logicielle des systèmes de réalité virtuelle."
>> découvrir le dictionnaire des arts médiatiques
RV & RA .......... différences et points communs
Réalité Virtuelle et Réalité Augmentée sont donc avant tout des systèmes qui autorisent une interactivité entre l'espace virtuel de l'information numérique et les informations du monde réel.
Leurs points communs résident dans l'usage d'interfaces (capteurs de position, de mouvement, de pression, capteur video, son, etc) et dans l'échange de données entre sujets humains (ou des organismes biologiques), espace physique réel et données numériques.
La différence majeure entre la Réalité Virtuelle et la Réalité Augmentée réside dans le degré et les modalités d'immersion du sujet au sein du monde virtuel.
En RV, le sujet est équipé le plus souvent d'interfaces corporelles qui le plongent dans l'univers virtuel : casque de vision stéréoscopique, gants de données (datagloves) qui permettent de "toucher" des objets virtuels, etc. Dans le cas de la RV, l'univers virtuel est donc prévalent puisqu'il remplace, par la simulation sensorielle et l'imagerie 3D, l'univers réel. Avec un casque de vision 3D, l'interacteur a ainsi l'impression visuelle de se déplacer dans l'univers virtuel ¥ l'immersion est donc la caractéristique fondamentale de la Réalité Virtuelle ¥ la simulation sensorielle est une autre caractéristique essentielle de la Réalité Virtuelle (simulation visuelle 3D, simulation du toucher via les data-gloves et data-suits, etc).
>> Un article précis sur la RV / vieartificielle.com
>> description de quelques interfaces pour la RV
>> PDF descriptif des interfaces de RV
En RA, l'environnement est équipé d'interfaces qui permettent de prolonger les actions de l'interacteur dans le monde virtuel ; néanmoins, si les deux espaces phyisque et virtuel deviennent poreux et s'interpénètrent, l'interacteur continue de percevoir à la fois l'espace physique réel et l'espace virtuel. Les interfaces servent à la distribution des données entre les deux espaces, permettant à l'interacteur humain de naviguer dans les données et inversement permettant à l'ordinateur de recueillir des informations concernant le sujet humain et l'environnement physique réel.
Ainsi, en Réalité Augmentée l’utilisateur continue de voir le monde réel mais des objets virtuels se superposent à la scène observée. L'interacteur peut interagir avec ses objets sans pour autant être complètement immergé dans l'illusion d'un espace virtuel. Dans ce sens, la Réalité de l'interacteur est donc Augmentée puisqu'elle se superpose à l'espace virtuel et y prolonge les actions des sujets humains ou des organismes biologiques. Le corps, les actions et perceptions de l'interacteur sont optimisés dans leurs possibilités ; ce sont donc aussi les modalités de présence du sujet qui sont donc "augmentées".
Les interfaces utilisées en RV sont le plus souvent extérieures au corps de l'interacteur et intégrées à l'environnement : capteurs de son, de pression au sol, de température, capteur vidéo, capteur de mouvement, etc.
RA & RV dans les arts
Portée par la puissance de calcul de l'ordinateur et le développement d'interfaces électroniques autorisant une interactivité créative entre le sujet humain et l'intelligence logicielle, la création numérique s'est considérablement développée en déclinant des catégories artistiques déjà bien identifiées.
En effet, des sous-catégories spécifiques telles que la « réalité virtuelle », ou la « réalité augmentée », « l’Art génératif », ou encore « l’Art des interfaces » viennent compléter les désignations techniques du Net-art, de la photographie digitale ou de l'art robotique.
Dans le domaine des arts, les systèmes de Réalité Augmentée et Réalité Virtuelle sont les sytèmes sur lesquels reposent les "environnements interactifs". Le terme d’environnement est entré dans le champ des arts au cours des années 60, en pleine période du décloisonnement des catégories artistiques. À l’époque, celui-ci qualifie déjà un milieu englobant et participatif au sein duquel l’expérience perceptive et critique du spectateur est vivement convoquée. Le spectateur est invité à s'impliquer physiquement dans le processus de création.
Dans les environnements interactifs, "truffés de capteurs invisibles qui interprètent les mouvements et la morphologie du spectateur, la sensorialité humaine est immergée dans un monde où elle est sollicitée, interprétée, pour finalement devenir une matrice créative qui informe et régénère l’espace environnant." (VMorignat) Les environnements de Réalité Virtuelle (RV) ou de Réalité Augmentée (RA), constituent aujourd'hui des catégories importantes de la création numérique.
Christa Sommerer et Laurent Mignonneau ont développé des oeuvres de Réalité Augmentée particulièrement représentatives du potentiel symbolique des interfaces numériques (capteurs de mouvement, de sonnotamment au travers d'œuvres comme Interactive Plant Growing, Transplant ou Intro Act qui intègrent selon les cas dans un même espace plantes réelles, sujets humains, interfaces sensibles (capteurs de mouvements, de lumière, de pression, etc) programme de vie artificielle et synthèse temps réel.
L'environnement, délimité par des écrans où naissent des images tridimensionnelles générées par les interactions du spectateur avec les interfaces, devient alors une matrice intelligence, reflétant les relations biologiques de l'organisme et du "milieu" qui s'enrichissent l'un l'autre. Comme se plaisent à le dire Sommerer et Mignonneau eux-mêmes, le biotope virtuel qui se projette sur les écrans relativement aux mouvements des spectateurs ou de leurs interactions avec les plantes expriment « l’expression même des émotions du sujet au contact du virtuel ».
>> Lire l'article de V Morignat / sommerer & mignonneau
Aujourd'hui, les artistes Electronic Shadow développent des Réalités Augmentées qui mettent en relation les spectateurs présents dans l'environnement interfacé et les internautes virtuellement connectés à l'espace d'exposition. Leur récent travail "Ex-Iles" (2004).
"Ex-îles est une installation interactive composée d'un bassin de 5 mètres sur deux de 20 centimètres de haut rempli d'eau lumineuse et d'une extension numérique sur internet. L'interaction peut se faire à partir de l'espace physique ou du site. De chaque côté du bassin se trouvent deux îles, l’une est « réelle », l’autre virtuelle. Lorsqu'un visiteur entre dans la lumière de l’île réelle, il produit une ombre naturelle qui est « projetée » dans le bassin sous la forme d’une silhouette lumineuse qui parcourt la distance du bassin en nageant, laissant derrière elle une ligne qui se dessine d’une île à une autre." (source electronicshadow.com)
Char Davies, avec l'œuvre de Réalité Virtuelle "Osmose" a renforcé cette nouvelle intégration du spectateur et de ses capacités d'agir au sein du processus de création et de régénération de l'œuvre. Comme dans les œuvres de Sommerer et Mignonneau, dans "Osmose", le corps du spectateur est indispensable à l'œuvre. Relié à une combinaison de capteurs (data-suit) et à un visio-casque stéréoscopique 3D, le spectateur fait apparaitre un monde virtuel tout autour de lui et où il pourra évoluer en fonction du rythme de sa respiration.
> Lire le texte de Pierre Lévy sur OSMOSE
Vers un art des interfaces
Au début des années 80, Marc le Bot pensait que l'ordinateur ne pourrait être l'instrument de la création artistique car il n'impliquait pas le corps. Pierre Lévy (Qu'est-ce que le virtuel ?) ou Jean-Louis Boissier (La relation comme forme), à l'appui du développement d'un "art des interfaces" ont démontré que le corps était au contraire particulièrement engagé par les processus de la création numérique. Diana Domingues ajoutera qu'au-delà de l’interface, il est important "d’insister sur l’importance de la dimension comportementale de l’art interactif, dans laquelle un corps est enclin à ressentir quelque chose qui amplifie sa dimension de monde".
L'interactivité et la générativité, boucle rétroactive au centre de laquelle se trouve le sujet humain, sont deux principes fondamentaux du processus de création numérique. Ils apparaissent très clairement dans des œuvres où les interfaces jouent un rôle déterminant comme dans "Very Nervous System" de l'artiste David Rokeby, mais aussi dans des œuvres qui ouvrent vers le cinéma digital et la fiction interactive comme celles de Toni Dove ("Artificial changellings"), de Luc Courchesnes ("Landscape One"), ou encore celles du réalisateur et théoricien Jeffrey Shaw ("Scenario2" 2005, "Eavesdrop" 2004). Le système de projection AVIE développé par Jeffrey Shaw et Dennis Del Favero (Advanced Visualisation and Interaction Environnent) permet, via des capteurs de mouvement et de forme, d'interagir non seulement avec les images, le son, mais encore, dans le cas d'une fiction cinématographique, avec les personnages du film. "Configurés en même que temps que l'histoire racontée" (Ricoeur), les personnages de fiction se rapprochent alors singulièrement du spectateur, lequel incorpore le monde de la fiction en y inscrivant ses propres actions.
Dans ce type d'œuvre qui change les procédures narratives, l'intelligence artificielle joue un rôle considérable. L'intégration de la vie artificielle et de l'intelligence artificielle dans les œuvres numériques est en effet en plein essor et ouvre des perspectives nouvelles. Au théâtre, requalifié "scène des interfaces", son usage permet d'ouvrir le jeu des acteurs à l'interaction avec des personnages virtuels administrés par des programmes de vie et d'intelligence artificielle (Jean-Lambert Wild, "Orgia").
Liens sur la RA & RV
Immersence
Virtools & VR
VRLab
MiraLab
Virtual Reality
Howard Rheingold
RV/ariaLab
CAVE
Laval Virtual
Historique
VResources
INfos
Cyberia
Z-A
RV Ludique
Théâtre et RV
Telepresence.com
Arena
Web3D
VR Res. Gate
ARTHUR
a-Rage.com
Virtusphere
i-TUBE
MRLab
Artcom
augmented-reality.org
Augmented Reality
AR Research Grp
Sony Augmented Env.
Studierstube
ARQuakeProject
Answer.com/AR
Openillusionist
ICC online
Histoire de la RV
Réalité Augmentée
Interfaces, LabAU
Environnement collaboratif
Environnements virtuels...
Imagina/ACTU (pdf)
REVA, RV / Industrie
VR & AR
HR / La réalité virtuelle
What is Virtual Reality?
P Lévy, Osmose
P Lévy, Cyberculture
P Lévy, Qu'est ce que le virtuel ?
RV & RA en ART
Studio Azzurro
Sommerer, Mignonneau 1
Sommerer, Mignonneau
Jeffrey Shaw
ElectronicShadow
Orgia de JLWild
Orgia / videos
Théâtre & RV
Musique & RV
P Lévy, Osmose
Virtual Art Data BAse
Interfaces pour la RV
Synthèse du Rapport n°169 du Sénat
Le casque de vision stéréoscopique.
Le casque de vision permet l'immersion et la navigation à l'intérieur de l'image virtuelle.
"Le premier objectif est atteint par la disposition d'écrans situés très près des yeux, munis d'optiques spéciales afin d'éviter la fatigue visuelle et d'agrandir l'image pour qu'elle remplisse tout le champ de vision de l'utilisateur, ce qui donne l'impression d'être "à l'intérieur" de la scène reconstituée en images de synthèse.
La seconde fonction du casque de réalité virtuelle est d'être un outil de commande de l'image, grâce à un dispositif de capteurs qui permettent de "traquer" les mouvements de la tête qui peuvent donc être analysés. Les capteurs sont utilisés pour déterminer l'orientation et la vitesse de ces mouvements. Cette technique garantit "l'immersion" et la "navigation" dans l'image puisque l'image est dirigée par le regard, exactement comme dans la réalité".
Les gants de données (data gloves)
" Il ne sert pas à grand chose de se promener ou de contempler une scène virtuelle, ce qui est intéressant, c'est d'y agir, donc de la modifier avec notre outil de base : la main. "(Philippe Coiffet). Ainsi, une attention particulière a porté sur le développement de l'interaction entre l'homme et l'image, notamment par le biais de la main. "
Toute scène virtuelle comporte donc l'image de la main qui agit, censée être celle de l'opérateur humain ou, à la limite, l'image d'un outil porté par la main qui agit. " Cette main virtuelle doit reproduire les mouvements de la main réelle et agir sur le monde virtuel comme si c'était la main réelle qui manipulait un objet du monde réel.
C'est ainsi que sont apparus les "gants de capture", "gants de données" (data gloves)ou "traqueurs de mains". Les gants sont aujourd'hui équipés en fibres optiques. La "capture" ou "acquisition" s'opère lorsque la main virtuelle (amenée par la main réelle) "saisit" l'image d'un objet sur l'écran, et la déplace à sa guise dans l'écran, comme une main le ferait d'un objet dans l'espace. "
Les vêtements de données (data suit)
Le vêtement de données est aussi une interface importante pour la Réalité Virtuelle. Il s'agit d'une combinaison portée par l'interacteur qui retransmet en temps réel à l'ordinateur des informations sur la position, les mouvements, les inflexions du corps du sujet. Les senseurs artificiels intégrés au vêtement permettent ainsi de déterminer la position du corps réel et de coordonner ses mouvements avec ceux d'un avatar (double virtuel de l'utilisateur dans le monde virtuel). Ces senseurs électroniques sont très perfectionnés et leur sensibilité est telle que la moindre flexion, incluant les informations de vitesse et de torsion, produit un signal que l'ordinateur transpose à l'avatar en temps réel. Combinée aux gants de données, le vêtement de données permet ainsi à l'interacteur d'avoir la sensation d'habiter physiquement l'espace virtuel. Les effecteurs électroniques intégrés à la combinaison permettent aussi à l'interacteur d'avoir la sensation dêtre touché par les peronnages ou objets virtuels.
>> +++