Réalités mixtes: immersion in situ et mobilité in visu

Vesac, Jean-Ambroise. 2012. «Écran» [Photographie]
(Credit : Vesac, Jean-Ambroise)

L’immersion en mobilité, in situ, l’objet central de cette recherche, se détaille au cours de ces essais. Elle prend place dans le continuum de l’espace physique réel. Elle est à la fois physiologique par la pleine participation du corps et abstraite par le regard porté sur la réalité matérielle comme un espace ludique (Bourassa, 2010). Ce type d’immersion est le fruit de la combinaison de deux niveaux de réalité qui se juxtaposent, soit la présence d’un lieu physique, in situ, avec l’effet de présence d’un autre espace, à la fois abstrait, simulé et interactif, à travers un dispositif d’augmentation mobile, in visu. L’effet de présence se définit par le ressenti d’un sujet dont la présence corporelle dans l’ici et maintenant est remplacée par un dispositif technologique (Bourassa, 2012). Il s’éprouve sous l’action émergente, restée d’abord inaperçue, d’un agent immatériel dans la réalité concrète. La cognition humaine semble s’adapter à ce type de réalités mixtes hybridant des éléments artificiels et réels: un nouveau percept émerge alors de cette hybridation, constituant les prémices d’un schème paysagé inédit²Ceci renvoie à la définition de Phillippe Descola dans ses conférences au Collège de France sur les formes du paysage en 2012, soit: «le paysage est la représentation d’un lieu dans un objet matériel ou un schème visuel, lui-même façonné par l’habitude de regarder des représentations concrètes. […] Il est reconnaissable par son intention de traiter une portion de l’espace comme une représentation globale d’autre chose». Ainsi, il procède d’un modèle culturel et utilise un appareillage technique de cadrage du regard.. Les techniques numériques produisent des objets perceptifs inédits qui représentent un enjeu esthétique majeur des arts et de la culture numériques, débordant même sur l’art contemporain. 

Dans cette recherche, l’approche est phénoménologique par son aspiration à poser des passerelles entre l’expérience et la théorie. Selon cette perspective, le contexte d’expérimentation est indissocié de l’expérience. Les affects sont exploités dans la construction des connaissances, c’est-à-dire que durant les phases de production et d’expérimentation, les réactions émotionnelles rencontrées sont acceptées comme des données concrètes témoignant de la relation subjective de l’artiste à l’œuvre, puis de l’usager à l’œuvre. Par ailleurs, j’emprunte à la théorie de l’acteur-réseau sa prise en compte des objets «non-humains», notamment en m’inspirant des écrits de Bruno Latour (2001). Les dispositifs interactifs sur lesquels je travaille sont conçus comme des laboratoires mobiles³Je parle de laboratoire, car le dispositif comprend une intention de recherche, un sujet d’observation, des équipements et des processus informatiques ainsi qu’un observateur. Il est mobile pour s’adapter à son objet de recherche: la mobilité immersive. pour la création de représentations non figuratives de paysages. Précisons que ces expérimentations se sont déroulées dans le contexte du projet des Ursulines, qui étudie l’intérêt muséographique de la numérisation 3D de la chapelle du monastère des Ursulines de Québec⁴La chapelle intérieure du monastère des Ursulines de Québec est un lieu patrimonial sacré qui fut numérisé, reconstruit et simplifié dans un modèle 3D, puis intégré dans une application interactive. La numérisation a été accomplie par la compagnie MCG3D avec la technologie LIDAR. Je suis intervenu dans le projet à titre de conseiller en multimédia et coordinateur de production., dans le cadre du projet de recherche sur les «Nouveaux terrains d’apparition⁵Ce projet est financé par le Conseil de recherches en sciences humaines du Canada (CRSH) sous la direction de Luc Courchesne, chercheur principal, et de Philippe Dubé, directeur du LAMIC.». Elles ont été réalisées dans différents contextes d’expérimentation, soit au Laboratoire de réalités mixtes et interface mobile⁶Ces expériences ont été supervisées par Sylvie Daniel, professeure. du Département de géomatique de l’Université Laval (Québec, Canada), au Laboratoire de muséologie et d’ingénierie de la culture (LAMIC)⁷L’équipe de production était constituée de deux stagiaires en provenance de l’École Centrale de Nantes, Camille Autran et Géraud Le Falher, ainsi que de Dominique Gélinas, doctorante en muséologie. Je remercie le LAMIC et Philippe Dubé d’accueillir et de soutenir mes recherches, notamment en me donnant accès au modèle 3D de la chapelle du monastère des Ursulines de Québec. (http://www.lamic.ulaval.ca) Voir l’article de Philippe Dubé dans le présent ouvrage. de l’Université Laval, qui est spécialisé en muséographie expérimentale et numérique, à la Société des arts technologique (SAT), centre d’artistes et de recherche en art numérique à Montréal (Canada), dans un stationnement extérieur situé à l’Université Laval et enfin, sur le lieu même de la chapelle des Ursulines, à Québec. Il faut noter que les expérimentations ont été réalisées sans son.

Avant de présenter l’enchaînement d’expérimentations menant jusqu’à la conclusion, il est important de préciser le cadre expérimental en donnant des explications sur l’origine et la réalisation du modèle 3D employé, ainsi que certains aspects méthodologiques préalables aux expériences. Tout au long du texte, des détails techniques seront illustrés pour éclairer la nature des éléments en jeu. La première expérimentation consiste en une exploration du modèle 3D par contrôle gyroscopique sur une tablette vidéo iPad 3, qui peut être accessible de n’importe où. Le second dispositif affiche le modèle 3D en réalité augmentée sur tablette vidéo in situ. La troisième expérimentation étudie le modèle 3D par contrôle gyroscopique sur une tablette vidéo avec dédoublement visuel dans un dispositif d’immersion individuel, le Panoscope⁸En ligne: http://www.panoscope360.com. (Site consulté le 10 novembre 2013). Dispositif immersif hémisphérique développé par la Société des Arts Technologiques (SAT, Montréal, Canada). Au sujet du Panoscope, voir également l’article de Luc Courchesne dans le présent ouvrage.. La quatrième expérimentation se penche sur le modèle 3D par navigation boutons-flèches dans un dispositif d’immersion grand format, la Satosphère. Et enfin, la cinquième expérience fait appel directement à la mobilité immersive par l’exploration du modèle 3D en extérieur, dans la rue. Les déplacements dans la simulation imitent la marche de l’expérimentateur dans l’espace réel, in situ, grâce à la transcription des coordonnées GPS du système de géolocalisation dans l’application 3D. C’est une navigation géographique reportée. À la manière des dispositifs précédents, les translations verticales du point de vue sont asservies à la rotation gyroscopique de la tablette vidéo, tenue à bout de bras.

Fig. 1: Vesac, Jean-Ambroise. 2012. «Chapelle du monastère des Ursulines du Québec» [Photographie]
Vue de l’intérieur de la simulation de la chapelle du monastère des Ursulines de Québec.
(Credit : Vesac, Jean-Ambroise)

Le modèle 3D utilisé dans ces expérimentations

Dans cette série d’expérimentations, deux modèles 3D de la chapelle des Ursulines sont utilisés, soit une version photoréaliste et une version schématique. Cette section va donner les détails techniques de la réalisation des modèles 3D et des dispositifs d’expérimentation.

Le modèle 3D a été remodelé à partir des données obtenues par le numériseur LIDAR. La quantité de données est énorme. À l’état brut, elles sont inutilisables en raison des capacités limitées des applications disponibles au LAMIC. Thierry Moszkowicz du Laboratoire de Vision et Systèmes numériques de l’Université Laval nous a permis de dépasser ce problème en fractionnant informatiquement le nuage de points, sans perdre les informations de positionnement d’origine. Ces fragments de nuage de points sont ainsi manipulables pour l’étape subséquente de reconstruction des surfaces polygonales. Ici encore, la quantité de données doit être limitée pour permettre au final des opérations d’affichage en temps réel. La réduction de la densité des polygones est donc nécessaire. Cette opération peut être réalisée par traitement informatique, mais les résultats sont décevants. Les essais effectués⁹Notamment dans la première version du modèle (2011), qui avait été traité par une solution logicielle automatisée. donnent à observer la différence entre notre perception et la réalité physique d’un lieu. Le modèle simplifié ne retient que les volumes et paraît subjectivement plus «beau» qu’une version plus granuleuse, mais qui se rapproche mieux de la matérialité véritable du lieu. La dimension culturelle de notre entendement semble avantager une représentation 3D, signe indiciel de la chapelle, correspondant préférablement à son schème culturel plutôt qu’à son référent concret. Un mur, par exemple, est généralement perçu comme un plan plat et lisse; pourtant, le numériseur nous montre qu’il est inégal, granuleux. Représenter un mur de pierres plat est inexact, mais convient mieux à la vision qui n’a pas besoin de trop de détails. Les zones uniformes ou vides facilitent la vue. Ainsi, pour des raisons d’efficacité et de qualité visuelle du rendu, le modèle 3D de la chapelle a été remodélisé par retopologie¹⁰La retopologie est le remodelage d’un objet 3D par la restructuration polygonale de sa topologie. par-dessus une version polygonale haute résolution. Le nuage de points a servi de référence, comme l’empreinte du lieu réel.

Fig. 2: Vesac, Jean-Ambroise. 2012. «La retopologie de la chapelle» [Logiciel 3DCoat et Blender]
(Credit : Vesac, Jean-Ambroise)

Une fois le modèle reconstruit, des textures réalisées à partir de photographies de Luc-Antoine Couturier ont été appliquées sur les faces. Pour optimiser ces textures dans le cadre de leur usage 3D, les photographies ont été capturées avec une lentille 50mm, donc sans déformation optique, et prise à la perpendiculaire, ce qui a nécessité un chariot élévateur. Aussi, la technique d’imagerie à grande gamme dynamique (HDR) a été employée pour obtenir des plages dynamiques aussi neutres que possible dans l’exposition des sections ombragées ou éclairées par la lumière naturelle et artificielle.

Fig. 3: Vesac, Jean-Ambroise. 2012. «Le modèle texturé» [Photographie]
(Credit : Vesac, Jean-Ambroise)

Pour mes recherches, la version photoréaliste de la chapelle est trop lourde pour être utilisée en développement. Le temps de chargement sur la tablette vidéo est beaucoup trop long. Un modèle schématique a été réalisé pour résoudre cet inconvénient. La réduction du modèle de la chapelle amenait à une réflexion esthétique et communicationnelle touchant à la pertinence de l’information conservée et à l’atmosphère recréée¹¹Le choix esthétique de la schématisation a été pertinent, comme le confirment les réactions des spécialistes du lieu, Christine Cheyrou, directrice du musée des Ursulines, et soeur Gabrielle, qui ont toutes deux reconnu que l’apparence du modèle exprimait la nature spirituelle de la chapelle..

Fig. 4: Vesac, Jean-Ambroise. 2012. «Le modèle schématique de la chapelle»
(Credit : Vesac, Jean-Ambroise)

Du point de vue de la technique, ces dispositifs profitent de trois fonctionnalités: le service de localisation GPS, le gyroscope corrigé et la caméra intégrée. Le modèle 3D est intégré à la tablette vidéo dans une application Unity3D. La navigation se divise en deux composantes: la position et la rotation gyroscopique de la caméra, dans une perspective à la première personne. 

Expérimentation n°1: Exploration du modèle 3D par contrôle gyroscopique sur une tablette vidéo utilisable de n’importe où

La première expérimentation réalisée à l’aide de ce modèle consiste en la création d’un environnement virtuel non immersif. L’application utilise les mouvements de rotation gyroscopique de la tablette vidéo dans le contrôle de l’orientation à l’écran (Figure 5). L’expérimentateur est virtuellement entouré par le modèle, sur 360° degrés. En tenant à bout de bras la tablette vidéo, il faut tourner sur soi-même pour découvrir le modèle en entier. Ainsi, les jambes, le tronc, les épaules et la tête sont en rotation. Le corps accompagne la curiosité du regard. La sollicitation du sens de l’orientation de l’usager (gauche, droite; en haut, en bas), ajoute une dimension physique à l’image, soit une référence corporelle qui lui accorde plus de présence. La position dans le modèle est contrôlée par un bouton sur l’interface tactile.

Déjà à cet état minimal, ce dispositif démontre que le dépassement de notre rapport frontal habituel au média-écran ouvre à de nouvelles postures d’interaction, notamment dans l’usage de la cognition spatiale, qui peut paraître encore sous-utilisée, bien qu’elle soit inexorablement encouragée dans le développement des technologies mobiles. Par entraînement, l’information est de plus en plus géosensible, parce qu’elle est consultée depuis une localisation précise et qu’elle s’adapte à cet emplacement. Dans cet état de fait, les compétences géographiques joueront un rôle croissant afin d’éviter les erreurs dues aux incompréhensions courantes de la géographie, comme le souligne Hirtle (2011) par la notion de «naïveté géographique¹²Selon Hirtle, il existe de nombreuses incompréhensions géographiques, dont voici quelques exemples: la Terre est perçue comme plate; l’espace géographique a deux dimensions; les cartes sont plus réelles que l’expérience; le temps et l’espace sont couplés; l’espace a plusieurs niveaux de détails, etc.».

Fig. 5: Vesac, Jean-Ambroise. 2012. «La navigation gyroscopique»
(Credit : Vesac, Jean-Ambroise)

Expérimentation n°2: Affichage du modèle 3D en réalité augmentée sur tablette vidéo in situ

La seconde expérimentation conduite avec ce modèle propose une augmentation par «trouée» de la façade extérieure de la chapelle. Elle s’appuie sur la reconnaissance informatique d’un marqueur de positionnement visuel permettant de superposer en temps réel un objet 3D à l’image vidéo comme s’il était dans l’environnement réel. Dans notre expérimentation, le marqueur de réalité augmentée a été placé sur le mur juste à côté de la porte principale extérieure. Ainsi, l’augmentation permet de voir à travers le mur à l’intérieur de l’église. La réalité virtuelle est ancrée dans le lieu par la reconnaissance informatique d’une image cible qui doit être dans le champ visuel, ce qui l’encombre un peu.

Fig. 6: Vesac, Jean-Ambroise. 2012. «L’augmentation par trouée de la chapelle»
(Credit : Vesac, Jean-Ambroise)

L’angle de vue serré et la taille du marqueur sont des entraves aux mouvements libres du regardeur, qui voudrait changer plus franchement de point de vue, en allant par exemple au coin de la rue. Même si cette application permet de voir à l’intérieur de la chapelle en dehors des heures d’ouverture, la taille du modèle relativement à la distance réelle ne laisse pas paraître beaucoup de détails. Il faudrait grossir ou rapprocher artificiellement le point de vue. Dans ce cas, l’augmentation n’est pas plus immersive qu’une vidéo préenregistrée.

Fig. 7: Vesac, Jean-Ambroise. 2012. «Autel de la chapelle» [Photographie]
(Credit : Vesac, Jean-Ambroise)

Ayant expérimenté l’augmentation extérieure avec un succès mitigé, j’ai réfléchi aux possibilités d’utiliser cette technique à l’intérieur de la chapelle. Je cherchais donc une image, un objet ou un angle de vue pouvant être utilisé comme un marqueur (target) à l’intérieur de la chapelle. À ma surprise, là où je percevais une bonne image, assez dense, comme l’autel de la chapelle (Figure 7), le programme de reconnaissance visuelle automatisée n’y trouvait pas suffisamment de détails pour générer un marqueur «solide». Inversement, l’algorithme utilise pour marqueur «un tas de roche» (Figure 7.1) qui me semble insignifiant.

Fig. 7.1: Vesac, Jean-Ambroise. 2012. «Marqueur de Qualcomm AR» [Photographie]
(Credit : Vesac, Jean-Ambroise)

Plusieurs tableaux (Figure 8) ont été testés sans succès. Il n’est pas simple de trouver une image suffisamment complexe pour produire un marqueur visuel de positionnement informatique performant dans des conditions d’éclairage et d’angles de vue difficiles. Cet exercice a révélé certaines différences entre la perception humaine et la reconnaissance algorithmique. De manière contre-intuitive, les aplats de couleurs entravent la reconnaissance algorithmique, alors qu’ils la favorisent pour l’humain en délimitant et en accentuant le contour des formes. Et encore, la perception humaine reconnaît le niveau symbolique de l’autel, l’algorithme, non. Pour former un bon marqueur, une image doit être dense, variée et très contrastée.

Fig. 8: Vesac, Jean-Ambroise. 2012. «Essais de création de marqueurs»
(Credit : Vesac, Jean-Ambroise)

Expérimentation n°3: Exploration du modèle 3D par contrôle gyroscopique sur une tablette vidéo avec dédoublement visuel dans un dispositif d’immersion individuel, le Panoscope 

Dans cette troisième expérimentation, deux dispositifs sont combinés: une tablette vidéo et le Panoscope. Le fonctionnement de la tablette ainsi que les contenus sont identiques à ceux de l’expérimentation n°1. Par contre, le contexte d’utilisation est très différent. En effet, le Panoscope est un dispositif d’immersion par projection hémisphérique, du sol jusqu’à l’horizon. L’usager est situé littéralement à l’intérieur, dans l’image, il est coupé du reste du monde. L’étroitesse du dispositif impose l’immobilité au corps. La perception de l’espace se passe alors surtout par les mouvements de la tête. L’effet d’immersion est accentué par l’impact de l’image sur la vision périphérique. En effet, dans cette demi-sphère, le champ visuel est entièrement occupé. Joint à ce dispositif, la tablette vidéo (iPad) apporte une qualité visuelle supérieure et une interface interactive pratique. Ce couplage technique se complète bien. La visualisation de l’information et l’interaction sont individualisées alors que la lisibilité du texte est facilitée par la qualité de l’écran de la tablette. 

Fig. 9: Vesac, Jean-Ambroise. 2012. «Le Panoscope du LAMIC»
(Credit : Vesac, Jean-Ambroise)

À ce stade et dans cette configuration, la manipulation du modèle schématique procure une expérience artistique fort agréable, mais elle peut donner le vertige. Certaines difficultés restent à résoudre, notamment la correspondance entre les angles de vue du Panoscope et de la tablette vidéo. Indéniablement, le dispositif n°3 a un potentiel de médiation patrimoniale et architecturale qui peut intéresser les musées. 

Fig. 10:  Vesac, Jean-Ambroise. 2012 «Combinaison»
La combinaison de tablette vidéo et de la projection immersive additionne l’effet d’élargissement panoramique du champ d’expérience visuelle, à forte portée immersive, aux capacités communicationnelles d’un écran tactile haute-résolution, servant à la navigation gyroscopique, à l’interaction et à l’affichage d’éléments complémentaires.
(Credit : Vesac, Jean-Ambroise.)

Expérimentation n°4: Exploration du modèle 3D par navigation par boutons dans un dispositif d’immersion grand format, la Satosphère

Fig. 11: Vesac, Jean-Ambroise. Année Inconnue. «Le modèle photoréaliste»
 
(Credit : Gélinas, Dominic)

La présentation du projet à la SAT a été un moment fort. La collaboration de Luc Courchesne de la Société des Arts Technologiques a été essentielle, et nous nous considérons privilégiés de pouvoir faire des tests dans un espace de projection aussi perfectionné. La Satosphère est un dôme de projection sphérique sur 360 degrés, de 18 mètres de diamètre et 13 mètres de hauteur. L’expérimentation n°4 consiste en une projection immersive grand format du modèle de la chapelle des Ursulines à l’intérieur de ce dôme. La navigation est opérée à partir d’un téléphone intelligent (iPhone). Évidemment, l’adaptation du projet au système en place nous a donné des sueurs froides et a nécessité l’aide de l’équipe du Labodôme¹³Je remercie Louis-Philippe St-Arnault, directeur Production et Développement immersif, Dominic St-Armant et Sébastien Gravel pour leur aide.. Le modèle photoréaliste paraissait confusément réaliste dans la Satosphère, au point qu’il était difficile de savoir à travers l’objectif de la caméra vidéo si l’image était une projection ou l’authentique chapelle. Certes, dans ces deux lieux, l’un culturel et l’autre cultuel, la Satosphère et la chapelle, les conditions d’éclairage relativement identiques, une même acoustique réverbérante et des fonctions sociales apparentées par leurs aspects spectaculaires, amplifient probablement l’impression de leur proximité perceptive. Mais comment expliquer que l’environnement photoréaliste cache la physionomie du dôme et que le support semble disparaître? Un environnement, simulé ou non, est immersif lorsqu’il est vraisemblable sur le plan perceptif pour notre système cognitif (Edwards, 2001). Cette qualité de représentation est provoquée par l’effet de présence du modèle figuré, «comme si on y était». L’effet de présence d’un environnement virtuel se perçoit comme une sensation de cohérence de l’environnement (Slater, 1994), et «d’implication dans un environnement non présent» (Barfield, 1993). L’expérimentateur ne dissocie donc pas les éléments de cet environnement, qu’il a regroupés par leurs mouvements respectifs perçus dans l’espace (Braddick, 2010). Son attention fusionne les points d’intérêt, ce qui facilite la véracité de la représentation. Comme l’affirme Yilmaz, «les mécanismes de rapprochement cognitif semblent faciliter la formation de représentation de haut niveau (symbolique)¹⁴«grouping mechanisms might facilitate the formation of a high level object representation» (2008). [Traduction de l’auteur de l’article]» (2008). Le sentiment d’immersion est amplifié par la combinaison de l’attention spatiale et objectale sur un objet unique pris pour environnement (Behrmann, 2010). La vraisemblance cognitive de la médiation d’un modèle 3D semble entraîner la fusion de la perception de cette représentation en tant qu’objet et environnement simultanément. Ce phénomène se dénomme également transparence du médium. La cognition met en relation les différents objets perçus et dispersés dans l’espace simulé, ce qui semble provoquer la symbolisation, soit l’entrée du sujet dans le troisième niveau de monde, comme décrit dans le système des trois mondes¹⁵Selon le système des trois mondes de Popper (1980), le premier niveau est la réalité factuelle du monde physique, le deuxième niveau est l’expérience perceptive individuelle et le troisième niveau de monde est produit par la pensée collective. de Karl Popper (1980). Ici, le sujet est en immersion dans un espace virtuel coexistant avec l’espace tangible. Cet état de transparence marque que l’attention du sujet est détournée de la matérialité du dispositif et portée sur sa dimension d’espace mental.

Par ailleurs, la mémoire à long terme est à prendre en compte, car elle semble intervenir dans les modèles de références perceptuelles spatiales. En effet, «le modèle de référence spatiale centré sur le sujet semble interagit avec un modèle environnemental quand les relations (données) spatiales sont encodées et placées dans la mémoire à long terme¹⁶«egocentric reference frame may interact with an environmental reference frame when encoding spatial relations in long-term memory» (Shelton et McNamara, 1999; Werner et Schmidt,1999). [Traduction de l’auteur de l’article]» (Shelton et McNamara, 1999; Werner et Schmidt, 1999). Ainsi, naturellement, un lieu déjà connu est imprégné dans la mémoire à long terme; son modèle de références perceptuelles et spatiales est renforcé. Il devient alors facile de s’y retrouver. Assurément, l’équipe de réalisation connaissait la chapelle des Ursulines, ce qui a donc augmenté, pour ce groupe particulier de personnes, l’effet de présence du lieu existant dans leurs représentations, facilitant ainsi, par extension, l’effet d’immersion. On voit ici le caractère subjectif de la notion d’effet de présence et de l’effet d’immersion, basé sur les connaissances préalables des individus. 

Comment décrire le sentiment d’immersion vécu dans la Satosphère? Le regard est vague et parcourt l’espace visuel qui l’englobe, moins à la découverte de détails que d’un face à face presque charnel avec l’effet de présence de la représentation 3D. Le corps veut sentir la masse suggérée. Il s’enivre dans le dépassement des entraves physiques par des envols suggestifs, et sa présence à lui-même devient vaporeuse, peut-être par un effet d’empathie cognitive. L’effet d’immersion survient alors que la cognition spatiale adopte la simulation 3D comme un espace mental en l’intégrant à son modèle de référence, notamment par le regroupement des éléments saillants perçus. De toute évidence, la création d’un espace mental est un préalable à l’immersion, du fait qu’il permet au participant de se transfigurer dans l’œuvre par le déploiement de son imagination dans un «être là» fictif au sein d’un espace simulé.

Fig. 12: Vesac, Jean-Ambroise. 2012. «Le modèle schématique de la Satosphère»
(Credit : Vesac, Jean-Ambroise)

Dans un second temps de la même expérimentation, le modèle schématique a été projeté dans le dôme selon des conditions d’échelle et de navigation identiques. Ce modèle est d’apparence épurée; il est composé de lignes, de formes simplifiées et d’aplats de couleurs unies. L’environnement virtuel ainsi créé est abstrait, mais demeure compatible avec la cognition humaine selon la catégorisation d’Edwards (2001)¹⁷Les degrés d’intégration à la cognition spatiale d’un modèle 3D se catégorisent selon qu’il soit à vraisemblance cognitive (il est relativement fidèle à la cognition), à compatibilité cognitive (il ne reproduit pas l’environnement cognitif, mais il le schématise pour améliorer sa compréhension) ou à portée cognitive (il reproduit un aspect particulier de la cognition). En ligne: http://archimede.bibl.ulaval.ca/archimede/fichiers/21867/ch04.html#ftn.d0e1393 (Site consulté le 10 novembre 2013). En effet, il ne reproduit pas directement l’environnement réel, mais le schématise en n’en conservant que les données architecturales et géométriques, qui sont ainsi mises en évidence, ce qui facilite sa compréhension par l’usager. Pourtant, l’expérience perceptive était très différente. L’effet d’immersion a été plus difficile à atteindre et la déformation des lignes verticales dans l’image n’était pas immédiatement corrigée par le cerveau. La matérialité du dôme restait visible, même depuis le centre du dôme qui offre habituellement le meilleur point de vue parallactique.

Malgré la projection hémisphérique, le modèle schématique est perçu comme un objet et non comme un espace. Il mobilise alors l’attention objectale analytique, centrée sur les yeux, car il est perçu comme la projection de formes 3D distinctes et non reliées (Behrmann, 2010). La cognition spatiale ne possède pas de modèle de références perceptuelles spatiales qui aurait été forgé par une expérience concrète antérieure, ce qui est impossible dans le cas d’un environnement abstrait, sauf exception. L’attention objectale prend alors le devant de l’attention spatiale (Pizlo, 2008). Autrement dit, l’intellect analytique prend l’ascendant sur le ressenti corporel et viscéral. Le fait d’être face à un objet plutôt que dans un espace, par une relation à l’environnement centrée sur le regard, pousse la curiosité à adopter l’angle de vue le plus large possible sur l’objet: il devient intéressant de se placer sur le bord du dôme. Une fois habitué, après que le dispositif a façonné la perception de l’expérimentateur, l’effet d’immersion est ressenti. Le mouvement à l’intérieur du modèle provoque une sensation de plaisir, comparable à celle causée par l’effet de la vitesse. 

La comparaison entre la perception du modèle photoréaliste et du modèle schématique semble démontrer qu’à partir d’un certain niveau de qualité et de vraisemblance visuelle, le système cognitif accepte la simulation comme actuelle et fait dès lors disparaître la présence du support physique de l’image, ici le dôme. En effet, dans un environnement immersif figuratif, le regardeur se projette dans un lieu, en utilisant une perception de l’espace centrée sur le corps, propice à l’immersion. À l’opposé, un environnement inconnu, abstrait ou minimal, est d’abord perçu comme un objet plutôt qu’un lieu. L’appréhension de l’espace est davantage centrée sur le regard qui le scrute, l’analyse et en différencie chaque point d’intérêt. Cette modalité est préalable à l’effet d’immersion, qui nécessite un plus grand effort de perception pour saisir la cohérence d’une représentation abstraite. Ainsi, après le délai nécessaire et sous l’effet du dispositif, le participant retrouve une logique à cet environnement expérimental dans sa nature d’œuvre artistique. Ultimement, l’harmonie ou la consistance esthétique de la création fait basculer le participant en immersion. Après quoi, il accède à l’expérience sensible de l’immersion esthétique.

Expérimentation n°5: Exploration du modèle 3D par navigation reportée, par géolocalisation GPS et par contrôle gyroscopique sur une tablette vidéo in situ

Enfin, le dernier dispositif expérimenté implique le corps en utilisant la marche, le sens de l’orientation et la proprioception de l’expérimentateur. Les coordonnées GPS de la tablette vidéo sont utilisées pour faire une navigation reportée dans le modèle 3D. Elles correspondent à une position dans le modèle virtuel. Les déplacements dans le monde réel modifient la position de la caméra virtuelle, donc du point de vue à l’écran. Les distances dans le modèle 3D et dans le monde réel sont équivalentes; par exemple, l’usager qui est à l’entrée de la chapelle simulée dans l’application doit marcher une distance analogue (30 mètres) pour se déplacer dans l’écran jusqu’au fond de la chapelle virtuelle. Ainsi imbriqué par sa participation, le visiteur devient une fonction de navigation dans le modèle 3D. Pour des raisons pratiques, cette expérience se déroule sur un terrain dégagé. Un stationnement ou un terrain de football conviennent à l’expérience, du fait de leur caractéristique plate et «vide». Ces lieux n’occasionnent pas d’interférence visuelle. Ils s’effacent presque pour mettre en évidence l’effet de la présence du lieu virtuel, ce qui facilite la reconstruction mentale de l’esquisse de la chapelle. Cette expérimentation a été rendue possible grâce à Benoît Duinat, étudiant à la maîtrise au Département des sciences géomatique de l’Université Laval, qui a bien voulu partager ces résultats de recherche.

Fig. 13: Vesac, Jean-Ambroise. 2012. «La chapelle intégrée au projet de Benoît Duinat» [Photographie]
(Credit : Vesac, Jean-Ambroise)

Ce dispositif de réalité mixte est passionnant. Il constitue le point de départ véritable de ma recherche sur les effets de présence et d’immersion des équipements mobiles interactifs. Remarquablement, durant l’exploration du lieu virtuel par la marche, l’expérimentateur a «une impression vécue» de deux lieux en même temps. L’un prend l’ascendant sur l’autre à tour de rôle, en oscillation entre sentiment d’immersion dans l’espace simulé et attention à la réalité concrète. Les contingences de l’environnement nous ramènent les pieds sur terre, nous sortent de l’état d’immersion. Il ne faut pas se faire aplatir pas un bus scolaire! Il s’agit de réalité alternée dans laquelle l’attention consciente du sujet circule entre le lieu réel et la simulation.

Cette expérimentation a dévoilé une sorte d’illusion en composant une réalité hybride appartenant de façon simultanée et sans discontinuité à l’environnement physique réel et à la simulation virtuelle; cette hybridation est perçue comme cohérente dans ces deux niveaux de réalité, ce qui permet d’affirmer qu’ils ont fusionné dans un dispositif de réalités mixtes. Voici la description de l’illusion: un arbre simulé, dont seulement une partie du tronc est visible à l’écran, trouve son prolongement dans le branchage d’un arbre existant au sein du paysage physique, qui est bien réel. L’arbre hybride est un objet de la perception construit par la fusion de deux signes appartenant séparément à la représentation virtuelle et au monde réel. L’entité hybride est positionnée simultanément au même endroit dans les deux modèles de références perceptuelles spatiales, réel et simulé. Le temps d’un instant, cette erreur perceptuelle provoque une vive émotion, due au sentiment de beauté devant l’émergence d’un objet perceptif neuf, hybride. En effet, ces expériences sensibles fondent un champ d’expression menant à une acceptation inédite du paysage, dans le sens d’une transfiguration technoculturelle de l’environnement. Le sentiment de continuité est presque rassurant. Quand l’illusion se dissipe, se produit alors une prise de conscience soudaine du retour à la réalité, qui induit une sortie de l’effet d’immersion et du dispositif de réalité mixte. Ce bref instant peut se nommer immersion ex situ, par le fait de se séparer de nos perceptions spatiales directes dans la compréhension de l’expérience immédiate. Ainsi, l’immersion en mobilité est facilitée par notre habitude naturelle de l’environnement réel qui mobilise l’attention spatiale référencée depuis le corps et ses déplacements. La perception fonctionnelle motrice ne demande alors que peu d’attention, qui peut alors se porter sur la représentation (Sholl, 2001). L’expérimentateur se déplace dans un cadre primaire de référence, soit la réalité physique de son environnement immédiat et dans un cadre secondaire de référence, soit la représentation simulée où il doit s’imaginer (Sholl, 1987). L’objet hybride est perçu par l’attention objectale et spatiale en superposition, par un effet de regroupement cognitif.  Selon Sholl, «si les deux systèmes se superposent physiquement, cet alignement doit produire un effet¹⁸«In contrast, if the two systems overlap physically, then alignment should have an effect» (Sholl, 2001). [Traduction de l’auteur de l’article]» (2001).

Cette expérience tend à démontrer que les deux niveaux de représentation ne sont pas hermétiquement clos. Des relations sont donc possibles dans une même situation cognitive. En somme, la dichotomie entre l’environnement physique réel et la simulation, ou plus maladroitement nommée «réalité virtuelle», ne permet plus d’analyser les phénomènes rencontrés par une cognition adaptative aux réalités mixtes. 

Conclusion

En quoi chacun de ces dispositifs mobiles contribue-t-il à l’effet d’immersion? Le premier dispositif, composé d’un modèle 3D navigable par contrôle gyroscopique sur une tablette vidéo, n’est pas immersif. Il serait cependant intéressant de discuter de la signification anthropologique de la copie 3D d’un lieu sacré et des nouvelles caractéristiques qu’il hérite de sa substance numérique. Le second dispositif, qui affiche le modèle 3D de la chapelle en réalité augmentée sur tablette vidéo in situ, n’est pas immersif non plus, car il n’est pas assez spectaculaire. Les contraintes de l’augmentation sur les déplacements sont trop importantes. Le champ de vision est trop restreint. Par contre, l’utilisation de ce type de dispositif de réalité augmentée à l’intérieur de la chapelle serait probablement pertinente. Elle permettrait une interprétation interactive du lieu en donnant accès à des informations sur les objets, comme les tableaux, par exemple. La grille qui sépare l’espace public et privé semble un support idéal pour l’augmentation. Elle est fixe et les marqueurs pourraient s’y intégrer discrètement.

Le troisième dispositif, qui offre une navigation du modèle 3D de la chapelle par contrôle gyroscopique sur une tablette vidéo avec dédoublement visuel dans un dispositif d’immersion individuel (le Panoscope), est immersif et prometteur. La combinaison d’une interface visuelle de navigation sur tablette vidéo à un environnement interactif donne à chaque usager un accès individuel aux informations. De plus, l’ensemble des données des usagers, notamment l’endroit qu’il regarde sur l’écran, peut être suivi en temps réel, analysé et sauvegardé. Le quatrième dispositif, qui permet une exploration du modèle 3D de la chapelle par navigation boutons-flèches dans un dispositif d’immersion grand format (la Satosphère), est immersif et impressionnant. L’aller-retour entre la chapelle et le labo, ainsi que la comparaison entre le lieu réel et notre modèle, a permis à l’équipe de prendre conscience des éléments qui avaient été oubliés, par exemple les équipements techniques de diffusion comme les haut-parleurs audio. Certains schèmes culturels sont ainsi mis en évidence. Il est à noter que les impressions d’un visiteur ne connaissant pas le lieu réel auraient été commodes pour valider les résultats.

Le cinquième dispositif, qui examine l’exploration du modèle 3D par navigation reportée par géolocalisation GPS et par contrôle gyroscopique sur une tablette vidéo, in situ, est immersif, mais autrement. En effet, il offre une expérience de réalité mixte et alternée. Durant cette expérimentation, j’ai perçu une entité hybride pour la première fois. Ce phénomène s’est reproduit, assez facilement, ce qui s’explique peut-être par la construction symbolique et culturelle (top-down) que m’a procuré la lecture de nombreux romans de fiction, en construisant un cadre symbolique précédant mon expérience et la conditionnant. Autrement dit, l’actualisation dans le réel de formes virtuelles était attendue. Lors de la perception d’un arbre hybride, celui-ci était utilisé comme un élément d’orientation spatiale. Il se situait à la périphérie de la vue, immanent à l’attention spatiale, mais encore indistinct à la conscience. À l’instant même où le regard, objectal et conscient, s’est posé sur cette entité hybride, elle a perdu son unité et s’est évaporée. Cette illusion nous ramène à la perception subjective, car ces deux environnements sont regroupés uniquement dans la pensée du regardant. La prise de conscience de l’illusion survient quand l’hybridation s’évapore et que l’objet se dédouble. La distance réelle entre ses origines provoque un ajustement de la cognition spatiale. Ce passage ne dure qu’une fraction de seconde. Il est ressenti comme un flou perceptif, semblable à un effet de déjà vu.

Ce dernier dispositif permet l’émergence de formes imprévues et supporte la création d’une représentation paysagère hybride in situ et in visu simultanément, qui est différente de la réalité augmentée. En effet, dans ce dernier cas, la simulation numérique se place par-dessus un objet réel. La séparation entre le modèle virtuel et le lieu physique est marquée, alors qu’une entité hybride est la fusion des deux réalités sans que l’une ne prédomine sur l’autre. C’est la superposition de l’état d’alternance. Comme une illusion, l’entité composite n’existe nulle part. À l’avenir, l’exploitation de cette capacité perceptive grâce aux prochaines technologies de réalités mixtes, sans aucun doute plus performantes par l’augmentation des capacités de calcul des équipements mobiles, permettra la création de nouveaux paysages. 

En conclusion, la comparaison des résultats subjectifs, obtenus à partir de l’étude de ces dispositifs prototypaux, indique que pour qu’un dispositif soit immersif, en autres, il doit être perçu comme un espace mental, emplir la vision périphérique et engager le corps. Par plusieurs aspects et de toute évidence, le monde quotidien rencontre ces prérogatives. D’abord, le corps est habitué à s’y orienter et s’y déplace sans y porter attention. En effet, la cognition spatiale est régulée par une boucle de contrôle récursive incluant l’environnement (Brooks, 1991). En conséquence, les déplacements du corps sont guidés par la topographie, qui prend en charge une partie de l’orientation. C’est ainsi que l’attention du sujet peut se porter sur l’univers imaginé où il s’immerge. Ensuite, la vision périphérique joue un rôle important dans l’attention spatiale en interagissant avec son modèle de référence perceptuelle. De plus, elle informe de l’ambiance et alerte des dangers. Ainsi, cette vue latérale contribue par ses fonctions à faire pénétrer le sujet en immersion ou à le faire en ressortir. Enfin, la cognition spatiale, par le regroupement de points d’intérêt spatiaux, mène la simulation architecturale à une synthèse de haut niveau: un espace mental dans lequel se projette l’imagination. Manifestement, l’environnement quotidien est approprié à l’immersion; une fois dotée d’un dispositif mobile, la superposition de plusieurs niveaux de représentation s’effectue, ici et maintenant. Le monde concret, in situ, devient l’origine d’une mobilité immersive, in visu, par laquelle les réalités mixtes coexistent.

Bibliographie

• 1
  Cette définition correspond à celle donnée par Renée Bourassa dans le présent ouvrage. Voir son article intitulé «Immersion dans les dispositifs de réalités mixtes».
• 2
  Ceci renvoie à la définition de Phillippe Descola dans ses conférences au Collège de France sur les formes du paysage en 2012, soit: «le paysage est la représentation d’un lieu dans un objet matériel ou un schème visuel, lui-même façonné par l’habitude de regarder des représentations concrètes. […] Il est reconnaissable par son intention de traiter une portion de l’espace comme une représentation globale d’autre chose». Ainsi, il procède d’un modèle culturel et utilise un appareillage technique de cadrage du regard.
• 3
  Je parle de laboratoire, car le dispositif comprend une intention de recherche, un sujet d’observation, des équipements et des processus informatiques ainsi qu’un observateur. Il est mobile pour s’adapter à son objet de recherche: la mobilité immersive.
• 4
  La chapelle intérieure du monastère des Ursulines de Québec est un lieu patrimonial sacré qui fut numérisé, reconstruit et simplifié dans un modèle 3D, puis intégré dans une application interactive. La numérisation a été accomplie par la compagnie MCG3D avec la technologie LIDAR. Je suis intervenu dans le projet à titre de conseiller en multimédia et coordinateur de production.
• 5
  Ce projet est financé par le Conseil de recherches en sciences humaines du Canada (CRSH) sous la direction de Luc Courchesne, chercheur principal, et de Philippe Dubé, directeur du LAMIC.
• 6
  Ces expériences ont été supervisées par Sylvie Daniel, professeure.
• 7
  L’équipe de production était constituée de deux stagiaires en provenance de l’École Centrale de Nantes, Camille Autran et Géraud Le Falher, ainsi que de Dominique Gélinas, doctorante en muséologie. Je remercie le LAMIC et Philippe Dubé d’accueillir et de soutenir mes recherches, notamment en me donnant accès au modèle 3D de la chapelle du monastère des Ursulines de Québec. (http://www.lamic.ulaval.ca) Voir l’article de Philippe Dubé dans le présent ouvrage.
• 8
  En ligne: http://www.panoscope360.com. (Site consulté le 10 novembre 2013). Dispositif immersif hémisphérique développé par la Société des Arts Technologiques (SAT, Montréal, Canada). Au sujet du Panoscope, voir également l’article de Luc Courchesne dans le présent ouvrage.
• 9
  Notamment dans la première version du modèle (2011), qui avait été traité par une solution logicielle automatisée.
• 10
  La retopologie est le remodelage d’un objet 3D par la restructuration polygonale de sa topologie.
• 11
  Le choix esthétique de la schématisation a été pertinent, comme le confirment les réactions des spécialistes du lieu, Christine Cheyrou, directrice du musée des Ursulines, et soeur Gabrielle, qui ont toutes deux reconnu que l’apparence du modèle exprimait la nature spirituelle de la chapelle.
• 12
  Selon Hirtle, il existe de nombreuses incompréhensions géographiques, dont voici quelques exemples: la Terre est perçue comme plate; l’espace géographique a deux dimensions; les cartes sont plus réelles que l’expérience; le temps et l’espace sont couplés; l’espace a plusieurs niveaux de détails, etc.
• 13
  Je remercie Louis-Philippe St-Arnault, directeur Production et Développement immersif, Dominic St-Armant et Sébastien Gravel pour leur aide.
• 14
  «grouping mechanisms might facilitate the formation of a high level object representation» (2008). [Traduction de l’auteur de l’article]
• 15
  Selon le système des trois mondes de Popper (1980), le premier niveau est la réalité factuelle du monde physique, le deuxième niveau est l’expérience perceptive individuelle et le troisième niveau de monde est produit par la pensée collective.
• 16
  «egocentric reference frame may interact with an environmental reference frame when encoding spatial relations in long-term memory» (Shelton et McNamara, 1999; Werner et Schmidt,1999). [Traduction de l’auteur de l’article]
• 17
  Les degrés d’intégration à la cognition spatiale d’un modèle 3D se catégorisent selon qu’il soit à vraisemblance cognitive (il est relativement fidèle à la cognition), à compatibilité cognitive (il ne reproduit pas l’environnement cognitif, mais il le schématise pour améliorer sa compréhension) ou à portée cognitive (il reproduit un aspect particulier de la cognition). En ligne: http://archimede.bibl.ulaval.ca/archimede/fichiers/21867/ch04.html#ftn.d0e1393 (Site consulté le 10 novembre 2013)
• 18
  «In contrast, if the two systems overlap physically, then alignment should have an effect» (Sholl, 2001). [Traduction de l’auteur de l’article]