Introduction

Nymphea’s Survey1 est une œuvre en réalité virtuelle, que j’ai débutée en 2019. Terrain de recherche-création, il est envisagé non pas dans le prisme d’une histoire technique et technologique, mais dans la lignée d’un héritage pictural, afin d’étudier les enjeux des spatialités dans le mouvement et l’immersion.

D’ailleurs, le titre de l’œuvre est une référence aux Nymphéas2 de l’Orangerie de Claude Monet, à la fois dispositif de vision et support d’hybridation d’espaces de germination dans la peinture3, par multiplication et indécision des espaces. L’ajout de survey renvoie à une idée de départ de sauvegarder, archiver, protéger des données. 

Nymphea’s Survey, première version, captures d’écran modélisation blender et unity

Crédits : Carole Brandon.

Envisagée selon une méthodologie en recherche-création, cette œuvre questionne l’étude des spatialités propres à la réalité virtuelle notamment le rôle des espaces d’entre-deux.

Cet article questionne les relations de formes, couleurs et lumières dans les passages entre les enregistrements filmés, la matérialité propre à la 3D et l’immersion virtuelle. Bruce Archer définit ainsi la recherche en design :

La Recherche en design est une quête systémique dont le but est la connaissance de, ou en, la configuration, la composition, la structure, la finalité et le sens incorporés (embodied) dans les artefacts (objets et systèmes conçus par l’Homme)4.

Cette quête systémique s’inscrit justement dans la recherche-création où interfèrent un certain nombre de paramètres qui influent sur le processus créatif. En effet, comme le définit Pierre Gosselin,

la problématique de la recherche en pratique artistique est directement liée à la nature de cette même pratique qui va et vient continuellement entre, d’une part, le pôle d’une pensée expérientielle, subjective et sensible et, d’autre part, le pôle d’une pensée conceptuelle, objective et rationnelle5.

La recherche-création a la particularité d’insister sur le processus créatif et les aléas de transformation de l’œuvre, remettant en jeu à chaque décision, les questionnements. Cet aller-retour entre la pratique et sa théorisation en cours de processus de création, caractérise cette méthodologie, qui ne s’attache pas aux résultats, mais aux étapes dans la recherche.

L’œuvre Nymphea’s Survey a évolué, s’est transformée et affinée par rapport aux questions de départ à cause de divers événements techniques, humains, sociétaux…

Je présente ici les étapes de cette recherche-création en insistant sur la prise en compte des surgissements, car elle s’effectue par tâtonnement, voire tricotage expérimental6 : interférer, recommencer, abandonner, tester… une posture qui se remet en question sans cesse et prend en charge l’ensemble des paramètres à chaque temps de création. Ces surgissements, inédits, inattendus dés/orientent le projet et métamorphosent les choix plastiques et formels, tout en forçant et consolidant les positionnements théoriques en recherche.

Contexte de départ

De Pearl Island à Nymphea’s Survey

Pour créer un prototype du projet, j’ai voulu utiliser l’opportunité des 40 ans de l’Université Savoie Mont-Blanc, en m’associant à la startup BrickX7 dans la création d’un urbangame. Récolter des perles (en réalité augmentée [AR]) dans la ville, chaque perle enfermant un objet précieux du territoire (tant universitaire que culturel, urbain, historique…), trésor visible ensuite dans un monde en réalité virtuelle (VR) nommé Pearl Island8.

Pearl Island project, urban game, réalité augmentée et réalité virtuelle

Crédits : BrickX et Carole Brandon.

En alimentant l’univers VR de cette collection d’objets (d’où le terme survey du titre), je désirais interroger les espaces entre le territoire physique et celui dans la VR. Selon Anne Cauquelin9, l’espace a été inventé par nécessité économique pour construire un schéma abstrait lisse, isonome et géométrique, universel et donc démocratique. L’espace est un plan découpé, calculé, planifié dans lequel on peut se repérer à l’aide d’une carte (une représentation du territoire donc). Finalement, l’espace est une surface dont on connaît les limites, les bords et les éléments qui le composent : dans le dispositif interactif ici, il s’agit d’étudier les relations entre toutes les composantes (participants, AR, VR, programme, traces…). La récolte d’objets, prétexte de déplacements et donc de géolocalisations, aidait à travailler les matérialités propres à la VR pour comparer, sous forme de cartographies sensibles10, les correspondances, les écarts, les entre-deux.

Or, lors d’une réunion, où l’université a finalement financé un autre projet, à laquelle assistait la directrice du centre d’interprétation de l’architecture et du patrimoine11, Charlotte Le Jeune me propose de participer à une exposition dans le cadre de Modulations, un festival des musiques et arts numériques de Chambéry, sur cinq bâtiments patrimoniaux, à mettre autrement en valeur.

Les bâtiments étant massifs et très présents dans l’espace urbain, l’urban game a été abandonné, car développer un dispositif de médiation augmentée ne m’intéressait pas. Comment appréhender ces espaces physiques dans le virtuel en gardant cette logique picturale sensible des spatialités ? Comment valoriser ces patrimoines par une expérience des entre-espaces dans la VR ?

Espaces d’entre-deux

Nymphea’s Survey est une œuvre interrogeant les spécificités d’appréhension spatiales et sensorielles dans la VR et en particulier dans le prisme des espaces d’entre-deux12. Comme l’explique Julie Le Gall et Lionel Rougé,

Ces « espèces d’espaces » ne se laissent pas facilement nommer, définir, délimiter ni dans l’espace ni dans le temps d’ailleurs. Espaces résiduels ou de ruptures, de jonction, de transition, voire de transaction, ouverts, fermés, bâtis, non bâtis…, présentant des natures, des fonctions, des temporalités, des statuts incertains, flous, ou tout simplement différents par rapport aux étendues dans lesquelles ils s’inscrivent, ils auraient pu rester à l’écart des recherches et des investigations, voire être ignorés13.

Ces incertitudes spatio-temporelles jouent des rôles très importants sur l’appréhension des formes, de l’expérience elle-même, mais également des perceptions des espaces sollicités.

En m’appuyant plus spécifiquement sur les analyses en art, de Raymond Bellour et Stéphanie Katz avec l’entre-image14 et l’image-écran15, puis Anne-Marie Duguet16 et Françoise Parfait17 sur la notion de dispositif vidéographique, je m’intéresse aux caractéristiques de ces entre-deux dans les dispositifs interactifs machiniques (des jouets du précinéma aux réalités mixtes).

J’étudie leur identité particulière, car ils s’inscrivent dans la lignée de la peinture par leurs fluidités, variations et dispersions. Ces passages créent des espaces incertains18 où se logeraient corps, individuation, infigurable, invisible, que les impressionnistes installèrent dans leur médium-peinture d’aller physiquement au cœur du motif.

Mes travaux précédents sur l’image vidéo ont montré qu’une zone plus complexe s’ouvre : un espace déchirure19 dans lequel les artistes transforment le signal (électrique, puis numérique) par manipulations d’espaces et de temps ; un entre-espace que j’ai testé par la suite avec les réseaux sociaux20.

Comme l’écrit si justement Christine Buci-Glücksmann, à propos du virtuel, « le monde s’est retourné comme un gant, instaurant le passage de la figurabilité à la picturabilité21 ». Avec son concept d’image-flux, elle théorise ce nouveau régime d’images qui existe désormais sans modèle créant néanmoins une forme de réel. Déjà avec l’image vidéo une zone plus complexe s’ouvre : un entre-image en flux. Ce passage crée une forme d’épaisseur glitchée de l’image qui rend compte désormais de l’ensemble du dispositif machinique et de son fonctionnement. C’est ce passage de la représentation d’une image totalisante (figurabilité) à une image, instantané de l’expérience d’un dispositif (picturabilité) que j’interroge avec Nymphea’s Survey : tant au niveau de l’espace immersif (création et gestion des formes et des matérialités) que des corps en mouvement et bien sûr, dans les relations aux bâtiments originaux. Je souhaite les étudier dans les matérialités virtuelles propres à la VR comme la transparence, la lumière, le wireframe, les pliures des formes géométriques, les ossatures… Dès les années 1990 des artistes comme Char Davies avec son œuvre Osmose ou Christa Sommerer et Laurent Mignonneau avec Intro-Act produisaient déjà des œuvres en VR pour interroger les spécificités des matérialités virtuelles et des spatialités inédites (infinies, non linéaires, interchangeables) d’interroger le vécu de cette sensation de matière dans la VR par les spatialités déformées des passages entre les matières virtuelles.

Processus créatif

Valorisation de patrimoine bâti et matérialités picturales des spatialités

Dans un premier temps, j’ai visité et filmé les bâtiments22 en caméra 360, à différents moments de la journée. Focalisée sur mon expérience des lieux et des images enregistrées, il ressort que les variations de lumières, leurs effets et la volumétrie des espaces, accentuées par la déformation en fisheye de la caméra ont un impact considérable sur l’expérience ; l’appréhension de l’espace par le vide, par le volume (qui renvoie aux sculptures de Rachel Whitehead) et le jeu des reflets démultipliés dans l’image filmée, signent et perturbent les espaces, comme les Machines-Vision des Vasulka : je décide d’orienter la création et la recherche sur ces points en insistant sur la lumière comme matériau.

Image des films des bâtiments et caméra utilisée

Crédits : Carole Brandon.

L’idée du thermique est venue lors d’une représentation23 issue du livre Les Furtifs24 d’Alain Damasio vue à Grenoble. Dans la mise en scène, un des personnages utilise une caméra thermique, court dans les coulisses et à l’extérieur ; nous, spectateurs spectatrices, dans le noir, découvrons ses trajets en suivant des images floues, tremblées, baveuses, aux tonalités vertes et rouges. Le thermique est un moyen de révéler dans le noir des zones de chaleur et de froid, de montrer la lumière : inversant le processus, je pouvais rendre visible dans le jour, les couleurs de la lumière blanche.

La caméra, Pixpro de Kodak permet d’avoir une plus grande amplitude d’image par la déformation fisheye et à cause de sa coupole en verre, elle capte différents types de lumières (reflets, scintillements).

Nymphea’s Survey, résultats essais du thermique et extraits des Furtifs, Frédéric Deslias

Source : Frédéric Deslias, Les Furtifs, 14-15 février 2020, Biennale Experimenta, Grenoble.
Crédits : Carole Brandon et Frédéric Deslias.

Le passage de la lumière captée au lieu du tournage par une machine (la caméra) et son passage dans un autre espace où elle devient artificielle m’intéresse particulièrement. En effet, la lumière qui au départ, permet de distinguer des objets, des distances, des limites dans un paysage, devient surfaces, formes autonomes colorées pouvant s’étendre et pulser. La lumière-matière devient une donnée informationnelle plus organique dans le monde virtuel que dans la captation de départ, matérialisant les entre-deux. La picturabilité des couleurs dans la VR rend visible, haptique, palpable le Ma japonais pour nous permettre d’en comprendre les enjeux. Même s’il est très important de savoir et de repérer ce qui va être filmé pour obtenir les effets voulus, la lumière des vidéos dans Nymphea’s Survey a besoin des machines particulières pour devenir une enveloppe organique et vivante : la spécificité 4K de la caméra 360°, les effets des logiciels AfterEffect et Premiere Pro et les déformations dans Unity. Les machines (caméra, ordinateur, logiciel) révèlent un existant pourtant déjà là, mais dont le corps et l’œil ne perçoivent qu’une surface pale et pauvre sur les objets (selon un critère de luminosité). 

Nymphea’s Survey, vidéo 360° thermique dans des bulles

Crédits : Carole Brandon.

Les couleurs thermiques incarnent un espace d’entre-deux, en nous imprégnant d’une sorte d’épaisseur colorée par la stratification des lumières en constantes variations et pulsations. Leurs démultiplications, invisibles à l’œil nu lors de la visite sous la coupole de la Rotonde, scintillent, se mélangent, s’agglomèrent, en transformant nos perceptions à chaque déplacement : les espaces d’entre-deux se vivent dès lors comme des respirations. Dans la VR, les calculs machiniques permettent l’existence de cet espace de rencontres très particulier, entre le bâtiment originel et sa traduction. Les grains et déformations témoignent autant des passages par la machine que les potentiels invisibles au lieu du site.

La bulle vidéo 360°, design révélateur du passage des entre-deux

Ainsi, le choix plastique de la bulle et leur suspension dans l’environnement VR sont liés à la technique. Le design de la bulle a été propulsé par le 360° et la spécificité de la caméra utilisée permettant un film composé de deux demi-sphères. Nous avons accentué la matérialité particulière des espaces clos des bulles. Selon Peter Sloterdijk, la bulle est une unité privée qui permet de filtrer les informations reçues, elle protège, cependant elle isole aussi. En effet, dans sa sphérologie25, il étudie la bulle dans son premier ouvrage, en décrivant les phénomènes de la vie : la bulle est un espace à soi, rivé sur l’intimité. La bulle renvoie à toutes les analogies de légèreté amplifiées par ses relations aux espaces numériques et virtuels. Avant le développement de Pearl Island, avec Ghislaine Chabert, nous avions étudié la notion de bulle26 comme espace suspendu, point de rencontres nécessaires entre usagers, smartphone et territoires27.

Nymphea’s Survey, textures des vidéos dans les bulles

Crédits : Carole Brandon.

Les bulles sont de textures différentes du reste dans l’univers virtuel. Elles apparaissent en formes délimitées, intensifiant l’appréhension des espaces d’entre-deux, d’autant plus avec leur transparence. Les bulles dans Nymphea’s Survey rejouent cet idéal protecteur tout en annonçant, de l’extérieur, le potentiel à vivre à l’intérieur. Les images vidéo tremblent et fourmillent sur leur enveloppe extérieure, comme les œufs dans un milieu aquatique ; la vie s’agite sous la surface, ce qui se trame dans les Nymphéas de Monet justement, avec ses espaces indécidables28. Cet appel s’oppose à la densité impactante29 vécue une fois dans la bulle, qui n’est pas ici un élément pour s’isoler de l’extérieur, mais pour s’isoler dans une expérience : elle permet d’intensifier nos relations avec le modèle référent et avec les matérialités virtuelles traversées. Par l’immersion, on pénètre littéralement dans la couleur virtuelle.

Le fil, entre traces et coutures expérience des espaces d’entre-deux flottants

Malheureusement, à ce stade du projet, en 2020, la pandémie et les confinements ont ralenti le développement de l’œuvre. Toutes les expositions ont été annulées. Pendant cette période, j’ai finalisé le travail en vidéo thermique et les modélisations des matérialités virtuelles de l’univers de Nymphea’s Survey, avec Alice Baradat en rajoutant deux éléments importants dans l’expérience : le fil rouge (le tracé de son chemin pour se repérer dans le monde virtuel) et une modélisation en arêtes du bâtiment dans lequel les vidéos ont été placées à l’exact emplacement du tournage.

Nymphea’s Survey, modélisation du bâtiment la Rotonde, Chambéry et fil rouge

Crédits : Carole Brandon.

En effet, pour éviter l’impression de tourner en rond, le fil rouge permet de naviguer plus aisément, voire de dessiner littéralement son parcours dans l’œuvre. D’autre part, le choix du design des bulles placées aux lieux des prises de vues a entraîné la mise en place de la présence du bâtiment pour installer les vidéos à l’intérieur. Sans cette modélisation, non seulement la spectatrice avait beaucoup de mal à relier les images de l’expérience avec le bâtiment d’origine, mais surtout perdait toute notion d’échelle. Le choix de la modélisation en arêtes a été induit par la volonté de laisser des espaces de respiration lors de la navigation. Un bâtiment fermé et opaque aurait empêché la fluidité des déplacements et l’exploration des jointures entre les textures. Les bulles, de forme géométrique simple, associées à la Rotonde, permettent de se situer dans l’espace VR : comprendre les échelles, les strates, les imbrications d’éléments et l’organisation générale de l’architecture (le bâtiment de départ).

Puis en janvier 2021, j’ai été mise en relation avec la Cie Sylvie Santi30, qui travaillait sur un projet de spectacle vivant avec un bras articulé d’une entreprise de robotique. Elle cherchait un ou une artiste pour l’aider à faire le lien entre la poésie sonore de la directrice, un beatboxer, un danseur de hip-hop et le robot. Nous (l’équipe et moi-même) avons travaillé sur trois résidences. Nymphea’s Survey a été mise au service du spectacle31, devenant l’espace mémoriel du robot et de communication entre les différents langages.

Nymphea’s Survey pour la Cie Sylvie Santi, résidence du spectacle

Sylvie Santi rencontrant des difficultés à être isolée avec le casque VR lors de ses performances poétiques, le danseur, Sofiane Distante, a été sollicité pour le porter. Toute la scénographie fut modifiée : les placements de chacun aux périphéries, la taille de l’écran qui s’est agrandie. D’une part, Sofiane a amplifié et ralenti ses gestes, d’autre part, dansant à l’aveugle, il a fallu lui faire de la place sur scène. Il ralentit pour que sur l’écran la vision en FPS de ce qu’il voit dans le casque en dansant, puisse être compréhensible pour les spectatrices. Cependant, sa manière très graphique d’utiliser son corps sur scène et en même temps dans l’espace VR a donné beaucoup d’importance au fil rouge. Sofiane dessine dans l’espace avec une liberté absolue, il a compris physiquement l’intérêt de déployer ses gestes et tout son corps, pour traverser, voire coudre, les matérialités virtuelles. Le fil est devenu langage corporel, car il représente les traces de ses mouvements dansés, mouvements créés comme tentative de dialogue avec le robot articulé. Dans la mise en scène, seul le personnage de Sylvie Santi parvient à avoir une interaction avec le robot ; pourtant seul le danseur s’immisce dans le robot (l’univers VR est la mémoire du robot). Le fil et ses méandres, écho de son corps dans l’espace scénique agissent comme élément communiquant et révélateur des entre-deux visibles dans la VR par la façon dont Sofiane a décliné ses mouvements saccadés du hip-hop en occupation spatiale (plus proche du taïchi).

Nymphea’s Survey dans le spectacle Les Multiples

Ces gestes lents et amples ont décuplé les entre-deux en tant qu’espaces sensibles dans le VR, car l’écran projette ce qu’il voit et ce qu’il veut nous montrer : il s’attarde, revient, s’éloigne, traverse, se retourne, il joue comme si son corps dansant tissait les différentes matérialités dans la VR. Les spectateur·rices ont besoin de ces ralentissements pour situer leur regard à partir du regard en mouvement (car casqué) du danseur. Le danseur s’empare de la totalité des matières virtuelles dépliant les entre-deux : il ne s’agit pas de (re)connaître quelque chose dans ce monde virtuel, mais de le vivre comme des torsions, des plis de matières issues de l’expérience du corps du danseur dans la VR. Ces entre-espaces pliures sont intrinsèquement liés et produits par les relations entre corps et machines (le casque VR, le programme Unity, les manettes, le vidéoprojecteur, le robot, les autres personnages…). Je définis cet espace intermédiaire d’entre-deux, en tant qu’espace flottant à partir d’Augustin Berque32 et ses études mésologiques du ma japonais33. Il écrit qu’en terme d’espace, ma signifie un intervalle entre deux choses qui se jouxtent, un écart, une distance pleine de vide, de ki (l’énergie vitale en art martial), une énergie, un souffle. Ne trouvant pas d’équivalent occidental, le ma permet d’identifier la notion de flottant :

Ce sens japonais du ma n’est pas quelque chose qui est créé par des éléments composés ; c’est ce qui se produit dans l’imagination de l’homme qui fait l’expérience de ces éléments. Par conséquent, on peut définir le ma comme un lieu d’expérience personnelle, possédant une atmosphère mystérieuse du fait de la distribution externe des symboles34.

Le concept de ma japonais définit donc un « espace instable et un espace où les frontières se défont35 » , permettant de comprendre les spécificités de l’espace d’entre-deux flottant dans les relations entre corps et machine. Il s’agit donc ici, de rendre compte de l’expérience-performance de cet espace particulier : cet entre-deux espace flottant glisse sans pouvoir être territorialisable entre tous les éléments du dispositif. En effet, l’écran devient le territoire de visibilité de son déroulé, tandis que ses racines sont une hybridation des éléments du dispositif et des corps en présence. L’espace flottant est ainsi un entre [corps/machine36], espace intermédiaire de décalages qui semble intrinsèquement lié et produit entre le corps et les machines, non assigné à un espace particulier, il appartient autant aux machines, à ce qu’elles produisent, à l’espace de la scène, aux sons, au spectateur, à la spectatrice, à la projection, aux interactions des comédiens. Tous les éléments qui le composent sont autonomes, se superposent, s’entrelacent et s’assemblent au hasard et ne sont visibles que sur un écran37. Dans la version dansée de Nymphea’s Survey, Sofiane rend visibles ces intervalles spaciés par ses mouvements. Le fil rouge ne sert pas seulement à matérialiser ses trajets ou à se repérer, il lui permet de comprendre et vivre les superpositions, les emboîtements, les extensions des entre-deux. 

Conclusion

Le surgissement est autant lié à un contexte, des rencontres, des technologies, que des observations. La recherche-création est dans le processus, pas dans les résultats qui ne sont que des instants de formalisation. Accepter ces traversées inédites comme autant de terrains d’expérience permet de rejouer, redéfinir, requestionner les concepts dans le contexte de la recherche-création.

Par chance, en 2022, la rotonde qui a fait partie des bâtiments que j’avais travaillés pour le festival Modulations, a été élue bâtiment préféré des Français de la région AURA : une exposition Perspectives croisées38 avec différentes manières d’envisager la rotonde a été initiée au CIAP, Nymphea’s Survey a pu être exposée dans sa version évoluée en termes de design et de travail pictural des vidéos.

La même année, j’ai eu une résidence au Laval Virtual dans le cadre du festival RectoVRso, pour la valorisation du bâtiment des bains-douches39. Ce qui a permis d’approfondir les relations entre le design de la sphère et les impacts couleurs-lumières sur notre perception. En effet, dans ce tout autre contexte architectural, il a fallu tout d’abord augmenter le nombre de bulles filmées dans l’univers VR, ce qui change l’expérience de la spectatrice. Mais surtout, j’ai pu affiner, retravailler le thermique et les teintes à cause de la démultiplication des reflets dans ces bains : les faïences des baignoires jouent avec la lumière des fenêtres toutes placées en hauteur, les verrières très présentes et les bains-ouches sont recouverts de mosaïques bleues et dorées. J’ai pu confirmer le rôle de la couleur dans la mise en visibilité des entre-deux flottants ce qui m’a amenée à développer l’œuvre suivante Corallium Blanco40.

Dans cette nouvelle œuvre, la spectatrice traverse des bulles de différentes couleurs pour percevoir du corail invisible au départ, car modélisé en blanc sur fond blanc. Le monde virtuel territorialise le lieu où se développe tout seul ce monde organique, qui devient son biotope. Au fond de l’océan, le corail est blanc lorsqu’il meurt. Ici il est vivant et en développement, mais invisible et virtuel. La création aléatoire de bulles colorées comme des hallucinations sous LSD permet de rendre visible la présence du corail, en ne percevant non pas la totalité, la densité, l’étendue de leur territoire (comme dans Nymphea’s Survey), mais uniquement des parties partiellement et différemment colorées. Contrairement à Nymphea’s Survey où la lumière semble contenir la couleur comme un vitrail, dans Corallium Blanco je souhaitais me concentrer sur la vision occidentale de la couleur « color du latin celare qui signifie cacher, envelopper, dissimuler. La couleur c’est ce qui cache, qui recouvre et qui habille41 », à partir de couleurs uniquement machiniques. Si la couleur s’applique sur une surface, où migrent les entre-deux ?

Les espaces d’entre-deux désormais en respiration, en flux, se construisent et déconstruisent sous nos yeux comme une partition en train de se faire, donnant de l’épaisseur à notre perception, un chiasme phénoménologique matérialisé. L’intention donnée aux spectatrices et spectateurs est de s’approprier cet espace dans ses jointures, ses coupures, ses plis : chaque élément apparaît partiellement, l’entremêlement des formes filaires, les vidéos, les couleurs, les pixels ou encore l’enveloppement de ses voiles blancs (qui recouvrent l’univers de Nymphea’s Survey), enveloppants. Les espaces d’entre-deux dessinent et métamorphosent en permanence notre perception du référent (ici la Rotonde) pour enrichir en incertitudes, en dissimulations, en inachevés, le lissage, voire la dangereuse transparence42 des images numériques actuelles.

Carole Brandon, Nymphea’s Survey

Crédits : Carole Brandon

Carole Brandon, Nymphea’s Survey

Crédits : Carole Brandon.