Introduction

Notre contribution s’inscrit dans un travail plus vaste sur la création langagière dans les jeux vidéo. En effet, il s’avère que ces jeux sont un terrain propice à la création langagière et ce, dans deux directions distinctes : création entre les joueurs, d’une part, et par les développeurs, d’autre part, dans le cadre des stratégies narratives mises en place. Ces dernières conduisent les développeurs à davantage de réalisme (dans le langage créé mais aussi grâce à l’évolution technologique du réalisme multimodal) pour immerger davantage le joueur dans l’univers ludique. Mais qu’en est-il du geste ? Les gestes étant une partie importante de la communication orale, il nous a semblé pertinent d’observer les jeux vidéo à la lumière des gestes mis en place, d’une part pour regarder les écarts possibles entre vie réelle et fiction et en quoi ils sont justifiés, d’autre part pour préciser ce que le jeu vidéo peut apporter à la description des vrais gestes. Ces écarts sont nombreux. C’est ainsi qu’il existe un bouton qui oblige à ressentir une émotion dans les jeux vidéo, alors que dans la vraie vie ces émotions ne sont pas forcées. Ce n’est pas l’humain qui décide à l’instant t de ressentir de la joie ou de la couleur, il ne peut pas les commander. Dans le monde fictif, c’est aussi faire appel à un autre type de visuel pour renforcer l’émotion afin qu’elle soit plus visible (grâce à des petits dessins comme des fleurs ou des étoiles). Nous verrons qu’une partie de ces écarts s’explique par le fait que les gestes appartiennent à l’oral tandis que dans les jeux vidéo, ils tendent un peu plus vers l’écrit et le visuel.

Pour renforcer l’immersion du joueur dans l’univers du jeu, les développeurs ont depuis longtemps eu le souci d’intégrer la composante gestuelle de la communication1. À l’époque des premiers jeux vidéo (Tennis for Two en 1958, Spacewar ! en 1962 et Pong en 1972), on ne parlait pas encore de cette composante. Il faut attendre l’arrivée des premiers personnages (Pac-Man en 1980) pour se mouvoir pleinement dans un espace virtuel et y intégrer des gestes pour progresser dans l’histoire (interagir, avancer, etc.). Toutefois, le réalisme de cette gestuelle a des limites. Nous montrerons que les stratégies mises en place visent certes à l’imitation du réel mais doivent aussi pallier des réalités intransférables en l’état par le recours à des effets visuels (abrégés maintenant en EV), comme par exemple des étoiles, cœurs, paillettes, etc., qui favorisent une meilleure compréhension du discours.

En creux, notre contribution aura trois objectifs :

1. observer comment les développeurs intègrent de plus en plus la gestuelle dans la conception du jeu ;
2. envisager une comparaison entre les descriptions effectuées sur les gestes réels et celles avec une gestuelle similaire dans les jeux vidéo ;
3. distinguer les apports spécifiques du jeu vidéo vers plus de réalisme.

Pour atteindre ces objectifs, nous avons pris comme corpus de référence le jeu vidéo Animal Crossing : New Horizons (dorénavant ACNH) sorti en 2020. En effet, il est emblématique de la quête du réalisme des développeurs dans la mesure où son originalité est de permettre aux joueurs d’influencer directement les gestes et les émotions des personnages. Il s’agit d’un jeu appartenant à la simulation de vie dont le seul objectif n’est autre que la détente et l’amusement. Dépourvu de toute forme de violence, quelle qu’elle soit, le jeu s’adresse à tous les âges.

Dans un premier temps nous identifierons ce que nous entendons par « gestes » dans les jeux vidéo en proposant une typologie d’étude. Le corpus sera présenté dans un deuxième temps ainsi qu’une proposition d’un premier classement sémantique de ce même corpus. Nous consacrerons une troisième partie aux présentations de la terminologie employée et de la typologie de Kendon (2004), que nous appliquerons à notre corpus dans la quatrième et dernière partie de cette étude. Complétée par un système de chronométrage du geste, cette typologie mettra en évidence la temporalité du geste et les effets visuels montrant leur appartenance au monde vidéoludique. Enfin, nous discuterons les résultats obtenus en examinant le rôle des effets visuels à l’aune des gestes de la vraie vie.

1. Quels gestes dans les jeux vidéo ?

Dans les jeux vidéo, les gestes renvoient à deux réalités a priori distinctes :

1. les gestes effectués par le joueur, lui permettant de rentrer dans les jeux avec des instruments comme la souris ou la manette. Nous laissons de côté ces gestes-ci faute de place et par ailleurs, déjà bien étudiés (voir Bouldoires (2006), Besombes, Lech & Collard (2016).
2. les gestes effectués par les personnages fictifs (dont l’avatar du joueur). Ces gestes vidéo se divisent eux-mêmes en deux sous-catégories avec, d’une part, ce que nous appellerons ici les « traces de vie » et d’autre part, ce que nous appellerons les « mouvements humains ». Ces mouvements, appelés « interactèmes » (Goux, 2022), doivent être mis en relation puisque c’est en appuyant sur un bouton que le joueur réalise un geste dans le jeu vidéo par le biais de son avatar, comme par exemple le faire courir ou accélérer.

1.1. Les « traces de vie »

Les traces de vie sont inhérentes au jeu et imposées par les développeurs. Elles servent à montrer que le personnage est « en vie », rempli de vitalité et, par extension, qu’il mérite son statut de personnage. L’une des traces de vie les plus communes dans les jeux sont les mouvements de balancier de la tête ou des bras (de gauche à droite ou inversement). Le joueur ne peut ainsi pas agir dessus, elles sont présentes malgré lui. Outre ces traces de vie, certaines réactions sont déjà préétablies par les développeurs sans que le joueur ne puisse les influencer. C’est le cas des figures 1 à 5 où le joueur ne peut rien sur le fait que le personnage sourit initialement (figure 1), qu’il réfléchisse quand le joueur ouvre l’inventaire (figure 2), qu’il soit surpris quand des abeilles sortent de la ruche (figure 3), que le personnage éprouve de la douleur lorsque les abeilles le piquent (figure 4) ou qu’il soit en désaccord pour indiquer un refus (figure 5). Ces traces de vie ne sont cependant pas toutes communes à d’autres jeux vidéo, l’avatar pourrait très bien ne pas avoir de « réaction » lorsque l’inventaire est ouvert, qu’il voit des abeilles ou qu’il refuse d’acheter un objet. Nous n’irons pas plus loin dans l’étude des traces de vie pour cet article, préférant nous concentrer sur les gestes contrôlés par le joueur afin de montrer l’écart avec ceux de la vie réelle.

Figure 1 et Figure 2

Crédits : Nintendo (captures d’écran Nintendo Switch)

Figure 3 et Figure 4

Crédits : Nintendo (captures d’écran Nintendo Switch)

Figure 5

Crédits : Nintendo (capture d’écran Nintendo Switch)

1.2. Les « mouvements humains »

Seront ici appelés « mouvements humains » les mouvements, prévus par les développeurs, actionnés par le joueur lui-même. Ils sont essentiels au bon déroulement puisque, sans eux, le joueur ne pourrait pas progresser dans le jeu. Dans des jeux passant par le contrôle d’un personnage, ces actions renvoient à ce qu’un humain pourrait faire dans la vie réelle sans pour autant que cela soit trop réaliste : saisir un objet, marcher, lever un bras, se baisser, sauter, etc. Par exemple, dans la vie réelle lorsqu’un objet se trouve par terre, l’humain doit se pencher jusqu’au sol en baissant son dos, sa tête, en pliant les jambes. Puis, il doit tendre le bras, ouvrir la main, écarter les doigts, saisir l’objet correctement afin d’éviter qu’il ne glisse, le maintenir fermement puis faire le schéma inverse : remonter son bras, tendre à nouveau les jambes, dérouler le dos, redresser les épaules et la tête, etc. Tous ces efforts pour ramasser un objet et qui prennent quelques secondes s’opposent au rythme rapide du jeu vidéo. Si un joueur est en train de se faire courser par un monstre et qu’il doit ramasser un objet par terre, les développeurs mettent souvent en place une action rapide. Selon les jeux, le joueur peut donc soit appuyer sur un bouton pour ramasser l’objet (sans forcément que le personnage se baisse), soit marcher dessus (l’objet se ramasse alors automatiquement, ce qui prend donc moins d’une seconde). Même si certains jeux vidéo tendent à des graphismes plus réalistes, que ce soit dans les mouvements de l’avatar ou dans l’esthétisme du jeu, l’imitation de la vie réelle reste cependant limitée au risque de perdre le rythme du jeu. Ces mouvements jouent donc un rôle essentiel puisque, dans les jeux vidéo comme dans la vraie vie, nous ne pourrions en toute logique rien faire si on ne devait plus bouger, ne plus faire un seul mouvement. Sans ces gestes, le joueur ne pourrait tout simplement pas jouer car l’avatar n’avancerait pas.

Ces mouvements, qui tentent d’imiter les gestes de la vie, restent spécifiques aux jeux vidéo dans le sens où ils sont exploités comme des « interactèmes ». Pour Goux (2022), l’interactème est l’unité fondamentale et spécifique de la grammaire des jeux vidéo. Goux explique que « pour qu’un jeu comme une partie de football devienne un jeu vidéo de football, il faut que le geste physique, frapper dans un ballon par exemple, se transforme en quelque chose d’autre, qui en a l’apparence sur un appareil de visualisation (un écran, le cas échéant). » (Goux, 2022 : 30). Une interaction existe entre le jeu vidéo et le joueur dès lors qu’il y a une action réciproque (« inter-action », ibid.) : « le joueur ou la joueuse faisant une action en direction du jeu, et celle-ci produisant un effet sur le jeu, en retour, demandera une réponse de la part de la joueuse ou du joueur, et ainsi de suite. » (ibid.) Cette action se traduit concrètement par des actes comme appuyer sur une touche, activer un levier, bouger un accessoire. L’interactème serait donc « la matérialisation d’une traduction entre un geste physique, réalisé dans notre monde concret et habité, et un geste virtuel, “vicariant” pour reprendre le sens philosophique du terme, dans l’univers du jeu : un geste déplacé ou au second degré, un geste qui tient lieu de geste. » (ibid.)

Ces dernières années, l’évolution technologique a tellement progressé que certains interactèmes tendent à surgir dans la vie réelle, rendant possible la fusion quasi parfaite entre geste physique et geste vidéoludique. C’est le cas de la console Wii ou de la caméra Kinect, qui a permis d’intégrer de vrais gestes physiques dans l’action de jouer, en scannant les mouvements du corps pour les recopier dans le monde vidéoludique comme c’est le cas des jeux Wii Sport ou Just Dance. Par ailleurs, cette évolution technologique a permis le passage important des jeux vidéo en 2D à des jeux vidéo en 3D, offrant ainsi deux avantages : une plus grande liberté de mouvement et de déplacement dans le jeu d’une part, une immersion plus forte dans le jeu vidéo rendue possible par la 3D d’autre part.

Le jeu que nous avons choisi de décrire tire profit de ces avancées.

2. Description de la gestuelle du jeu

L’intérêt de ce jeu est qu’il est l’un des rares à avoir instauré un bouton (se trouvant derrière la console, figure 6) spécialement conçu pour exécuter une attitude faite par l’avatar, comparé à d’autres jeux vidéo où les attitudes vont automatiquement de pair avec les paroles, sans être choisies par le joueur.

Figure 6

Crédits : Romane Peignier

Dans ce jeu, les interactèmes se concrétisent en différentes actions : se déplacer (utilisation du joy-stick directionnel), courir (en maintenant le bouton B enfoncé), confirmer un choix (bouton +), ignorer un dialogue ou faire une action qui implique un mouvement de bras (en appuyant sur le bouton A) comme attraper des insectes, pêcher, etc., ouvrir l’inventaire (bouton X), ramasser un objet (bouton Y) et enfin, consulter son téléphone portable (bouton ZL). Pour le présent article, nous nous focaliserons sur un seul interactème que nous appellerons « attitude », soit le geste volontaire du personnage signifiant ou exprimant un fait ou une émotion, choisi par le joueur (désigné par le jeu ACNH comme « mimique »).

2.1. Présentation des attitudes

Le corpus d’attitudes d’ACNH comporte 77 attitudes initiales ainsi que 11 autres attitudes qui proviennent de contenus supplémentaires téléchargeables. Nous traiterons ici uniquement les attitudes se trouvant dans le jeu de base. En jouant, le joueur découvre et apprend des attitudes qu’il retrouve dans un répertoire en appuyant sur la touche ZR de la console Nintendo Switch. Cette touche affiche dans un premier temps la roue des attitudes (figure 7), une sorte de raccourci qui sélectionne les attitudes favorites du joueur.

Figure 7

Crédits : Nintendo (capture d’écran Nintendo Switch)

Dans un deuxième temps, le joueur peut appuyer sur la touche Y pour consulter l’ensemble du répertoire des attitudes (figure 8), offrant ainsi un large choix de comportements et d’émotions à utiliser :

Figure 8

Crédits : Nintendo (capture d’écran Nintendo Switch)

Les attitudes apparaissent dans l’ordre d’apprentissage et sont placées ensuite dans des emplacements prédéfinis au fur et à mesure de leur découverte. Chaque attitude correspond à une vignette précise qui permet de la reconnaître dans le répertoire (en plus de son nom qui s’affiche à l’écran). Lorsque le joueur clique sur l’attitude, celle-ci s’exécute plus ou moins longtemps avec plus ou moins d’effets visuels allant du très simple au très complexe. L’application des émotions dans le jeu vidéo est d’emblée différente de la vraie vie puisque l’humain n’a pas à appuyer sur un bouton pour déclencher son émotion, qui se réalise naturellement. La présence d’effets visuels, absents de la vie réelle, est justifiée par rapport au public cible du jeu : étant un jeu classé PEGI 3 (donc à destination de toutes classes d’âges), les effets visuels sont nécessaires à la compréhension primaire de ce que ressentent les personnages.

2.2. Classement sémantique des attitudes

Ces mêmes attitudes, sur lesquelles le joueur peut agir, sont évidemment inspirées de ce que l’humain vit et ressent réellement (la joie, la colère, la tristesse, etc.) ainsi qu’une panoplie de mimiques (le sourire, des rougeurs, des clignements des yeux, etc.). Le jeu ACNH donne accès à des émotions et des gestes humains que le joueur peut déclencher lui-même et arrêter à tout moment, selon qu’il touche la manette ou selon l’arrêt automatique de l’attitude (il peut bien sûr l’arrêter avant la fin programmée).

Nous proposons de classer les attitudes en trois grandes catégories sémantiques (tableau 1) : les attitudes liées à une émotion forte qui s’apparente à une vraie émotion de la vie réelle, les attitudes liées à un geste expressif révélant un certain comportement (comme l’esbroufe qui est de la prétention) et les attitudes à caractère physique. Les deux premières attitudes influencent le discours dans le sens où si le joueur voit que le personnage sourit, c’est qu’il est content. En revanche, s’il voit le personnage être perplexe, cela veut dire que son discours manque de précision ou de détails. Comme dans la vraie vie, le joueur réagit en fonction des attitudes des personnages, ce qui influence la suite du discours. À l’inverse des deux autres attitudes, celles à caractère physique n’ont rien à voir avec le discours et/ou ne l’influencent pas. Un éternuement, par exemple, ne révèle rien d’autre que l’action elle-même, tout comme le fait de s’asseoir, de sentir, etc. Cette attitude est donc indépendante, se plaçant à la fois dans le discours (éternuer pendant qu’on parle) et en dehors (éternuer alors qu’on marche).

Tableau 1 : Classement sémantique des attitudes

Attitudes et émotions fortes	Attitudes et gestes expressifs	Attitudes à caractère physique
Enthousiasme*a Joie Euphorie Amour Confiance en soi Fierté Étonnement Stupéfaction Surprise Embarras Timidité Dérision Malice Dépit Tracas Déprime Cœur brisé Pleurs Fureur Détresse Enthousiasme**	Salut Acquiescement Désaccord Sourire Rire Esbroufe Encouragement Excuse Perplexité Curiosité Trouvaille  Gaffe Rire suffisant Rêverie Réflexion Soupir Regard intense Épouvante Bye bye Et voilà ! Ta-daaa ! Au revoir à deux mains Oreilles attentives Ouistiti ! Admirez ! Motivation	Pirouette Applaudissements Sommeil Somnolence Vent glacial Frisson Éternuement Envoûtement S’asseoir Photo Snif snif Gymnastique Yoga Confettis Viva ! Avec moi ! Samba Échauffement Cercles avec les bras Souplesse latérale Souplesse du tronc Expansion du thorax Rotation du tronc Sauts sur place Étirement En rythme Biscotos Poses tendances Poses naturelles Hula
Sous-total : 21 attitudes	26 attitudes	31 attitudes
a. Le corpus des attitudes contient deux attitudes portant le même nom, « enthousiasme ». Pour pallier cette difficulté, nous notons « Enthousiasme* » et « Enthousiasme** ».

Quelques précisions sont nécessaires : certaines attitudes, que nous distinguons en vert (« Épouvante », « Et voilà », « Ta-daaa ! », « Ouistiti ! » et « Admirez ! ») servent à déclencher une réaction ou une émotion. À titre d’exemple, l’attitude « Épouvante » sert à faire peur à quelqu’un dans le jeu vidéo tandis que l’attitude « Admirez ! » sert à montrer quelque chose et forcer une réaction. D’autres attitudes, signalées ici en violet, (« Sommeil », « Vent glacial » et « Envoûtement ») ont une signification différente de celle qu’on penserait intuitivement. L’attitude « Sommeil », par exemple, n’indique pas que le personnage est en train de dormir mais qu’il est fatigué, il bâille. Tout comme l’attitude « Vent glacial » ne montre pas que le personnage se « prend un vent » (au sens de se faire ignorer par quelqu’un) mais qu’un vent froid et soudain arrive, accompagné d’une feuille morte qui vole. Il s’agirait donc plutôt d’un sens propre que d’un sens figuré. Enfin, l’attitude « Envoûtement » ne désigne pas une fascination ou une séduction mais plutôt une sorte de possession liée à un esprit ou à un maléfice.

3. Terminologie et méthode adoptées

On constate ainsi que les gestes et les attitudes ont une exécution et une utilisation très particulières dans le jeu ACNH. Par exemple, certaines attitudes s’exécutent à l’infini, sans arrêt ou encore, certaines utilisent des effets visuels pour marquer davantage l’émotion. Avant d’examiner cela plus en détail, il est utile de revenir sur la terminologie de geste, mouvement et mimique. Ce passage par l’explication des termes est important pour éviter des confusions. En effet, le jeu appelle « mimique » ce qui est utilisé pour désigner l’ensemble des gestes sans distinction.

3.1. Présentation de la terminologie

Dans le langage courant, mouvement et geste sont synonymes et ont une distinction difficilement perceptible. Ce flou sémantique a été perçu par Roquet (2016 : 2), opérant un retour sémantique et diachronique sur les notions de « mouvement », de « geste », de « kinésique » et de tout ce qui en est synonyme (acte, action, etc.) dans la culture médiévale, entre l’ancien français et l’époque contemporaine. En expliquant le choix judicieux du terme grec « kinesis » pour éviter la dualité entre geste et mouvement, elle évoque, en citant Huberman, l’impossibilité de proposer une définition universelle du geste : « il n’y a pas [de geste] d’image en général. Il n’y a donc pas d’ontologie possible, de définition universelle du [geste]. [Les gestes] sont toujours pluriels, ils prennent position, c’est-à-dire qu’en se situant les uns par rapport aux autres dans un montage ils créent des configurations [des mélodies cinétiques expressives] » (2016 : 3). Selon Novack et al. (2016), pour que le mouvement devienne un geste, il faut qu’il représente une action. Le geste serait avant tout un ensemble de mouvements des mains accompagnant la parole, communiquant des informations et faisant référence à d’autres mouvements ou objets. D’après elles (2016 : 341) :

gesture does not depict a change in the world (e.g., opening a jar by twisting it), or display patterns of movement (e.g., performing steps in a dance), but instead represents movement that could change the world (e.g., a gesture showing how the jar could be twisted open) or represents movements that stands on its own (e.g., a gesture showing how the dance should be performed).

Les différentes études que mènent ces trois auteures mettent également l’accent sur l’aspect contextuel du geste, dans l’impossibilité de les dissocier.

Il est alors important de distinguer le mouvement du geste puisqu’il en est aussi distinct dans les jeux vidéo. Le mouvement n’a ainsi pas de sens proprement dit, alors que le geste a un sens motivé. Cette dualité entre geste et mouvement renforce davantage notre dualité « traces de vie »/« mouvements humains » puisque ce sont bien des gestes du « mouvement humain » qui sont réalisés par le joueur dans les jeux vidéo toujours dans un but défini. En nous inspirant de travaux antérieurs (Novack et al., 2016 ; Calbris, 2001 ; Tellier, 2008), nous différencions le geste du mouvement et de la mimique. Le geste est « polysémique, toujours motivé et conventionnel » (Calbris, 2001 : 1302). Dépendant du contexte et d’une culture (voir Tellier, 2008), le geste dans le jeu vidéo est volontaire et conscient, servant ainsi à exprimer quelque chose sans toutefois être obligé d’accompagner ou de se substituer à la parole. Il se distingue des gestes de la vraie vie qui sont naturels, inconscients et instinctifs. Le mouvement composant le geste peut donc être étudié séparément de celui-ci et du contexte. Il n’est pas motivé mais est tout de même exécuté dans un but précis : on peut très bien faire un mouvement de bras (lever un bras) et faire un mouvement de main (mettre la main à plat) dans le but de gifler quelqu’un, par exemple. Quant à la mimique, nous faisons nôtre la définition de Von der Lieth (1973, voir Lieth) comme premier élément de réponse : à la fois comme « mouvements du visage » (1973 : 494) et, in fine, comme « mouvement expressif » (1973 : 497), la mimique est motivée, servant à exprimer des sentiments et dépendant non seulement du contexte mais aussi du discours. C’est pourquoi nous préférons, pour éviter les confusions terminologiques, expliquer et employer les concepts suivants : nous parlons de geste quand celui-ci est motivé (d’après Calbris, 2001 ; Novack et al., 2016). Nous parlons de mouvement quand il n’a pas de motivation précise ou quand plusieurs mouvements mis bout à bout forment un geste. Nous gardons le terme de « mimique » comme expression ou déformation du visage (d’après von der Lieth, 1973) et nous le distinguons, contrairement à ce qui développé dans le jeu ACNH, du terme « attitude » qui désigne l’ensemble du geste que nous analysons.

3.2. Méthode de travail : structurer et segmenter le geste

Dans de précédentes études (Calbris, 2001 ; Tellier et al., 2011 ; Tellier et al., 2012), le geste était analysé à l’aune de trois grandes typologies : celles de McNeill (1992, 2005) sur les dimensions du geste, puis celle sur l’espace gestuel (ibid), et celle de Kendon (2004) sur la structuration du geste. Ces grilles d’analyse, habituellement utilisées pour décrire de vrais gestes, n’ont cependant jamais été appliquées dans un contexte vidéoludique. Faute de place, nous n’appliquerons ni les grilles d’analyse des dimensions du geste, ni celles de l’espace gestuel à notre corpus. En revanche, nous proposons d’utiliser la typologie de la structuration du geste de Kendon pour analyser le geste vidéoludique et montrer que le geste, même inspiré de la vie réelle, a son propre fonctionnement vidéoludique.

Cette typologie favorise l’analyse du geste, qui est construit alors en différentes phases. Partant de la définition de l’unité gestuelle ou gesture unit, l’auteur explique la composition initiale de ce geste : « this entire excursion, from the moment the articulators begin to depart from a position of relaxation until the moment when they finally return to one [position of relaxation], will be referred to as a gesture unit. » (2004 : 111). L’unité gestuelle contient ainsi des phrases gestuelles qui contiennent elles-mêmes différentes phases : preparation, stroke et hold. La preparation est la phase préparatoire pendant laquelle la main se déplace pour exécuter le geste. Cette phase est suivie par le stroke qui est la partie significative, principale du geste et est maintenu dans le temps par le hold (la durée du geste). Enfin, vient la phase recovery où la main a fini son mouvement et revient à sa position initiale ou à un nouvel emplacement, mettant fin au geste. Selon Kendon, une phase ne peut contenir qu’un seul stroke et la phase recovery (ou retraction selon McNeill, 1992) ne fait pas partie de la phrase. Au-delà de l’incohérence terminologique critiquée par McNeill (2005)3, nous limiterons notre étude à l’analyse de la segmentation du geste par les phases preparation, stroke, hold et recovery4. Comme les auteurs Tellier et al. (2012), nous considérons que recovery fait partie de la phrase gestuelle qui est, nous le verrons, une phase très importante dans le geste vidéoludique et en particulier dans notre corpus.

D’autre part, tandis que Kendon se concentrait spécifiquement sur la main5, nous étendons nos observations au corps du personnage exécutant le geste et ce, pour diverses raisons. Premièrement, les personnages d’ACNH n’ont pas de doigt : la main prend la forme d’une boule qui ne se déforme pas malgré les nombreux mouvements. Cela ne gêne en rien ni les fonctions qu’une main « classique » de la vie réelle (saisir des objets, appuyer sur des objets, écrire, etc.), ni la compréhension du geste exécuté par le personnage. En observant la figure 9, nous comprenons bien que le personnage tient un filet dans sa main droite, action visible par la boule (la main) se trouvant sur le manche du filet.

Figure 9

Crédits : Nintendo (capture d’écran Nintendo Switch)

Deuxièmement, les personnages dans ACNH sont disproportionnés. Pour illustrer cela, prenons la tête et les bras. La première est disproportionnée car elle dépasse les épaules en largeur tandis que les seconds sont trop courts. Si le personnage lève les bras, ces derniers ne dépassent pas le front du personnage, s’arrêtant ainsi au niveau de la tête. Nous n’exploiterons pas cette caractéristique dans le présent article mais il nous paraît utile de le mentionner pour un futur travail sur l’espace gestuel.

Enfin, nous adapterons la typologie de Kendon en ajoutant un système de chronométrage du geste afin de mesurer la temporalité du geste et de son exécution (combien de temps dure un geste ou son effet visuel ? Chaque geste a-t-il toutes les phases ?). En effet, si les gestes sont censés avoir toutes les phases de la segmentation (preparation, stroke, hold, recovery) alors ils sont aussi censés avoir une fin, immobile, où le corps est au repos et n’est plus en mouvement. Nous verrons que cela ne va pas de soi dans notre corpus vidéoludique.

4. Le temps de l’attitude

Les gestes qui composent notre corpus sont des gestes distinctifs et bien plus visibles, que dans un contexte « humain ». Si les gestes des humains peuvent être brouillés par moment et sans ambiguïté dans d’autres cas, ceux des jeux vidéo sont très précis afin d’éviter tout problème de compréhension. Ces mêmes personnages de jeu vidéo ont également la possibilité de tenir des objets dans la main et de faire des gestes avec la main qui tient l’objet et l’autre main libre, changeant ainsi le geste initial de la main sans objet. Pour faciliter l’étude des gestes, nous considérons la figure 10 comme la posture initiale de l’avatar, soit la posture que le personnage prend quand le joueur ne touche pas la console.

Figure 10

Crédits : Nintendo (capture d’écran Nintendo Switch)

Pour notre corpus composé de 77 attitudes6, nous nous concentrons sur deux éléments : la temporalité7 de l’attitude et également, son accompagnement potentiel, c’est-à-dire les effets visuels (des étoiles, des cœurs, etc., que nous abrégeons en EV), montrés en figure 11 et 12 :

Figure 11 et Figure 12

4.1. La temporalité de l’attitude

Pour qu’il y ait temporalité de l’attitude, il faut naturellement que l’attitude ait un début et une fin (les phases de preparation, stroke, hold et recovery de Kendon, 2004).

Après observation et expérimentation sur le jeu lui-même, nous répartissons les attitudes en trois catégories : (i) les attitudes à durée indéterminée (ADI), (ii) les attitudes à effets gisuels déterminés avec des gestes à durée indéterminée (AEVDGI) et (iii) les attitudes à durée déterminée (ADD).

4.1.1. Les ADI (attitudes à durée indéterminée)

Les attitudes à durée indéterminée sont des attitudes qui ne prennent pas automatiquement fin. Tant que le joueur ne touche pas la console, l’attitude continuera de s’exécuter indéfiniment, ce qui est impossible dans la réalité. Ces attitudes-ci (tableau 2), maintenant le hold, n’ont donc pas la phase recovery (retour et/ou fin) : le geste continue de se faire sans signe de retour à la posture initiale ou d’arrêt. Nous scindons cette catégorie en trois sous-parties différentes : celles qui maintiennent une posture finale statique à l’infini, où le corps de l’avatar est quasi à l’arrêt ; celles qui maintiennent la posture finale et l’effet visuel à l’infini ; et la dernière qui consiste en une répétition d’un cycle de mouvements à l’infini (qui ne contiennent pas d’EV).

À titre d’exemple, prenons l’attitude « Gymnastique » : elle se compose d’une alternance de 4 gestes : (1) un étirement latéral des deux côtés (gauche et droite) répété 8 fois (durée de 21,09 secondes, figure 13), (2) un étirement dorsal (la colonne vertébrale s’enroule, les mains touchent les chevilles droites et gauches puis remontent) répété 8 fois (durée de 21,024 secondes, figure 14), (3) une flexion des genoux répétée 4 fois (durée de 10,066 secondes, figure 15) et enfin, un mouvement de tap up (gauche et droite) répété 8 fois (durée de 8 secondes, figure 16). Une fois le cycle de ces 4 mouvements fini (d’une durée totale de 1 minute 2,65 secondes), il reprend depuis le début et recommence les mouvements.

Figure 13 et Figure 14

Crédits : Nintendo (capture d’écran Nintendo Switch)

Figure 15 et Figure 16

Crédits : Nintendo (capture d’écran Nintendo Switch)

Dans cette catégorie se trouvent les attitudes suivantes :

Tableau 2 : Les attitudes à durée indéterminée

Attitudes à durée indéterminée (ADI)
Maintien de la posture finale à l’infini	Maintien de l’EV et du geste à l’infini	Répétition infinie d’un cycle de mouvements
Sourire Applaudissement Perplexité Timidité Dérision Dépit Tracas Regard intense S’asseoir Photo Snif snif Ouistiti ! Motivation	Joie Encouragement Embarras Rêverie Réflexion Sommeil Somnolence Pleurs Détresse Enthousiasme** Ta-daaa ! Confettis	Gymnastique Yoga Avec moi ! Samba En rythme Hula
Sous-total : 13 attitudes Dont 9 attitudes bleues	12 attitudes Dont 8 attitudes bleues	6 attitudes Dont 2 attitudes bleues
Total : 31 ADI (dont 19 sans EV et 12 avec EV)

Toutes ces ADI n’ont pas la phase recovery (retour et/ou fin). Notons que la phase preparation ne concerne nettement que 19 attitudes, celles colorées en bleu. Pour les autres attitudes, la phase de preparation est nettement moins perceptible voire absente, ce qui est impossible dans les gestes de la vraie vie.

Pour cette catégorie, nous avons chronométré la durée des cycles de mouvements pour observer une éventuelle corrélation entre l’attitude et le temps. Nous relevons ainsi que les attitudes les plus longues sont celles du « Yoga » (02 :20 :00) et de la « Gymnastique » (01 :02 :03) qui se comptent en minutes, tandis que les autres attitudes se comptent en secondes : « En rythme » (00 :08 :40), « Samba » (00 :07 :63), « Avec moi ! » (00 :03 :90) et « Hula » (00 :03 :60). Le nombre de mouvements par cycle n’est donc pas proportionnel à la durée du cycle : si on ne comptabilise pas les répétitions des deux côtés (gauche et droite), l’attitude « Yoga » ne compte que 4 mouvements alors que l’attitude « Samba » en compte 3. Notons toutefois qu’il est logique que les attitudes à cycle soient les plus longues puisqu’elles contiennent plusieurs enchaînements de gestes.

4.1.2. Les AEVDGI (attitudes qui ont à la fois un effet visuel et un geste)

La deuxième catégorie concerne les attitudes qui comportent à la fois un effet visuel et un geste, à la différence près que les EV sont à durée déterminée, chronométrés dans le temps, tandis que le geste, lui, est exécuté à l’infini. Ces derniers non plus n’ont pas la phase recovery (retour et/ou fin). Nous la divisons ici en deux sous-catégories : le geste maintenu sans variation et le geste maintenu avec variation. Plus précisément, un geste maintenu avec variation signifie que son état initial (le début de l’attitude) et son état final (la fin de l’attitude) sont différents. Par conséquent, pour une seule attitude, on compte deux actions différentes. L’attitude « Rire » illustre notre propos : le personnage rit (figure 17) mais il ne rit pas indéfiniment. Une fois qu’il a fini de s’esclaffer, le rire s’estompe et est remplacé par un sourire qui, lui, est infini (figure 18).

Figure 17 et Figure 18

Crédits : Nintendo (capture d’écran Nintendo Switch)

Tableau 3 : les attitudes à EV à durée déterminée avec des gestes à durée indéterminée

Attitudes à EV à durée déterminée avec des gestes à durée indéterminée (AEVDGI)
Geste maintenu sans variation	Geste maintenu avec variation
Euphorie (00 :04 :10) Amour (00 :02 :60) Confiance en soi (00 :00 :69) Esbroufe (00 :01 :80) Pirouette (00 :02 :33) Fierté (00 :01 :86) Curiosité (00 :01 :61) Étonnement (00 :01 :41) Stupéfaction (00 :01 :15) Trouvaille (00 :01 :67) Surprise (00 :01 :60) Gaffe (00 :01 :94) Malice (00 :01 :40) Soupir (00 :01 :60) Déprime (00 :03 :24) Cœur brisé (00 :02 :12) Fureur (00 :00 :88) Frisson (00 :03 :30) Envoûtement (00 :02 :78) Et voilà ! (00 :02 :72) Viva ! (00 :02 :45) Admirez ! (00 :03 :11)	Rire (00 :01 :93) Rire suffisant (00 :01 :33) Vent glacial (00 :02 :66) Éternuement (00 :00 :95)
Sous-total : 22 attitudes Dont 17 attitudes bleues	4 attitudes Dont 2 attitudes bleues
Total : 26 AEVDGI

Pour les AEVDGI, nous avons un total de 26 attitudes concernées, dont 19 attitudes se constituent d’une preparation bien visible. Ici, pas d’attitudes avec cycles concernées. En revanche, comme les effets visuels sont à durée déterminée (ils apparaissent et disparaissent), nous avons pu les chronométrer et les répartir en 4 temporalités différentes, de la plus longue à la plus courtes : (1) les EV qui durent plus de 3 secondes (« Euphorie », « Frisson », « Déprime », « Admirez ! »), (2) les EV qui durent entre 2 secondes et 2 secondes 99 (« Envoûtement », « Et voilà ! », « Vent glacial », « Amour », « Viva ! », « Pirouette », « Cœur brisé »), (3) les EV qui durent entre 1 seconde et 1 seconde 99 (« Gaffe », « Rire », « Fierté », « Esbroufe », « Trouvaille », « Curiosité », « Surprise », « Soupir », « Étonnement », « Malice », « Rire suffisant », « Stupéfaction »), et enfin, (4) les EV qui durent entre 00 :00 :01 et 00 :00 :99 (« Éternuement », « Fureur » et « Confiance en soi »). Nous notons qu’il n’y a pas de corrélation directe entre la longueur et l’attitude : par exemple, « Euphorie » est longue alors que « Fureur » est courte, d’autant plus que c’est le joueur qui décide quand arrêter l’attitude en faisant une action sur la console et non pas l’EV qui s’arrête tout seul, automatiquement.

4.1.3. Les ADD (attitudes à durée déterminée)

La dernière catégorie de notre corpus d’attitudes concerne les attitudes à durée déterminée, autrement dit, les attitudes qui ont un début et une fin visibles, avec donc un retour à la posture initiale de l’avatar, ce qui constitue une phase de recovery complète. Par conséquent, cette dernière catégorie se rapproche beaucoup plus de la vraie vie puisque ces mêmes attitudes ont aussi un début, un déroulé et une fin. Dans cette optique, nous la répartissons en deux sous-catégories : les attitudes qui comprennent un retour à la posture initiale et les attitudes qui comportent une posture finale différente de celle initiale.

Tableau 4 : les attitudes à durée déterminée

Attitudes à durée déterminée
Retour à la posture initiale	Posture finale différente de l’initiale
Salut (00 :01 :60) Acquiescement (00 :01 :40) Enthousiasme* (00 :01 :73) Épouvante (00 :05 :80) Bye bye (00 :01 :54) Échauffement (00 :12 :86) Cercle avec les bras (00 :12 :79) Souplesse latérale (00 :11 :14) Souplesse du tronc (00 :09 :42) Expansion du thorax (00 :12 :77) Rotation du tronc (00 :14 :61) Sauts sur place (00 :09 :31) Au revoir à deux mains (00 :01 :54) Étirement (00 :02 :46) Oreilles attentives (00 :20 :94) Biscotos (00 :19 :94) Poses tendances (00 :09 :90) Poses naturelles (00 :09 :58)	Désaccord (00 :01 :53) Excuse (00 :01 :87)
Sous-total : 18 attitudes Dont 13 attitudes bleues	2 attitudes Dont 1 attitude bleue
Total : 20 attitudes à durée déterminée

18 des 20 ADD ont un retour à une posture initiale, dont « Épouvante » qui comprend un EF. Les deux autres ADD comprennent une posture finale différente de celle initiale. Dans ces attitudes, soulignons que 17 attitudes ont la phase preparation bien visible, soit finalement 14 attitudes avec une vraie structure du geste, contenant toutes les phases de la segmentation.

Par ailleurs, notons la présence de 11 attitudes à cycles non répétées (qui ont bien une phase de recovery). Ce sont notamment des attitudes à caractère physique (« Échauffement », « Cercle avec les bras », « Souplesse latérale », « Souplesse du tronc », « Expansion du thorax », « Rotation du tronc », « Étirement » et « Biscotos ») et une attitude à geste expressif (« Oreilles attentives »). Comme pour les ADI, ce ne sont pas obligatoirement les attitudes qui comportent le plus de mouvements qui durent le plus longtemps. Dans ce contexte, la différence est notable entre l’attitude de « Sauts sur place » qui contient 16 sauts et qui dure 00 :09 :31, et l’attitude « Souplesse du tronc » qui n’a que 4 mouvements et qui dure aussi un peu plus de 9 secondes.

Nous prévoyons un prolongement de ce travail en comparant la durée des attitudes en les comparant avec des équivalents de la vie réelle (combien de temps cela prendrait de faire un salut, des étirements, des cercles avec les bras, etc.).

4.2. Discussion des résultats des ADI, des AEVDGI et des ADD

Nous avons proposé plus haut une classification sémantique du corpus que nous rappelons : les attitudes à émotions fortes, les attitudes à gestes expressifs et les attitudes à caractère physique. Nous observons une répartition plus ou moins homogène entre les attitudes à durée déterminée (ADD), les attitudes à durée indéterminée (ADI) et les attitudes à effets visuels déterminés avec gestes à durée indéterminée (AEVDGI) comme le montre le tableau ci-dessous :

Tableau 5 : Croisement entre la classification sémantique et la temporalité des gestes

	ADD	ADI	AEVDGI	Total
Émotions fortes	1	9	11	21
Caractère physique	11	13	6	30
Gestes expressifs	8	9	9	26
Total	20	31	26	77

On note des écarts entre les gestes de notre corpus et ceux de la vie réelle : toutes les émotions dans la vie réelle sont éphémères, nous ne sommes pas fâchés éternellement. Ce principe ne concerne en fin de compte qu’une seule émotion : « Enthousiasme* » ; les autres attitudes à émotions fortes sont, par conséquent à durée indéterminée. Cela en fait l’une des caractéristiques du jeu vidéo ACNH : tant que le joueur le décide (ce qui n’est pas sans rappeler le caractère libre du jeu au sens de Caillois, 1958, et Huizinga, 1938), le personnage peut exécuter une attitude à l’infini, tout en sachant que certaines attitudes représentent les émotions. Le personnage pourrait alors être fâché ou triste indéfiniment par exemple, ce qui n’est jamais le cas dans la vie réelle.

Les attitudes à caractère physique qui n’ont pas d’incidence sur l’interaction ou le discours, et les attitudes à gestes expressifs qui influent sur le déroulement du discours, sont à interpréter de la même façon que les émotions fortes : elles ne sont pas éternelles dans la vie, ce qui renforce la dualité entre la vie réelle et le jeu vidéo.

De surcroît, les gestes peuvent être renforcés par l’utilisation d’effets visuels permettant d’une part de les distinguer (différencier « Enthousiasme* » et « Enthousiasme** » par exemple) et d’autre part, d’en améliorer la compréhension en discours vis-à-vis des autres personnages. Assurément, les personnages (non joueurs8) d’un jeu vidéo, tout comme les humains, peuvent interagir entre eux. Ils expriment donc eux aussi des émotions, se rapprochant plus ou moins de la réalité à la différence près que des effets visuels apparaissent pour permettre au joueur de deviner et de comprendre ce que ressentent les personnages quand ils s’expriment. Puisqu’on reste dans un univers fictif qui tend vers le réalisme, les développeurs s’adaptent en cherchant des artifices pour faire transparaître les émotions des personnages comme la joie, la colère, la tristesse, le dégoût, etc., qui sont plus difficile à deviner de prime abord à cause de leur anthropomorphisme. Les personnages de ce jeu étant des animaux, il est parfois difficile de « lire » l’émotion sur leur visage, ce qui explique le fait de rajouter des effets visuels pour accentuer l’émotion. Ainsi, ces artifices permettent à un joueur de n’importe quel âge de comprendre l’émotion du PNJ tout en reconnaissant là une certaine fantaisie : par exemple, la « Joie » est illustrée par des petites fleurs roses (figure 19) tandis que la « Réflexion » (figure 20) est identifiable grâce au nuage dans lequel se trouvent des points de suspension apparaissant les uns après les autres.

Figure 19

Crédits : Nintendo (capture d’écran Nintendo Switch)

Figure 20

Crédits : Nintendo (capture d’écran Nintendo Switch)

Ces effets visuels visent donc à la compréhension du joueur tout en survolant le réalisme : si la joie est bel et bien une émotion qu’un « vrai » humain peut ressentir, il n’y a en revanche pas de petites fleurs roses qui volent autour de lui. On pourrait apparenter cela à la notation « d’effet du réel » de Barthes (1968) puisque les émotions et les attitudes soulignent le réalisme des personnages (du moins sur le plan psychologique) ancrés alors dans l’univers du jeu vidéo.

Le jeu ACNH ne se veut pas réaliste mais il repose néanmoins sur certains effets du réel qui donnent l’illusion du réalisme tout en répondant à la cohérence de l’univers. Il est normal que les personnages ressentent des émotions mais ce qui l’est moins, c’est que certaines d’entre elles n’ont pas de fin, s’éloignant alors de la vie réelle et se rapprochant davantage de la fiction. Pour un jeu comme celui-ci, le joueur ne cherche pas le réalisme mais la tranquillité. Que les personnages aient des émotions qui s’arrêtent ou non n’est donc pas absolument nécessaire à l’accomplissement du jeu vidéo, ni même à sa fiction. Toutefois, les attitudes et autres « effets du réel » restent essentiels dans les jeux vidéo et en particulier pour ANCH puisqu’ils « rassurent » le joueur et le mettent dans une instance de sécurité. En effet, s’immerger dans un monde inconnu et reconnaître des choses que l’on a déjà vues dans d’autres mondes « rassure » le joueur et lui permette de se lancer pleinement dans l’aventure puisqu’il reste cette sensation de familiarité.

Par ailleurs, notons que lorsque le joueur clique sur le bouton pour déclencher une attitude qui contient un effet visuel en continu, le son de ce dernier est décrescendo. Le volume commence très fortement quand l’attitude se déclenche, puis diminue au bout d’un certain temps sans jamais s’arrêter complètement, se maintenant ainsi à un faible niveau. Ce changement sonore qui fait partie intégrante de certaines attitudes renvoie aux fonctions ludiques du son mais que nous n’exploiterons pas davantage ici (voir Genvo & Pignier, 2011).

Du reste, les effets visuels sont au jeu vidéo ce que sont les onomatopées et les interjections à la bande dessinée (voir Chevaldonné & Lafrance, 2009 ; Fastrez & Campion, 2009) et permettent un résultat hautement plus réaliste que la bande dessinée, en étant en symbiose parfaite avec les effets visuels. D’une exécution rapide, ils accompagnent le geste autant que l’interjection accompagne la parole dans la bande dessinée (voir Peignier, 2023).

Conclusion

Nous avons tenté dans cet article d’introduire l’étude du geste dans les jeux vidéo, à l’intérieur même de ceux-ci, ce qui n’avait encore jamais été clairement abordé du point de vue de l’attitude. Pour ce faire, nous avons utilisé une typologie initialement non vidéoludique, qui se concentrait surtout sur l’étude de la main. Or, nous le savons, être personnage dans un jeu vidéo, c’est donner du mouvement dans le jeu, utiliser tout le corps de l’avatar et pas uniquement sa main.

Il est évident que, de manière générale, les attitudes servent à rendre le jeu plus réaliste puisqu’elles fournissent un ensemble d’émotions et de gestes aux personnages, ce qui renforce l’illusion que le joueur s’investit en vrai personnage pensant. Pour autant, deux distinctions principales « cassent » les codes de l’immersion du joueur dans un univers vidéoludique réaliste, distinctions qui participent à l’originalité du jeu vidéo ACNH : d’une part, la temporalité des attitudes qui, tantôt se concrétise en proposant des attitudes à durée éphémère que le joueur choisit volontairement de faire exécuter par son personnage, tantôt s’éloigne de la vraie vie. Cet éloignement permet, par conséquent, un rapprochement de la fiction en insufflant une temporalité non réaliste d’une émotion qui dure à l’infinie jusqu’à la décision du joueur qui arrête donc par lui-même les attitudes et les émotions. D’autre part, l’utilisation d’effets visuels qui, certes, permettent au joueur de tout âge de connaître et reconnaître à quelles émotions il a à faire mais qui, d’un autre côté, « cassent » le réalisme puisque nous n’avons pas, dans la vie réelle, des effets dansant autour de nous quand nous interagissons. Les effets visuels sont donc une tentative de réalisme et permettent de prouver au joueur que les personnages aussi ont des propriétés humaines comme les émotions. Cette imitation du réel montre que le jeu vidéo tend vers plus de réalisme avec certaines limites. En effet, si le jeu est une quête d’amusement, il ne doit en aucun cas devenir la vraie vie dans laquelle on ne s’amuse pas. Ainsi, l’écart entre le monde de la fiction et la vraie vie se révèle d’une part grâce à un bouton déclenchant l’émotion, ce qui est impossible dans la vie réelle puisque les émotions ne se commandent pas. D’autre part, l’utilisation d’un autre type de visuel renforce la visibilité et la compréhension du geste dans les jeux vidéo, ce qui n’existe pas non plus dans la vraie vie. Assurément, nous n’avons pas de fleurs ou de cœurs autour de nous lorsqu’on est heureux ou enjoué. Cette étude insuffle aux gestes dits « traditionnels » de la réalité une nouvelle vision, vidéoludique, montrant alors que le geste d’habitude oral peut aussi entrer dans l’écrit, notamment grâce à un visuel plus appuyé.