Dans une vidéo récente, Felipe Pereira, senior sound designer sur Overwatch 21, explicite le processus de création des sons d’Illari, une héroïne de ce jeu de tir multijoueur2. Étant le premier personnage jouable d’origine péruvienne d’Overwatch 2, son design intègre des éléments culturels du Pérou pour consolider son identité sur les plans narratif, mécanique et esthétique. Ainsi, l’histoire d’Illari la présente comme la dernière des Inti, un groupe de guerrier·ères nommé d’après la principale divinité solaire Inca, capables de canaliser l’énergie du soleil pour soigner leurs alliés et affronter leurs adversaires. Cette articulation de la narration avec le game design trouve des correspondances dans le character design d’Illari, ainsi que dans son design sonore. Felipe Pereira indique en effet que pour sédimenter l’identité péruvienne de l’héroïne, il s’était donné pour objectif « d’enregistrer des objets péruviens, de les glisser subrepticement dans son ensemble de compétences et de les manipuler de façon étrange3. » À cette fin, plusieurs instruments traditionnels andins (maracas, ocarina, flûte quena, flûte de Pan) ont été enregistrés de manière non musicale. À titre d’exemple, Irma Rodriguez, une collègue Senior UX/UI Designer jouant de la flûte quena, a d’abord été sollicitée par Felipe Pereira pour produire des sons aussi atroces que possible avec cet instrument. Puis, le designer sonore a attaché une flûte quena à un fil, afin de la faire tournoyer à la manière d’un rhombe. Enfin, ces matières sonores ont été combinées avec d’autres sons et transformées à l’aide d’outils audionumériques, jusqu’à obtenir un résultat satisfaisant pour l’énergie solaire d’Illari4.

En écoutant les sons produits par l’héroïne en jeu, il peut être difficile de retrouver les instruments péruviens dans le paysage sonore dense d’une partie d’Overwatch 2. Pour autant, le travail effectué par Felipe Pereira est bien présent et vise à conférer à Illari, par un ensemble de petites touches sonores attentionnées, une singularité cohérente et sensible.

Dans cet exemple, il n’est pas question des interventions vocales d’Illari ni des thèmes musicaux composés pour le personnage. Felipe Pereira s’est concentré sur des petits sons qui appartiennent à une catégorie particulière, celle des effets sonores, dont nous allons dans un premier temps donner une définition négative en les désignant comme des sons non verbaux et non musicaux.

C’est de cette catégorie sonore que nous entendons traiter, dans le contexte spécifique du jeu vidéo. Quelles sont les fonctions des effets sonores dans les expériences vidéoludiques ? Comment contribuent-ils à la communication entre jeu et joueur·se ?

Pour répondre à ces questions, nous allons procéder en trois temps. D’abord, nous allons définir plus précisément la catégorie des effets sonores. Nous expliquerons ainsi qu’au-delà d’une définition négative, ils sont caractérisés par leur inscription ponctuelle aussi bien active que réactive dans le temps de la partie. Ensuite, nous introduirons et commenterons deux fonctions déjà identifiées des effets sonores vidéoludiques. Enfin, nous procéderons à une comparaison d’effets sonores d’armes du jeu Destiny 25. Nous nous focaliserons en particulier sur Paradoxe parfait, un fusil présentant des spécificités narratives. Nous montrerons que ses effets sonores contribuent à la communication entre jeu et joueur·se en assurant simultanément plusieurs fonctions.

Définir les effets sonores

Pour développer notre définition des effets sonores et l’adapter au jeu vidéo, le travail de la ludomusicologue Elizabeth Medina-Gray constitue une ressource précieuse. Dans un chapitre d’ouvrage dédié à l’étude des paysages sonores vidéoludiques, elle indique :

À la différence de la musique que j’ai définie en termes de contenu, je définis les effets sonores à partir de leur contexte, la jouabilité : les effets sonores sont des sons (habituellement brefs) qui sont liés aux actions des joueur·ses, des personnages ou des objets en jeu ; ce sont des sons de pas, d’acquisition d’objets, de sélection dans un menu et ainsi de suite, mais aussi des sons ambiants6.

Cette définition confronte les effets à la musique pour expliciter ce qui les différencie. En expliquant que ce n’est pas la matière sonore en elle-même qui fonde l’effet, mais bien son rapport à l’action, Medina-Gray apporte une précision essentielle à la compréhension du fonctionnement des effets sonores dans le contexte du jeu vidéo, mais aussi au-delà de ce dernier. En effet, la distinction tripartite Dialogue/Musique/Effets que la chercheuse adopte n’est pas spécifique au jeu vidéo7.

Au contraire, elle est également courante dans l’industrie cinématographique, notamment française, sous une forme légèrement plus complexe, à quatre catégories : voix, musique, effets, ambiances8. La quatrième catégorie identifiée par Adjiman et que Medina-Gray intègre aux effets, les ambiances, réunit des sons « enveloppant[s], placé[s] en arrière-plan, derrière d’autres sons plus saillants comme les bruits ou les voix9 ». L’ambiance est donc une matière sonore qui s’étend sur la durée et qui est souvent composite, façonnée par l’assemblage de plusieurs couches de sons afin d’être adaptée à la scène qu’elle habille. Comme les effets, nous pouvons en fournir une définition négative : l’ambiance n’est pas musicale, ni verbale, ni ponctuelle dans le temps. Cette durée étendue de l’ambiance, en opposition à la ponctualité de l’effet, est à notre sens incompatible avec l’importance que Medina-Gray accorde au lien avec l’action dans sa définition de l’effet sonore vidéoludique. Pour cette raison, nous exclurons par la suite les ambiances de la catégorie des effets sonores vidéoludiques, pour n’y laisser que les sons courts, pour ainsi dire les petits sons.

Par ailleurs, l’effet sonore cinématographique se caractérise, à l’instar de son homologue vidéoludique, par sa durée et son rapport à l’action. L’ingénieur du son Lucien Balibar le désigne comme « un son ponctuel, placé artificiellement au montage sur une action, un mouvement, un objet10 » tandis que Rémi Adjiman l’associe à « un bruit synchrone à l’image11 » C’est ici aussi la relation à l’action voire à l’image qui fait l’effet, avec un principe fondamental d’inscription temporelle dans la scène par ancrage avec un événement susceptible d’être visualisé. Ce phénomène d’association son-image par la perception concomitante d’un stimulus visuel et d’un stimulus sonore, connu dans les études cinématographiques sous le nom de synchrèse12, est également mobilisé par les ludomusicologues.

Le concept de synchrèse kinésonique proposé par Karen Collins13 et auquel Medina-Gray fait référence14, constitue une nouvelle continuité entre les études cinématographiques et les sciences du jeu, tout marquant la différence entre les deux médias. En effet, Collins insiste : dans le contexte vidéoludique, « les sons ne fusionnent pas avec l’image, mais avec l’action. […] [L]es écritures sonores interactives sont structurées par les événements, et le son est contrôlé par une action ou une occurrence qui est initiée par le jeu ou par le·la joueur·se15 ». Si la première partie de cette citation ne contribue pas directement à distinguer les écritures sonores cinématographique et vidéoludique, la seconde phrase est plus utile : la synchrèse kinésonique vidéoludique a une valeur de rétroaction qui n’a pas lieu d’être au cinéma. Parce que le jeu vidéo est un média ergodique, le bon déroulement d’une partie requiert la transmission au·à la joueur·se d’informations sur la réussite ou l’échec de ses actions. Ces rétroactions sont essentielles parce qu’elles confirment qu’une communication entre jeu et joueur·se est bien en cours, et elles contribuent à l’entretenir en signifiant l’état de la partie. En plus de faire progresser notre compréhension de la définition des effets sonores vidéoludiques, la synchrèse kinésonique nous amène à identifier deux de leurs fonctions centrales.

Les fonctions des effets sonores vidéoludiques : du systémique à l’ambianciel

En effet, il apparaît ici que l’effet sonore vidéoludique prend place dans un système d’information sonore, conçu pour contribuer à la relation cybernétique entre jeu et joueur·se. Le fait d’associer un son à un geste, assuré par le jeu ou par le·la joueur·se et situé dans un espace diégétique ou non diégétique (comme celui de l’interface), concrétise ce geste et l’inscrit dans le temps de la partie. Ceci permet deux choses.

D’une part, puisque le son est aussi bien temporel que spatial, inscrire l’action dans le temps grâce au son revient aussi à l’inscrire dans l’espace, sous la forme de deux processus de spatialisation sonore identifiés par Axel Stockburger (2003) : l’acousmatique dynamique, c’est-à-dire la localisation en temps réel de la source du son dans l’espace ; et la signature spatiale, qui confère une acoustique au lieu dans lequel l’action se déroule. Dans le contexte de notre recherche doctorale et dans la continuité de la publication pionnière d’Axel Stockburger, nous avons réuni ces deux processus dans une première fonction sonore, de représentation spatiale16.

D’autre part la synchrèse kinésonique est aussi un moyen de matérialiser le système de règles du jeu dans l’environnement sonore du·de la joueur·se suivant une autre modalité sensorielle que le visuel ou l’haptique. L’interface sonore fonctionne alors comme un dispositif de sonification, c’est-à-dire de représentation avec le son d’événements, d’états et de variables ludiques qui n’ont pas nécessairement de correspondance hors du cadre du jeu, tels que l’impossibilité d’effectuer une action dans un menu, ou la réussite d’un coup critique. Si nous avons qualifié de fonction systémique17 cette utilisation stratégique du son à des fins de sonification et de rétroaction, elle a également, plus tôt, été mise en évidence dans des recherches fondatrices sur les interfaces sonores vidéoludiques, et mise en lien, entre autres, avec les concepts d’écologie sonore18, de diégèse19 ou d’immersion20.

Dans ces travaux, dans l’optique de revendiquer des spécificités sonores du média vidéoludique, l’étude de la relation entre son et système de règles a pu prendre la forme d’une réactivation de la controverse entre ludologie et narratologie. Ceci est particulièrement saillant dans une publication de Jørgensen21, dans laquelle elle affirme que les mondes vidéoludiques sont fonctionnels avant d’être fictionnels, et que penser l’interface sonore avec des concepts narratologiques tels que la diégèse risque de mener à une impasse théorique, analytique et créative. Cette position a par la suite été nuancée par la chercheuse dans son ouvrage Gameworld Interfaces22, pour l’éloigner d’une opposition radicale entre fonction et fiction au profit d’une primauté de la première sur la seconde qui n’exclut pas une combinaison voire une superposition du ludique et du narratif23. Ce développement est, à notre sens, à la fois plus prudent et plus riche, car il permet de rendre compte d’une des principales forces de l’interface sonore vidéoludique : chaque son qu’elle transmet au·à la joueur·se peut assurer simultanément plusieurs fonctions.

Ainsi, les fonctions systémique et de représentation spatiale ne sont pas exclusives, la seconde étant pratiquement exécutée par chaque son dès lors qu’il est perçu. La question n’est pas, alors, de savoir si cette fonction est assurée par un son, mais comment il l’assure. Dans nos travaux, nous avons également construit des fonctions sonores narrative et émotionnelle24 pour analyser l’utilisation de sons vocaux pour transmettre des informations à la fois ludiques et narratives, tout en étant des vecteurs d’émotions. Par exemple, dans la voix inquiète d’un personnage nous confiant une nouvelle quête, les enjeux de développement de l’intrigue et de formulation d’un nouvel impératif d’action sont éminemment entrelacés. De même, si la tâche confiée dans l’urgence par ce personnage consiste en la recherche d’une personne disparue que nous connaissons, la texture urgente de sa voix et son écriture peuvent faire appel à une forme d’attachement émotionnel pour nous motiver à agir.

Pour revenir aux deux questions posées en introduction et progresser vers une réponse, les effets sonores peuvent-ils également assurer des fonctions combinées avec les fonctions systémique et de représentation spatiale ? Afin de répondre à cette interrogation, nous allons procéder à une analyse sonore d’effets sonores d’armes issus du jeu Destiny 2.

Destiny 2 – Présentation générale

Destiny 2 est un jeu de tir empruntant des mécaniques au MMORPG : personnalisation esthétique et mécanique de son avatar, progression centrée sur l’acquisition d’un équipement de plus en plus puissant, missions coopératives nécessitant la coordination d’équipes de joueur·ses. Son modèle économique est celui du jeu-service, avec une narration sérielle découpée en saisons et déployée dans un monde persistant évolutif, en parallèle de modifications itératives apportées à la jouabilité. Les joueur·ses sont encouragé·es à acheter régulièrement des extensions annuelles et des passes saisonniers afin de suivre l’histoire et de rester à la page en termes d’armes et de compétences.

Publié en 2017, le jeu est la suite de Destiny25 et propose d’explorer la même version science-fictionnelle du système solaire que son prédécesseur. Les joueur·ses incarnent un·e gardien·ne manipulant des armes futuristes et des énergies surnaturelles pour se battre. Initialement associé·es à une force cosmique nommée la Lumière, les gardien·nes doivent faire face à des antagonistes affiliés à son l’antithèse : les ténèbres. Cette situation initiale manichéenne a été nuancée depuis la sortie du jeu, et les pouvoirs lumineux des gardien·nes sont maintenant complétés par des compétences ténébreuses.

En jeu, les compétences à la disposition du·de la joueur·se reflètent ces affinités avec l’une ou l’autre des deux forces cosmiques, sous la forme d’éléments disposant de propriétés ludiques particulières, tels que l’augmentation des dégâts subis par les ennemis touchés par des pouvoirs lumineux abyssaux, ou l’octroi d’une armure spirituelle aux gardien·nes maniant l’énergie ténébreuse du filobscur. À l’identité mécanique de chaque élément correspond une identité audiovisuelle spécifique qui se manifeste lorsque le·la joueur·se utilise ses sorts. À ce titre, les effets sonores des compétences signifient à la personne qui joue la nature des pouvoirs qu’elle manipule, tout la renseignant sur les pouvoirs de ses adversaires, aussi capables de faire usage de ces éléments. Par la combinaison des fonctions systémique et de représentation spatiale, ces effets contribuent à clarifier la situation de jeu et facilitent donc la compréhension de celle-ci par la·le joueur·se. Parce que ces compétences élémentaires requièrent un certain temps pour être réutilisées, elles sont complétées par un arsenal d’armes limitées, elles, par un nombre de munitions. Pendant un combat, la jouabilité de Destiny 2 repose donc sur une alternance entre les compétences qui constituent un temps fort tactique, et les armes qui sont plus régulièrement accessibles, mais présentent d’autres contraintes.

Chaque arme disposant d’un niveau de puissance, d’un élément et d’un ensemble de propriétés aléatoires les rendant plus ou moins adaptées à une situation de jeu donnée, les joueur·se·s sont encouragées à jouer jusqu’à trouver l’arme répondant le mieux à leurs besoins. La recherche et l’acquisition d’armes sont donc des enjeux centraux pour les joueur·ses qui désirent d’équiper en vue de missions ardues, et les armes sont des récompenses avant d’être des outils à leur disposition. Ceci est renforcé par un système de rareté qui conditionne les chances d’obtenir une arme particulière et qui limite les situations dans lesquelles certaines armes peuvent être obtenues à des activités précises. Enfin, parmi toutes ces armes, certaines présentent la particularité d’être associés à des personnages non joueurs, voire d’être des enjeux scénaristiques. C’est le cas du fusil à pompe Paradoxe parfait, appartenant à Saint-14, un gardien élevé au rang de légende dans l’univers de Destiny 2. Ce sont les effets sonores de cette arme que nous allons comparer aux effets sonores de quatre armes similaires pour étudier la multifonctionnalité des effets sonores.

Destiny 2 – Analyse d’un corpus d’effets sonores de fusils à pompe

Sur le plan ludique, Paradoxe Parfait est un fusil à pompe cinétique, c’est-à-dire qu’il n’inflige pas de dégât élémentaire. C’est une arme « légendaire » dont le degré de rareté n’est surpassé que par celui des armes « exotiques » et qui existe sous deux formes. La première, disponible depuis l’extension La Malédiction d’Osiris, publiée le 5 décembre 2017, est la récompense d’une longue quête, et ses statistiques et propriétés sont fixes. Pour l’obtenir, les joueur·ses devaient progresser dans la Forêt infinie, une simulation permettant de voyager dans le passé et dans des futurs possibles de la planète Mercure, jusqu’à atteindre le tombeau de Saint-14. Celui-ci ayant fait le choix héroïque de se sacrifier en restant prisonnier de la Forêt Infinie pour y endiguer les efforts des Vex, les robots à l’origine de la simulation, les joueur·ses découvrent que le tombeau a été érigé par les Vex eux-mêmes, pour honorer la férocité de leur adversaire.

La seconde version est une récompense pouvant être obtenue pendant la Saison de l’Aube, disponible du 10 décembre 2019 au 9 juin 2020, et dont les propriétés et statistiques sont aléatoires. L’arme possède aussi une importance narrative dans l’intrigue de cette saison, centrée sur un périple dans le temps visant à extraire Saint-14 de la Forêt Infinie avant son décès. Au cours de ses rencontres avec Saint-14, le·la joueur·se lui offre Paradoxe Parfait, faisant de son sauvetage une anomalie temporelle donnant son nom à l’arme26.

Ces deux versions se distinguent par un travail de redesign sonore effectué par le senior sound designer Juan Pablo Uribe, et documenté dans un ensemble de tweets27. Dans ce thread, Uribe explique comment les effets sonores de Paradoxe Parfait ont été créés de façon à contourner certaines règles instaurées par l’équipe sonore de Bungie pour garantir la lisibilité du jeu, au profit d’une identité sonore singulière. Le designer sonore résume son raisonnement de la manière suivante :

En tant que joueur·se, nous devons retourner dans le passé donner cette arme à Saint-14 pour qu’il puisse devenir le titan le plus puissant de tous les temps ?! Cette arme transcende le temps et l’espace, elle peut certainement transcender les directives de design sonore de Destiny 2, non28 ?

En d’autres mots, ce qui motive le traitement sonore particulier de Paradoxe Parfait, c’est son importance narrative. Ainsi, au-delà des effets sonores de manipulation et de tir beaucoup plus massifs que les autres fusils à pompe du jeu et donc plus proches des sons produits par une arme lourde29, Paradoxe Parfait se distingue aussi par un hommage sonore rendu à la personnalité de Saint-14. En référence à l’amour du personnage pour les pigeons, Uribe a entrelacé des gazouillis de l’oiseau d’un ami dans l’effet sonore de rechargement de Paradoxe Parfait, si bien que chaque projectile inséré dans l’arme est accompagné de piaillements discrets.

En comparant30 Paradoxe Parfait avec quatre autres fusils à pompe du jeu, la singularité de son design sonore est manifeste, a fortiori lorsqu’on le compare avec d’autres fusils à pompes de rareté légendaire, tels que Basso Ostinato et Superamas. Par rapport à ces deux armes, Paradoxe parfait s’illustre par la puissance de ses effets de tir et par le poids et la texture métallique de l’arme que signifient les sons de prise en main et de rechargement. Basso Ostinato et Superamas présentent des effets sonores de prise en main et de rechargement plus légers, avec des sons de tir plus claquants et fins dans le cas de Basso Ostinato, et plus synthétiques dans le cas de Superamas. Ce dernier fusil à pompe intègre à la résonance de certains de ses effets des textures quasiment vocales. Ceci permet de sonifier son élément, le filobscur, dont l’identité sonore présente également ces sonorités. Dans la mesure où les effets sonores de Basso Ostinato ne sonifient pas son élément abyssal, nous faisons l’hypothèse que l’alignement de l’identité sonore de Superamas sur celle du filobscur est un moyen de mettre en valeur cet élément récemment ajouté à la jouabilité de Destiny 2.

La singularité du design sonore de Paradoxe Parfait le rapproche davantage d’armes de rareté exotique, telles que la Gouvernante ou le Canon-Tracteur. La première est également un fusil à pompe cinétique, et est aussi associée à un autre personnage secondaire, Amanda Holliday. Le design de la Gouvernante fait référence à Amanda et à l’origine géographique que suggère son accent du Sud des États-Unis. Tirant des projectiles uniques au coup par coup et actionnée par un levier plutôt que par une pompe, c’est une arme évocatrice d’une carabine de western plutôt que d’un fusil à pompe moderne. Ce fonctionnement référentiel se retrouve dans le design sonore de la Gouvernante qui met en son ses parties mécaniques avec des sons précis, pointus et nerveux. De même, le lien sonore avec Amanda Holliday est aussi développé sur un mode référentiel allant jusqu’au cliché humoristique avec un son de coup de fouet et un cri d’aigle qui ponctuent la fin de l’animation de rechargement de l’arme. Si ces attentions sonores rapprochent la Gouvernante de Paradoxe Parfait, la tonitruante, des effets de tir de ce dernier séparent ces deux armes.

La seconde arme, le Canon-Tracteur, est un fusil à pompe abyssal qui, à la différence de Paradoxe Parfait, appartient à la catégorie des armes lourdes. C’est une arme qui reste, aujourd’hui encore et malgré la diversité des armes conçues pour le jeu, très particulière dans son design. Aux niveaux ludique et audiovisuel, le Canon-Tracteur incarne, en un sens, ce que peut être une arme de rareté exotique, c’est-à-dire une arme qui ne fonctionne pas comme les autres armes de sa catégorie. Son design sonore permet à ce titre de comprendre les règles de mise en son des différences entre archétypes d’armes évoquées par Juan Pablo Uribe. Par rapport à Superamas, Basso Ostinato et la Gouvernante, le Canon-Tracteur a un effet sonore de tir puissant et ample qui prend la forme d’une impulsion modulée dans les basses fréquences. Celle-ci intègre des textures d’aspiration/répulsion, qui renvoie à une onde choc et qui aligne l’identité sonore du Canon Tracteur avec celle de l’élément abyssal. Enfin, le Canon Tracteur se distingue aussi de Paradoxe Parfait par les effets de combustion que l’on entend entre chaque tir et qui sont associés aux deux brûleurs visibles de part et d’autre de la partie supérieure de l’arme. Comparer directement Paradoxe Parfait et le Canon Tracteur fait apparaître le rapprochement opéré par Uribe de l’identité sonore de l’arme de Saint-14 avec celle d’une arme lourde, mais aussi d’une arme exotique. De cette manière, Paradoxe Parfait gagne en singularité, ce qui fait de son utilisation une expérience remarquable, ne serait-ce que sur le plan sonore, et lui donne une valeur de récompense sensorielle.

Conclusion

L’étude de Paradoxe Parfait montre que l’identité sonore d’une arme, c’est-à-dire l’ensemble des sons qu’elle produit, peut privilégier des fonctions narrative et émotionnelle pour rendre hommage à un personnage, quitte à contourner une stratégie établie de mise en son de la fonction systémique. Pour autant, l’identité sonore de Paradoxe Parfait n’est pas dysfonctionnelle, elle s’appuie au contraire sur les conventions sonores de Destiny 2 pour singulariser l’arme de Saint-14 en la rapprochant d’armes lourdes et exotiques. Nous insistons ici sur l’intrication fine entre fonction et fiction qui caractérise le travail de Juan Pablo Uribe, et qui permet aux effets sonores de Paradoxe Parfait d’assurer, à notre sens, au moins quatre fonctions : représentation spatiale, systémique, narrative et émotionnelle.

Dans nos travaux, nous avons également construit deux fonctions supplémentaires, les fonctions ambiancielle et métacommunicationnelle31 que nous n’avons pas étudiées ici. Il pourrait être bénéfique de prolonger ce travail de comparaison sonore pour en faire une analyse fonctionnelle plus détaillée. Cela permettrait de continuer d’interroger, mais aussi d’apprécier ces petits sons aux grands effets.