SEQO - Transformations des paysages sonores pour les environnements de jeu

Coordinateur : Yann Teytaut CRIStAL

Équipe : Algomus du Groupe Thématique : I2C.

Durée : 48 mois

Résumé :

Le son joue un rôle crucial pour favoriser l’immersion dans les environnements virtuels. En ce sens, le projet ANR STAGE (Sound TrAnsformations for Game Environments - Transformation des paysages sonores pour les environnements de jeu) vise à proposer des moyens innovants pour que les concepteurs sonores et compositeurs de jeux puissent créer et contrôler dynamiquement des paysages sonores (virtuels) dans les environnements de jeu, cela en exploitant des descripteurs ("features") haut-niveaux employés en analyse des paysages sonores (naturels), notamment ceux issus de l’écoacoustique - la science surveillant les propriétés écologiques des paysages sonores naturels.

Au coeur de cette recherche se trouve le développement d’un modèle de transformation audio, par apprentissage profond, capable de modifier un paysage sonore d’un état donné (valeurs de descripteurs connues) à un autre, en préservant son essence mais en modifiant certains aspects liés à ces descripteurs (par exemple, nuit vs. jour, ensoleillé vs. pluvieux, peu vs. nombreux oiseaux, environnement sain vs. pollution sonore).

Le modèle développé sera intégré aux environnements de jeu via des interfaces contrôlables permettant la manipulation concrète des paysages sonores. Ces interfaces, ainsi que les sons ambiants résultants, seront évalués à la fois par des concepteurs sonores et des joueurs, et seront utilisés pour simuler et sensibiliser à la pollution et à la dégradation des paysages sonores.

STAGE réunira, pour la première fois, des experts des environnements immersifs, de l’écoacoustique, de la conception sonore pour les jeux vidéos, du machine learning audio, et des interfaces créatives en interaction homme-machine (IHM).

Abstract :

As sound plays a crucial role in enhancing immersion in virtual environments, the ANR STAGE (Soundscape TrAnsformations for Game Environments) project aims to propose innovative means for sound designers and game composers to create and dynamically control (virtual) soundscapes in game environments, by leveraging high-level features used to analyze (natural) soundscapes, notably features coming from ecoacoustics - the science monitoring ecological properties of natural soundscapes.

At the core of this research is the development of a deep learning-based transformation model capable of altering a soudscape from one state (i.e., given feature values) to another, maintaining its essence while changing aspects related to the descriptive feature (e.g., night vs. day, sunny vs. rainy, few vs. many birds, healthy vs. noise pollution).

The developed model will be linked to game environments through controllable interfaces that will allow concrete soundscape manipulation. These interfaces, and the resulting ambient sounds, will be evaluated both by sound designers and gamers, and be used to simulate and raise awareness on soundscape pollution and degradation.

STAGE will, for the first time, bring together experts from immersive environments, ecoacoustics, video game sound design, audio machine learning, and creative HCI interfaces.