Cette thèse étudie comment des représentations structurées peuvent rendre les agents d’apprentissage par renforcement plus fiables et plus adaptables lorsque les données sont imparfaites, les tâches évoluent et les ressources sont limitées. Elle se concentre principalement sur l’apprentissage à partir de données et la navigation conditionnée par un but, où les agents doivent planifier sur de longues distances à partir de trajectoires préenregistrées qui peuvent ne couvrir qu’une partie des situations possibles. Un premier axe porte sur la structure géométrique de l’espace d’états. Dans de nombreux environnements, atteindre un état depuis un autre n’a pas le même coût dans les deux sens. La thèse exploite donc des quasimétriques, c’est-à-dire des distances dirigées, pour représenter l’atteignabilité et le temps nécessaire pour rejoindre un objectif. Ces signaux sont ensuite transformés en structures de planification explicites. Projective Quasimetric Planning et Adaptive Quasimetric Mapping construisent des ensembles parcimonieux de points-clés et des graphes dirigés permettant de planifier des trajets, de détecter certaines transitions devenues peu fiables et de recalculer un itinéraire lorsque la topologie de l’environnement change. Un deuxième axe concerne l’apprentissage continuel à partir de données. Lorsqu’un agent apprend plusieurs tâches successives, modifier une seule politique peut provoquer l’oubli de compétences antérieures, tandis que conserver une politique complète par tâche augmente rapidement le coût mémoire. La thèse étudie des sous-espaces de politiques permettant de réutiliser des comportements existants et d’ajouter de nouvelles capacités seulement lorsque cela est nécessaire. Hierarchical Subspaces of Policies sépare notamment les décisions de haut niveau, liées au choix des sous-buts, des décisions de bas niveau, liées à l’exécution des mouvements. Continual NavBench fournit des suites de tâches, des jeux de données et les métriques permettant d’évaluer conjointement la performance, l’oubli, le transfert, la mémoire et les coûts de calcul. Un troisième axe traite justement des contraintes de ressources. Le Budgeted Decision Transformer apprend, à partir de données hors ligne, à choisir à la fois quelles informations acquérir et quelle action exécuter sous une contrainte de coût. Il permet ainsi d’étudier le compromis entre performance et coût de perception lorsque certaines observations sont plus coûteuses que d’autres. Enfin, la thèse étudie un prototype expérimental de navigation de drones dans Rainbow Six Siege. Le Quasimetric NavGraph transforme des estimations dirigées de temps d’atteinte en un graphe de navigation parcimonieux et inspectable, construit à partir de traces de joueurs. Cette structure permet de localiser certaines sources d’échec et de modifier le routage sans réentraîner l’ensemble du contrôleur. L’ensemble de ces travaux défend une même idée : organiser explicitement les connaissances apprises, sous forme de distances dirigées, de graphes, de familles de politiques ou de règles d’acquisition d’information, facilite leur réutilisation, leur adaptation et leur analyse dans des environnements évolutifs et sous contraintes.
- M. Odalric-Ambrym MAILLARD Chargé de recherche Inria Scool, Centre Inria de l'Université de Lille Directeur de thèse, - M. David FILLIAT Directeur de recherche Agence Ministérielle pour l’Intelligence Artificielle de Défense Rapporteur, - M. Olivier SIMONIN Professeur Inria Chroma, Centre Inria de l'Université de Lyon Rapporteur, - M. Pierre-Yves OUDEYER Directeur de recherche Inria Flowers, Centre Inria de l'Université de Bordeaux Examinateur, - Mme Amy ZHANG Associate Professor The University of Texas at Austin Examinatrice, - M. Rémy PORTELAS Cadre scientifique Ubisoft Bordeaux Co-encadrant de thèse, - M. Ludovic DENOYER Imec AI-Labs Invité.
Thèse de l'équipe SCOOL soutenue le 04/11/2026
français
English