November 12, 2026 at 9 AM (Amphi IRCICA)
Cette thèse porte sur la reconnaissance dynamique d’expressions faciales (DFER, Dynamic Facial Expression Recognition), c’est-à-dire la classification de l’émotion exprimée dans une séquence vidéo. Plutôt que de traiter l’image complète, nous avons fait le choix d’une représentation géométrique et frugale, où le visage se réduit à un ensemble de repères faciaux (landmarks) reliés par des arêtes pour former un graphe spatio-temporel. Cette représentation, bien plus légère que les pixels et peu sensible aux variations d’apparence (éclairage, texture, arrière-plan), déplace les challenges vers la qualité de l’extraction des repères et la conception du graphe lui-même, deux points que nous plaçons au cœur de ce travail. Nous proposons d’abord un pipeline de pré-traitement modulaire qui transforme une séquence vidéo en graphe facial, dont chaque étape (extraction et sélection des repères, échantillonnage et extension temporels, normalisation des coordonnées, construction des arêtes) a été isolée puis évaluée par ablation sur six jeux de données allant des conditions contrôlées aux conditions réelles (in-the-wild). On y observe qu’aucune configuration n’est optimale partout, les meilleurs choix dépendant étroitement du type de données. Nous développons ensuite une lignée d’architectures par graphes qui enrichissent chaque repère de quatre modalités (apparence locale, géométrie normalisée, position temporelle, mouvement) avant toute propagation de messages, et nous comparons trois paradigmes de topologie, un graphe reconstruit dynamiquement par plus proches voisins, une adjacence globalement apprise, et une topologie différentiable et dynamique adaptée du cadre Iterative Deep Graph Learning (IDGL). L’analyse empirique de la convergence montre que ce co-apprentissage de la topologie n’apporte pas de gain systématique sur des constructions plus simples pour notre tâche, un résultat négatif que nous documentons et interprétons. Nous étudions enfin un modèle dual-graphe à deux branches, l’une portant les repères géométriques et l’autre des muscles virtuels dérivés des déformations entre repères, sur lequel nous conduisons une étude d’interprétabilité fondée sur cinq mé thodes d’attribution. Cette étude fait ressortir la complémentarité des deux branches, la convergence indépendante des méthodes vers les régions expressives attendues du visage (bouche, sourcils, yeux), et un rapprochement partiel avec le Facial Action Coding System (FACS). Nos modèles sont évalués principalement sur CK+, Oulu-Résumé. CASIA et DFEW, complétés par AFEW, MAFW et FERV39K. En conditions contrôlées, l’approche géométrique atteint des performances honnêtes et surtout lisibles en termes de structures faciales, tandis qu’en conditions réelles elle reste inférieure aux grands modèles opérant sur l’image entière, un écart qui est principalement due aux modalités d’entrées. Les principales contributions de ce travail sont : • Un pipeline de pré-traitement modulaire transformant une séquence de visage en graphe facial spatio-temporel, accompagné d’une étude d’ablation systématique de ses composants sur six jeux de données couvrant un large éventail de difficulté. • Une famille d’architectures par graphes à représentations multi-modales au niveau du repère, et l’exploration de trois paradigmes d’apprentissage de la topologie du graphe, avec analyse de leur convergence. • Un modèle dual-graphe combinant repères géométriques et muscles virtuels, à initialisation anatomique, étendu au régime in-the-wild. • Une étude d’interprétabilité originale fondée sur cinq méthodes d’attribution, qui relie les décisions du modèle à l’anatomie faciale et au FACS.
M. Chaabane DJERABA Professeur des universités Université de Lille Directeur de thèse,
Mme Jenny BENOIS-PINEAU Professeure des universités Université de Bordeaux Rapporteure,
M. Salvatore-Antoine TABBONE Professeur des universités Université de Lorraine Rapporteur,
M. Akrem SELLAMI Maître de conférences Université de Lille Co-encadrant de thèse,
Mme Clarisse DHAENENS Professeure des universités Université de Lille Examinatrice,
M. Frederic JURIE Professeur des universités Université de Caen Normandie Examinateur.
français
English