Thèse de Marc Baloup

Techniques d’interaction pour la sélection d’objets et le contrôle d’expressions faciales en réalité virtuelle

Les technologies de réalité virtuelle connaissent un essor sans précédent par le développement de casques qui possèdent des résolutions d'affichage et des capacités de suivi du mouvement inédits. Ces casques sont associés à des contrôleurs dotés de nombreux degrés de liberté qui offrent la possibilité d'améliorer et de développer de nouvelles techniques d'interaction. L'interaction dans ces environnements immersifs reste en effet bien souvent plus laborieuse que dans la réalité. Nous nous sommes concentrés dans cette thèse sur l'amélioration de la tâche de sélection et le développement de techniques dédiées au contrôle d'expressions faciales. Pour la tâche de sélection d’objets 3D, la main virtuelle et le Raycasting sont les techniques les plus fréquemment utilisées. Bien que Raycasting permette de sélectionner des objets hors de portée, la sélection est d'autant plus difficile que les objets sont éloignés, petits ou partiellement occultés. Nous avons mis en évidence comment réduire les erreurs de sélection de Raycasting par l'utilisation d'un filtrage adapté. Nous avons également développé RayCursor, une amélioration de Raycasting qui repose sur l'ajout d'un curseur que l’utilisateur peut déplacer le long du rayon. Ce curseur permet de combiner Raycasting avec des techniques de facilitation du pointage par proximité. Nous avons étudié un ensemble de retours visuels adaptés à la visualisation et la sélection de cibles à proximité. Une série d'expériences contrôlées a permis de mettre en évidence les bénéfices de RayCursor par rapport à un ensemble de techniques de référence de la littérature. Pour le contrôle d'expressions faciales, nous avons proposé un ensemble de techniques non isomophiques pour dépasser les limitations des techniques isomorphiques proposées dans la littérature, qui reposent sur la détection ou l'estimation de l'expression réelle de l'utilisateur pour la transposer à son avatar. Le contrôle précis d'expressions est difficile et il est impossible à l'utilisateur de contrôler une expression autre que celle de son visage. Les techniques que nous proposons reposent sur une décomposition du contrôle d'expressions faciales en sous-tâches que nous formalisons dans un espace de conception : la sélection de l’expression faciale, le contrôle de son intensité et de sa durée. Des expériences contrôlées ont permis d'isoler les techniques les plus pertinentes pour réaliser chacune des sous-tâches, afin de concevoir une technique que nous appelons EmoRayE. Celle-ci a été validée dans une expérience écologique.

Jury

M. Géry CASIEZ Université de Lille Directeur de Thèse M. Thomas PIETRZAK Université de Lille Examinateur M. Martin HACHET Inria Examinateur Mme Laurence NIGAY Université Grenoble Alpes Rapporteure M. Thierry DUVAL IMT Atlantique Rapporteur M. Laurent GRISONI Université de Lille Examinateur Mme Indira THOUVENIN Université de Technologie de Compiègne Examinatrice M. Olivier CHAPUIS Université Paris-Saclay Examinateur

Thèse de l'équipe Loki soutenue le 15/12/2021