L’équipe de recherche MINT s’interesse à l’interaction tactile et gestuelle, c’est-à-dire à l’étude du geste pour l’interaction homme-machine (IHM). Un geste se définit comme le mouvement d’une partie du corps, le plus souvent de la main ou de la tête, pour exprimer une idée ou une commande. Dans le contexte spécifique de l’IHM, nous nous intéressons aux mouvements qu’un système informatique peut capter et auquel il peut potentiellement répondre. Un geste, dans ce contexte, peut être vu comme une fonction qui, en fonction du temps, fournit à l’application un ensemble de données captées, qui peut inclure des positions, sans être limités à cela (la pression exercée sur un écran peut par exemple être utilisée comme variable liée au geste d’interaction, sans être à proprement parler une position).

Le geste de pointage par exemple est utilisé depuis longtemps par les systèmes interactifs, et l’arrivée de technologies fiables de captation ont élargi les classes de gestes utilisables. Le “ swipe ” pour la navigation sur téléphone mobile, l’utilisation de deux doigts pour la rotation ou le zoom sont maintenant standards sur les systèmes tactiles. Pourtant, le potentiel d’expression du geste reste encore sous-exploité ; le potentiel de captation d’information de la main, lui, est quasiment totalement inexploité pour l’interaction. La diversification et la complexité des tâches où l’informatique entre en jeu appelle à mieux comprendre et utiliser tout le potentiel du geste d’interaction. Notre but est d’accompagner l’émergence de ces nouvelles modalités d’interaction, afin de rendre, à terme, l’interaction plus riche. Nous développons les bases scientifiques et technologiques requises pour faciliter le design, l’implantation et l’évaluation de ces interactions. Nos intérêts scientifiques comprennent :

• L’interaction gestuelle captée en utilisant des objets portés, tenus ou touchés (tels une souris, un gant de donnée, un écran tactile), ainsi que les technologies de captation sans contact non instrumentées (notamment basées vision) ;
• La génération algorithmique d’événement d’interaction à partir de la captation ;
• Les méthodes de caractérisation et de reconnaissance ;
• Les mécanismes de retour d’information, notamment haptiques et tactiles ;
• Les outils d’ingénierie permettant le prototypage rapide de technique d’interaction gestuelle et tactile ;
• Les méthodes d’évaluation pour leur utilisabilité ;
• Les domaines d’applications tels que ceux de la réalité virtuelle, les activités créatives et de loisirs, l’art et la culture.