Human4D

Human4D : Acquisition, Analyse et Synthèse de la Forme du Corps Humain en Mouvement

Coordinateur : Madame Hyewon SEO (Laboratoire des sciences de l’Ingénieur, de l’Informatique et de l’Imagerie (UMR 7357))

Partenaires : ICube Laboratoire des sciences de l’Ingénieur, de l’Informatique et de l’Imagerie (UMR 7357) - Inria GRA Centre de Recherche Inria Grenoble - Rhône-Alpes - Université de Lille, CRIStAL, Moamed Daoudi, Professeur IMT - LIRIS - CNRS UMR 5205 - LABORATOIRE D’INFORMATIQUE EN IMAGE ET SYSTEMES D’INFORMATION

Equipe : 3D SAM du Groupe Thématique Image.

PRC - Projet de recherche collaborative

Résumé :
Reconstruire, caractériser et comprendre la forme et le mouvement d’un individu ou d’un groupe d’individus ont de multiples applications telles que l’étude ergonomique d’un produit, la création rapide d’humains virtuels et prédire le développement d’une anomalie d’un organe dans le cadre médicale. Naturellement, la capture et l’analyse des mouvements et formes sont des techniques qui existent depuis longtemps dans les domaines de la vision par ordinateur, l’informatique graphique et la géométrie algorithmique. Il existe effectivement un grand nombre de travaux de recherche qui ont été menés sur la reconstruction de formes à partir d’images ou de scan 3D. Il existe aussi des travaux sur la capture et la reconnaissance de mouvements à partir d’images. Malgré tout, la plupart de ces techniques traitent la forme et le mouvement séparément avec des méthodes dédiées soit à l’analyse de formes ou soit aux mouvements. Ceci est peut-être dû à la difficulté d’acquérir la forme et le mouvement de façon simultanée. Les systèmes de capture de données traditionnelles ont été construits pour capturer la forme sans le mouvement ou le mouvement sans la forme. Les évolutions récentes des technologies pour la capture de formes ont changé ce paradigme. Il est maintenant possible de capturer un modèle 4D d’une forme humaine qui inclue les informations sur la géométrie, le mouvement et l’apparence en même temps (e.g. Microsoft, Inria or MPI). Ces données ouvrent de nouvelles possibilités pour l’analyse et la synthèse de formes humaines en mouvement et qui sont encore largement inexploitées. Ces données pourraient être bénéfiques à un large éventail d’applications dans de nombreux domaines tels que la réalité virtuelle et augmentée, le sport et les applications médicales. En particulier, il sera possible de représenter un humain avec un modèle 4D entièrement dynamique contenant les données géométrique et d’apparence. Ce modèle 4D permettra de représenter les propriétés cinématiques de l’humain pour la posture du corps, le style et les émotions. Un tel modèle 4D est particulièrement important pour les applications médicales pour lesquelles il est nécessaire de caractériser des formes et des mouvements spécifiques. Ce modèle 4D pourra aussi être utile pour les applications VR immersives utilisant les visiocasques (head mounted displays) ; ces applications VR nécessitent de produire du contenu numérique de plus en plus précis. Les projets Microsoft Hololense, Facebook Oculus Rift, Sony PS4 HMD et HTC Vive sont des exemples de développement rapide et récent des applications VR. A l’avenir nous pourrons aisément construire les jumeaux numériques de personnes en mouvement, les envoyer par internet, générer de manière contrôlée une forme humaine 4D, etc. Human4D va participer à cette évolution avec pour objectif de grandement améliorer la reconstruction, la transmission, et la réutilisation de données d’humains numériques, en facilitant l’usage, actuellement limité, de technologies d’apprentissage profond pour la modélisation et l’analyse de forme humaine en mouvement

L’objectif du projet Human4D est de proposer un modèle 4D, en particulier, de trouver une solution pour représenter des données 4D d’une façon compacte et efficace ; ceci étant nécessaire pour les applications comme l’analyse statistique et la synthèse de mouvements. Notre ambition est d’aller au-delà des méthodes existantes qui ne permettent d’analyser les formes et les mouvements que de façon séparée. En effet, il est impossible d’utiliser ces méthodes pour le traitement de données 4D dont la topologie et la géométrie changent au cours du temps. Human4D arrive à point puisque les technologies pour la capture de données 4D ne sont apparues que récemment. Il regroupe plusieurs chercheurs ayant une forte expertise dans ce domaine. De plus, il est associé à la seule plateforme disponible dans le monde capable de produire les données pour ce projet.