Thèse de Meng Meng

Reconnaissance d'actions humaines et d'interaction avec l'objet

Dans cette thèse, nous avons étudié la reconnaissance des actions qui incluent l'intéraction avec l’objet à partir des données du skeleton et des informations de profondeur fournies par les capteurs RGB-D. Il existe deux principales applications que nous abordons dans cette thèse: la reconnaissance de l'interaction humaine avec l'objet et la reconnaissance d'une activité anormale. Nous proposons, dans un premier temps, une modélisation spatio-temporelle pour la reconnaissance en ligne et hors ligne des intéractions entre l’humain et l’objet. Ces caractéristiques ont été adoptées pour la reconnaissance en ligne des intéractions humaines avec l’objet et pour la détection de la démarche anormale. Ensuite, nous proposons des caractéristiques liées à d'objet qui décrivent approximativement la forme et la taille de l’objet. Ces caractéristiques sont fusionnées avec les caractéristiques bas-niveau pour la reconnaissance en ligne des intéractions humaines avec l’objet. Les expériences menées sur deux benchmarks démontrent l’efficacité de la méthode proposée. Dans le deuxième volet de ce travail, nous étendons l'étude à la détection de la démarche anormale en utilisant le cadre en ligne l’approche. Afin de valider la robustesse de l’approche à la pose, nous avons collecté une base multi-vue pour des intéractions humaines avec l’objet, de façon normale et anormale. Les résultats expérimentaux sur le benchmark des actions anormales frontales et sur la nouvelles base prouvent l’efficacité de l’approche.

Jury

Directeur de thèse : Mohamed Daoudi Rapporteurs : Stefano Berretti, Djamel Merad Examinateurs : Jacques Booneart, Hassen Drira, Frédéric Lerasle, Catherine Soladie, Hichem Snoussi, Christian Wolf.

Thèse de l'équipe 3D SAM soutenue le 09/01/2017