Doctorant

Membre élu du conseil d'unité

Equipe(s)

FOX

Ma thèse

“Réseaux de neurones impulsionnels pour la vision artificielle”

Dirigée par Jean Martinet / Débutée le 1er octobre 2018

Domaine de recheche : Informatique

Présentation

Résumé de la thèse

En moins d'une décennie, les réseaux de neurones artificiels (RNA) ont marqué le paysage de l'informatique, avec des résultats révolutionnaires. En vision par ordinateur, ces méthodes sont devenues incontournables, elles ont permis, dans un premier temps, de faire évoluer les performances sur des problèmes de classifications d'images se basant sur des datasets comme ImageNet, puis sur d'autres problèmes, comme l'analyse de mouvement, etc. Le fait que nous soyons à une époque où il est possible d'accéder à d'énormes quantités de données annotées, et que de surcroît, il y ait eu une évolution de la puissance de calcul des machines suffisantes, explique en partie le développement ainsi que l'utilisation massive des réseaux de neurones. Cependant, ce succès s'accompagne d'un coût humain non-négligeable pour l'étiquetage manuel des données, très important dans l'apprentissage des modèles. De même, cela nécessite des ressources de calcul significatives qui induisent une grande consommation énergétique.

L'utilisation des réseaux de neurones impulsionnels (Spiking Neural Network, SNN) peut être une réponse à ces problématiques. C'est une classe particulière des RNA, proche du modèle biologique, dans lequel les neurones émettent des impulsions sortantes (spikes) de manière asynchrone, en fonction des stimulations entrantes, asynchrones elles aussi. L’apprentissage avec de tels réseaux repose sur une règle “Spike-Timing Dependent Plasticity” qui est de nature non-supervisée. Elle met à jour les poids synaptiques au cours d'une simulation en fonction des relations de cause à effet constatées entre les impulsions entrantes et sortantes. Le but de cette règle est le renforcement des connexions entrantes qui sont la cause des impulsions sortantes. Le matériel pouvant implémenter les SNN peut être construit avec la technologie CMOS, et utilise typiquement une faible puissance permettant de réduire la dissipation énergétique de plusieurs ordres de grandeur, par rapport aux architectures numériques standards.

À l'heure actuelle, les SNN sont peu utilisés, mais il y a un intérêt croissant pour l'appliquer à la vision. Par contre, il y a plusieurs difficultés à franchir. Le premier problème que l'on rencontre est celui de l’encodage de l’entrée, il faut être capable de transformer un signal visuel (image ou vidéo) en une séquence d'impulsions. Pour cela, l'une des pistes est d'utiliser des caméras event-based, ce sont des capteurs bio-inspirés qui perçoivent les contrastes temporels d'une scène, autrement dit, ils sont sensibles au mouvement. Chaque pixel peut détecter une variation lumineuse (positive ou négative), ce qui déclenche un événement. Celui-ci peut être facilement associé à un spike. On se retrouve avec un système totalement bio-inspiré de l'acquisition au traitement de l'information.

Concernant l'objectif, nous nous sommes très vite intéressés à l'analyse du mouvement et plus particulièrement à l'estimation de la direction. C'est une tâche essentielle en vision par ordinateur. Le but est de développer une architecture capable d'apprendre à extraire des caractéristiques liées au mouvement de manière non supervisée. À plus long terme, nous prévoyons d'utiliser ce modèle sur une tâche plus concrète nécessitant ce genre d'analyse, la reconnaissance de geste étant l'application visée.

Pour finir, la thèse entre dans le contexte d'un projet pluridisciplinaire dont la thématique central est "Architecture bio-inspirée". Elle regroupe plusieurs équipes ayant des expertises dans la conception de nouveaux composants matériels, dans l'élaboration de simulation reproduisant les comportements les plus fins des modèles et sur l'analyse d'images et de vidéos. Cette collaboration permet une certaine synergie dans le développement de solutions innovantes.

Références

  • [Ponulak, 2011] Filip Ponulak, Andrzej Kasiński. Introduction to spiking neural networks: Information processing, learning and applications. Acta Neurobiol Exp (Wars). 2011;71(4):409-33.

  • [Bichler, 2012] Olivier Bichler, Damien Querlioz, Simon J. Thorpe, Jean-Philippe Bourgoin, Christian Gamrat : Extraction of temporally correlated features from dynamic vision sensors with spike-timing-dependent plasticity. Neural Networks 32 (2012) 339–348.

  • [Paredes, 2019] Paredes-Vallés, F., Scheper, K. Y. W., & De Croon, G. C. H. E. (2019). Unsupervised learning of a hierarchical spiking neural network for optical flow estimation: From events to global motion perception. IEEE transactions on pattern analysis and machine intelligence.

Publications