Thesis of Hammouda Elbez

Visualisation interactive de traces de simulation de réseaux de neurones matériels à impulsions

Les architectures neuromorphiques sont des approches prometteuses pour réduire significativement la consommation énergétique des ordinateurs de demain et de l'ère post-Moore. La fonction cérébrale est l'inspiration derrière cette architecture, consistant en des réseaux de neurones artificiels à impulsion. Du fait de leur faible consommation énergétique, le déploiement de telles architectures est utile dans de nombreuses applications, notamment celles ayant des contraintes énergétiques limitées. De plus, avec la faible consommation d'énergie et la nature des architectures neuromorphiques qui fournissent le "calcul en mémoire" (CEM), nous pouvons traiter le Big Data et fournir la puissance de calcul nécessaire aux tâches d'apprentissage automatique. Les architectures neuromorphiques consistent en des réseaux de neurones artificiels inspirés des fonctionnalités cérébrales avec de nombreuses questions ouvertes. Cette situation impacte la mise en place de réseaux de neurones à impulsions et leurs performances par rapport aux réseaux de neurones conventionnels. De plus, dans les SNN, de nombreuses questions sont encore ouvertes, par exemple: comment se passe l'apprentissage et quelle règle d'apprentissage est la plus appropriée, l'emplacement de la mémoire dans ces réseaux et comment cela fonctionne, et comment le réseau encode les informations à l'aide d'impulsions. De telles questions liées aux neurosciences empêchent les SNN de fonctionner comme les réseaux conventionnels. Par conséquent, pour mieux comprendre les différents phénomènes dans les SNN, nous devons analyser l'activité interne du réseau lors de la simulation. L'activité du réseau consiste en celle des impulsions, des neurones et des synapses. Lors de la simulation, nous générons une importante trace de simulation difficile à analyser en raison de sa taille et de son aspect spatio-temporel, que nous pouvons étudier à plusieurs échelles. Ce manuscrit vise à étudier l'analyse visuelle des réseaux de neurones impulsionnels en visualisant la trace collectée à partir d'une simulation. L'objectif principal est de mieux comprendre les différents phénomènes du réseau et d'améliorer le réseau à l'aide d'analyses visuelles. La première contribution est l'étude des techniques de visualisation dans les simulateurs SNN. Cette étude du point de vue technique et visualisation des simulateurs a mis en lumière la diversité des technologies utilisées. De plus, les techniques de visualisation fournies et leur similitude. À la fin de cette étude, nous avons conclu que nous avions besoin de plus d'outils dédiés pour analyser ce que les simulateurs fournissent pour l'analyse visuelle. Ensuite, le développement et la présentation de VS2N. Un outil basé sur technologie Web pour la visualisation et l'analyse dynamiques interactives post-mortem des réseaux de neurones à impulsions. La nouveauté de VS2N par rapport aux outils d'analyse visuelle existants peut être résumée en quatre points : sa nature modulaire, son indépendance par rapport au simulateur, son évolutivité et ses capacités en analyse dynamique. De plus, VS2N offre la possibilité de fonctionner dynamiquement sur le réseau en cours d'activité, de simulation, ce qui n'est pas possible avec les outils existants. Cette caractéristique est importante à noter surtout pour la simulation de réseaux longue en temps de calcul, ce qui est souvent le cas pour les réseaux de neurones à impulsions. Enfin, nous avons proposé une nouvelle approche pour compresser un réseau de neurones à impulsion basée sur l'analyse visuelle menée sur les SNN. Cette approche de compression dynamique concerne les synapses du réseau en proposant deux formules pour calculer le seuil dynamique, qui évolue en fonction de l'état de compression, au lieu d'avoir un seuil statique comme c'est le cas dans les travaux existants. Cette approche peut maintenir ou améliorer la performance du réseau par rapport au réseau non compressé tout en compressant jusqu'à 80 %.

Jury

M. Pierre BOULET Université de Lille Directeur de thèse M. Kamel BENHAOUA Université de Mascara Co-directeur de thèse M. Sidi Mohammed BENSLIMANE Ecole Supérieure en Informatique de Sidi Bel Abbès Rapporteur M. Gilles SASSATELLI CNRS Rapporteur Mme Fatima DEBBAT Université de Mascara Examinatrice M. Ihsen ALOUANI Université Polytechnique Hauts-de-France Examinateur M. Philippe DEVIENNE CNRS Invité

Thesis of the team defended on 20/06/2022