Une technique bio-inspirée pour atténuer l’oubli catastrophique dans les réseaux de neurones binarisés

Une technique bio-inspirée pour atténuer l'oubli catastrophique dans les réseaux de neurones binarisés

Les réseaux de neurones mis en œuvre dans l’intelligence artificielle (en haut) sont sujets à des oublis catastrophiques. Si on leur apprend à reconnaître les chiffres (MNIST) puis les vêtements (FMNIST), ces réseaux perdent la capacité de reconnaître les chiffres (en bas, à gauche). Grâce à l’approche métaplastique proposée par les chercheurs, ces réseaux peuvent apprendre successivement les deux tâches (en bas, à droite). Crédit : Laborieux et al.

Les réseaux de neurones profonds ont obtenu des résultats très prometteurs sur plusieurs tâches, notamment la classification d’images et de textes. Néanmoins, bon nombre de ces méthodes de calcul sont sujettes à ce que l’on appelle l’oubli catastrophique, ce qui signifie essentiellement que lorsqu’elles sont formées à une nouvelle tâche, elles ont tendance à oublier rapidement comment accomplir les tâches pour lesquelles elles ont été formées dans le passé.

Des chercheurs de l’Université Paris-Saclay-CNRS ont récemment introduit une nouvelle technique pour pallier l’oubli dans les réseaux de neurones binarisés. Cette technique, présentée dans un article publié dans Communication Nature, s’inspire de l’idée de métaplasticité synaptique, le processus par lequel les synapses (jonctions entre deux cellules nerveuses) s’adaptent et changent au fil du temps en réponse aux expériences.

« Mon groupe travaillait sur des réseaux de neurones binarisés depuis quelques années », a déclaré à TechXplore Damien Querlioz, l’un des chercheurs qui a mené l’étude. « Il s’agit d’une forme très simplifiée de réseaux de neurones profonds, la méthode phare de l’intelligence artificielle moderne, qui permet d’effectuer des tâches complexes avec des besoins en mémoire et une consommation d’énergie réduits. En parallèle, Axel, alors doctorant en première année dans notre groupe, a commencé à travailler sur les modèles de métaplasticité synaptique introduits en 2005 par Stefano Fusi. »

Des études en neurosciences suggèrent que la capacité des cellules nerveuses à s’adapter aux expériences est ce qui permet finalement au cerveau humain d’éviter «l’oubli catastrophique» et de se rappeler comment accomplir une tâche donnée même après en avoir affronté une nouvelle. Cependant, la plupart des agents d’intelligence artificielle (IA) oublient très rapidement les tâches apprises précédemment après en avoir appris de nouvelles.

« Presque accidentellement, nous avons réalisé que les réseaux de neurones binarisés et la métaplasticité synaptique, deux sujets qui étudiaient avec des motivations très différentes, étaient en fait liés », a déclaré Querlioz. « Dans les réseaux de neurones binarisés et dans le modèle de métaplasticité de Fusi, la force des synapses ne peut prendre que deux valeurs, mais le processus d’entraînement implique un paramètre « caché ». C’est ainsi que nous avons eu l’idée que les réseaux de neurones binarisés pourraient fournir un moyen pour atténuer le problème de l’oubli catastrophique dans l’IA. »

Pour reproduire le processus de métaplasticité synaptique dans les réseaux de neurones binarisés, Querlioz et ses collègues ont introduit un « mécanisme de consolidation », où plus une synapse est mise à jour dans le même sens (c’est-à-dire avec sa valeur d’état cachée montant ou descendant), le il devrait être plus difficile pour elle de revenir dans la direction opposée. Ce mécanisme, inspiré du modèle de métaplasticité de Fusi, ne diffère que légèrement de la façon dont les réseaux de neurones binarisés sont habituellement entraînés, mais il a un impact significatif sur l’oubli catastrophique du réseau.

« Les résultats les plus notables de notre étude sont, tout d’abord, que le nouveau mécanisme de consolidation que nous avons introduit réduit efficacement l’oubli et il le fait en fonction de l’état interne local de la synapse uniquement, sans qu’il soit nécessaire de modifier la métrique optimisée par le réseau entre les tâches , contrairement à d’autres approches de la littérature », Axel Laborieux, doctorant en première année. étudiant qui a réalisé l’étude, a déclaré TechXplore. « Cette fonctionnalité est particulièrement intéressante pour la conception de matériel à faible consommation d’énergie, car il faut éviter les frais généraux liés au déplacement et au calcul des données. »

Les résultats recueillis par cette équipe de chercheurs pourraient avoir des implications importantes pour le développement d’agents d’IA et de réseaux de neurones profonds. Le mécanisme de consolidation introduit dans le récent article pourrait aider à atténuer l’oubli catastrophique dans les réseaux de neurones binarisés, permettant le développement d’agents d’IA capables de bien s’acquitter de diverses tâches. Dans l’ensemble, l’étude de Querlioz, Laborieux et de leurs collègues Maxence Ernoult et Tifenn Hirtzlin met également en évidence l’intérêt de s’inspirer de la théorie des neurosciences pour essayer de développer des agents d’IA plus performants.

« Notre groupe est spécialisé dans le développement de matériel d’IA à faible consommation d’énergie utilisant les nanotechnologies », a déclaré Querlioz. « Nous pensons que les synapses binarisées métaplastiques que nous avons proposées dans ce travail sont très adaptées aux implémentations basées sur la nanotechnologie, et nous avons déjà commencé à concevoir et fabriquer de nouveaux dispositifs basés sur cette idée. »


Les capacités de mémoire du cerveau inspirent les experts de l’IA à rendre les réseaux de neurones moins « oublieux »


Plus d’information:
Métaplasticité synaptique dans les réseaux de neurones binarisés. Communication Nature(2021). DOI : 10.1038 / s41467-021-22768-y. www.nature.com/articles/s41467-021-22768-y

© 2021 Réseau Science X

Citation: Une technique bio-inspirée pour atténuer l’oubli catastrophique dans les réseaux de neurones binarisés (2021, 10 juin) récupéré le 10 juin 2021 sur https://techxplore.com/news/2021-06-bio-inspired-technique-mitigate-catastrophic-binarized .html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.