Une architecture informatique neuromorphique capable d’exécuter plus efficacement certains réseaux de neurones profonds

Une architecture informatique neuromorphique capable d'exécuter plus efficacement certains réseaux de neurones profonds

L’une des cartes Nahuku d’Intel, chacune contenant huit à 32 puces neuromorphiques Intel Loihi. Crédit : Tim Herman/Intel Corporation

À mesure que l’intelligence artificielle et les techniques d’apprentissage en profondeur deviennent de plus en plus avancées, les ingénieurs devront créer du matériel capable d’exécuter leurs calculs de manière fiable et efficace. Le matériel informatique neuromorphique, qui s’inspire de la structure et de la biologie du cerveau humain, pourrait être particulièrement prometteur pour soutenir le fonctionnement de réseaux de neurones profonds (DNN) sophistiqués.

Des chercheurs de l’Université de technologie de Graz et d’Intel ont récemment démontré l’énorme potentiel du matériel informatique neuromorphique pour exécuter des DNN dans un cadre expérimental. Leur article, publié dans Intelligence des machines naturelles et financé par le Human Brain Project (HBP), montre que le matériel informatique neuromorphique pourrait exécuter de grands DNN 4 à 16 fois plus efficacement que le matériel informatique conventionnel (c’est-à-dire non inspiré par le cerveau).

“Nous avons montré qu’une grande classe de DNN, ceux qui traitent des entrées temporellement étendues telles que par exemple des phrases, peuvent être implémentées de manière beaucoup plus efficace sur le plan énergétique si l’on résout les mêmes problèmes sur du matériel neuromorphique avec des neurones inspirés du cerveau et des architectures de réseaux de neurones, ” Wolfgang Maass, l’un des chercheurs qui a mené l’étude, a déclaré à TechXplore. “De plus, les DNN que nous avons considérés sont essentiels pour une fonction cognitive de niveau supérieur, comme trouver des relations entre les phrases d’une histoire et répondre à des questions sur son contenu.”

Dans leurs tests, Maass et ses collègues ont évalué l’efficacité énergétique d’un grand réseau de neurones fonctionnant sur une puce informatique neuromorphique créée par Intel. Ce DNN a été spécialement conçu pour traiter de grandes séquences de lettres ou de chiffres, telles que des phrases.

Une architecture informatique neuromorphique capable d'exécuter plus efficacement certains réseaux de neurones profonds

Le gros plan montre une carte Intel Nahuku, chacune contenant huit à 32 puces de recherche neuromorphiques Intel Loihi. Crédit : Tim Herman/Intel Corporation

Les chercheurs ont mesuré la consommation d’énergie de la puce neuromorphique d’Intel et d’une puce informatique standard tout en exécutant ce même DNN, puis ont comparé leurs performances. Fait intéressant, les chercheurs ont découvert que l’adaptation des modèles de neurones contenus dans le matériel informatique afin qu’ils ressemblent aux neurones du cerveau permettait de nouvelles propriétés fonctionnelles du DNN, améliorant son efficacité énergétique.

“L’amélioration de l’efficacité énergétique du matériel neuromorphique a souvent été conjecturée, mais elle était difficile à démontrer pour les tâches d’IA exigeantes”, a expliqué Maass. “La raison en est que si l’on remplace les modèles de neurones artificiels qui sont utilisés par les DNN dans l’IA, qui sont activés des dizaines de milliers de fois et plus par seconde, par des neurones plus “paresseux” ressemblant à un cerveau et donc plus économes en énergie qui ressemblent à ceux du cerveau, il fallait généralement rendre les neurones spiking hyperactifs, bien plus que les neurones du cerveau (où un neurone moyen n’émet que quelques fois par seconde un signal), mais ces neurones hyperactifs consommaient trop d’énergie. “

De nombreux neurones du cerveau ont besoin d’une période de repos prolongée après avoir été actifs pendant un certain temps. Des études antérieures visant à reproduire la dynamique neuronale biologique dans le matériel ont souvent abouti à des résultats décevants en raison de l’hyperactivité des neurones artificiels, qui consommaient trop d’énergie lors de l’exécution de DNN particulièrement volumineux et complexes.

Une architecture informatique neuromorphique capable d'exécuter plus efficacement certains réseaux de neurones profonds

Mike Davies est directeur du Neuromorphic Computing Lab d’Intel, qui se concentre sur les efforts de recherche pour activer les dispositifs de nouvelle génération et les systèmes autonomes guidés par les principes du calcul neuronal biologique, y compris la détection, la robotique, les soins de santé et les applications d’IA à grande échelle. Crédit : Tim Herman/Intel Corporation

Dans leurs expériences, Maass et ses collègues ont montré que la tendance de nombreux neurones biologiques à se reposer après un dopage pouvait être reproduite dans du matériel neuromorphique et utilisée comme une “astuce informatique” pour résoudre plus efficacement les tâches de traitement des séries chronologiques. Dans ces tâches, de nouvelles informations doivent être combinées avec des informations recueillies dans un passé récent (par exemple, des phrases d’une histoire que le réseau a traitées au préalable).

“Nous avons montré que le réseau a juste besoin de vérifier quels neurones sont actuellement les plus fatigués, c’est-à-dire les plus réticents à se déclencher, puisque ce sont ceux qui étaient actifs dans un passé récent”, a déclaré Maass. “En utilisant cette stratégie, un réseau intelligent peut reconstruire en fonction des informations récemment traitées. Ainsi, la” paresse “peut avoir des avantages en informatique.”

Les chercheurs ont démontré qu’en exécutant le même DNN, la puce informatique neuromorphique d’Intel consommait 4 à 16 fois moins d’énergie qu’une puce conventionnelle. En outre, ils ont décrit la possibilité de tirer parti du manque d’activité des neurones artificiels après leur pic, pour améliorer considérablement les performances du matériel sur les tâches de traitement des séries chronologiques.

Une architecture informatique neuromorphique capable d'exécuter plus efficacement certains réseaux de neurones profonds

Wolfgang Maass, scientifique de la TU Graz, traite de la question de savoir comment fonctionne le traitement de l’information dans le cerveau humain et comment cela pourrait être utilisé pour des applications informatiques. Crédit: Lunghammer—TU Graz

À l’avenir, la puce Intel et l’approche proposée par Maass et ses collègues pourraient contribuer à améliorer l’efficacité du matériel informatique neuromorphique dans l’exécution de DNN volumineux et sophistiqués. Dans leurs travaux futurs, l’équipe aimerait également concevoir des stratégies plus bio-inspirées pour améliorer les performances des puces neuromorphiques, car le matériel actuel ne capture qu’une infime fraction de la dynamique et des fonctions complexes du cerveau humain.

“Par exemple, le cerveau humain peut apprendre en voyant une scène ou en entendant une phrase une seule fois, alors que les DNN en IA nécessitent une formation excessive sur des millions d’exemples”, a ajouté Maass. “Une astuce que le cerveau utilise pour un apprentissage rapide consiste à utiliser différentes méthodes d’apprentissage dans différentes parties du cerveau, alors que les DNN n’en utilisent généralement qu’une seule. Dans mes prochaines études, j’aimerais permettre au matériel neuromorphique de développer une mémoire “personnelle” basée sur sur ses “expériences” passées, tout comme le ferait un humain, et utiliser cette expérience individuelle pour prendre de meilleures décisions.”


Démontrer d’importantes économies d’énergie à l’aide de matériel neuromorphique


Plus d’information:
Arjun Rao et al, A Long Short-Term Memory for AI Applications in Spike-based Neuromorphic Hardware, Intelligence des machines naturelles (2022). DOI : 10.1038/s42256-022-00480-w

© 2022 Réseau Science X

Citation: Une architecture informatique neuromorphique qui peut exécuter plus efficacement certains réseaux de neurones profonds (14 juin 2022) récupéré le 14 juin 2022 sur https://techxplore.com/news/2022-06-neuromorphic-architecture-deep-neural-networks.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.