Un réseau de neurones à croyance profonde basé sur des synapses memristives en silicium

Alors que les modèles d’intelligence artificielle (IA) deviennent de plus en plus avancés, la formation et l’exécution de ces modèles sur du matériel informatique conventionnel consomment beaucoup d’énergie. Les ingénieurs du monde entier ont donc essayé de créer du matériel alternatif inspiré du cerveau qui pourrait mieux supporter la charge de calcul élevée des systèmes d’IA.

Des chercheurs du Technion–Israel Institute of Technology et du laboratoire Peng Cheng ont récemment créé un nouveau système informatique neuromorphique prenant en charge les réseaux de neurones à croyance profonde (DBN), une classe générative et graphique de modèles d’apprentissage en profondeur. Ce système, décrit dans Électronique naturelleest basé sur des memristors à base de silicium, des dispositifs économes en énergie qui peuvent à la fois stocker et traiter des informations.

Les memristors sont des composants électriques qui peuvent commuter ou réguler le flux de courant électrique dans un circuit, tout en se souvenant de la charge qui l’a traversé. Comme leurs capacités et leur structure ressemblent davantage à celles des synapses du cerveau humain que les mémoires et les unités de traitement conventionnelles, elles pourraient être mieux adaptées à l’exécution de modèles d’IA.

“Nous, en tant que membre d’une grande communauté scientifique, travaillons sur l’informatique neuromorphique depuis un certain temps maintenant”, a déclaré Shahar Kvatinsky, l’un des chercheurs qui a mené l’étude, à TechXplore. “Habituellement, les memristors sont utilisés pour effectuer des calculs analogiques. On sait qu’il existe deux principales limitations dans le domaine neuromorphique – l’une est la technologie memristive qui n’est pas encore largement disponible. La seconde est le coût élevé des convertisseurs nécessaires pour convertir le calcul analogique aux données numériques et vice versa.”

Lors du développement de leur système informatique neuromorphique, Kvatinsky et ses collègues ont entrepris de surmonter ces deux limitations cruciales des systèmes basés sur les memristors. Comme les memristors ne sont pas largement disponibles, ils ont décidé d’utiliser à la place une technologie Flash disponible dans le commerce développée par Tower Semiconductor, en la concevant pour qu’elle se comporte comme un memristor. De plus, ils ont spécifiquement testé leur système avec un DBN nouvellement conçu, car ce modèle particulier ne nécessite pas de conversions de données (c’est-à-dire que ses données d’entrée et de sortie sont binaires et intrinsèquement numériques.

“Les DBN sont un ancien concept théorique d’apprentissage automatique”, a expliqué Kvatinsky. “Notre idée était d’utiliser des neurones binaires (c’est-à-dire avec une valeur de 0 ou 1) (entrée/sortie). Il existe plusieurs propriétés uniques (par rapport aux réseaux de neurones profonds), notamment le fait que la formation d’un tel réseau repose sur le calcul la mise à jour du modèle souhaitée accumulée et ne la mettant à jour que lorsqu’elle atteint un certain seuil.”

Les synapses artificielles créées par les chercheurs ont été fabriquées à l’aide de procédés commerciaux de métal-oxyde-semi-conducteur complémentaire (CMOS). Ces synapses memristives à base de silicium présentent de nombreuses caractéristiques avantageuses, notamment une accordabilité analogique, une endurance élevée, un long temps de rétention, une dégradation prévisible des cycles et une variabilité modérée entre différents appareils.

Kvatinsky et ses collègues ont démontré leur système en entraînant un type de DBN, connu sous le nom de machine de Boltzmann restreinte, sur une tâche de reconnaissance de formes. Pour former ce modèle (une machine Boltzmann restreinte memristive 19x 8), ils ont utilisé deux réseaux 12 x 8 des memristors qu’ils ont conçus.

“La simplicité de DBN les rend attrayants pour la mise en œuvre matérielle”, a déclaré Kvatinsky. “Nous avons montré que même si les DBN sont simples à mettre en œuvre (en raison de leur nature binaire), nous pouvons atteindre une grande précision (> 97 % de reconnaissance précise des chiffres manuscrits) lors de l’utilisation de memristors basés sur Y-Flash.”

L’architecture introduite par cette équipe de chercheurs offre une nouvelle solution viable pour faire fonctionner des machines Boltzmann restreintes et d’autres DBN. À l’avenir, cela pourrait inspirer le développement de systèmes neuromorphiques similaires, aidant collectivement à faire fonctionner les systèmes d’IA de manière plus économe en énergie.

“Nous prévoyons maintenant d’étendre cette architecture, d’explorer des technologies memristives supplémentaires et d’explorer davantage d’architectures de réseaux de neurones.”

© 2023 Réseau Science X