Des chercheurs réalisent la première ECRAM intégrée au silicium pour un accélérateur d’IA pratique

Les changements transformateurs apportés par l’apprentissage en profondeur et l’intelligence artificielle s’accompagnent d’immenses coûts. Par exemple, l’algorithme ChatGPT d’OpenAI coûte au moins 100 000 $ par jour pour fonctionner. Cela pourrait être réduit avec des accélérateurs ou du matériel informatique conçu pour effectuer efficacement les opérations spécifiques de l’apprentissage en profondeur. Cependant, un tel dispositif n’est viable que s’il peut être intégré au matériel informatique traditionnel à base de silicium au niveau matériel.

Cela empêchait la mise en œuvre d’un accélérateur d’apprentissage en profondeur très prometteur – les matrices de mémoire électrochimique à accès aléatoire, ou ECRAM – jusqu’à ce qu’une équipe de recherche de l’Université de l’Illinois à Urbana-Champaign réalise la première intégration au niveau matériel des ECRAM sur des transistors en silicium. Les chercheurs, dirigés par l’étudiant diplômé Jinsong Cui et le professeur Qing Cao du Département de science et d’ingénierie des matériaux, ont récemment signalé un dispositif ECRAM conçu et fabriqué avec des matériaux pouvant être déposés directement sur le silicium lors de la fabrication dans Électronique naturelleréalisant le premier accélérateur pratique d’apprentissage en profondeur basé sur ECRAM.

“D’autres dispositifs ECRAM ont été fabriqués avec les nombreuses propriétés difficiles à obtenir nécessaires aux accélérateurs d’apprentissage en profondeur, mais le nôtre est le premier à atteindre toutes ces propriétés et à être intégré au silicium sans problèmes de compatibilité”, a déclaré Cao. “C’était le dernier obstacle majeur à l’utilisation généralisée de la technologie.”

ECRAM est une cellule de mémoire ou un dispositif qui stocke des données et les utilise pour des calculs au même emplacement physique. Cette architecture informatique non standard élimine le coût énergétique de la navette des données entre la mémoire et le processeur, ce qui permet d’effectuer très efficacement des opérations gourmandes en données.

L’ECRAM code les informations en mélangeant les ions mobiles entre une porte et un canal. Des impulsions électriques appliquées à une borne de grille injectent des ions dans ou tirent des ions d’un canal, et le changement résultant de la conductivité électrique du canal stocke des informations. Il est ensuite lu en mesurant le courant électrique qui traverse le canal. Un électrolyte entre la grille et le canal empêche le flux d’ions indésirables, permettant à ECRAM de conserver les données sous forme de mémoire non volatile.

L’équipe de recherche a sélectionné des matériaux compatibles avec les techniques de microfabrication du silicium : oxyde de tungstène pour la grille et le canal, oxyde de zirconium pour l’électrolyte et protons comme ions mobiles. Cela a permis aux appareils d’être intégrés et contrôlés par la microélectronique standard. D’autres dispositifs ECRAM s’inspirent des processus neurologiques ou encore de la technologie des batteries rechargeables et utilisent des substances organiques ou des ions lithium, tous deux incompatibles avec la microfabrication du silicium.

De plus, l’appareil du groupe Cao possède de nombreuses autres fonctionnalités qui le rendent idéal pour les accélérateurs d’apprentissage en profondeur. “Bien que l’intégration du silicium soit essentielle, une cellule mémoire idéale doit atteindre toute une série de propriétés”, a déclaré Cao. “Les matériaux que nous avons sélectionnés donnent lieu à de nombreuses autres caractéristiques souhaitables.”

Étant donné que le même matériau a été utilisé pour les bornes de grille et de canal, l’injection d’ions dans et l’extraction d’ions du canal sont des opérations symétriques, simplifiant le schéma de contrôle et améliorant considérablement la fiabilité. Le canal a retenu de manière fiable les ions pendant des heures, ce qui est suffisant pour entraîner la plupart des réseaux de neurones profonds. Comme les ions étaient des protons, avec le plus petit ion, les appareils commutaient assez rapidement. Les chercheurs ont découvert que leurs appareils duraient plus de 100 millions de cycles de lecture-écriture et étaient beaucoup plus efficaces que la technologie de mémoire standard. Enfin, étant donné que les matériaux sont compatibles avec les techniques de microfabrication, les dispositifs pourraient être réduits à l’échelle micro- et nanométrique, permettant une densité et une puissance de calcul élevées.

Les chercheurs ont fait la démonstration de leur dispositif en fabriquant des réseaux d’ECRAM sur des puces en silicium pour effectuer une multiplication matrice-vecteur, une opération mathématique cruciale pour l’apprentissage en profondeur. Les entrées de matrice (poids du réseau neuronal) ont été stockées dans les ECRAM, et le réseau a effectué la multiplication sur les entrées vectorielles, représentées sous forme de tensions appliquées, en utilisant les poids stockés pour modifier les courants résultants. Cette opération ainsi que la mise à jour des poids ont été réalisées avec un haut niveau de parallélisme.

“Nos appareils ECRAM seront les plus utiles pour les applications informatiques de pointe IA sensibles à la taille de la puce et à la consommation d’énergie”, a déclaré Cao. “C’est là que ce type d’appareil présente les avantages les plus significatifs par rapport à ce qui est possible avec les accélérateurs à base de silicium.”

Les chercheurs font breveter le nouveau dispositif et travaillent avec des partenaires de l’industrie des semi-conducteurs pour commercialiser cette nouvelle technologie. Selon Cao, une application principale de cette technologie est dans les véhicules autonomes, qui doivent rapidement apprendre leur environnement et prendre des décisions avec des ressources de calcul limitées. Cao collabore avec la faculté de génie électrique et informatique de l’Illinois pour intégrer leurs ECRAM avec des puces de silicium fabriquées en fonderie et la faculté d’informatique de l’Illinois pour développer des logiciels et des algorithmes tirant parti des capacités uniques d’ECRAM.