Un nouveau matériel offre un calcul plus rapide pour l’intelligence artificielle, avec beaucoup moins d’énergie

Alors que les scientifiques repoussent les limites de l’apprentissage automatique, la quantité de temps, d’énergie et d’argent nécessaires pour former des modèles de réseaux neuronaux de plus en plus complexes monte en flèche. Un nouveau domaine de l’intelligence artificielle appelé apprentissage en profondeur analogique promet un calcul plus rapide avec une fraction de la consommation d’énergie.

Les résistances programmables sont les éléments clés de l’apprentissage en profondeur analogique, tout comme les transistors sont les éléments centraux des processeurs numériques. En répétant des réseaux de résistances programmables dans des couches complexes, les chercheurs peuvent créer un réseau de “neurones” et de “synapses” artificiels analogiques qui exécutent des calculs comme un réseau neuronal numérique. Ce réseau peut ensuite être formé pour réaliser des tâches d’IA complexes comme la reconnaissance d’images et le traitement du langage naturel.

Une équipe multidisciplinaire de chercheurs du MIT a entrepris de repousser les limites de vitesse d’un type de synapse analogique artificielle qu’ils avaient précédemment développée. Ils ont utilisé un matériau inorganique pratique dans le processus de fabrication qui permet à leurs appareils de fonctionner 1 million de fois plus rapidement que les versions précédentes, ce qui est également environ 1 million de fois plus rapide que les synapses du cerveau humain.

De plus, ce matériau inorganique rend également la résistance extrêmement économe en énergie. Contrairement aux matériaux utilisés dans la version précédente de leur appareil, le nouveau matériau est compatible avec les techniques de fabrication du silicium. Ce changement a permis de fabriquer des dispositifs à l’échelle du nanomètre et pourrait ouvrir la voie à une intégration dans du matériel informatique commercial pour des applications d’apprentissage en profondeur.

“Avec cette idée clé et les techniques de nanofabrication très puissantes dont nous disposons au MIT.nano, nous avons pu assembler ces pièces et démontrer que ces dispositifs sont intrinsèquement très rapides et fonctionnent avec des tensions raisonnables”, déclare l’auteur principal Jesús A. del Alamo, professeur Donner au département de génie électrique et d’informatique (EECS) du MIT. “Ce travail a vraiment mis ces appareils à un point où ils semblent maintenant vraiment prometteurs pour de futures applications.”

“Le mécanisme de fonctionnement de l’appareil est l’insertion électrochimique du plus petit ion, le proton, dans un oxyde isolant pour moduler sa conductivité électronique. Parce que nous travaillons avec des appareils très fins, nous pourrions accélérer le mouvement de cet ion en utilisant un fort courant électrique. et poussent ces dispositifs ioniques au régime de fonctionnement de la nanoseconde », explique l’auteur principal Bilge Yildiz, professeur Breene M. Kerr dans les départements de science et génie nucléaires et de science et génie des matériaux.

“Le potentiel d’action dans les cellules biologiques augmente et diminue avec une échelle de temps de quelques millisecondes, car la différence de tension d’environ 0,1 volt est limitée par la stabilité de l’eau”, explique l’auteur principal Ju Li, professeur de science et d’ingénierie nucléaires de la Battelle Energy Alliance et professeur de science et d’ingénierie des matériaux, “Ici, nous appliquons jusqu’à 10 volts à travers un film de verre solide spécial d’une épaisseur nanométrique qui conduit les protons, sans l’endommager de façon permanente. Et plus le champ est fort, plus les dispositifs ioniques sont rapides.”

Ces résistances programmables augmentent considérablement la vitesse à laquelle un réseau de neurones est entraîné, tout en réduisant considérablement le coût et l’énergie nécessaires pour effectuer cet entraînement. Cela pourrait aider les scientifiques à développer beaucoup plus rapidement des modèles d’apprentissage en profondeur, qui pourraient ensuite être appliqués à des utilisations telles que les voitures autonomes, la détection de fraude ou l’analyse d’images médicales.

“Une fois que vous aurez un processeur analogique, vous n’entraînerez plus de réseaux sur lesquels tout le monde travaille. Vous entraînerez des réseaux d’une complexité sans précédent que personne d’autre ne peut se permettre, et donc largement les surpasser tous. En d’autres termes, c’est pas une voiture plus rapide, c’est un vaisseau spatial », ajoute Murat Onen, auteur principal et post-doctorant au MIT.

La recherche est publiée aujourd’hui dans La science.

Accélérer l’apprentissage en profondeur

L’apprentissage en profondeur analogique est plus rapide et plus économe en énergie que son homologue numérique pour deux raisons principales. “Tout d’abord, le calcul est effectué en mémoire, de sorte que d’énormes charges de données ne sont pas transférées de la mémoire vers un processeur.” Les processeurs analogiques effectuent également des opérations en parallèle. Si la taille de la matrice augmente, un processeur analogique n’a pas besoin de plus de temps pour effectuer de nouvelles opérations car tous les calculs se produisent simultanément.

L’élément clé de la nouvelle technologie de processeur analogique du MIT est connu sous le nom de résistance protonique programmable. Ces résistances, qui se mesurent en nanomètres (un nanomètre équivaut à un milliardième de mètre), sont disposées en réseau, à la manière d’un échiquier.

Dans le cerveau humain, l’apprentissage se produit en raison du renforcement et de l’affaiblissement des connexions entre les neurones, appelés synapses. Les réseaux de neurones profonds ont depuis longtemps adopté cette stratégie, où les poids du réseau sont programmés via des algorithmes de formation. Dans le cas de ce nouveau processeur, l’augmentation et la diminution de la conductance électrique des résistances protoniques permettent l’apprentissage automatique analogique.

La conductance est contrôlée par le mouvement des protons. Pour augmenter la conductance, plus de protons sont poussés dans un canal de la résistance, tandis que pour diminuer la conductance, des protons sont retirés. Ceci est accompli en utilisant un électrolyte (similaire à celui d’une batterie) qui conduit les protons mais bloque les électrons.

Pour développer une résistance protonique programmable ultra-rapide et très économe en énergie, les chercheurs se sont tournés vers différents matériaux pour l’électrolyte. Alors que d’autres appareils utilisaient des composés organiques, Onen s’est concentré sur le verre de phosphosilicate inorganique (PSG).

Le PSG est essentiellement du dioxyde de silicium, qui est le matériau déshydratant en poudre trouvé dans de minuscules sacs qui viennent dans la boîte avec de nouveaux meubles pour éliminer l’humidité. C’est également l’oxyde le plus connu utilisé dans le traitement du silicium. Pour fabriquer le PSG, un tout petit peu de phosphore est ajouté au silicium pour lui donner des caractéristiques particulières pour la conduction protonique.

Onen a émis l’hypothèse qu’un PSG optimisé pourrait avoir une conductivité protonique élevée à température ambiante sans avoir besoin d’eau, ce qui en ferait un électrolyte solide idéal pour cette application. Il avait raison.

Vitesse surprenante

Le PSG permet un mouvement ultrarapide des protons car il contient une multitude de pores de taille nanométrique dont les surfaces fournissent des voies de diffusion des protons. Il peut également supporter des champs électriques pulsés très puissants. Ceci est essentiel, explique Onen, car l’application de plus de tension à l’appareil permet aux protons de se déplacer à des vitesses fulgurantes.

« La vitesse était certainement surprenante. Normalement, nous n’appliquerions pas des champs aussi extrêmes sur les appareils, afin de ne pas les transformer en cendres. ce que nous avions avant. Et ce mouvement n’endommage rien, grâce à la petite taille et à la faible masse des protons. C’est presque comme une téléportation », dit-il.

“L’échelle de temps de la nanoseconde signifie que nous sommes proches du régime d’effet tunnel balistique ou même quantique pour le proton, dans un champ aussi extrême”, ajoute Li.

Parce que les protons n’endommagent pas le matériau, la résistance peut fonctionner pendant des millions de cycles sans tomber en panne. Ce nouvel électrolyte a permis une résistance protonique programmable qui est un million de fois plus rapide que leur appareil précédent et peut fonctionner efficacement à température ambiante, ce qui est important pour l’intégrer dans le matériel informatique.

Grâce aux propriétés isolantes du PSG, presque aucun courant électrique ne traverse le matériau lorsque les protons se déplacent. Cela rend l’appareil extrêmement économe en énergie, ajoute Onen.

Maintenant qu’ils ont démontré l’efficacité de ces résistances programmables, les chercheurs prévoient de les repenser pour une fabrication à grand volume, explique del Alamo. Ensuite, ils peuvent étudier les propriétés des réseaux de résistances et les mettre à l’échelle afin qu’ils puissent être intégrés dans des systèmes.

En même temps, ils prévoient d’étudier les matériaux pour éliminer les goulots d’étranglement qui limitent la tension nécessaire pour transférer efficacement les protons vers, à travers et depuis l’électrolyte.

“Une autre direction passionnante que ces dispositifs ioniques peuvent activer est un matériel économe en énergie pour émuler les circuits neuronaux et les règles de plasticité synaptique qui sont déduites en neurosciences, au-delà des réseaux neuronaux profonds analogiques”, ajoute Yildiz.

“La collaboration que nous avons va être essentielle pour innover à l’avenir. La voie à suivre sera toujours très difficile, mais en même temps très excitante”, déclare del Alamo.

Les co-auteurs incluent Frances M. Ross, professeure Ellen Swallow Richards au Département de science et génie des matériaux ; les post-doctorants Nicolas Emond et Baoming Wang ; et Difei Zhang, un étudiant diplômé de l’EECS.