Une solution axée sur la nature pour une IA plus efficace

Une solution axée sur la nature pour une IA plus efficace

Motivation et principe de fonctionnement du dispositif de mémoire synaptique proposé. (a) Mémoire analogique non volatile conventionnelle où la transition entre les états statiques analogiques (Wn−1, Wn) dissipe l’énergie (ΔEn); (b) mémoire analogique dynamique où une énergie externe (ΔE1, ΔE2… ΔEn) est utilisée pour moduler la trajectoire des états de la mémoire (W0) vers la solution optimale (W“) ; (c) caractéristique de synapse analogique souhaitée où le taux de rétention de la mémoire est compromis avec l’énergie d’écriture ; réduire la dissipation d’énergie par mise à jour du poids en phase d’entraînement en faisant correspondre la dynamique de la mémoire analogique dynamique à la décroissance du poids, comme indiqué dans (encadré) où la hauteur de la barrière d’énergie (ΔEn) augmente à mesure que l’entraînement progresse (d) micrographie d’un réseau DAM fabriqué avec (e) son circuit équivalent où le courant de fuite IFN est mis en œuvre par (f) le transport d’électrons à travers une barrière tunnel Fowler – Nordheim (FN); (g) mise en œuvre du DAM basé sur le tunneling FN où les états dynamiques g1–g3 déterminent l’énergie dissipée (ΔE1, ΔE2, ΔE3) par mise à jour de la mémoire à l’instant t1–t3 et le taux de rétention de la mémoire. Crédit: Communication Nature (2022). DOI : 10.1038/s41467-022-29320-6

Au cours de sa durée de vie, une voiture moyenne est responsable de l’émission d’environ 126 000 livres de gaz à effet de serre dioxyde de carbone (CO2).

Comparez ces émissions avec l’empreinte carbone laissée par la technologie de l’intelligence artificielle (IA). En 2019, la formation d’une intelligence artificielle haut de gamme était responsable de plus de 625 000 livres de CO2 émissions. Les besoins en énergie de l’IA n’ont fait qu’augmenter depuis.

Pour réduire l’empreinte énergétique de l’IA, Shantanu Chakrabartty, professeur Clifford W. Murphy à la McKelvey School of Engineering de l’Université de Washington à St. Louis, a présenté un prototype d’un nouveau type de mémoire informatique. Les résultats ont été publiés le 29 mars dans la revue Communication Nature.

Les co-premiers auteurs de cet article sont Darshit Mehta et Mustafizur Rahman, tous deux membres du groupe de recherche de Chakrabartty.

Une quantité disproportionnée d’énergie est consommée pour former une IA, lorsque l’ordinateur recherche différentes configurations tout en apprenant la meilleure solution à un problème, comme reconnaître correctement un visage ou traduire une langue.

En raison de cette consommation d’énergie, la plupart des entreprises ne peuvent pas se permettre de former une nouvelle IA à partir de zéro. Au lieu de cela, ils l’entraînent “assez” et peuvent ensuite modifier certains paramètres pour différentes applications. Ou, si une entreprise est assez grande, a déclaré Chakrabartty, elle déplacera ses centres de données vers une propriété plus pratique au bord de l’eau.

Toute cette consommation d’énergie crée beaucoup de chaleur et nécessite beaucoup d’eau pour rester au frais. “Ils font bouillir un lac, pratiquement, pour construire un réseau de neurones”, a-t-il déclaré.

Au lieu d’ébullition, le groupe de recherche de Chakrabartty s’est tourné vers l’effet tunnel quantique.

Lorsqu’un ordinateur cherche une réponse, le système utilise l’électricité pour activer et désactiver des milliards de minuscules interrupteurs tout en cherchant le chemin le plus court vers la solution. Une fois qu’un interrupteur est basculé, l’énergie est évacuée et de l’énergie supplémentaire est utilisée pour maintenir l’interrupteur en position ou le maintenir en mémoire. C’est cette consommation d’électricité qui crée une si grande empreinte carbone.

Au lieu d’alimenter un flux constant d’énergie dans une matrice de mémoire, Chakrabartty laisse la mémoire physique faire ce qu’elle fait dans la nature.

“Les électrons veulent naturellement passer à l’état stable le plus bas”, a déclaré Chakrabartty, qui est également vice-doyen pour la recherche et l’enseignement supérieur au département de génie électrique et des systèmes de Preston M. Green.

Et les électrons le font en utilisant le moins d’énergie possible. Il utilise cette loi de la physique à son avantage. En définissant la solution (par exemple, la reconnaissance du mot “eau” comme “agua”) comme un état stable, les électrons tunnel vers la bonne réponse la plupart du temps par eux-mêmes avec juste un peu de guidage, c’est-à-dire la direction de l’algorithme d’entraînement.

De cette façon, les lois de la nature dictent que les électrons trouveront par eux-mêmes le chemin le plus rapide et le plus économe en énergie vers la réponse. À l’état fondamental, ils sont entourés d’une barrière suffisamment grande pour que les électrons ne la traversent presque certainement pas.

Alors que la mémoire moderne utilise une approche plus brutale en enregistrant son itinéraire dans la mémoire et en utilisant de l’énergie à chaque interrupteur basculé, la conception d’apprentissage en mémoire de Chakrabartty permet simplement aux électrons de faire ce qu’ils font sans trop d’interférences et pratiquement sans énergie supplémentaire.

Une fois qu’ils ont atteint la dernière barrière, l’IA aurait appris quelque chose.

“C’est comme essayer de se souvenir d’une chanson”, a-t-il déclaré. “Au début, vous fouillez votre mémoire, cherchez partout la chanson. Mais une fois que vous l’avez trouvée, la mémoire est maintenant fixée, et vous ne pouvez plus vous la sortir de la tête.”


Une solution minuscule et bon marché pour le chiffrement quantique sécurisé


Plus d’information:
Darshit Mehta et al, Un réseau synaptique adaptatif utilisant la mémoire analogique dynamique Fowler – Nordheim, Communication Nature (2022). DOI : 10.1038/s41467-022-29320-6

Fourni par l’Université de Washington à St. Louis

Citation: A nature-driven solution for more efficient AI (13 avril 2022) récupéré le 13 avril 2022 sur https://techxplore.com/news/2022-04-nature-driven-solution-efficient-ai.html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation loyale à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.