Comment rendre l’informatique plus durable

Demandez à votre ordinateur ou à votre téléphone de traduire une phrase de l’anglais vers l’italien. Pas de problème, n’est-ce pas ? Mais cette tâche n’est pas aussi facile qu’il y paraît. Le logiciel derrière votre écran a dû apprendre à traiter des centaines de milliards de paramètres, ou tâches, avant d’afficher le mot correct, et effectuer ces tâches demande de l’énergie.

Aujourd’hui, les chercheurs du Laboratoire national des accélérateurs SLAC du ministère de l’Énergie et d’autres institutions publiques et privées recherchent des moyens de fournir moins d’énergie aux systèmes logiciels et matériels tout en continuant d’accomplir des tâches quotidiennes, comme la traduction linguistique, ainsi que de résoudre des problèmes de plus en plus difficiles mais socialement dangereux. des problèmes importants comme le développement de nouveaux médicaments contre le cancer, les vaccins COVID-19 et les voitures autonomes.

Cet effort informatique au SLAC fait partie d’une initiative nationale plus large du DOE, dirigée par le Bureau des matériaux avancés et des technologies de fabrication, appelée The Energy Efficiency Scaling for 2 Decades (EES2) qui a été annoncée en septembre 2022. L’initiative implique également plusieurs laboratoires nationaux. en tant que leaders de l’industrie, et se concentrera sur l’augmentation de l’efficacité énergétique des semi-conducteurs par un facteur de 1 000 au cours des deux prochaines décennies, selon les initiatives. D’ici 2030, les semi-conducteurs pourraient utiliser près de 20 % de l’énergie mondiale, ce qui signifie que l’amélioration de l’efficacité de ce secteur est essentielle pour contribuer à la croissance de l’économie et faire face à la crise climatique, selon l’initiative.

Sur le papier, adapter les modèles logiciels pour réduire leur consommation d’énergie est simple : il suffit d’inclure une nouvelle variable de conception qui tient compte des besoins énergétiques d’un modèle lors de la conception de son algorithme, a déclaré Sadasivan Shankar, responsable des technologies de recherche au SLAC et professeur adjoint à l’Université de Stanford. . Cependant, de nombreux modèles logiciels, comme ceux qui reposent sur l’apprentissage automatique, manquent de cette variable de conception énergétique. Au lieu de cela, ils sont souvent construits avec la performance, et non l’efficacité, comme force motrice, a-t-il déclaré.

Dans ce Q&A, Shankar explique comment les projets de son équipe au SLAC tenteront d’améliorer l’efficacité énergétique de l’informatique à l’avenir.

L’informatique est un domaine vaste et vaste. À quelles parties votre équipe s’attaque-t-elle ?

Nous examinons actuellement trois parties principales de l’informatique : les algorithmes, l’architecture et le matériel. Pour les algorithmes, nous étudierons comment réduire l’énergie requise par les algorithmes et les modèles d’apprentissage automatique. Une façon d’améliorer l’efficacité énergétique de ces modèles consiste à utiliser des algorithmes sur mesure, qui calculent des tâches spécifiques pour chaque application unique, tandis que des algorithmes plus généraux sont conçus et appliqués pour accomplir une gamme de tâches.

La deuxième partie que nous examinons est de savoir comment concevoir ensemble l’architecture logicielle et leurs algorithmes – appelée “co-conception” – plutôt que de les concevoir indépendamment les uns des autres. Si ces composants sont co-conçus, ils devraient nécessiter moins d’énergie pour fonctionner. Et troisièmement, nous examinons le niveau fondamental des matériaux, des dispositifs et des interconnexions qui génèrent moins de chaleur.

Pour aborder ces trois domaines, nous allons examiner les efficacités de la nature, comme la façon dont notre cerveau et nos cellules moléculaires effectuent des tâches, et essayer d’appliquer ces apprentissages à notre conception de systèmes informatiques.

Parlez-nous de l’importance des modèles d’apprentissage automatique dans la société d’aujourd’hui. A quels problèmes voit-on appliquer les modèles ?

Les modèles d’apprentissage automatique sont appliqués à de plus en plus de domaines, des outils de traitement du langage aux problèmes de biologie et de chimie, en passant par les véhicules électriques et même les accélérateurs de particules, comme au SLAC.

Un exemple spécifique que nous avons déjà examiné est celui des modèles d’apprentissage des langues. Quelques modèles d’apprentissage du langage naturel ont plus de 170 milliards de paramètres qui doivent être optimisés lors de la formation du modèle. Les modèles d’apprentissage automatique tentent généralement d’apprendre les modèles entre un ensemble défini d’entrées et de sorties dans un grand ensemble de données. Cette partie de la construction d’un modèle s’appelle la formation, et elle est incroyablement énergivore.

Dans notre analyse préliminaire, nous avons constaté qu’un modèle de langue unique (par exemple ChatGPT) sur la limite inférieure nécessitait environ autant d’électricité que la consommation mensuelle moyenne d’électricité de la ville d’Atlanta ou de Los Angeles en 2017. Par conséquent, si nous pouvons concevoir des modèles de formation, comme en utilisant des algorithmes spécifiques et personnalisés, la consommation d’énergie pour la formation peut diminuer. Notre intention est d’analyser systématiquement ces besoins énergétiques d’entraînement et d’utiliser les principes appris pour développer de meilleures solutions dans l’application de l’IA.

L’informatique nécessite-t-elle plus d’énergie aujourd’hui qu’il y a dix ans ?

L’informatique d’aujourd’hui est plus économe en énergie qu’il y a dix ans, mais nous utilisons aujourd’hui beaucoup plus d’outils informatiques qu’il y a dix ans. Ainsi, dans l’ensemble, la quantité d’énergie requise par l’informatique a augmenté au fil du temps. Nous voulons courber la courbe de la trajectoire d’utilisation de l’énergie vers le bas, afin que nous puissions continuer à développer l’informatique à travers le monde sans nuire au climat.

Selon vous, quel est le défi le plus difficile à relever pour réduire les besoins énergétiques de l’informatique ?

À l’heure actuelle, je dirais que la mise à l’échelle de nouvelles technologies de fabrication est notre défi le plus difficile. Actuellement, les nouvelles générations de technologie sont inférieures à 10 nanomètres et se rapprochent des échelles de longueur à égalité avec l’espacement entre les atomes. De plus, le développement de nouvelles technologies coûte cher et nécessite plusieurs milliards de dollars en recherche et développement.

Vient ensuite la modification de l’architecture et du matériel, ce qui est plus difficile que la modification des logiciels et des algorithmes. Le matériel nécessite une fabrication à grande échelle et de nombreux autres acteurs sont impliqués. Disons que vous avez trouvé l’algorithme le plus efficace sur l’appareil le plus efficace, mais qu’il faut vingt milliards de dollars pour le fabriquer. Dans ce cas, la conception a échoué car il est trop coûteux de construire à grande échelle. Vous devez considérer la fabrication en conjonction avec de nouvelles architectures, la conception de logiciels et d’autres facteurs. Sinon, tout l’effort devient une discussion théorique théorique. Nous espérons élaborer plusieurs solutions sur lesquelles nos partenaires de recherche et industriels pourront s’appuyer.

Le troisième défi consiste à développer des algorithmes et des logiciels qui peuvent faire face à nos dépendances croissantes à l’égard de la technologie, mais qui sont économes en énergie.

Quels sont les futurs domaines de recherche dans le calcul de l’efficacité énergétique qui vous intéressent le plus ?

L’opportunité la plus excitante pour moi est d’utiliser l’intelligence artificielle elle-même pour résoudre notre problème d’efficacité énergétique en informatique. Utilisons l’aspect positif de l’IA pour réduire notre consommation d’énergie.

L’autre chose passionnante est qu’à l’avenir, les ordinateurs ressembleront davantage à des cerveaux avec des capteurs distribués qui nécessitent beaucoup moins d’énergie que les appareils actuels pour traiter de manière optimale les informations. Ces futurs ordinateurs peuvent s’inspirer de la manière dont les neurones sont connectés et peuvent emprunter des principes à l’informatique quantique, mais peuvent également faire de l’informatique classique. Cela permettra à nos machines de fonctionner plus comme la nature, plus efficacement.