L’algorithme CPU entraîne des réseaux neuronaux profonds jusqu’à 15 fois plus rapidement que les meilleurs entraîneurs GPU

Rice et Intel optimisent la formation à l'IA pour le matériel de base

Anshumali Shrivastava est professeur adjoint d’informatique à l’Université Rice. Crédit: Jeff Fitlow / Université Rice

Les informaticiens de l’Université Rice ont démontré un logiciel d’intelligence artificielle (IA) qui fonctionne sur des processeurs de base et entraîne des réseaux de neurones profonds 15 fois plus rapidement que des plates-formes basées sur des processeurs graphiques.

« Le coût de la formation est le véritable goulot d’étranglement de l’IA », a déclaré Anshumali Shrivastava, professeur adjoint d’informatique à la Brown School of Engineering de Rice. « Les entreprises dépensent des millions de dollars par semaine uniquement pour former et affiner leurs charges de travail d’IA. »

Shrivastava et des collaborateurs de Rice et Intel présenteront une recherche qui remédie à ce goulot d’étranglement le 8 avril lors de la conférence sur les systèmes d’apprentissage automatique MLSys.

Les réseaux de neurones profonds (DNN) sont une forme puissante d’intelligence artificielle qui peut surpasser les humains dans certaines tâches. La formation DNN est généralement une série d’opérations de multiplication matricielle, une charge de travail idéale pour les unités de traitement graphique (GPU), qui coûtent environ trois fois plus que les unités centrales de traitement (CPU) à usage général.

«L’ensemble de l’industrie est fixé sur un type d’amélioration: des multiplications matricielles plus rapides», a déclaré Shrivastava. «Tout le monde recherche du matériel et des architectures spécialisés pour pousser la multiplication des matrices. Les gens parlent même maintenant de disposer de piles matériel-logiciel spécialisées pour des types spécifiques d’apprentissage en profondeur. Au lieu de prendre un algorithme coûteux et de lancer tout le monde de l’optimisation du système, Je dis: « Revoyons l’algorithme ». « 

Le laboratoire de Shrivastava a fait cela en 2019, en refondant la formation DNN comme un problème de recherche qui pourrait être résolu avec des tables de hachage. Leur «moteur d’apprentissage profond sous-linéaire» (SLIDE) est spécialement conçu pour fonctionner sur des processeurs de base, et Shrivastava et des collaborateurs d’Intel ont montré qu’il pouvait surpasser la formation basée sur le GPU lorsqu’ils l’ont dévoilé à MLSys 2020.

L’étude qu’ils présenteront cette semaine à MLSys 2021 a examiné si les performances de SLIDE pouvaient être améliorées avec des accélérateurs de vectorisation et d’optimisation de la mémoire dans les processeurs modernes.

« L’accélération basée sur la table de hachage surpasse déjà le GPU, mais les processeurs évoluent également », a déclaré le co-auteur de l’étude Shabnam Daghaghi, un étudiant diplômé de Rice. «Nous avons exploité ces innovations pour pousser SLIDE encore plus loin, montrant que si vous n’êtes pas obsédé par les multiplications matricielles, vous pouvez tirer parti de la puissance des processeurs modernes et entraîner des modèles d’IA quatre à 15 fois plus rapidement que la meilleure alternative matérielle spécialisée.»

Le co-auteur de l’étude, Nicholas Meisburger, un étudiant de premier cycle de Rice, a déclaré que « les processeurs sont toujours le matériel informatique le plus répandu. Les avantages de les rendre plus attrayants pour les charges de travail de l’IA ne peuvent être sous-estimés. »


Repenser l’apprentissage profond surmonte un obstacle majeur dans l’industrie de l’IA


Fourni par Rice University

Citation: L’algorithme du processeur entraîne des réseaux de neurones profonds jusqu’à 15 fois plus rapidement que les meilleurs formateurs GPU (7 avril 2021) récupéré le 14 avril 2021 sur https://techxplore.com/news/2021-04-rice-intel-optimize-ai-commodity .html

Ce document est soumis au droit d’auteur. En dehors de toute utilisation équitable à des fins d’étude ou de recherche privée, aucune partie ne peut être reproduite sans l’autorisation écrite. Le contenu est fourni seulement pour information.