par NVIDIA a pris pas mal de photos sur l’ensemble de l’industrie des processeurs au Computex 2023. Jensen est monté sur scène dans le tout premier spectacle en direct après 4 ans et a déclaré avec audace (et assez correctement) que l’IA générative et l’informatique accélérée sont l’avenir de l’informatique. En lisant un éloge funèbre de la sagesse conventionnelle de la loi de Moore, il a déclaré que le temps où vous pouviez obtenir une vitesse 10x en 5 ans tout en gardant la même puissance et le même coût est révolu. À l’avenir, la plupart des accélérations proviendront de l’IA générative et des approches basées sur le calcul accéléré. Il a également partagé un TCO absolument charmant avec le public :
NVIDIA présente une analyse TCO Large Language Model (LLM) à Comptuex :
Commençons d’abord par la ligne de base. Un serveur de 10 millions de dollars basé sur un processeur 960 est nécessaire pour former 1 LLM (grand modèle de langage). Pour être clair, NVIDIA a calculé le coût total du cluster de serveurs nécessaire pour former un seul grand modèle de langage (y compris la mise en réseau, le boîtier, les interconnexions – tout) et a constaté qu’il fallait environ 10 millions de dollars US et une consommation d’énergie de 11 GWh pour former un modèle unique de grande langue.
D’un autre côté, si vous gardez le même coût et achetez un cluster GPU de 10 millions de dollars, vous pouvez former 44 grands modèles de langage au même coût et à une fraction du coût de l’énergie (3,2 GWh). Ce scénario est appelé coût ISO dans une analyse TCO (maintien du coût irrécupérable le même).
Si vous passez plutôt à la puissance ISO ou si vous maintenez la même consommation d’énergie, vous pouvez en fait atteindre une accélération de 150 fois en entraînant 150 LLM dans la même consommation d’énergie de 11 GWh pour un coût de 34 millions de dollars. L’empreinte de ce cluster serait encore nettement inférieure à celle du cluster CPU.
Enfin, si vous vouliez garder la charge de travail exactement la même, vous auriez simplement besoin d’un serveur GPU de 400 000 USD consommant 0,13 GWh pour former un seul LLM. Essentiellement, ce que NVIDIA dit, c’est que vous pouvez former un LLM avec seulement 4 % du coût et seulement 1,2 % de la consommation d’énergie – ce qui représente une réduction massive par rapport aux serveurs à processeur.
