par Cerebras Systems et G42, un groupe de holding technologique, ont dévoilé leur projet Condor Galaxy, un réseau de neuf superordinateurs interconnectés pour la formation de modèles d’IA avec des performances agrégées de 36 ExaFLOP FP16. Le premier supercalculateur, nommé Condor Galaxy 1 (CG-1), possède 4 ExaFLOP de performances FP16 et 54 millions de cœurs. CG-2 et CG-3 seront situés aux États-Unis et suivront en 2024. Les systèmes restants seront situés dans le monde entier et le coût total du projet sera supérieur à 900 millions de dollars.
Le supercalculateur CG-1, situé à Santa Clara, en Californie, combine 64 systèmes Cerebras CS-2 en un seul supercalculateur d’IA convivial, capable de fournir 4 ExaFLOP de calcul FP16 systolique dense pour l’entraînement à l’IA. Basée sur les processeurs de moteur à l’échelle des tranches de deuxième génération de 2,6 billions de transistors de Cerebras, la machine est conçue spécifiquement pour les grands modèles de langage et l’IA générative. Il prend en charge jusqu’à 600 milliards de modèles de paramètres, avec des configurations qui peuvent être étendues pour prendre en charge jusqu’à 100 billions de modèles de paramètres. Ses 54 millions de cœurs de calcul optimisés pour l’IA et sa bande passante réseau massive de 388 Tb/s permettent une mise à l’échelle des performances presque linéaire de 1 à 64 systèmes CS-2, selon Cerebras.
Le supercalculateur CG-1 offre également une prise en charge inhérente pour la formation de longue durée de séquence (jusqu’à 50 000 jetons) et ne nécessite aucun langage de programmation distribué complexe, ce qui est courant dans le cas des clusters GPU.
« Fournissant 4 exaFLOP de calcul d’IA à FP16, CG-1 réduit considérablement les délais de formation d’IA tout en éliminant la douleur du calcul distribué », a déclaré Andrew Feldman, PDG de Cerebras Systems. « De nombreuses sociétés de cloud computing ont annoncé des clusters GPU massifs qui coûtent des milliards de dollars à construire, mais qui sont extrêmement difficiles à utiliser. La distribution d’un modèle unique sur des milliers de minuscules GPU prend des mois à des dizaines de personnes possédant une expertise rare. CG-1 élimine ce défi. La mise en place d’un modèle d’IA générative prend quelques minutes, et non des mois, et peut être effectuée par une seule personne. CG-1 est le premier des trois supercalculateurs IA ExaFLOP à être déployés aux États-Unis. Au cours de l’année prochaine, avec le G42, nous prévoyons d’étendre ce déploiement et de mettre en place 36 exaFLOP stupéfiants de calcul IA efficace et spécialement conçu.
Ce supercalculateur est fourni en tant que service cloud par Cerebras et G42 et comme il est situé aux États-Unis, Cerebras et G42 affirment qu’il ne sera pas utilisé par des États hostiles.
CG-1 est le premier des trois supercalculateurs 4 FP16 ExaFLOP AI (CG-1, CG-2 et CG-3) créés par Cerebras et G42 en collaboration et situés aux États-Unis. Une fois connectés, ces trois supercalculateurs IA formeront un 12 FP16 ExaFLOP, 162 millions de cœurs de supercalculateur AI distribué, bien qu’il reste à voir à quel point ce réseau sera efficace.
En 2024, G42 et Cerebras prévoient de lancer six supercalculateurs Condor Galaxy supplémentaires à travers le monde, ce qui portera la puissance de calcul totale à 36 ExaFLOP FP16 fournis par 576 systèmes CS-2.
Le projet Condor Galaxy vise à démocratiser l’IA en offrant une technologie de calcul d’IA sophistiquée dans le cloud.
Sources : Cerebras, EE Times.
