Cerberas & G42 ont dévoilé le supercalculateur 4 Exaflops Condor Galaxy 1 AI avec des milliers de PU AMD EPYC et des millions de cœurs AI.
Cerebras, en partenariat avec G42, s’apprête à ouvrir de nouvelles passerelles dans le cloud computing et l’IA générative
Cerebras Systems, l’une des sociétés leaders du secteur de l’IA, et G42, un holding technologique, ont dévoilé une nouvelle norme en matière de supercalculateurs interconnectés. Les entreprises développeront neuf supercalculateurs différents, le point culminant étant le CG-1 (Condor Galaxy 1), qui devrait être doté des 4 premières puissances de calcul exaFLOP au monde.
Spécifications du supercalculateur Condor Galaxy 1 AI :
- 4 exaFLOPS de calcul d’IA à FP16 avec parcimonie
- 54 millions de cœurs de calcul optimisés pour l’IA
- 82 téraoctets de mémoire
- 64 systèmes Cerebras CS-2
- La configuration de base prend en charge 600 milliards de paramètres, extensible jusqu’à 100 000 milliards.
- 386 térabits de bande passante de structure de cluster interne
- 72 704 cœurs de processeur AMD EPYC Gen 3
- Prise en charge matérielle native pour la formation avec une longueur de séquence de 50 000 jetons, aucune bibliothèque tierce n’est nécessaire.
- Modèle de programmation parallèle des données avec mise à l’échelle linéaire des performances
Vous avez peut-être entendu parler des entreprises ci-dessus pour la première fois, mais toutes deux sont impliquées dans le développement technologique depuis longtemps. Cerebras Systems est connu pour ses efforts dans l’industrie de l’IA générative, principalement grâce à son moteur CS-2 Wafer Scale, qui a franchi une étape étonnante de 2,6 billions de transistors. On dit que la puce est la plus grande jamais construite et est citée comme “un système CS-2 unique, semblable à un superordinateur tout seul”.
Cependant, Cerebras, en partenariat avec G42, a pris une longueur d’avance grâce à ses nouveaux supercalculateurs. Les entreprises ont fourni des détails sur CG-1, qui devrait établir une nouvelle référence dans l’industrie. Selon le billet de blog, il est dit que CG-1 est lié à 64 systèmes Cerebras CS-2, les incorporant dans un seul supercalculateur avec une puissance combinée de 4 exaFLOP.
Eh bien, si vous voulez en savoir plus sur l’immense potentiel du CG-1, le supercalculateur actif actuel, le Frontier alimenté par AMD, serait équipé de 1,1 exaFLOP. Le CG-1 détient une augmentation de près de quatre fois, un nombre énorme dans l’industrie des supercalculateurs. Voici ce que le PDG de Cerebras, Andrew Feldman, a à dire sur le développement :
Fournissant 4 exaFLOP de calcul IA à FP 16, CG-1 réduit considérablement les délais de formation IA tout en éliminant la douleur du calcul distribué.
De nombreuses sociétés de cloud computing ont annoncé des clusters GPU massifs qui coûtent des milliards de dollars à construire, mais qui sont extrêmement difficiles à utiliser. La distribution d’un modèle unique sur des milliers de minuscules GPU prend des mois à des dizaines de personnes possédant une expertise rare. CG-1 élimine ce défi
Plongeant dans les spécifications du supercalculateur CG-1, il dispose de 4 exaFLOP de puissance de calcul 16 bits ainsi que de 600 milliards de modèles de paramètres. Le système serait équipé de 54 millions de cœurs de calcul optimisés pour l’IA, de 388 térabits par seconde de bande passante de structure et de 72 704 cœurs de processeur AMD EPYC. L’équipement embarqué n’a rien à voir avec ce que nous avons vu, et à en juger par les mesures révélées, le CG-1 est prêt à dominer l’industrie.
AMD s’engage à accélérer l’IA avec des processeurs informatiques hautes performances de pointe et des produits informatiques adaptatifs, ainsi qu’à travers des collaborations avec des entreprises innovantes comme Cerebras qui partagent notre vision de l’IA omniprésente.
Piloté par plus de 70 000 cœurs de processeur AMD EPYC, le Condor Galaxy 1 de Cerebras rendra accessible de vastes ressources de calcul aux chercheurs et aux entreprises alors qu’ils font avancer l’IA
-Forrest Norrod, vice-président du groupe commercial Solutions de centre de données AMD
Les ambitions de Cerebras et G42 ne s’arrêtent pas là, car la société a l’intention d’interconnecter trois supercalculateurs (CG-1, CG-2 et CG-3), visant à atteindre 12 exaFLOP, une étape énorme. De plus, la société prévoit de mettre en service six autres supercalculateurs d’ici 2024, plaçant la barre jusqu’à 36 exaFLOP de puissance de calcul totale. Les ambitions divulguées sont en effet gigantesques dans le monde moderne, et cela pourrait potentiellement ouvrir une nouvelle ère dans le cloud computing et l’industrie de l’IA générative.
Galaxie du Condor | Phase 1 livrée | Phase 2 Q4 2023 | Phase 3 S1 2024 | Phase 4 S2 2024 |
ExaFLOPS | 2 | 4 | 12 | 36 |
Systèmes CS-2 | 32 | 64 | 192 | 576 |
Centres de superordinateurs | 1 | 1 | 3 | 9 |
Jalon | Le plus grand déploiement CS-2 à ce jour | Premier supercalculateur Cerebras AI à 64 nœuds | Premier réseau de supercalculateurs distribués | Le plus grand réseau de superordinateurs distribués |
Source de nouvelles: Cerebras