par NVIDIA vient de dévoiler son tout nouveau GPU Hopper H100 NVL avec 94 Go de mémoire HBM3 qui est conçu exclusivement pour ChatGPT.
NVIDIA annonce son premier GPU ChatGPT officiel, le Hopper H100 NVL avec 94 Go de mémoire HBM3
La carte graphique PCIe H100 NVL alimentée par GPU NVIDIA Hopper est censée comporter une interconnexion NVLINK double GPU avec chaque puce dotée de 94 Go de mémoire HBM3e. Le GPU est capable de traiter jusqu’à 175 milliards de paramètres ChatGPT en déplacement. Quatre de ces GPU dans un seul serveur peuvent offrir jusqu’à 10 fois plus de vitesse par rapport à un serveur DGX A100 traditionnel avec jusqu’à 8 GPU.
Contrairement à la configuration H100 SXM5, le H100 PCIe offre des spécifications réduites, avec 114 SM activés sur les 144 SM complets du GPU GH100 et 132 SM sur le H100 SXM. La puce en tant que telle offre 3200 FP8, 1600 TF16, 800 FP32 et 48 TFLOP de puissance de calcul FP64. Il comporte également 456 unités de tenseur et de texture.
En raison de sa puissance de calcul de crête plus faible, le H100 PCIe devrait fonctionner à des horloges inférieures et, en tant que tel, dispose d’un TDP de 350 W par rapport au double TDP de 700 W de la variante SXM5. Mais la carte PCIe conservera sa mémoire de 80 Go sur une interface de bus 5120 bits mais en variation HBM2e (> 2 To/s de bande passante).
Les TFLOP FP32 non tensoriels pour le H100 sont évalués à 48 TFLOP tandis que le MI210 a une puissance de calcul FP32 maximale de 45,3 TFLOP. Avec les opérations Sparsity et Tensor, le H100 peut produire jusqu’à 800 TFLOP de puissance FP32. Le H100 offre également des capacités de mémoire supérieures de 80 Go par rapport aux 64 Go du MI210. À première vue, NVIDIA facture une prime pour ses capacités AI/ML supérieures.
