NVIDIA Mellanox 920-9B210-00FN-0D0 en pratique : Construire une fabric NDR à faible latence pour les clusters d'IA à mille milliards de paramètres

NVIDIA Mellanox 920-9B210-00FN-0D0 en pratique: Construire un tissu NDR à faible latence pour les grappes d'IA à paramètres de trillions

Contexte et défi: quand le HDR répond aux modèles à trillions de paramètres

Une importante organisation de recherche sur l'IA a récemment réduit son groupe de formation de modèles de langage de 1 024 à 4 096 GPU NVIDIA H100, dans le but de compresser le calendrier de formation pour un 1.Modèle MoE (Mixture of Experts) de 8 billions de paramètres, de mois à moins de deux semainesCependant, au cours de la validation initiale, l'équipe a observé une congestion sévère dans la phase de communication tout-à-tout sur leur tissu HDR 200Gb/s existant,L'utilisation des GPU est tombée de 85% à seulement 52%, bien en dessous du seuil requis pour respecter l'ambitieux délai de formation..

L'analyse du réseau a révélé que les opérations collectives "tout-à-tout", qui sont intrinsèques aux architectures du Ministère de l'Énergie,Les connexions HDR ont été saturées et des mécanismes de contrôle de la congestion ont été déclenchés qui ont amplifié la latence.L'organisation avait besoin d'un tissu qui pourrait fournir déterministe,une latence inférieure à la microseconde sur des milliers de terminaux tout en fournissant la bande passante pour absorber les rafales de trafic sans effondrement des performancesC'est précisément le défi queNVIDIA Mellanox 920-9B210-00FN-0D0a été conçue pour répondre.

Solution et déploiement: un tissu NDR de 400 Gb/s pour l'IA exascale

L'organisation a déployé le920-9B210-00FN-0D0 InfiniBand commutateur OPNLa première partie de l'étagère est constituée d'une couche de tissu à deux couches, à laquelle sont ajoutées deux couches de tissu à deux couches.Le système de détection de la pollution par le gaz est utilisé pour la détection de la pollution par le gaz.les commutateurs, fournissant 128 ports de connectivité de 400 Gb/s à 64 serveurs H100 à double port par rack via des câbles optiques actifs OSFP-OSFP.16 commutateurs supplémentaires 920-9B210-00FN-0D0 interconnectés, la création d'un arbre gras non bloquant avec une bande passante de bisection complète de 51,2 Tb/s par couche de la colonne vertébrale.

Ce qui a rendu cette solution particulièrement intéressante, c'est la technologie SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol) intégrée au commutateur.la communication tout-à-tout a été déchargée directement sur le tissu de commutation, avec les commutateurs effectuant la réduction et la redistribution des données en réseau.réduire considérablement les frais généraux de communication qui avaient affecté le déploiement HDR précédent.

Selon leLe nombre de points de contrôle doit être le même que le nombre de points de contrôle.L'équipe d'ingénieurs a également confirmé que le commutateur offre une latence de coupure inférieure à 100 ns, qui a été validée lors de la phase de preuve de concept.920-9B210-00FN-0D0 est compatibleL'écosystème comprenait toutes les optiques et câbles OSFP qu'ils avaient déjà qualifiés, éliminant les retards d'approvisionnement.Les spécifications 920-9B210-00FN-0D0- y compris les deux sources d'alimentation redondantes et les ventilateurs échangeables à chaud - ont donné à l'équipe la confiance nécessaire pour atteindre leur objectif de disponibilité de 99,999% pour le pôle de production.

Résultats et gains mesurables: du goulot d'étranglement à l'activation

Après le déploiement complet du tissu NDR et le redémarrage du travail de formation du Ministère de l'Énergie, l'organisation a mesuré les améliorations transformatrices à travers plusieurs dimensions:

• Récupération de l'utilisation du GPU:L'utilisation moyenne des GPU est passée de 52% à 89%, avec une utilisation maximale atteignant 94% pendant les phases de calcul intensif, résultat direct de l'élimination des arrêts induits par le réseau.
• Réduction de la latence tout-à-tout:Le temps requis pour un échange complet tout-à-tout sur 4 096 GPU est passé de 180 ms à moins de 45 ms, une amélioration de 75% qui se traduit directement par des itérations de formation plus rapides.
• Temps de réalisation du travail:Le calendrier de formation prévu pour le modèle MoE de 1,8 T a été réduit de 14 jours à seulement 9 jours - une accélération de 36% qui a considérablement réduit les coûts de mise sur le marché et de calcul en nuage.
• Efficacité opérationnelle:Avec 64 ports par commutateur, le nombre de commutateurs de colonne vertébrale requis a été réduit de 37% par rapport à une conception HDR à 40 ports, simplifiant le câblage et réduisant la consommation d'énergie par rack de 28%.

D'un point de vue du coût total de la propriété, l'équipe financière de l'organisation a noté que, bien que le920-9B210-00FN-0D0 prixLe coût de mise en réseau par GPU a en fait diminué en raison de la radix plus élevée et du nombre réduit de couches de commutation.combiné avec les gains spectaculaires de performance, la mise à niveau de la NDR a été une victoire commerciale évidente.920-9B210-00FN-0D0 InfiniBand commutateur OPN solutionIls ont également intégré de manière transparente leur déploiement NVIDIA UFM existant, offrant une visibilité centralisée et des alertes automatisées qui ont réduit les frais généraux opérationnels de 40%.

Résumé & Perspectives: La Fondation NDR pour l'IA de nouvelle génération

LeNVIDIA Mellanox 920-9B210-00FN-0D0s'est avéré être la solution transformatrice dont cette organisation de recherche sur l'IA avait besoin pour libérer tout le potentiel de son cluster H100 de 4096 GPU.et SHARPv3 en réseau, le changement leur a permis de passer de 1024 à 4 096 GPU sans compromettre les performances ou la gestion, un exploit qui aurait été impossible avec leur infrastructure HDR précédente.

Dans l'avenir, l'organisation prévoit de s'étendre à 8192 GPU dans les 18 prochains mois, en tirant parti de la920-9B210-00FN-0D0 à vendrePour les organisations qui évaluent leurs investissements en IA et en réseaux HPC de nouvelle génération,le 920-9B210-00FN-0D0 offre une, une solution prête à la production qui tient sa promesse d'optimisation des interconnexions RDMA à faible latence à exascale.