Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Commutateur InfiniBand en action Optimisation de l'interconnexion à faible latence

Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Commutateur InfiniBand en action Optimisation de l'interconnexion à faible latence pour les grappes RDMA / HPC / AI

Un centre régional de supercalculation a récemment entrepris une mise à niveau majeure de son infrastructure de calcul IA,l'élargissement de 64 à 256 GPU NVIDIA A100 pour prendre en charge la formation de modèles de langage à grande échelle et les charges de travail de séquençage génomiqueCependant, le réseau RoCEv2 100GbE existant est devenu un goulot d'étranglement persistant ¥ des tempêtes PFC fréquentes, une latence de queue imprévisible,Le déploiement de l'équipement et le réglage complexe des réseaux ECN ont consommé un effort d'ingénierie considérable et ont prolongé les délais de réalisation de l'ouvrage de plus de 40%Cette étude de cas examine comment le centre a déployé lesLe système de gestion de l'énergie est basé sur des systèmes de gestion de l'énergie qui sont basés sur des systèmes de gestion de l'énergie.L'interrupteur InfiniBand pour transformer son tissu, fournissant une interconnexion déterministe à faible latence pour les applications RDMA-intensives.

Le plafond Ethernet

L'architecture initiale du centre utilisait deux commutateurs 100GbE avec RoCEv2, reliant des serveurs GPU et un système de fichiers parallèles.Tout d'abord, des blocages PFC (Priority Flow Control) se produisaient quotidiennement, forçant les réinitialisations manuelles; deuxièmement, les opérations collectives all-reducer ont connu des latences de queue supérieures à 200 μs, ralentissant directement l'utilisation du GPU;troisième, le dépannage nécessitait une inspection approfondie des paquets, ce qui prenait du temps et était rarement concluant.ne pouvaient pas nourrir les pauvres., le tissu déterministe requis pour les charges de travail d'IA de nouvelle génération.

Solution et déploiement920-9B110-00FH-0D0 Commutateur à bande Infini OPNcomme la nouvelle colonne vertébrale

Après avoir évalué plusieurs options, le centre a sélectionné lesNVIDIA Mellanox 920-9B110-00FH-0D0Le changement, basé sur le920-9B110-00FH-0D0 MQM8790-HS2F 200 Gb/s HDRLe déploiement a utilisé une topologie à deux niveaux d'arbre gras: quatreLe système de contrôle de l'équipement doit être équipé d'un système de contrôle de l'équipement.des commutateurs en feuilles (chacun reliant 64 nœuds GPU via des liens 200G) et deux unités supplémentaires en spines, fournissant une bande passante de bisection complète.,Le secteur privéLes données de l'établissement doivent être disponibles sur le site Web de l'établissement.Les principales décisions de déploiement comprenaient:

• Le câblage:Modules optiques HDR 200G pour des distances jusqu'à 100 mètres, avec DACs passifs pour les connexions intra-rack.
• Gestion:NVIDIA UFM (Unified Fabric Manager) pour la découverte automatisée de la topologie, les politiques de routage adaptatif et la télémétrie en temps réel.
• Déchargement collectif:SHARPv2 a permis d'accélérer toutes les opérations de réduction, de décharger le travail des processeurs hôtes et de réduire le chat de réseau.

L'équipe a fait référence àLes données de l'établissement doivent être fournies à l'autorité compétente de l'État membre où le véhicule est situé.etLes spécifications 920-9B110-00FH-0D0Pour valider les besoins en énergie et en refroidissement, l'interrupteur a un facteur de forme de 1 U et une densité de port de 200 G qui s'intègrent parfaitement dans les racks existants sans modifications supplémentaires de l'infrastructure.920-9B110-00FH-0D0 InfiniBand commutateur OPN solutionIl est également possible de simplifier les marchés publics, avec l'OPN (numéro de pièce de commande) exact pour assurer une configuration correcte.

Résultats et avantages mesurés

Après deux semaines de déploiement et de validation, le centre a documenté des améliorations significatives sur les principaux indicateurs de performance.Le tableau suivant résume les métriques avant et après pour un travail de formation représentatif de 256 GPU (pré-formation BERT-large):

Au-delà des chiffres, l'équipe a rapporté queNVIDIA Mellanox 920-9B110-00FH-0D0Il a été démontré que les PFC ne sont pas utilisés pour la fabrication de tissus, mais pour la fabrication de tissus.920-9B110-00FH-0D0 InfiniBand commutateur OPNLa mise en place d'un système de gestion des capacités a permis au personnel des opérations de mieux connaître la congestion par flux et l'utilisation des chemins, ce qui a permis une planification proactive des capacités.920-9B110-00FH-0D0 prixIl s'est avéré rentable par rapport à la mise à niveau vers des commutateurs NDR 400G, ce qui en fait un adaptateur idéal pour le budget moyen du centre.

Résumé & Perspectives Une voie éprouvée vers une interconnexion à faible latence

L'expérience du centre de supercalculation démontre que laLe système de gestion de l'énergie est basé sur des systèmes de gestion de l'énergie qui sont basés sur des systèmes de gestion de l'énergie.offre une alternative pragmatique et haute performance à la fois aux tissus Ethernet en difficulté et aux solutions haut de gamme coûteuses.et le transport RDMA sans perte, le commutateur permet aux organisations de libérer tout le potentiel de leurs investissements GPU, accélérant le temps de prise de vue des charges de travail IA et HPC.

Dans l'avenir, le centre prévoit d'étendre sa fabrication à 512 GPU utilisant le même920-9B110-00FH-0D0 InfiniBand commutateur OPN solution, en ajoutant des interrupteurs de feuilles supplémentaires tout en conservant l'infrastructure existante de la colonne vertébrale.La compatibilité du commutateur avec les futurs adaptateurs NVIDIA (y compris ConnectX‐7) assure une mise à niveau en douceurPour les organisations qui évaluent des améliorations similaires, leLes spécifications 920-9B110-00FH-0D0etLes données de l'établissement doivent être fournies à l'autorité compétente de l'État membre où le véhicule est situé.La mise en place d'un système d'exploitation de l'énergie nucléaire doit être assurée par les autorités compétentes.920-9B110-00FH-0D0 à vendrepar des voies autorisées).

Ce déploiement dans le monde réel confirmeLe système de contrôle de l'équipement doit être équipé d'un système de contrôle de l'équipement.Il s'agit d'un outil éprouvé pour les réseaux en grappes à faible latence et à haut rendement, prêt à répondre aux exigences de l'IA et de l'informatique scientifique de la prochaine décennie.