Mellanox (NVIDIA Mellanox) MQM9790-NS2F Commutateur InfiniBand en action Optimisation de l'interconnexion à faible latence pour RDMA / HPC

Mellanox (NVIDIA Mellanox) MQM9790-NS2F Commutateur InfiniBand en action Optimisation de l'interconnexion à faible latence pour les grappes RDMA / HPC / AI

À mesure que les grappes de formation à l'IA passent de milliers à des dizaines de milliers de GPU, la latence du réseau et le contrôle de la congestion deviennent les facteurs décisifs pour une utilisation efficace du calcul.Une organisation mondiale de recherche sur l'IA a récemment déployé leLe produit est fabriqué à partir d'un matériau d'une valeur de 100 g/m2 ou plus.Le programme de développement de la technologie de l'information et de l'information est en train de se développer.Cet article examine le déploiement réel, détaillant comment ce commutateur InfiniBand transforme le transport RDMA, la communication HPC et les tissus d'entraînement parallèle de données IA.

Contexte et défis: du compromis Ethernet à l'impératif d'interconnexion sans perte

L'organisation s'est initialement appuyée sur un tissu Ethernet 100GbE avec RoCEv2.ils ont rencontré des blocages persistants des PFC, des réglages ECN complexes, et des chutes occasionnelles de paquets qui ont provoqué des arrêts d'entraînement.Ces problèmes ont prolongé les délais moyens de réalisation des travaux de plus de 35% et ont consommé un effort d'ingénierie considérable dans le dépannage du réseauL'infrastructure existante ne pouvait plus fournir la latence déterministe au niveau des microsecondes et le débit sans congestion requis pour les opérations collectives massives all-reduce et all-to-all.

Solution et déploiement:MQM9790-NS2F Commutateur à bande Infinicomme la colonne vertébrale du tissu

Après avoir évalué de multiples alternatives, l'équipe a sélectionné leNVIDIA Mellanox MQM9790-NS2F est un appareil de téléphonie mobile.Chaque support de feuilles est équipé de deuxMQM9790-NS2F 400Gb/s NDR OSFP à 64 portsles commutateurs, fournissant 64 ports OSFP par unité et une capacité de commutation totale de 25,6 Tb/s. La vitesse NDR de 400 Gb/s par port, combinée à la commutation par coupe et au routage adaptatif,permet une latence port-à-port inférieure à 600 ns, une exigence essentielle pour leurs charges de travail à forte intensité de GPULe déploiement a tiré parti de laMQM9790-NS2F Solution de commutateur InfiniBandintégré au micrologiciel NVIDIA Quantum‐2, assurant une continuitéCompatible avec le MQM9790-NS2Ffonctionnement avec les adaptateurs ConnectX‐7 et les DPU BlueField‐3 existants.

Les principaux choix de déploiement comprennent:

• Topologie:Arbre gras non bloquant avec émetteurs-récepteurs optiques OSFP à 400G à 64 ports, permettant une bande passante de bisection complète pour tous les nœuds GPU.
• Gestion:NVIDIA UFM (Unified Fabric Manager) pour la télémétrie en temps réel, la détection de la congestion et le routage proactif des chemins.
• Déchargement collectif:SHARPv3 a permis d'accélérer toutes les opérations de réduction, décharger la communication des processeurs hôtes.

Pour assurer une transition en douceur, l'équipe a consulté leFiche de données MQM9790-NS2FetLes spécifications MQM9790-NS2FLe facteur de forme 1U et les alimentations redondantes s'intègrent parfaitement dans leur densité de rack existante, et les ports OSFP prennent en charge à la fois les câbles DAC et les modules optiques,offrant une certaine souplesse pour une expansion future.

Résultats et avantages mesurés ¢ Gains quantifiables de performance et d'efficacité

Après le déploiement et l'optimisation complets, l'organisation a documenté des améliorations significatives à travers plusieurs dimensions:

Au-delà des chiffres bruts, l'équipe a signalé des interruptions liées à la congestion proches de zéro, ce qui simplifie considérablement les opérations du réseau.NVIDIA Mellanox MQM9790-NS2F est un appareil de téléphonie mobile.Il permettait d'équilibrer automatiquement la charge sur les 64 ports OSFP, éliminant ainsi les ajustements manuels de l'ECN.MQM9790-NS2F Commutateur InfiniBandIls ont fourni des performances déterministes même sous 95% d'utilisation des liaisons, un exploit impossible avec leur configuration Ethernet précédente.

L'organisation a également noté que leLe prix MQM9790-NS2F, lorsqu'elle est amortie sur le cycle de vie de 5 ans, a été compensée par une consommation d'énergie réduite par port (≈1,5 W par port 400G) et des coûts de câblage plus faibles dus à une densité de port plus élevée.Avec une disponibilité générale maintenant mûre, ils ont confirmé queMQM9790-NS2F à vendreLes marchés publics ont été simplifiés par des voies autorisées, et leFiche de données MQM9790-NS2Fa fourni tous les détails nécessaires en matière d'installation et de conformité.

Résumé & Perspectives Un plan pour les infrastructures d'IA de nouvelle génération

L'adoption de laLe produit est fabriqué à partir d'un matériau d'une valeur de 100 g/m2 ou plus.Dans ce cluster HPC/IA à grande échelle, il est démontré qu'un tissu InfiniBand spécialement conçu n'est plus un luxe mais une nécessité pour les organisations qui repoussent les limites de l'IA et de l'informatique scientifique.En fournissant une latence constante sous-microsecondeLes résultats de l'étude ont été les suivants:MQM9790-NS2F 400Gb/s NDR OSFP à 64 portsLe commutateur permet aux centres de données d'atteindre une évolutivité quasi linéaire jusqu'à des dizaines de milliers de GPU.

À l'avenir, l'équipe prévoit d'élargir le tissu avecMQM9790-NS2F Commutateur InfiniBandLes unités de soutien aux futures charges de travail de classe exascale, y compris la modélisation climatique et la génomique.Compatible avec le MQM9790-NS2FPour les architectes et les gestionnaires informatiques qui évaluent des mises à niveau similaires, ce cas réel confirme que laMQM9790-NS2F Solution de commutateur InfiniBandoffre une voie éprouvée et rentable vers des réseaux de grappes à haute performance et à faible latence – un facteur essentiel pour l'innovation en IA au cours de la prochaine décennie.