Mellanox (NVIDIA) MQM9790-NS2F Commutateur InfiniBand en action. Optimisation des interconnexions à faible latence pour RDMA/HPC/AI

Alors que les clusters de formation en IA à grande échelle et les centres de calcul haute performance (HPC) poussent les exigences de bande passante et de latence du réseau à des niveaux sans précédent, les solutions Ethernet traditionnelles sont de plus en plus confrontées au contrôle de la congestion et à une latence imprévisible sous les charges de travail RDMA. Un centre national de calcul intensif de premier plan a récemment été confronté à ce défi lors de la mise à niveau de son cluster GPU de nouvelle génération. Après avoir évalué plusieurs options d'interconnexion, l'équipe a sélectionné laMellanox (NVIDIA) MQM9790-NS2Fen tant que commutateur de structure de base, une décision qui a fondamentalement transformé le profil de performances de leur cluster.

Contexte et défi : le mur de l'évolutivité

La structure HDR InfiniBand existante du centre de calcul intensif fonctionnait presque à saturation. Avec plus de 2 000 GPU exécutant des tâches de formation d’IA en parallèle, les opérations de communication collective telles que all-reduce et all-to-all connaissaient d’importants pics de latence arrière. Le réseau était devenu le principal goulot d’étranglement, provoquant des temps d’inactivité du GPU qui gaspillaient à la fois des ressources de calcul et de l’énergie. Les ingénieurs ont estimé que près de 30 % des cycles de calcul étaient perdus à cause des frais de communication lors d’exécutions de formation distribuées à grande échelle.

Ce dont l'équipe avait besoin, c'était d'un commutateur capable de fournir400 Gb/s par port, la prise en charge native du RDMA et l'accélération informatique en réseau, tout en maintenant la compatibilité descendante avec l'infrastructure HDR existante. Après avoir examiné leFiche technique MQM9790-NS2FetSpécifications du MQM9790-NS2F, ils ont déterminé que leCommutateur InfiniBand MQM9790-NS2Foffrait l'équilibre idéal entre densité, performances et ensemble de fonctionnalités.

Solution et déploiement : une mise à niveau de la structure NDR à 64 ports

Le centre a déployé quatreMQM9790-NS2F 400 Gb/s NDR OSFP 64 portscommutateurs dans une topologie spine-leaf, interconnectant 2 048 GPU sur 64 nœuds de calcul. Chaque nœud se connecte via un seul câble répartiteur OSFP vers 4x100 Gb/s, fournissant une bande passante globale de 400 Gb/s par serveur tout en optimisant la densité de gestion des câbles.

La clé du déploiement était de garantirCompatible MQM9790-NS2Ffonctionnement avec les adaptateurs de point de terminaison HDR existants. La négociation automatique de la vitesse et la traduction de la couche liaison du commutateur ont permis une stratégie de migration progressive : les nœuds existants fonctionnent à des vitesses HDR tandis que les nouveaux serveurs compatibles NDR exploitent une bande passante complète de 400 Gbit/s. Le centre a également utilisé l'agrégation en réseau SHARPv3, réduisant ainsi le trafic de plus de 65 % pour les messages de grande taille que l'on trouve couramment dans les formations LLM.

Pour ceux qui évaluent des mises à niveau similaires,Prix ​​​​MQM9790-NS2Fdemandes de renseignements etMQM9790-NS2F à vendrela disponibilité a considérablement augmenté parmi les clients entreprises et recherche. Le coût total de possession compétitif du commutateur, prenant en compte un nombre inférieur de commutateurs en raison de la densité de 64 ports, en fait une option attrayante pour les nouvelles constructions et les projets de renouvellement.

Résultats et avantages : gains de performances mesurables

• Latence entièrement réduite (message de 1 Go) :Réduit de 48µs à 19µs (amélioration de 60%)
• Utilisation efficace du GPU :Augmenté de 71 % à 93 % lors d’une formation à grande échelle
• Temps de réalisation du travail (équivalent GPT-3 175B) :Raccourci de 41 %
• Latence de queue induite par le réseau (99e percentile) :Coupé de 210µs à moins de 35µs

En tant queSolution de commutation InfiniBand MQM9790-NS2F, le déploiement a démontré que les structures NDR à 400 Gbit/s peuvent tenir leurs promesses théoriques. La combinaison d'algorithmes de contrôle de congestion et de routage adaptatif a éliminé les modèles d'effondrement « incast » qui tourmentaient la structure HDR précédente pendant les phases de communication tout-à-tout.

Résumé et perspectives : une base pour l'IA exascale

Le succès du centre de calcul intensif avec leMQM9790-NS2Fa accéléré sa feuille de route vers des capacités d’IA exascale. Ils prévoient maintenant une deuxième phase qui doublera le nombre de GPU à 4 096 en utilisant desMQM9790-NS2F 400 Gb/s NDR OSFP 64 portscommutateurs dans une topologie fat-tree à trois niveaux. Les fonctionnalités de télémétrie et de gestion hors bande du commutateur ont également permis d'éviter de manière prédictive les encombrements, réduisant ainsi les frais opérationnels pour l'équipe réseau.

Pour les architectes de réseau et les responsables informatiques évaluant les structures de nouvelle génération, leNVIDIA Mellanox MQM9790-NS2Freprésente une solution mature et éprouvée en production. Que vous construisiez un nouveau cluster de recherche en IA ou mettiez à niveau une installation HPC existante, ce commutateur offre la base à faible latence et à bande passante élevée requise pour les charges de travail parallèles modernes.