NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch dans la pratique pour optimiser l'interconnexion à faible latence pour RDMA, HPC

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch en pratique | Optimisation de l'interconnexion à faible latence pour les clusters RDMA, HPC et IA

Dans les environnements modernes d'entraînement IA, de simulation HPC et de stockage distribué, le véritable goulot d'étranglement est rarement la puissance de calcul brute — c'est l'efficacité de l'interconnexion nœud à nœud. Le NVIDIA Mellanox MQM9790-NS2F, un commutateur InfiniBand NDR de 400 Gb/s, est conçu pour s'attaquer précisément à cette couche de la pile. Cet article présente un scénario de déploiement représentatif pour montrer comment le MQM9790-NS2F améliore les performances des clusters RDMA, HPC et IA grâce à une conception de tissu à faible latence.

Contexte et défis

Un cluster IA typique de recherche ou d'entreprise peut comprendre des centaines de serveurs GPU, un système de fichiers parallèle et un ordonnanceur de tâches distribuant des charges de travail MPI et NCCL. À mesure que les générations de GPU évoluent, chaque nœud peut générer beaucoup plus de trafic est-ouest qu'un tissu HDR de 200 Gb/s ne peut en absorber confortablement. Les équipes signalent couramment trois points douloureux : une latence de queue croissante lors des opérations collectives, une congestion se propageant à travers les niveaux du tissu, et une difficulté à augmenter le nombre de ports sans ajouter de sauts.

Pour les architectes réseau, le défi n'est pas simplement de mettre à niveau la vitesse des liens. Il s'agit de préserver un transport déterministe et sans perte tout en maintenant le tissu suffisamment plat pour éviter une latence inutile. C'est là qu'il devient essentiel d'évaluer les spécifications du MQM9790-NS2F par rapport aux profils de charge de travail réels.

Solution et approche de déploiement

Dans ce scénario, le cluster a été migré vers un tissu spine-leaf NDR de 400 Gb/s construit autour du commutateur InfiniBand MQM9790-NS2F. En tant que plateforme OSFP 64 ports NDR 400 Gb/s MQM9790-NS2F, il offre une haute radix dans un seul commutateur, permettant à la conception de réduire les niveaux du tissu tout en maintenant une bande passante non bloquante. Le déploiement a suivi une approche structurée :

• Couche Leaf : les commutateurs MQM9790-NS2F connectent les nœuds GPU et les cibles de stockage via des liens NDR 400 Gb/s
• Couche Spine : des unités MQM9790-NS2F supplémentaires fournissent la connectivité inter-leaf et la diversité des chemins
• Accélération collective : NVIDIA SHARPv3 décharge les opérations MPI et NCCL sur le tissu
• Contrôle de la congestion : le routage adaptatif et la QoS avancée protègent contre les incasts et les points chauds
• Gestion : outils InfiniBand standard et télémétrie pour surveiller la santé du tissu

Étant donné que le commutateur InfiniBand MQM9790-NS2F fait partie de la famille Quantum-2, il interopère avec les pratiques de gestion InfiniBand existantes et les écosystèmes d'adaptateurs. Les équipes évaluant le matériel compatible MQM9790-NS2F doivent vérifier que les cartes d'interface hôte, les câbles OSFP et les niveaux de firmware sont alignés sur les exigences NDR. Une solution de commutateur InfiniBand MQM9790-NS2F de ce type est généralement planifiée en parallèle avec les cycles de renouvellement des GPU pour éviter les goulots d'étranglement entre générations mixtes.

Résultats et avantages

Après le déploiement, le changement le plus visible a été le temps d'achèvement des tâches pour les charges de travail étroitement couplées. Les opérations collectives qui étaient auparavant bloquées par la congestion s'achèvent maintenant avec une latence de queue plus faible et plus cohérente. La densité de 64 ports OSFP a également simplifié le câblage et réduit le nombre de sauts de commutation entre deux points d'extrémité, ce qui profite directement aux performances RDMA.

D'un point de vue opérationnel, le tissu est devenu plus facile à appréhender. Moins de niveaux signifient moins de domaines de défaillance et un dépannage plus simple. Le trafic de stockage, y compris NVMe over Fabrics, partage le même transport à faible latence que le trafic de calcul, ce qui améliore l'utilisation globale du cluster. Pour les responsables informatiques, le point clé est qu'investir dans la couche tissu peut libérer la capacité déjà payée dans la couche de calcul.

Les équipes d'approvisionnement et de planification examinent souvent la fiche technique du MQM9790-NS2F pour confirmer le nombre de ports, la consommation d'énergie et les enveloppes de refroidissement avant de finaliser une conception. Les questions sur le prix du MQM9790-NS2F et la disponibilité du MQM9790-NS2F à vendre sont mieux adressées aux distributeurs agréés et aux représentants de NVIDIA pour les entreprises, car le prix dépend de la configuration, du support et de la région. 

Résumé et perspectives

Le NVIDIA Mellanox MQM9790-NS2F démontre comment une plateforme NDR 400 Gb/s à haute radix peut remodeler les performances des clusters IA, HPC et RDMA sans ajouter de complexité au tissu. À mesure que les charges de travail augmentent et que la densité des GPU s'accroît, la commutation InfiniBand à faible latence restera un investissement fondamental. Pour les architectes planifiant le prochain renouvellement du tissu, le MQM9790-NS2F est un bloc de construction pratique pour une interconnexion déterministe à haut débit.