Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch en pratique

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch en pratique | Optimisation de l'interconnexion à faible latence pour les clusters RDMA/HPC/IA

Contexte et défis : Lorsque les clusters RDMA atteignent le goulot d'étranglement du réseau

Dans un environnement typique de charges de travail HPC et IA mixtes, les clusters de calcul exécutent souvent côte à côte des simulations CFD, de la dynamique moléculaire et de l'entraînement de grands modèles distribués. Ces charges de travail dépendent fortement de RDMA pour la communication inter-nœuds et sont extrêmement sensibles à la bande passante, à la latence et à la perte de paquets. Lorsqu'un cluster passe de quelques dizaines de nœuds à des centaines, l'interconnexion d'origine peut rapidement devenir le facteur limitant.

Les symptômes courants incluent une latence de queue longue lors d'AllReduce, une utilisation inégale des liens dans le tissu, et une dégradation des temps d'achèvement des tâches dès que plusieurs locataires partagent le réseau. Pour les ingénieurs réseau et les architectes, le défi n'est pas simplement d'ajouter de la bande passante, mais de construire un tissu qui maintient une latence prévisible sous congestion.

Solution et déploiement : Construire le tissu autour du MQM8790-HS2F

Pour résoudre ces problèmes, le tissu du cluster a été repensé autour du Mellanox (NVIDIA Mellanox) MQM8790-HS2F, un commutateur InfiniBand 200 Gb/s HDR conçu pour les environnements à haute densité et faible latence. Le facteur de forme MQM8790-HS2F 200 Gb/s HDR 40 ports QSFP56 permet 40 ports en 1U, ce qui s'intègre naturellement dans une topologie fat-tree à deux niveaux.

Le déploiement a suivi une approche par couches :

• Couche Spine : Les commutateurs NVIDIA Mellanox MQM8790-HS2F ont été déployés comme dispositifs spine, fournissant des liaisons montantes de 200 Gb/s et un trafic est-ouest non bloquant entre les groupes de leaf.
• Couche Leaf : Les commutateurs Leaf connectent les nœuds de calcul équipés d'adaptateurs ConnectX-6 ou ConnectX-7, formant un chemin HDR de bout en bout compatible MQM8790-HS2F.
• Calcul en réseau : La technologie SHARP sur le MQM8790-HS2F décharge les opérations collectives telles que AllReduce vers le commutateur, réduisant la surcharge GPU et CPU.
• Gestion et télémétrie : MLNX-OS, UFM et NetQ ont été utilisés pour le provisionnement, la surveillance et la visibilité de la congestion du tissu.

Lors de la planification, l'équipe a examiné la fiche technique du MQM8790-HS2F et les spécifications du MQM8790-HS2F pour valider le budget d'alimentation, les exigences de refroidissement et les options de division de ports telles que le breakout 2×100 Gb/s. Le câblage et l'optique ont été standardisés sur QSFP56 pour simplifier les pièces de rechange et l'expansion future.

Résultats et avantages : Ce qui a changé après le déploiement

Après la migration vers la solution de commutateur InfiniBand MQM8790-HS2F, le cluster a montré des améliorations mesurables de l'efficacité de la communication et de la stabilité des tâches. Les gains les plus notables ont été :

Opérationnellement, l'équipe a acquis un meilleur contrôle sur le comportement du tissu. Le routage adaptatif et SHARP ont réduit l'impact des points chauds, tandis que la télémétrie a facilité l'identification des nœuds lents et des liens mal configurés. Pour les architectes évaluant le prix du MQM8790-HS2F ou les options de MQM8790-HS2F à vendre, le point clé à retenir est que le commutateur se rentabilise grâce à une utilisation plus élevée du cluster plutôt qu'à un simple nombre de ports.

Conclusion et perspectives

Le MQM8790-HS2F démontre comment un commutateur InfiniBand spécialement conçu peut éliminer les goulots d'étranglement de l'interconnexion dans les clusters RDMA, HPC et IA. En combinant des ports 200 Gb/s HDR, le calcul en réseau SHARP et une pile de gestion mature, le NVIDIA Mellanox MQM8790-HS2F offre une faible latence prévisible à grande échelle. Alors que les clusters continuent de croître et que les charges de travail IA deviennent plus intensives en communication, les tissus construits sur le commutateur InfiniBand MQM8790-HS2F sont bien positionnés pour soutenir la prochaine vague d'expansion.