Solution technique pour commutateur InfiniBand Mellanox (NVIDIA Mellanox) MQM8790-HS2F

Solution technique pour commutateur InfiniBand Mellanox (NVIDIA Mellanox) MQM8790-HS2F | Optimisation de l'interconnexion à faible latence pour les clusters RDMA/HPC/IA

Contexte du projet et analyse des exigences

À mesure que l'entraînement de grands modèles d'IA et le calcul scientifique HPC s'étendent à des environnements plus vastes, le principal défi pour les clusters de calcul est passé de la puissance de calcul d'un seul nœud à l'efficacité de la communication inter-nœuds. Les réseaux RDMA servent de dorsale de transport pour les opérations collectives, l'accès au stockage et le trafic de points de contrôle, et leur comportement détermine directement l'utilisation globale du cluster.

Les exigences typiques de ces projets comprennent :

• Bande passante élevée par nœud : Les serveurs GPU nécessitent de plus en plus 200 Gbit/s ou plus pour suivre les charges de travail d'entraînement multi-GPU.
• Faible latence prévisible : Les opérations AllReduce et la synchronisation des paramètres sont sensibles à la latence de queue, pas seulement à la latence moyenne.
• Scalabilité : Le tissu doit passer de dizaines à des centaines ou des milliers de nœuds sans refonte de la topologie.
• Gérabilité : Les équipes d'exploitation ont besoin de télémétrie et de visibilité sur la congestion pour isoler les nœuds lents et les liens mal configurés.

Le MQM8790-HS2F est positionné pour répondre à ces exigences en tant que plateforme de commutateur InfiniBand HDR à 200 Gbit/s.

Conception globale de l'architecture réseau et système

L'architecture recommandée est une fat-tree non bloquante à deux niveaux, avec une couche spine construite à partir de commutateurs MQM8790-HS2F et une couche leaf connectant les nœuds de calcul et de stockage. Cette conception offre une bande passante est-ouest uniforme et une diversité de chemins prévisible, essentielle pour les modèles de trafic RDMA.

Les décisions architecturales clés comprennent :

• HDR de bout en bout : Les nœuds de calcul équipés d'adaptateurs ConnectX-6 ou ConnectX-7 se connectent à 200 Gbit/s aux commutateurs leaf, formant un chemin de bout en bout compatible MQM8790-HS2F.
• Capacité spine : Chaque commutateur MQM8790-HS2F 200 Gbit/s HDR à 40 ports QSFP56 fournit 40 ports à 200 Gbit/s, permettant une allocation flexible des liaisons montantes et descendantes en fonction des objectifs de sursouscription.
• Tissu de stockage : Les cibles de stockage parallèle et NVMe-over-Fabrics peuvent être placées sur des groupes leaf dédiés pour isoler le trafic de stockage du trafic d'entraînement.
• Plan de gestion : La gestion hors bande et la collecte de télémétrie sont séparées du plan de données pour éviter les interférences.

Rôle du Mellanox (NVIDIA Mellanox) MQM8790-HS2F et caractéristiques clés

Dans cette solution, le Mellanox (NVIDIA Mellanox) MQM8790-HS2F agit comme l'élément de commutation spine, agrégeant le trafic leaf et permettant le calcul en réseau. Son rôle ne se limite pas au transfert : il réduit également la surcharge de communication collective et améliore l'efficacité du tissu.

Les caractéristiques techniques principales comprennent :

• 40 ports HDR à 200 Gbit/s : Jusqu'à 16 Tbit/s de débit agrégé dans un format 1U, avec prise en charge adaptative des vitesses HDR, EDR et FDR.
• Calcul en réseau SHARP : Décharge les opérations AllReduce et collectives associées sur le commutateur, réduisant la participation des GPU et des CPU.
• Routage adaptatif : Atténue les points chauds et améliore l'équilibrage de charge sur plusieurs chemins.
• Contrôle de la congestion : Prend en charge DCQCN et les mécanismes associés pour maintenir une latence stable sous charge.
• Écosystème logiciel : Géré par MLNX-OS et surveillé via UFM et NetQ.

Les architectes doivent examiner la fiche technique du MQM8790-HS2F et les spécifications du MQM8790-HS2F pour les détails d'alimentation, de refroidissement et de division des ports avant de finaliser les configurations de rack. Pour la budgétisation, le prix du MQM8790-HS2F et les options de MQM8790-HS2F à vendre doivent être validés auprès du canal d'approvisionnement, car les prix varient en fonction de l'échelle et de la configuration.

Recommandations de déploiement et d'extension

Pour le déploiement initial, un seul commutateur InfiniBand MQM8790-HS2F peut servir à la fois de spine et de cœur dans un petit cluster, connectant jusqu'à 40 nœuds à 200 Gbit/s. À mesure que le cluster grandit, des commutateurs spine supplémentaires sont ajoutés et le tissu passe à une conception complète à deux niveaux avec séparation leaf-spine.

Conseils d'extension :

• Discipline de câblage : Standardiser les optiques QSFP56 et les types DAC/AOC pour simplifier les pièces de rechange et réduire les risques de compatibilité.
• Division des ports : Utiliser la division 2x100 Gbit/s lorsque 200 Gbit/s par nœud n'est pas requis, améliorant ainsi l'efficacité des ports.
• Objectifs de sursouscription : Planifier les ratios spine-leaf en fonction des modèles de rafales de charge de travail plutôt que de la seule bande passante théorique maximale.
• Alimentation et refroidissement : Valider la marge de puissance par rack par rapport à la consommation nominale du commutateur avant de mettre à l'échelle.

Surveillance opérationnelle, dépannage et optimisation

La visibilité opérationnelle est essentielle pour maintenir une faible latence à grande échelle. La solution de commutateur InfiniBand MQM8790-HS2F doit être intégrée à UFM pour la surveillance de l'ensemble du tissu et à NetQ pour la télémétrie et la validation.

Les pratiques recommandées comprennent :

• Surveiller les compteurs par port pour les erreurs, les rejets et les événements de congestion.
• Suivre les candidats aux nœuds lents à l'aide de la télémétrie plutôt que de se fier uniquement aux échecs au niveau des tâches.
• Valider la cohérence du firmware sur tous les commutateurs et adaptateurs pour éviter les problèmes de compatibilité.
• Examiner périodiquement la configuration SHARP, car des arbres d'agrégation mal configurés peuvent réduire les performances plutôt que de les améliorer.

Résumé et évaluation de la valeur

Le MQM8790-HS2F fournit une base pratique pour les clusters RDMA, HPC et IA qui nécessitent une faible latence prévisible et une bande passante élevée. En combinant 40 ports HDR à 200 Gbit/s, le calcul en réseau SHARP et un écosystème de gestion mature, le NVIDIA Mellanox MQM8790-HS2F aide les architectes à concevoir des tissus évolutifs sans sacrifier l'efficacité.

D'un point de vue de la valeur, la contribution du commutateur doit être évaluée par rapport à l'utilisation du cluster, au temps d'achèvement des tâches et aux frais d'exploitation plutôt qu'au seul nombre de ports.