NVIDIA Mellanox MQM8790-HS2F Solution technique du commutateur InfiniBand

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Solution technique. Optimisation des interconnexions à faible latence pour les grappes RDMA/HPC/IA

1. Analyse des antécédents et des besoins du projet

Alors que les grappes de formation à l'intelligence artificielle (IA) évoluent vers des milliers de GPU et de systèmes informatiques haute performance (HPC), elles poussent vers des performances exascales.le tissu réseau reliant les nœuds de calcul est devenu un déterminant de performance critiqueDans ces environnements, la latence n'est pas simplement une mesure, elle a un impact direct sur les performances des applications, le temps de résolution et l'efficacité globale du cluster.Pour les charges de travail qui reposent fortement sur les opérations collectives MPI (Message Passing Interface) et les modèles de communication tous-à-tous, tels que la formation de grands modèles linguistiquesLes réseaux ethernet traditionnels, qui utilisent des systèmes d'exploitation plus sophistiqués, offrent des performances de plus en plus élevées.même avec RDMA sur Ethernet convergé (RoCE), ont souvent du mal à fournir le fonctionnement déterministe à faible latence et sans congestion requis par ces applications exigeantes.

Ce défi est amplifié par trois tendances concurrentes: premièrement, l'échelle croissante des modèles d'IA (qui dépassent maintenant des milliards de paramètres) exige un parallélisme massif entre des milliers de GPU,nécessitant un tissu pouvant supporter un débit élevé avec une variance de latence minimaleDeuxièmement, la convergence des charges de travail HPC et IA signifie qu'un seul tissu doit prendre en charge efficacement à la fois les modèles de communication basés sur MPI et les opérations collectives GPU basées sur NCCL.L'efficacité opérationnelle exige que le tissu soit gérable à grande échelle, avec des capacités complètes de surveillance et d'optimisation automatisée.Une solution technique structurée est requise une solution qui tire parti d'un commutateur InfiniBand haute performance avec redirection à faible latence, une gestion avancée de la congestion et une accélération des calculs en réseau pour offrir des performances prévisibles à grande échelle.

2. Conception globale de l'architecture réseau / système

L'architecture proposée adopte une topologie à feuille de colonne vertébrale utilisantNVIDIA Mellanox MQM8790-HS2F est une marque américaine de télévision.des commutateurs en tant que couche de feuille, connectés à des commutateurs de colonne vertébrale à densité de port plus élevée (tels que la série QM9700 avec 64 ports de 400 Gb/s NDR) pour les tissus à grande échelle.L'architecture est conçue pour prendre en charge la communication sans blocage avec une bande passante de bisection complète, ce qui garantit que tout nœud de calcul peut communiquer avec tout autre nœud à la vitesse du fil sans contestation.

Dans un déploiement typique pour un cluster de 2 000 nœuds, l'architecture comprend:

• Couche de feuilles:20MQM8790-HS2F Commutateur InfiniBandles unités, chacune avec 40 ports QSFP56 fonctionnant à 200 Gb/s HDR.Chaque commutateur de feuille se connecte à 50 nœuds de calcul (en utilisant un mélange de connexions directes de 200 Gb / s et de sortie HDR100 de 100 Gb / s via des câbles QSFP56 à 2 × QSFP56).
• Niveau de la colonne vertébrale:4 commutateurs QM9700 (ou commutateurs équivalents à haute densité), chacun avec 64 ports de 400 Gb/s NDR, assurant une connectivité entre feuilles.
• Nœuds de calcul:Chaque nœud est équipé d'un ou de plusieurs adaptateurs ConnectX-6 HDR ou ConnectX-7 NDR, connectés à des interrupteurs à feuille via des câbles optiques passifs en cuivre ou actifs.
• Réseau de gestion:Un réseau Ethernet hors bande distinct pour la gestion des commutateurs, intégré à la plateforme NVIDIA Unified Fabric Manager (UFM) pour la surveillance et l'optimisation centralisées des tissus.

L'architecture tire parti deMQM8790-HS2F 200Gb/s HDR à 40 ports QSFP56la configuration pour fournir une capacité totale de commutation de feuille de 8 Tb/s par commutateur.chaque port 200Gb/s peut prendre en charge soit un seul terminal de 200Gb/s, soit deux terminaux de 100Gb/s;, qui accueillent des nœuds de calcul hétérogènes avec des vitesses d'interface différentes.

3. Rôle et caractéristiques clés du NVIDIA Mellanox MQM8790-HS2F dans la solution

Au sein de cette architecture, leLes produits de la catégorie 1 doivent être présentés dans la catégorie 1 de la présente annexe.sert de base à l'interrupteur de feuille, fournissant une connectivité à faible latence et à large bande passante aux nœuds de calcul tout en prenant en charge des fonctionnalités avancées essentielles pour les charges de travail HPC et IA.Ses principales caractéristiques techniques sont essentielles au succès de la solution globale:

• La latence de port à port est inférieure à 100 nanosecondes.Fournit une latence déterministe basse essentielle pour les collectifs MPI sensibles à la latence et les opérations de réduction totale.
• 40 ports de 200 Gb/s HDR InfiniBand:Fournit une capacité de commutation totale de 8 Tb / s dans un facteur de forme compact de 1 U, maximisant la densité des ports et réduisant la consommation d'espace de rack.
• Support SHARP (Protocole d'agrégation et de réduction hiérarchique évolutive):Permet l'accélération des calculs en réseau pour les opérations collectives MPI, déchargeant jusqu'à 20% de la charge de travail de communication du processeur / GPU.
• Routage adaptatif:Distribue dynamiquement le trafic sur les chemins de fabrication disponibles en fonction des mesures de congestion en temps réel, optimisant le débit et minimisant la variance de latence.
• Contrôle de la congestion:Mettre en œuvre des mécanismes avancés de gestion de la congestion (y compris le contrôle du débit au niveau des paquets et la notification de la congestion) pour empêcher les points chauds du réseau de dégrader leurs performances.
• Support de sortie HDR100:Permet de configurer chaque port de 200 Gbps en deux ports indépendants de 100 Gbps, offrant une flexibilité de déploiement pour les environnements à vitesse mixte.
• Interfaces de gestion complètes:Prend en charge la gestion des sous-réseaux (SM), SNMP, CLI, l'interface utilisateur Web et l'intégration avec UFM pour une gestion centralisée des tissus.
• Efficacité énergétique:Consommation d'énergie typique inférieure à 230 W, ce qui contribue à réduire les besoins de refroidissement et à améliorer l'efficacité PUE.

Ces caractéristiques sont largement documentées dans leFiche de données MQM8790-HS2F, qui comprend des courbes de performance détaillées, des spécifications thermiques et des dessins mécaniques pour l'intégration dans les outils de disposition des racks.

4Recommandations de déploiement et de mise à l'échelle (avec description de la topologie typique)

Pour le déploiement initial, nous recommandons une stratégie d'expansion modulaire basée sur l'architecture au niveau de la capsule.supportant environ 400 nœuds de calcul avec une bande passante de bisection complète. LeMQM8790-HS2F Solution de commutateur InfiniBandpermet une mise à l'échelle incrémentielle en ajoutant des pods à mesure que la capacité de calcul augmente, la couche de base fournissant une connectivité entre les pods pour un tissu unifié.

Topologie typique pour un seul module (400 nœuds de calcul):

• Commutateur de feuille:4 × MQM8790-HS2F, chacun avec 40 ports à 200 Gb/s. 36 ports par feuille sont utilisés pour la connectivité des nœuds de calcul (supportant jusqu'à 72 nœuds par feuille à l'aide de la sortie HDR100),tandis que 4 ports par feuille sont utilisés pour les liaisons ascendantes de la colonne vertébrale.
• Les commutateurs de la colonne vertébrale:2 × QM9700 (ou des commutateurs NDR 64 ports équivalents), chacun se connectant aux 4 commutateurs de feuille via des liaisons ascendantes de 400 Gb/s (en utilisant des câbles QSFP56 à QSFP-DD de 4 × 200 Gb/s).
• Nœuds de calcul:400 nœuds, chacun connecté à un commutateur à feuille via une connexion HDR100 simple de 200 Gb/s ou double de 100 Gb/s.

Évoluer au-delà d'une seule capsule:

• Ajouter des pods supplémentaires (chacun avec 4 commutateurs MQM8790-HS2F à feuille) selon les besoins de la capacité de calcul.
• Connectez les capsules à travers une couche supérieure de la colonne vertébrale (superspin) à l'aide de commutateurs supplémentaires QM9700 ou NDR.
• Maintenir la consistance du tissu en utilisant leLes produits de la catégorie 1 doivent être présentés dans la catégorie 1 de la présente annexe.dans toutes les positions des feuilles, assurant une latence et une gestion uniformes sur l'ensemble du tissu.

Lors du déploiement de laLes produits de la catégorie 1 doivent être présentés dans la catégorie 1 de la présente annexe.dans le mode HDR100 de rupture, les lignes directrices de câblage suivantes s'appliquent:

Pour les tissus à grande échelle de plus de 2 000 nœuds, nous recommandons d'utiliser les capacités de simulation de tissus d'UFM pour valider la conception de la topologie et le comportement de congestion avant le déploiement.

5Opérations et maintenance: surveillance, dépannage et optimisation

Le cycle de vie opérationnel du tissu InfiniBand basé sur MQM8790-HS2F nécessite une approche systématique de la surveillance, du dépannage et de l'optimisation.Nous recommandons de déployer la plateforme NVIDIA UFM comme outil de gestion et de surveillance central, fournissant une visibilité en temps réel sur les performances du tissu, les mesures de latence et les modèles de congestion.

Principaux indicateurs de suivi à suivre:

• La latence au niveau du port:La latence de bout en bout à travers le tissu, avec des alertes pour les ports dépassant les seuils de latence.
• Débit et utilisation:Le débit global et le débit par port, pour identifier les liaisons sous-utilisées ou surutilisées.
• Indicateurs de congestion:Les décharges de paquets, les images de pause et les événements de notification de congestion.
• Santé des tissus:Statut de liaison, compteurs d'erreur et télémétrie température/puissance.

Protocole de dépannage pour les problèmes courants:

1. Dégradation de la latence:Utiliser les outils d'analyse de la latence de l'UFM pour identifier le chemin ou le port spécifique présentant une latence accrue; vérifier la congestion ou une mauvaise configuration du routage adaptatif.
2. Erreurs de liaison ou défauts:Inspecter la connectivité physique (cables, optique) et les compteurs d'erreur des ports;MQM8790-HS2F est compatibleLes câbles et les optiques sont utilisés parLes spécifications MQM8790-HS2F.
3. Problèmes de gestion des sous-réseaux:Vérifiez que le gestionnaire de sous-réseau (SM) est en cours d'exécution et que la topologie du tissu est correctement détectée; vérifiez les événements de basculement SM.

Recommandations d'optimisation:

• Réglage de routage adaptatif:Ajustez les paramètres de l'algorithme de routage en fonction des schémas de trafic observés. Utilisez UFM pour simuler différentes politiques de routage avant de les appliquer au tissu de production.
• Configuration de contrôle de la congestion:Enable and tune congestion control mechanisms (such as packet pacing and priority flow control) based on workload characteristics — AI training benefits from more aggressive congestion control compared to HPC workloads.
• Mises à jour du firmware et du logiciel:Mettez régulièrement à jour le firmware et le logiciel UFM du commutateur pour accéder à des améliorations de performance et à de nouvelles fonctionnalités.
• Audits périodiques des tissus:Effectuer des audits réguliers du câblage, de l'alimentation et du refroidissement pour assurer la fiabilité opérationnelle à grande échelle.

6. Résumé et évaluation de la valeur

LeNVIDIA Mellanox MQM8790-HS2F est une marque américaine de télévision.La solution technique basée sur RDMA fournit une méthodologie complète et validée sur le terrain pour optimiser l'interconnexion à faible latence dans les grappes RDMA/HPC/IA.En tirant parti des 40 ports du commutateur de 200 Gbps HDR InfiniBand, latence inférieure à 100 nanosecondes, calcul SHARP en réseau et capacités de routage adaptatif,Les organisations peuvent construire des tissus qui offrent des performances prévisibles à l'échelle tout en simplifiant la gestion et en réduisant les frais généraux opérationnels.

Les indicateurs de valeur clés provenant de déploiements comparables comprennent:

• Réduction de la latence:La latence port-à-port inférieure à 100 nanosecondes réduit les temps d'achèvement collectif MPI jusqu'à 35% par rapport aux tissus de la génération précédente.
• Accélération d'application:La décharge de calcul en réseau SHARP réduit les frais de communication CPU/GPU jusqu'à 20%, accélérant les temps d'époque de formation de l'IA de 25 à 30%.
• Efficacité du tissu:Le routage adaptatif et le contrôle de la congestion maintiennent des performances constantes sous des charges variables, réduisant la variabilité des performances jusqu'à 60%.
• Simplification opérationnelle:L'intégration UFM offre une visibilité et une automatisation complètes, réduisant le MTTR pour les incidents de tissus jusqu'à 50%.
• Efficacité des coûts:LeLe prix MQM8790-HS2Fcombiné à sa densité de port élevée offre un coût par port inférieur à celui des solutions InfiniBand alternatives, tout en réduisant les besoins en espace et en puissance des racks.

Pour les architectes de réseau et les ingénieurs, le MQM8790-HS2F offre une base évolutive et haute performance pour les grappes HPC et IA de nouvelle génération.La solution est particulièrement recommandée pour les organisations déployant des environnements à grande échelle accélérés par GPU, ainsi que les centres HPC traditionnels qui passent de 100Gb/s à 200Gb/s.Le support de la MQM8790-HS2F pour la sortie HDR100 assure la compatibilité avec l'infrastructure existante tout en fournissant un parcours de migration clair vers les vitesses futures.

Pour les modèles détaillés de conception de tissus, les guides de réglage des performances et les listes de contrôle de déploiement, consultez leFiche de données MQM8790-HS2Fet la documentation de l'architecture InfiniBand de NVIDIA Mellanox.