NVIDIA Mellanox MQM8790-HS2F Référence technique du commutateur InfiniBand

Ce livre blanc technique est destiné aux architectes de réseau, ingénieurs de prévente et responsables des opérations.NVIDIA Mellanox MQM8790-HS2F est une marque américaine de télévision.Il fournit une référence détaillée pour concevoir, déployer,et exploitation de tissus hautes performances servant à la formation à l'IA à grande échelle et aux simulations HPC ¥, en mettant l'accent sur l'accélération RDMA et la communication déterministe à faible latence.

Les charges de travail modernes d'IA et de HPC poussent les grappes GPU vers des dizaines de milliers de nœuds.présentent des incohérences de performance dans les modèles incast et souffrent de frais généraux plus élevés du processeurLes principales exigences pour les interconnexions en grappes de nouvelle génération sont les suivantes:

• La latence de point à point sous-microseconde pour les opérations collectives synchronisées
• Transports sans pertes et sans congestion pour éviter les retardataires
• Déchargement complet du traitement des communications des cœurs CPU/GPU
• Topologies évolutives d'arbre gras ou de libellule + avec bande passante non bloquante
• Parcours de migration rentable des optiques 100G/200G existantes

Pour répondre à ces exigences, leMQM8790-HS2F Commutateur InfiniBandfournit un HDR de 200 Gb/s par port, 40 ports QSFP56 par unité et une prise en charge native de la RDMA et du calcul en réseau.Cette solution est spécialement conçue pour les environnements où l'efficacité de l'interconnexion se traduit directement par le temps de réalisation des travaux et le TCO.

La topologie physique recommandée pour les grappes IA/HPC utilisant leNVIDIA Mellanox MQM8790-HS2F est une marque américaine de télévision.Chaque commutateur de feuille se connecte aux serveurs GPU via des liens HDR ou HDR100, tandis que les commutateurs de colonne vertébrale fournissent une connectivité pleine maille entre les feuilles.Une configuration typique de 800 GPU emploie:

• 20 interrupteurs à feuilles: chacunMQM8790-HS2F 200Gb/s HDR à 40 ports QSFP56qui desservent jusqu'à 20 serveurs (connexions à double rail)
• 4 commutateurs de la colonne vertébrale: entièrement interconnectés avec des feuilles utilisant des liaisons ascendantes de 200Gb/s
• Ratio de non-blocage de 1:1 à chaque niveau

Pour les clusters plus grands (2 000+ GPU), une architecture à trois niveaux ajoute une couche super-spine.Toute la gestion des tissus est gérée par le gestionnaire de sous-réseau (SM) soit en cours d'exécution sur un contrôleur dédié ou intégré dans le firmware du commutateur pour les plus petits tissus.

Au sein de cette architecture, leLes produits de la catégorie 1 doivent être présentés dans la catégorie 1 de la présente annexe.Il sert à la fois de feuille et de colonne vertébrale.

• 200 Gb/s HDR par port:Débit bidirectionnel complet avec une capacité de commutation non bloquante totale de 16 Tb/s
• Routage adaptatif (RA):Distribue dynamiquement le trafic sur plusieurs chemins pour éviter les points chauds, ce qui est essentiel pour l'efficacité du fat-tree
• SHARPv2 (Protocole d'agrégation et de réduction hiérarchique évolutive):Décharge les opérations collectives (All-Reduce, Reduce-Scatter) directement dans le réseau de commutation, réduisant le temps d'inactivité du GPU
• Contrôle de la congestion:Le contrôle du débit à grains fins avec les mécanismes FECN/BECN assure un tissu sans perte
• Densité élevée des ports:40 ports QSFP56 par châssis 1U, simplifiant la disposition des racks et réduisant la complexité du câblage entre racks

Les ingénieurs peuvent se référer auxFiche de données MQM8790-HS2FetLes spécifications MQM8790-HS2FLa plate-forme est également équipée d'un système d'exploitation pour les données de puissance, de température et de latence détaillées.MQM8790-HS2F est compatibleavec une large gamme d'optiques HDR, HDR100 et même EDR, permettant des mises à niveau progressives.

Pour un cluster d'IA équilibré de 1 000 GPU, la séquence de déploiement suivante est recommandée:

• Étape 1: couche de feuilles:Installez 25xLes produits de la catégorie 1 doivent être présentés dans la catégorie 1 de la présente annexe.Connectez chaque serveur GPU (8 GPU par serveur) via deux ports HDR à deux feuilles différentes pour la redondance et la bande passante.
• Étape 2: couche de la colonne vertébrale:Déployer 8xNVIDIA Mellanox MQM8790-HS2F est une marque américaine de télévision.Connectez chaque feuille à chaque feuille en utilisant des liaisons de 200 Gb/s (40 liaisons ascendantes par feuille, mais généralement un sous-ensemble suffisant pour maintenir un taux de blocage ≤1:1).
• Étape 3 Placement du gestionnaire de sous-réseau:Exécutez des instances SM redondantes sur deux serveurs légers ou utilisez le SM intégré pour les grappes inférieures à 2 000 ports.
• Étape 4 - Partitionnement:Utilisez des partitions InfiniBand pour isoler les flux de production, de développement et de stockage sur le même tissu physique.

Pour l'expansion à plus de 2500 GPU, ajoutez une couche super-spine en utilisant des unités MQM8790-HS2F supplémentaires et augmentez la densité de liaison ascendante feuille-spine.MQM8790-HS2F Solution de commutateur InfiniBandles échelles linéaires sans re-construire le noyau.

Fonctionnement quotidien d'un tissu construit surLes produits de la catégorie 1 doivent être présentés dans la catégorie 1 de la présente annexe.Les commutateurs sont gérés par NVIDIA® Fabric Manager et MLNX‐OS.

• Surveillance:Utiliser `ibdiagnet` pour la validation de la topologie, `perfquery` pour les compteurs de port et les tableaux de bord Grafana avec les exportateurs Prometheus pour la télémétrie en temps réel (utilisation des liens, erreurs de symboles, marqueurs de congestion).
• Firmware et logiciels:Gardez le firmware cohérent sur tous les commutateurs.Fiche de données MQM8790-HS2Fpour la compatibilité des versions.
• Résolution de problème:Les problèmes courants, tels que le décalage des liaisons, les MTU non correspondants ou la mauvaise configuration de la partition, sont rapidement isolés à l'aide de `ibstatus`, `smpquery` et du syslog de commutation.
• Optimisation:Pour la formation à l'IA à grande échelle, activez SHARP sur les bibliothèques MPI applicables (par exemple, NCCL avec le plugin SHARP).

Lors de la planification du budget ou de l'expansion, demandezLe prix MQM8790-HS2Fles offres des partenaires agréés et vérifierMQM8790-HS2F à vendreLa compatibilité de la plateforme avec le câblage QSFP56 existant réduit le risque d'achat.

LeLes produits de la catégorie 1 doivent être présentés dans la catégorie 1 de la présente annexe.Ce n'est pas seulement un commutateur, c'est un bloc de construction fondamental pour les tissus HPC et IA déterministes à faible latence.et le calcul en réseau SHARP aborde directement les principaux points sensibles des interconnexions de grappes modernesComparé aux solutions Ethernet 200G alternatives, l'écosystème InfiniBand offre:

• Moins de frais généraux du processeur (true RDMA avec décharge de transport matériel)
• Déterminisme de la latence à l'échelle des microsecondes sous charge réelle
• Gestion simplifiée du tissu avec le gestionnaire de sous-réseau centralisé
• Évolutivité éprouvée sur des dizaines de milliers de terminaux

Pour les organisations construisant ou élargissant des grappes GPU, adopter leNVIDIA Mellanox MQM8790-HS2F est une marque américaine de télévision.signifie atteindre des FLOPS efficaces plus élevés par dollar, réduire le temps de réalisation des travaux et rendre l'interconnexion à l'épreuve du temps pour les mises à niveau HDR200 de prochaine génération (400 Gb/s).y compris complèteLes spécifications MQM8790-HS2Fet les matrices de câblage, sont disponibles via le portail partenaire NVIDIA.