Mellanox 920-9B210-00FN-0D0 Commutateur InfiniBand. Solution technique pour les clusters RDMA, HPC et IA à faible latence

Commutateur InfiniBand Mellanox 920-9B210-00FN-0D0 | Solution technique pour l'optimisation de l'interconnexion à faible latence pour la RDMA, le HPC et les clusters d'IA

Un guide complet d'architecture technique et de déploiement couvrant la mise en réseau InfiniBand NVIDIA Quantum-2 NDR, l'accélération RDMA, les interconnexions de clusters GPU évolutifs, la gestion du tissu et l'optimisation des performances.

Produit: NVIDIA QM9790 / MQM9790-NS2F   |   SKU: 920-9B210-00FN-0D0   |   Technologie: InfiniBand NDR 400 Gb/s

L'intelligence artificielle, le calcul haute performance (HPC) et les charges de travail GPU distribuées imposent des exigences sans précédent à l'infrastructure réseau des centres de données. À mesure que les clusters de calcul augmentent, l'efficacité de la communication réseau détermine de plus en plus si les ressources GPU coûteuses peuvent fonctionner à leur plein potentiel. Le commutateur InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 fournit une plateforme de commutation à large bande passante et à faible latence pour la construction de réseaux de calcul accéléré évolutifs.

Alimenté par la technologie NVIDIA Quantum-2, le QM9790 prend en charge 64 ports InfiniBand NDR 400 Gb/s non bloquants via 32 connecteurs OSFP, avec un débit de commutation bidirectionnel agrégé allant jusqu'à 51,2 Tb/s. Ce livre blanc technique explique comment intégrer le commutateur dans des architectures réseau compatibles RDMA, optimiser la communication IA distribuée, concevoir des tissus HPC résilients et établir des pratiques de déploiement et d'exploitation efficaces.

01. Contexte du projet et analyse des exigences

Les plateformes d'IA modernes connectent couramment plusieurs serveurs GPU en clusters de calcul distribués. Pendant l'entraînement des modèles, les GPU échangent fréquemment des gradients, des paramètres et des résultats intermédiaires à l'aide de bibliothèques de communication telles que NVIDIA NCCL. Les applications HPC dépendent également de la transmission de messages à faible latence via MPI et d'autres frameworks de calcul parallèle.

À mesure que le nombre de nœuds de calcul augmente, le trafic de communication devient plus complexe. Les applications peuvent rencontrer une saturation de la bande passante, des points chauds de congestion, des retards de communication collective et des performances incohérentes causées par la contention du réseau.

Une solution InfiniBand haute performance devrait répondre aux exigences techniques suivantes :

• Bande passante élevée : Fournir une capacité d'interconnexion suffisante pour le mouvement de données à grande échelle entre les serveurs GPU et les nœuds de calcul.
• Faible latence de communication : Minimiser les retards associés aux synchronisations fréquentes et aux échanges de petits messages.
• Prise en charge de la RDMA : Permettre une communication efficace de mémoire à mémoire avec une implication réduite du CPU.
• Évolutivité du réseau : Prendre en charge l'expansion des racks de serveurs individuels aux tissus IA et HPC multi-racks.
• Optimisation du trafic : Améliorer l'utilisation du réseau grâce au routage adaptatif et à la gestion de la congestion.
• Fiabilité opérationnelle : Établir des procédures de surveillance, d'isolement des pannes et de validation des performances.

Objectif de conception : Construire un tissu InfiniBand évolutif et à large bande passante qui minimise les goulots d'étranglement liés au réseau et prend en charge des performances RDMA prévisibles pour l'entraînement IA distribué, le calcul scientifique et les applications HPC gourmandes en données.

02. Architecture globale du réseau et du système

L'architecture proposée utilise la solution 920-9B210-00FN-0D0 InfiniBand switch OPN comme élément de base au sein d'un tissu NDR à haute vitesse. Selon l'échelle de déploiement, les commutateurs peuvent fonctionner dans une conception à un seul niveau ou une topologie feuille-colonne (leaf-spine) à plusieurs niveaux.

Pour les clusters GPU multi-racks, une architecture Fat Tree à deux niveaux est un point de départ pratique. Les commutateurs feuille connectent les serveurs de calcul, tandis que les commutateurs colonne fournissent une communication à large bande passante entre les racks. L'allocation des liaisons montantes doit être calculée en fonction des modèles de trafic attendus, de la bande passante de bissection requise et de la sursouscription acceptable.

Topologie réseau de référence

Applications d'entraînement IA / HPC
NCCL / MPI / UCX / RDMA
↓
Serveurs GPU et nœuds de calcul
Adaptateurs InfiniBand NVIDIA ConnectX
↓
Couche Feuille
Commutateurs InfiniBand NDR NVIDIA Quantum-2 QM9790
↓
Couche Colonne
Commutateurs InfiniBand NDR NVIDIA Quantum-2 QM9790
↓
Autres racks GPU / Nœuds de calcul HPC
Gestionnaire de sous-réseau externe / Gestion de tissu NVIDIA UFM

Dans cette architecture, les nœuds de calcul utilisent des adaptateurs réseau compatibles RDMA pour accéder au tissu InfiniBand. La couche feuille fournit la connectivité face aux serveurs, tandis que la couche colonne prend en charge la communication entre différents segments réseau. Une conception non bloquante nécessite une bande passante de liaison montante adéquate par rapport aux liaisons descendantes connectées.

Les déploiements IA à grande échelle peuvent également distribuer la communication sur plusieurs rails réseau indépendants pour améliorer l'isolement des pannes et l'utilisation de la bande passante. L'alignement des rails, le placement des adaptateurs, l'affinité NUMA et la topologie GPU doivent être pris en compte ensemble pour éviter que les limitations côté hôte ne réduisent les avantages de la commutation à haute vitesse.

03. Rôle et caractéristiques clés du NVIDIA Mellanox 920-9B210-00FN-0D0

Le commutateur InfiniBand 920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/s NDR appartient à la famille NVIDIA Quantum-2 QM9790. Il s'agit d'un système de commutation InfiniBand non géré conçu pour les tissus gérés extérieurement, prenant en charge une connectivité dense et une communication à haute vitesse entre les nœuds de calcul accéléré.

Les spécifications 920-9B210-00FN-0D0 suivantes résument les caractéristiques du produit pertinentes pour l'architecture réseau et la sélection du matériel.

Optimisation de la communication basée sur la RDMA

L'accès direct à la mémoire à distance (RDMA) permet aux systèmes participants de transférer des données entre des régions mémoire enregistrées tout en réduisant la surcharge de traitement du CPU. Dans les environnements IA et HPC, cette capacité prend en charge une communication inter-nœuds efficace et peut réduire les coûts de transfert de données liés au logiciel.

Avec des adaptateurs NVIDIA ConnectX compatibles et une pile logicielle correctement configurée, les applications peuvent utiliser le transport RDMA via des frameworks tels que UCX, MPI et NCCL. GPU Direct RDMA peut optimiser davantage le mouvement des données lorsque la plateforme matérielle, les pilotes et la configuration de l'application le prennent en charge.

Routage adaptatif et gestion de la congestion

NVIDIA Quantum-2 prend en charge des mécanismes de routage adaptatif qui peuvent distribuer le trafic sur les chemins réseau disponibles. Combinées au contrôle de congestion InfiniBand, aux capacités de qualité de service et à la gestion des voies virtuelles, ces technologies aident à résoudre les points chauds de trafic et à améliorer la stabilité de la communication.

Les avantages réels dépendent de la topologie du tissu, des politiques de routage, des capacités du firmware et de la configuration de la gestion du sous-réseau. Les architectes réseau doivent valider ces paramètres sous un trafic d'application représentatif plutôt que de se fier exclusivement à la capacité de commutation théorique.

Informatique en réseau NVIDIA SHARP

Le protocole NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) permet de traiter les opérations collectives prises en charge au sein du tissu réseau. En réduisant le volume de données échangées lors des opérations de réduction prises en charge, SHARP peut améliorer l'efficacité de la communication pour certaines charges de travail IA et HPC. Le déploiement nécessite un firmware, des composants de gestion et un support logiciel d'application compatibles.

04. Stratégie de déploiement et expansion du réseau

Le déploiement de la solution 920-9B210-00FN-0D0 InfiniBand switch OPN doit suivre un processus d'implémentation structuré couvrant la compatibilité matérielle, la planification du tissu, la validation du réseau et les besoins futurs en capacité. Une approche progressive réduit les risques de configuration et facilite l'identification des problèmes de performance.

Phase 1 : Infrastructure matérielle et physique

• Confirmer le SKU du commutateur, l'OPN hérité, les dimensions du rack, les exigences d'alimentation et la direction du flux d'air P2C.
• Sélectionner des adaptateurs ConnectX, des modules optiques OSFP, des câbles DAC ou des câbles optiques actifs compatibles en fonction de la vitesse et de la distance de la liaison.
• Planifier le routage des câbles, le refroidissement du rack, la redondance de l'alimentation et l'allocation des ports physiques.
• Vérifier les versions de firmware prises en charge et l'interopérabilité matérielle avant le déploiement en production.

Phase 2 : Configuration et validation du tissu

Étant donné que le QM9790 est un commutateur non géré, un gestionnaire de sous-réseau InfiniBand externe est requis pour l'initialisation du tissu et la configuration des chemins. NVIDIA UFM peut fournir des capacités supplémentaires de gestion de tissu, de surveillance et d'exploitation lorsqu'il est déployé avec des composants pris en charge.

Les administrateurs réseau doivent vérifier les états des liaisons de ports, les vitesses négociées, la découverte du sous-réseau, la configuration du routage et la connectivité RDMA de bout en bout. Le cas échéant, configurer le partitionnement, les niveaux de service, les voies virtuelles, les contrôles de congestion et le routage adaptatif conformément aux exigences de l'application.

Phase 3 : Planification de l'échelle et de la capacité

L'expansion du cluster doit tenir compte du degré du commutateur, de la capacité des liaisons montantes disponibles, de la distribution du trafic et du nombre de niveaux réseau. Bien que le QM9790 fournisse 64 ports NDR logiques, la disposition des interfaces physiques et les configurations de dérivation de câbles prises en charge doivent être reflétées avec précision dans le plan d'allocation des ports.

Pour les déploiements plus importants, des commutateurs feuille et colonne supplémentaires peuvent être introduits pour accueillir de nouveaux racks de serveurs. Les plans d'expansion doivent tenir compte de la redondance, de la séparation des rails réseau, des distances de câblage et du maintien de la bande passante requise entre les groupes de calcul.

05. Opérations, surveillance et dépannage

Des opérations InfiniBand fiables nécessitent une visibilité continue sur l'état des liaisons, la santé du tissu, le comportement de congestion et les performances des charges de travail. NVIDIA UFM et les outils de diagnostic InfiniBand compatibles peuvent être utilisés pour surveiller les conditions réseau et identifier les modèles de communication anormaux.

La surveillance opérationnelle recommandée comprend :

• Santé des liaisons : Surveiller les vitesses négociées, les erreurs physiques, les sauts de liaison et les événements de port désactivé.
• Utilisation de la bande passante : Suivre le trafic transmis et reçu pour identifier les liaisons sur-souscrites.
• Indicateurs de congestion : Inspecter les compteurs d'attente de transmission, l'activité de contrôle de flux et les points chauds de trafic.
• Gestion du tissu : Vérifier la disponibilité du gestionnaire de sous-réseau, la cohérence du routage, les changements de topologie et les appareils découverts.
• Performances des applications : Corréler les mesures réseau avec les métriques NCCL, MPI et de charge de travail de production.

Pour les tests de performance au niveau du réseau, les ingénieurs peuvent utiliser des utilitaires InfiniBand tels que ibstat, ibdiagnet, perfquery, et des outils de performance RDMA tels que ib_write_bw et ib_send_lat. Les tests NVIDIA NCCL et les benchmarks MPI peuvent fournir un aperçu supplémentaire des performances de communication au niveau de l'application.

Lors du dépannage de la dégradation des performances, vérifiez d'abord la connectivité physique, puis la vitesse des ports, les compteurs d'erreurs, le routage du tissu et les indicateurs de congestion. Si les métriques réseau restent saines, enquêtez sur la bande passante PCIe côté hôte, le placement NUMA, l'affinité GPU, les versions des pilotes et les paramètres de communication de l'application.

L'acceptation des performances doit inclure la bande passante effective, la latence de communication, le débit des opérations collectives et le temps d'achèvement de la charge de travail. Les mesures de latence P50, P95 et P99 peuvent aider à révéler la variabilité des performances sous un trafic soutenu ou à forte rafale. Les seuils d'acceptation doivent être définis en utilisant des objectifs de service spécifiques au projet et des données de référence mesurées.

06. Valeur de la solution et évaluation des performances

Le commutateur InfiniBand 920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/s NDR fournit la capacité réseau et l'architecture requises pour les environnements de calcul distribué exigeants. Sa valeur principale réside dans la prise en charge d'une communication à haute vitesse, d'une conception de tissu évolutive et d'une intégration efficace avec les systèmes de calcul compatibles RDMA.

Du point de vue de l'infrastructure, la connectivité NDR 400 Gb/s et la haute densité de ports peuvent réduire les contraintes réseau à mesure que la taille des clusters GPU augmente. Les capacités avancées d'InfiniBand prennent en charge une distribution de trafic plus efficace, tandis que la gestion externe du tissu améliore la visibilité opérationnelle et le dépannage.

Une évaluation complète de la valeur devrait comparer les coûts de déploiement aux améliorations mesurables du débit des applications, de l'utilisation des GPU, de la stabilité du réseau et de l'efficacité opérationnelle. Les équipes évaluant le prix du 920-9B210-00FN-0D0 devraient également tenir compte des adaptateurs, optiques, câbles, logiciels de gestion, alimentation et exigences de support compatibles.

Principe d'évaluation technique : Le succès d'une mise à niveau du réseau InfiniBand doit être déterminé par des benchmarks reproductibles et une validation des charges de travail de production. La bande passante de commutation seule ne garantit pas une réduction fixe du temps d'entraînement ou de la latence des applications.

07. Conclusion et développement futur

Le commutateur InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 est une solution de mise en réseau haute densité conçue pour l'entraînement IA, les applications HPC et les environnements de centres de données accélérés. Avec la technologie NVIDIA Quantum-2, 64 ports NDR et un débit bidirectionnel agrégé allant jusqu'à 51,2 Tb/s, il offre une base pour la construction de tissus de calcul évolutifs et à faible latence.

Un déploiement réussi nécessite plus que l'installation matérielle. Une solution bien conçue doit coordonner la topologie du réseau, les adaptateurs compatibles RDMA, les interconnexions optiques, la configuration du gestionnaire de sous-réseau, l'optimisation des charges de travail et la surveillance opérationnelle.

À mesure que les clusters GPU s'agrandissent et que les charges de travail distribuées deviennent de plus en plus gourmandes en communication, les tissus InfiniBand haute performance resteront un composant important de l'infrastructure de calcul accéléré moderne. Le QM9790 offre une option pratique pour les organisations recherchant une connectivité NDR fiable et une voie claire vers des architectures réseau multi-racks plus importantes.

Référence technique : Manuel de l'utilisateur des systèmes de commutateurs InfiniBand NDR 400 Gbps 1U NVIDIA QM97XX. Les spécifications de déploiement finales, les fonctionnalités prises en charge, la compatibilité du firmware et les configurations physiques doivent être vérifiées par rapport à la documentation du SKU de produit exact.

Solutions de mise en réseau InfiniBand NVIDIA Mellanox

Beijing Zhongke Xinyuan Technology Co., Ltd. fournit du matériel de mise en réseau NVIDIA Mellanox et un support de solution pour les centres de données IA, les clusters GPU, les systèmes HPC et l'infrastructure d'entreprise. Notre portefeuille de produits comprend des commutateurs InfiniBand NVIDIA Quantum, des adaptateurs réseau ConnectX, des émetteurs-récepteurs optiques et des câbles DAC/AOC à haute vitesse.

Pour les clients recherchant des composants de mise en réseau compatibles avec le 920-9B210-00FN-0D0, un support de sélection de produits, des informations de disponibilité ou des devis de projet, notre équipe peut vous aider à identifier les modèles, à faire correspondre les configurations et à planifier l'approvisionnement.