Solution technique du commutateur InfiniBand Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0

Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Solution technique de commutateur InfiniBand – Optimisation d'interconnexion à faible latence pour les clusters RDMA/HPC/AI

Ce livre blanc technique présente une architecture de solution complète construite autour duMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0Commutateur InfiniBand. Destiné aux architectes réseau, aux ingénieurs avant-vente et aux responsables des opérations, ce document détaille comment le920-9B110-00FH-0D0offre un RDMA déterministe à faible latence et sans perte et une bande passante HDR évolutive de 200 Gbit/s pour les clusters HPC et IA de moyenne à grande échelle. Nous couvrons la conception architecturale, les technologies clés, les topologies de déploiement, les meilleures pratiques opérationnelles et l'évaluation de la valeur.

1. Contexte du projet et analyse des exigences

La formation moderne en IA, la simulation scientifique et les analyses à forte intensité de données exigent des structures réseau offrant une latence constante inférieure à la microseconde, une perte de paquets nulle et une bande passante de bissection élevée. Les solutions Ethernet traditionnelles, même avec les améliorations RoCEv2, échouent souvent en raison d'une gestion complexe de la congestion, d'une surcharge de réglage PFC et d'une latence imprévisible sous charge. Pour les organisations déployant des clusters de 64 à 512 nœuds GPU, il existe un besoin évident d'une interconnexion spécialement conçue qui équilibre les performances, les coûts et la simplicité opérationnelle.

Les principales exigences du projet identifiées dans les déploiements HPC/IA typiques comprennent :

• Latence du commutateur de bout en bout < 1 μs (port à port) à pleine charge
• Structure sans perte, sans pertes de paquets induites par la congestion
• Topologie évolutive prenant en charge 64 à 512 nœuds avec une bande passante de bissection complète
• Opérations simplifiées avec télémétrie intégrée et récupération automatisée des pannes
• Tarification par port rentable pour les budgets de milieu de gamme

LeNVIDIA Mellanox 920-9B110-00FH-0D0répond directement à ces demandes en combinant la technologie HDR (High Data Rate) de 200 Gb/s, le routage adaptatif et le déchargement collectif SHARP dans une plate-forme 1U économe en énergie. Le920-9B110-00FH-0D0 commutateur InfiniBand OPNsimplifie l'approvisionnement avec un numéro de pièce de commande clair, garantissant une configuration cohérente dans tous les déploiements.

2. Conception globale de l’architecture réseau/système

L'architecture recommandée suit une topologie feuille-épine (fat-tree) à deux niveaux, offrant une bande passante de bissection complète et une résilience élevée. Chaque bloc de feuilles comprend plusieurs racks, chaque rack abritant deux920-9B110-00FH-0D0commutateurs pour la redondance. La couche dorsale regroupe le trafic de tous les commutateurs feuilles, garantissant ainsi une communication non bloquante entre deux points de terminaison. Pour un cluster typique de 256 GPU, la conception utilise huit commutateurs feuilles (chacun connectant 32 nœuds GPU via des liaisons 200G) et quatre commutateurs spine, tous interconnectés à l'aide de câbles optiques ou DAC 200G HDR.

La densité de 200 Gbit/s par port du commutateur permet des topologies flexibles, notamment :

• Clos (arbre gras) en 3 étapes :Idéal pour les charges de travail équilibrées avec des modèles de trafic prévisibles.
• Libellule+ :Pour les clusters ultra-larges nécessitant une communication globale à base élevée et efficace.

Le920-9B110-00FH-0D0 MQM8790-HS2F 200 Gb/s HDRLa plate-forme sous-tend le commutateur, garantissant la compatibilité avec l'écosystème HDR de NVIDIA, y compris les adaptateurs ConnectX‑6 et ConnectX‑7. LeCompatible 920-9B110-00FH-0D0la conception prend également en charge les optiques tierces validées via le programme partenaire de NVIDIA, offrant une flexibilité de déploiement.

3. Rôle et principales caractéristiques duMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0dans la solution

LeNVIDIA Mellanox 920-9B110-00FH-0D0est la pierre angulaire de cette solution, fournissant un ensemble robuste de fonctionnalités réseau avancées :

• 200 Gb/s HDR par port– avec commutation directe offrant une latence port à port inférieure à 900 ns, idéale pour les charges de travail RDMA et MPI sensibles à la latence.
• Routage adaptatif– sélectionne dynamiquement le chemin le moins encombré par paquet, évitant ainsi les liaisons hotspot et maintenant des performances constantes même dans des modèles de trafic asymétriques.
• SHARPv2 (Protocole d'agrégation et de réduction hiérarchique évolutif)– décharge la communication collective (réduction totale, diffusion) des processeurs hôtes, réduisant ainsi les discussions sur le réseau et améliorant l'efficacité de la formation de l'IA jusqu'à 25 %.
• Informatique en réseau– prend en charge la réduction et la segmentation des données, libérant ainsi de précieuses ressources GPU pour le calcul.
• Télémétrie avancée– compteurs par port, histogrammes d'occupation de la mémoire tampon et mesures de latence au niveau du chemin, tous exportables via des API UFM ou REST pour une surveillance proactive.

LeSpécifications du 920-9B110-00FH-0D0incluent également la prise en charge des DAC passifs en cuivre et des modules optiques actifs, offrant une flexibilité de distance entre l'intra-rack (≤5 m) et l'inter-rack (jusqu'à 100 m avec l'optique 200G SR4). Pour les organisations nécessitant un déploiement haute densité, le facteur de forme 1U du commutateur et sa faible consommation d'énergie (≈1,5 W par port) minimisent les frais opérationnels.

4. Recommandations de déploiement et de mise à l'échelle (topologie typique)

Pour un déploiement progressif, nous recommandons l’approche suivante :

• Phase 1 – Pilote (64 nœuds GPU) :Déployez 2 commutateurs à feuilles et 2 commutateurs à colonne vertébrale. Valider les performances par rapport auxFiche technique 920-9B110-00FH-0D0paramètres, en se concentrant sur la latence, le débit et l’efficacité du déchargement SHARP.
• Phase 2 – Scale-out (128 à 256 nœuds) :Ajoutez des commutateurs feuilles par incréments de 2 par rack et des commutateurs spine si nécessaire pour maintenir un surabonnement ≤ 1:1. La densité de ports 200G permet à un commutateur à une seule feuille de prendre en charge 32 à 64 nœuds (en fonction de la vitesse de liaison montante du nœud).
• Phase 3 – Multiplan (plus de 512 nœuds) :Implémentez plusieurs structures indépendantes (par exemple, plans 2× ou 4×) avec un équilibrage de charge basé sur les itinéraires, en tirant parti de la prise en charge par le commutateur des voies virtuelles et des clés de partition.

Le câblage typique utilise des DAC OSFP-à-OSFP pour les connexions intra-rack (≤3 m) et des modules optiques OSFP-à-200G SR4 pour des distances de feuille de colonne vertébrale jusqu'à 100 m. LeSolution OPN de commutateur InfiniBand 920-9B110-00FH-0D0simplifie la logistique : l'OPN garantit des révisions cohérentes du matériel et du micrologiciel dans toutes les unités, réduisant ainsi les erreurs de déploiement.

5. Opérations, surveillance, diagnostic des pannes et optimisation

Des opérations efficaces sont essentielles pour maintenir une faible latence en production. La solution s'intègre àNVIDIA UFM (gestionnaire de structure unifié), qui fournit :

• Tableau de bord en temps réel– bande passante par port, compteurs d’erreurs et cartes thermiques de congestion.
• Réoptimisation automatisée des chemins– lorsqu'une liaison se dégrade ou tombe en panne, UFM recalcule les itinéraires et reconfigure les tables de routage adaptatives sans intervention de l'opérateur.
• Télémétrie historique– stocke les données de latence et de flux pour l’analyse post-mortem et la planification des capacités.

Workflow de dépannage et d’optimisation recommandé :

1. Surveiller les trames de pause et les rejets par port– aucun rejet n'est attendu ; tout rejet indique une mauvaise configuration ou une optique défectueuse. Utilisez les alertes UFM pour identifier les problèmes de manière proactive.
2. Valider le fonctionnement de SHARPv2– vérifier les statistiques collectives de l'UFM pour s'assurer du délestage des opérations de réduction ; sinon, vérifiez les configurations du micrologiciel et de l'adaptateur.
3. Optimiser les seuils de routage adaptatif– ajustez les intervalles de détection de charge en fonction des modèles de charge de travail. Le920-9B110-00FH-0D0permet un réglage fin via les interfaces de gestion.
4. Mises à jour régulières du firmware– disponible via le portail d'assistance de NVIDIA, y compris des améliorations de performances et des correctifs de sécurité.

Pour les organisations évaluant le920-9B110-00FH-0D0 prix, la simplicité opérationnelle et la réduction des frais d'ingénierie contribuent directement à un coût total de possession inférieur par rapport aux alternatives Ethernet qui nécessitent un réglage constant.

6. Résumé et évaluation de la valeur

LeMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0offre une base éprouvée et rentable pour la mise en réseau de clusters RDMA/HPC/AI. En combinant une vitesse HDR de 200 Gbit/s, une informatique avancée en réseau et une télémétrie robuste, il élimine les goulots d'étranglement traditionnels en matière de performances et offre une voie de mise à niveau claire pour les structures Ethernet en difficulté. Les principales propositions de valeur comprennent :

• Performance:Latence inférieure à 900 ns, zéro perte de paquets et opérations collectives jusqu'à 25 % plus rapides via SHARPv2.
• Évolutivité :Prend en charge plus de 64 à 512 clusters de nœuds avec une bande passante de bissection complète, adaptable aux topologies Fat Tree et Dragonfly+.
• Efficacité opérationnelle :L'intégration UFM et la récupération automatisée des pannes réduisent les interventions manuelles de plus de 80 %.
• Rentabilité :Tarification par port compétitive (920-9B110-00FH-0D0 prix) et sa faible consommation d'énergie offrent un coût total de possession intéressant.

LeFiche technique 920-9B110-00FH-0D0etSpécifications du 920-9B110-00FH-0D0fournissent des détails techniques complets et les unités sont facilement disponibles (920-9B110-00FH-0D0 à vendrevia le réseau de distribution mondial de NVIDIA). La compatibilité du commutateur avec les adaptateurs NVIDIA existants garantit un chemin de migration fluide pour les organisations déjà investies dans l'écosystème Mellanox.

En résumé, cette solution technique basée sur leSolution OPN de commutateur InfiniBand 920-9B110-00FH-0D0offre une structure robuste et efficace sur le plan opérationnel qui répond aux exigences d'interconnexion à faible latence les plus exigeantes – une pierre angulaire de la prochaine génération d'IA et de calcul HPC.