Livre blanc technique : Solution de commutateur InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0

L'évolution des charges de travail informatiques vers l'entraînement de l'IA à l'échelle exascale et les simulations HPC haute fidélité a fondamentalement déplacé le goulot d'étranglement des performances du calcul vers l'interconnexion. Les clusters modernes dépendants de RDMA exigent une structure qui offre non seulement une bande passante élevée, mais également une latence ultra-faible déterministe, un gigue minimal et une évolutivité transparente. Les réseaux hérités introduisent souvent une latence variable, une perte de paquets induite par la congestion et une complexité de gestion, ce qui se traduit directement par un temps de résolution plus long, des ressources GPU/CPU sous-utilisées et une augmentation des frais d'exploitation.

Cette solution technique répond aux exigences fondamentales des centres de données et des établissements de recherche de nouvelle génération : établir une structure unifiée et performante capable de converger les charges de travail HPC classiques (basées sur MPI) et l'IA moderne (communication collective). Les principales exigences techniques incluent une latence de commutation inférieure à la microseconde, un débit non bloquant pour tous les modèles de communication, un contrôle de congestion intelligent et un cadre de gestion qui offre une visibilité et une automatisation approfondies. Le Solution de commutateur InfiniBand 920-9B210-00FN-0D0 est conçu pour répondre à ces normes exigeantes.

L'architecture proposée est une structure spine-leaf conçue pour une bande passante et une évolutivité maximales, basée sur la technologie InfiniBand NDR 400 Gbit/s. La couche spine est entièrement composée de commutateurs NVIDIA Mellanox 920-9B210-00FN-0D0, formant le cœur à très haute bande passante. La couche leaf peut être constituée d'un mélange de commutateurs NDR ou HDR, connectant les nœuds de calcul (serveurs GPU comme les systèmes NVIDIA DGX, clusters CPU), le stockage parallèle haute performance (NVMe-oF) et les nœuds de gestion.

Cette conception découplée garantit une latence prévisible et élimine la sursouscription au sein de la structure. Les principaux principes architecturaux incluent :

• Structure unifiée : Un seul réseau pour le calcul (Est-Ouest) et le trafic de stockage, simplifiant la gestion et réduisant les CAPEX.
• Fonctionnement sans perte : Tirer parti du contrôle de congestion natif d'InfiniBand et de la gestion du flux de trafic pour garantir une perte de paquets nulle, ce qui est essentiel pour les performances de RDMA et de MPI.
• Réseau défini par logiciel : L'intégration avec NVIDIA Cumulus Linux et la plateforme UFM® permet une automatisation programmable de la structure et une gestion basée sur des stratégies.

Le commutateur 920-9B210-00FN-0D0 MQM9790-NS2F 400 Gbit/s NDR est la pierre angulaire stratégique de cette architecture, agissant comme le spine haute performance. Son rôle transcende la simple commutation ; c'est le moteur intelligent qui assure un mouvement optimal des données.

Ses principales caractéristiques techniques, comme indiqué dans la fiche technique 920-9B210-00FN-0D0, répondent directement à l'optimisation de la faible latence :

• Commutation directe et latence ultra-faible : Le commutateur utilise une architecture de commutation directe avancée, atteignant une latence port à port inférieure à 100 nanosecondes. Ceci est primordial pour réduire la latence globale de bout en bout des opérations RDMA.
• Bande passante NDR 400 Gbit/s : Chaque port fournit 400 Gbit/s, offrant la marge nécessaire pour éviter la congestion pendant les charges de travail de pointe, comme les points de contrôle d'entraînement de l'IA distribuée ou les opérations MPI_allreduce à grande échelle.
• Routage adaptatif et contrôle de congestion : La technologie Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ v3 de NVIDIA, intégrée au commutateur, décharge les opérations collectives du processeur, réduisant considérablement la surcharge de synchronisation. Combiné au routage adaptatif dynamique, il empêche les points chauds et assure une utilisation équilibrée de la structure.
• Compatibilité ascendante et descendante : Le commutateur est essentiel à une stratégie de migration en douceur. Il est entièrement compatible avec les équipements HDR (200 Gbit/s) et EDR (100 Gbit/s) existants, ce qui permet des mises à niveau progressives. La consultation des spécifications 920-9B210-00FN-0D0 détaillées est cruciale pour la planification de la connectivité des ports et des types de câbles.

Le déploiement initial doit suivre une approche modulaire « pod ». Un pod de départ typique pourrait utiliser deux commutateurs 920-9B210-00FN-0D0 dans un rôle de spine pour la redondance, connectés à plusieurs commutateurs leaf HDR ou NDR prenant en charge plusieurs dizaines de nœuds de calcul.

Topologie recommandée pour des performances optimales : Une topologie Clos (Fat-Tree) non bloquante à deux niveaux. Le nombre de commutateurs spine (unités 920-9B210-00FN-0D0) est déterminé par le nombre de liaisons montantes de chaque commutateur leaf et le ratio de sursouscription souhaité (idéalement 1:1 pour HPC/IA).

• Mise à l'échelle : Pour mettre à l'échelle le cluster, ajoutez d'autres commutateurs leaf et ajoutez proportionnellement plus d'unités spine 920-9B210-00FN-0D0 pour maintenir le ratio non bloquant. L'adressage et le routage de la structure s'adaptent de manière transparente sous la gestion UFM®.
• Montée en charge : Les nœuds individuels peuvent être mis à niveau vers des NIC NDR, tirant immédiatement parti de la bande passante complète de 400 Gbit/s vers le spine. La nature compatible du commutateur prend en charge cet environnement hétérogène.
• Câblage et alimentation : La planification du déploiement doit tenir compte des câbles optiques compatibles NDR (par exemple, OSFP). Les spécifications 920-9B210-00FN-0D0 fournissent les données exactes de consommation d'énergie et thermiques pour une conception précise de l'alimentation et du refroidissement du centre de données.

Lorsque cette solution est disponible à la vente, il est conseillé de faire appel à des partenaires certifiés pour modéliser le prix 920-9B210-00FN-0D0 et la quantité corrects pour votre plan de mise à l'échelle spécifique.

L'excellence opérationnelle est atteinte grâce à la plateforme NVIDIA UFM®. Elle fournit une gestion complète du cycle de vie pour l'ensemble de la structure, y compris chaque commutateur 920-9B210-00FN-0D0.

• Surveillance proactive : UFM® offre une télémétrie en temps réel sur l'état du commutateur, l'utilisation des ports, la température, les compteurs d'erreurs et une analyse approfondie des modèles de trafic au niveau de l'application, y compris les matrices de communication MPI et RDMA.
• Gestion automatisée de la structure : De la mise en service initiale et de la validation des câbles aux mises à jour du micrologiciel et aux sauvegardes de configuration, UFM® automatise les tâches de routine, réduisant les erreurs humaines et les frais d'exploitation.
• Dépannage : Des outils avancés peuvent identifier les anomalies de performance, identifier les flux défectueux causant la congestion et visualiser la topologie de la structure pour isoler rapidement les liaisons ou les composants défaillants.
• Optimisation continue : Tirez parti des informations UFM® pour dimensionner correctement les charges de travail, valider que les performances correspondent aux attentes de la fiche technique et planifier les futures mises à niveau de capacité. L'examen régulier des mesures de congestion et de latence est essentiel pour maintenir des performances de pointe de la structure.

Le déploiement d'une architecture de structure centrée sur le commutateur InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 offre un avantage concurrentiel fondamental pour les organisations qui dépendent de l'informatique haute performance. Cette solution technique offre une valeur quantifiable sur plusieurs dimensions :

En résumé, le 920-9B210-00FN-0D0 n'est pas simplement un composant, mais le catalyseur d'une infrastructure convergée et performante. Il transforme le réseau d'une responsabilité potentielle en un atout stratégique qui libère pleinement la puissance des clusters informatiques modernes.