NVIDIA Mellanox 920-9B110-00FH-0D0 Solution technique de commutateur à bande Infini

Solution technique du commutateur InfiniBand NVIDIA Mellanox 920-9B110-00FH-0D0 | Optimisation de l'interconnexion à faible latence pour les clusters RDMA, HPC et IA

Contexte du projet et analyse des exigences

Les centres de données modernes prenant en charge l'entraînement IA, la simulation HPC et le stockage distribué sont confrontés à une double pression sur la bande passante et la latence au niveau du réseau. La densité des nœuds GPU ne cesse d'augmenter, tandis que la latence de queue et la gigue de la communication inter-nœuds deviennent le facteur limitant de l'efficacité globale du cluster. Pour de nombreuses organisations, la question pratique n'est pas de savoir s'il faut adopter le NDR 400 Gb/s, mais comment construire une infrastructure HDR éprouvée et rentable qui offre toujours des performances déterministes.

Les exigences typiques d'un tel projet comprennent un transport RDMA à faible latence, un comportement de tissu sans perte, la compatibilité ascendante avec l'infrastructure EDR et FDR existante, et un chemin d'évolutivité clair. Le NVIDIA Mellanox 920-9B110-00FH-0D0 est positionné pour répondre à ces exigences en tant que commutateur InfiniBand HDR 200 Gb/s de la famille NVIDIA Quantum.

Conception globale de l'architecture réseau et système

L'architecture recommandée est une infrastructure InfiniBand spine-leaf à deux niveaux construite sur des liaisons HDR 200 Gb/s. Les commutateurs leaf connectent les nœuds de calcul, les cibles de stockage et les serveurs de gestion, tandis que les commutateurs spine assurent la connectivité inter-leaf et la diversité des chemins. Cette conception maintient un faible nombre de sauts et garantit une bande passante non bloquante pour le trafic est-ouest, qui domine les charges de travail HPC et IA.

Au niveau des points d'extrémité, les cartes d'interface hôte fonctionnent en mode RDMA, permettant des transferts mémoire à mémoire sans intervention du processeur. L'infrastructure gère le contrôle de la congestion, le routage adaptatif et l'accélération collective. Le trafic de gestion et de télémétrie partage la même infrastructure physique mais est isolé par des politiques QoS afin que la surveillance n'interfère pas avec les charges de travail de production.

Les principes de conception clés comprennent :

• Topologie plate pour minimiser la latence et simplifier le dépannage
• Liens non bloquants ou à faible surabonnement entre les niveaux
• HDR cohérent de bout en bout, avec compatibilité ascendante EDR/FDR si nécessaire
• Chemins redondants pour une haute disponibilité et un équilibrage de charge
• Gestion InfiniBand standard pour la cohérence opérationnelle

Rôle et caractéristiques clés du NVIDIA Mellanox 920-9B110-00FH-0D0

Le NVIDIA Mellanox 920-9B110-00FH-0D0 sert de bloc de construction principal de cette infrastructure. En tant que plateforme MQM8790-HS2F 920-9B110-00FH-0D0 200 Gb/s HDR, il fournit 40 ports QSFP56 et une capacité de commutation non bloquante de 16 Tb/s dans un format 1U. Cette densité prend en charge les rôles de leaf à haute radix et simplifie le câblage dans les racks denses.

Pour les équipes examinant les spécifications du 920-9B110-00FH-0D0, le commutateur prend en charge RDMA, MPI et NVIDIA SHARP pour la décharge des opérations collectives. Le contrôle de congestion avancé et le routage adaptatif ciblent les problèmes de latence de queue et d'incast courants dans l'entraînement IA et les charges de travail MPI. L'OPN du commutateur InfiniBand 920-9B110-00FH-0D0 s'intègre également aux outils de gestion InfiniBand standard, réduisant la courbe d'apprentissage opérationnel.

Lors de la planification d'une solution OPN de commutateur InfiniBand 920-9B110-00FH-0D0, les architectes doivent confirmer les composants compatibles 920-9B110-00FH-0D0, y compris les câbles QSFP56, les cartes d'interface hôte et les versions de firmware. L'examen de la fiche technique du 920-9B110-00FH-0D0 tôt dans la phase de conception permet de valider les exigences d'alimentation, de refroidissement et d'espace rack avant l'achat.

Recommandations de déploiement et d'évolutivité

Un déploiement typique commence par un pod pilote de 32 à 64 nœuds de calcul connectés à une paire de commutateurs leaf 920-9B110-00FH-0D0. La connectivité spine est ajoutée à mesure que le cluster grandit, maintenant une bande passante non bloquante entre les leaves. Cette approche incrémentielle permet de valider la latence et le débit avant un déploiement à grande échelle.

Pour l'évolutivité, maintenez l'infrastructure symétrique : ajoutez de la capacité leaf et spine par incréments correspondants afin que les ratios de surabonnement restent prévisibles. La gestion des câbles et l'étiquetage des ports doivent être standardisés dès le départ, car les déploiements QSFP56 à haute densité deviennent difficiles à maintenir si la disposition physique est incohérente.

Le tableau ci-dessous résume une considération de conception typique à deux niveaux :

Opérations, surveillance, dépannage et optimisation

Le succès opérationnel dépend de la visibilité. Les infrastructures InfiniBand fournissent des compteurs pour les erreurs de liaison, les événements de congestion et l'utilisation des tampons. Ceux-ci doivent être collectés en continu et corrélés avec les données du planificateur de tâches, afin que les régressions de performance puissent être attribuées à des segments spécifiques de l'infrastructure plutôt qu'à des suppositions.

Les scénarios de dépannage courants incluent les blocages de crédits, la mauvaise configuration de la QoS et les incompatibilités de firmware entre les commutateurs et les adaptateurs. Une liste de contrôle structurée — vérifier la vitesse de la liaison, examiner les compteurs d'erreurs, confirmer la politique de routage, inspecter la télémétrie de congestion — peut réduire le temps moyen de résolution. Les efforts d'optimisation doivent se concentrer sur la latence de queue plutôt que sur le débit moyen, car les charges de travail HPC et IA sont sensibles aux comportements dans le pire des cas.

Pour la planification des achats et du cycle de vie, les équipes comparent souvent le prix du 920-9B110-00FH-0D0 et les options de 920-9B110-00FH-0D0 à vendre via les canaux autorisés. Le prix dépend de la configuration, du niveau de support et de la région, il est donc recommandé de s'engager tôt avec les distributeurs et les représentants de NVIDIA pour les entreprises.

Résumé et évaluation de la valeur

Le NVIDIA Mellanox 920-9B110-00FH-0D0 fournit une base HDR 200 Gb/s éprouvée pour l'interconnexion des clusters RDMA, HPC et IA. En réduisant les niveaux d'infrastructure, en prenant en charge l'accélération collective et en permettant un transport sans perte à faible latence, il résout les goulots d'étranglement qui limitent l'efficacité réelle des clusters. Pour les architectes réseau et les ingénieurs avant-vente, il représente un bloc de construction pratique et évolutif pour les infrastructures InfiniBand HDR avec une voie claire vers l'avenir.