NVIDIA Mellanox 920-9B110-00FH-0D0 Référence technique: Interconnexion optimisée à faible latence pour RDMA/HPC/AI

NVIDIA Mellanox 920-9B110-00FH-0D0 Référence technique: Interconnexion à faible latence optimisée pour les grappes RDMA/HPC/AI à 200 Gb/s HDR

1. Analyse des antécédents et des besoins du projet

Comme les clusters HPC et IA continuent de s'amplifier, les charges de travail de formation distribuée et de simulation scientifique exigent une bande passante, une latence et une évolutivité de réseau de plus en plus strictes. not every cluster requires 400Gb/s NDR infrastructure—a significant number of production environments are already standardized on 200Gb/s HDR and seek performance improvements within a controlled budgetLes exigences typiques comprennent:

• Déterminisme à faible latence:La communication collective MPI doit être soutenue par un retard de port à port inférieur à une microseconde, ce qui empêche la latence de la queue d'affecter la convergence de la formation.
• Tissu sans perte:Le paquet zéro tombe sous congestion pour assurer l'efficacité de RDMA et éviter l'effondrement des performances.
• Décharge de calcul en réseau:Déchargement d'opérations collectives telles que All-Reduce sur le tissu réseau pour libérer les ressources CPU/GPU de l'hôte.
• Évolutivité en douceur:Prise en charge de l'expansion sans blocage de centaines à des milliers de nœuds, avec compatibilité pour les câbles HDR existants et les émetteurs-récepteurs optiques.

Pour répondre à ces exigences, cette solution adopte laNVIDIA Mellanox 920-9B110-00FH-0D0en tant que bloc de construction de base d'un commutateur HDR InfiniBand de 200 Gb/s qui équilibre les performances, la densité et le rapport coût-efficacité pour les déploiements de moyenne à grande échelle.

2. Conception globale de l'architecture du réseau

La solution proposée utilise une topologie à deux niveaux de feuille-colonne vertébrale, qui fournit un tissu évolutif et non bloquant avec une latence prévisible et un câblage simplifié.chaque rack de calcul est équipé d'un920-9B110-00FH-0D0 InfiniBand commutateur OPN(Nombre de pièce de commande), offrant 40 ports de connectivité HDR de 200 Gb/s aux serveurs GPU via des câbles actifs en cuivre (DAC) ou optiques actifs (AOC) OSFP-OSFP.un deuxième niveau de commutateurs MQM8790-HS2F920-9B110-00FH-0D0 MQM8790-HS2F 200 Gb/s HDR¢interconnecte tous les interrupteurs de feuilles, créant ainsi un tissu d'arbre à graisse à large bande de bisection complète.

Pour les grands clusters de plus de 1 500 nœuds, une architecture à trois niveaux de clôture pliée peut être mise en œuvre,avec le 920-9B110-00FH-0D0 servant à la fois de feuille et de colonne vertébrale pour maintenir une performance constante à tous les niveauxLe tableau suivant résume les principaux paramètres de mise à l'échelle pour un tissu HDR à deux niveaux construit autour de ce commutateur:

3. Rôle et caractéristiques clés du NVIDIA Mellanox 920-9B110-00FH-0D0

Au sein de cette architecture, leNVIDIA Mellanox 920-9B110-00FH-0D0sert d'élément de commutation fondamental, fournissant plusieurs capacités critiques:

• 40 ports de 200 Gb/s HDR:Chaque port OSFP prend en charge les 200Gb/s bidirectionnels avec correction d'erreur avant (FEC) pour une connectivité de portée étendue fiable.
• SHARPv2 intégré (Protocole d'agrégation et de réduction hiérarchique évolutif):Décharge les opérations de communication collective, réduisant la latence MPI All-Reduce jusqu'à 30% dans les charges de travail HPC typiques.
• Routage adaptatif et contrôle de la congestion:Réoriente dynamiquement le trafic pour éviter les points chauds, assurant des performances prévisibles dans des conditions de trafic adverses.
• Télémétrie avancée:Les compteurs par débit et par port, ainsi que la surveillance de l'occupation des tampons, fournissent une visibilité approfondie sur la santé des tissus.

Selon leLes données de l'établissement doivent être fournies à l'autorité compétente de l'État membre où le véhicule est situé., le commutateur offre une latence de coupure inférieure à 200 ns et supporte jusqu'à 8,0 Tb/s de capacité de commutation globale.Les spécifications 920-9B110-00FH-0D0mettre également en évidence les deux sources d'alimentation redondantes et les modules de ventilation interchangeables à chaud, garantissant une disponibilité de 99,999% pour les charges de travail critiques.

4Recommandations pour le déploiement et l'évolutivité

Pour les organisations qui envisagent d'adopter le920-9B110-00FH-0D0 InfiniBand commutateur OPN solution, les lignes directrices de déploiement suivantes sont recommandées:

• Stratégie de câblage:Utilisez des câbles OSFP-OSFP DAC pour les connexions intra-rack (jusqu'à 3 m) et des émetteurs-récepteurs AOC ou optiques pour les connexions interrack et spine-leaf (jusqu'à 100 m).Les données de l'établissement doivent être disponibles sur le site Web de l'établissement.par la matrice de compatibilité NVIDIA.
• Remplacement:Utilisez au moins deux interrupteurs par feuille pour éliminer les points de défaillance.
• Gestion du firmware:Assurez-vous que tous les commutateurs fonctionnent avec les mêmes versions de firmware NVIDIA. Utilisez la fonctionnalité de mise à niveau automatique du firmware UFM pour des mises à jour en continu sans temps d'arrêt.
• Chemin de mise à l'échelle:Pour les clusters au-delà de 1 600 nœuds, passer à une topologie clôturée pliée à trois niveaux ou utiliser Dragonfly+ avec routage adaptatif.Le 920-9B110-00FH-0D0 prend en charge jusqu'à 64 commutateurs dans un seul tissu sous un seul gestionnaire de sous-réseau.

Lors du calcul du coût total de possession, prendre en compte le nombre réduit de niveaux d'interrupteur et de câblage simplifié par rapport aux alternatives à radix inférieur.920-9B110-00FH-0D0 prixLe coût par port est nettement inférieur à celui du NDR, ce qui en fait un choix optimal pour les déploiements HDR soucieux des coûts.

5. Opérations, surveillance et dépannage

La gestion efficace d'un tissu HDR nécessite un cadre complet de surveillance et de dépannage.NVIDIA Mellanox 920-9B110-00FH-0D0- à base de tissus, offrant:

• Visualisation de la topologie:Détection automatique et représentation graphique de tous les interrupteurs, liens et terminaux.
• Tableaux de bord des performances:Vue en temps réel de l'utilisation du port, des taux d'erreur et des indicateurs de congestion.
• Alerte préventive:Alarmes basées sur des seuils pour la dégradation des liaisons, les anomalies de température et les pannes d'alimentation.
• Isolement par défaut:Des flux de travail de dépannage guidés qui identifient des câbles, des émetteurs-récepteurs ou des ports de commutation défectueux.

Pour un dépannage avancé, utilisez les outils de diagnostic intégrés du commutateur, y compris les tests en boucle et l'analyse BER (bit error rate),pour valider l'intégrité du lien avant de déployer des charges de travail de productionLes problèmes courants rencontrés dans les premiers déploiements comprennent un routage sous-optimal causé par des vitesses de liaison inégales ou des types de câbles incohérents.L'activation du routage adaptatif et la vérification que toutes les liaisons fonctionnent à 200 Gb/s (avec FEC activé) résolvent la majorité des anomalies de performance. Le920-9B110-00FH-0D0 InfiniBand commutateur OPNIl prend également en charge les configurations redondantes du gestionnaire de sous-réseau, garantissant une reconfiguration du tissu sans intervention manuelle en cas de panne du nœud de gestion.

6. Résumé et évaluation de la valeur

LeLe système de contrôle de l'équipement doit être équipé d'un système de contrôle de l'équipement.fournit une proposition de valeur convaincante pour les organisations qui construisent ou développent des grappes HPC et IA basées sur le HDR. Il fournit 40 ports de HDR 200Gb/s avec une latence inférieure à 200ns, déchargement SHARPv2,La mise en place d'une plate-forme 1U efficace et rentableParmi les points clés, on peut citer:

• Résultats:Jusqu'à 35% de réduction des délais de réalisation des travaux pour les charges de travail à forte intensité de communication grâce au déchargement SHARPv2 et au routage adaptatif.
• Efficacité des coûts:Un TCO inférieur par rapport aux alternatives NDR, avec des coûts par port optimisés pour les déploiements à l'échelle HDR.
• Simplicité de fonctionnement:Intégration approfondie avec l'UFM pour une gestion unifiée, une surveillance proactive et un basculement automatique.
• Protection des investissements:Compatibilité complète avec les câbles HDR, les optiques et les logiciels existants, permettant des mises à niveau par étapes sans perturber la production.

Pour les organisations qui évaluent les920-9B110-00FH-0D0 à vendrePar l'intermédiaire des partenaires de NVIDIA, nous vous recommandons d'examiner les détailsLes données de l'établissement doivent être fournies à l'autorité compétente de l'État membre où le véhicule est situé.La conception de la solution est basée sur la conception d'un modèle de conception, et sur la collaboration avec un architecte de solution certifié pour valider la conception pour vos exigences spécifiques de charge de travail et d'échelle.NVIDIA Mellanox 920-9B110-00FH-0D0est aujourd'hui prête à la production, offrant une base d'interconnexion équilibrée et haute performance pour la prochaine génération d'innovation en HPC et IA.