Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 Solution technique de commutateur à bande Infini

Ce livre blanc technique fournit aux architectes, ingénieurs de prévente et équipes opérationnelles une conception de référence complète centrée sur lesLe produit est fabriqué à partir d'un matériau d'une valeur supérieure ou égale à la valeur nominale de l'appareilLa solution répond aux défis les plus pressants dans les environnements modernes d'IA et de HPC: latence induite par le réseau, congestion,et les limites d'évolutivité des tissus Ethernet traditionnels.

1. Analyse des antécédents et des besoins du projet

Les organisations déployant des grappes GPU à grande échelle pour la formation de modèles de langage de grande taille, les simulations de dynamique moléculaire ou les prévisions météorologiques sont confrontées à un goulot d'étranglement commun: le tissu d'interconnexion.L'Ethernet à perte conventionnel ne peut garantir la, une latence inférieure à une microseconde est requise pour des opérations collectives efficaces all-reduce et all-to-all.

• La latence de bout en bout inférieure à 1 μs pour les charges de travail MPI sensibles à la latence
• Perte sans débit de ligne de 400 Gb/s par port sans blocage de la tête de ligne
• L'informatique en réseau pour décharger les opérations collectives des processeurs hôtes
• Évolutivité transparente de 8 à plus de 2 000 nœuds GPU sans re-architecture du tissu

Ces exigences ont conduit notre équipe de conception à sélectionnerLes produits de la catégorie 1 peuvent être utilisés pour les produits de la catégorie 1 ou 2.comme le bloc de base pour la prochaine génération de tissu à faible latence.

2. Conception globale de l'architecture réseau/système

L'architecture proposée adopte une topologie à deux niveaux, optimisée pour une bande passante non bloquante et à bisection complète.les hôtes de gestion) se connectent aux commutateurs de feuilleCette conception élimine le surabonnement et assure une latence prévisible indépendamment des modèles de communication.

Pour un cluster de référence 512-GPU, nous déployons 16 commutateurs de feuille et 8 commutateurs de colonne vertébrale, chacun étant leNVIDIA Mellanox 920-9B210-00FN-0D0Les liaisons feuille-colonne vertébrale fonctionnent à 400 Gb/s NDR, ce qui donne une bande passante de tissu globale supérieure à 200 Tb/s.Des algorithmes de routage adaptatif (AR) et de contrôle de la congestion sont activés dans tous les ports pour équilibrer dynamiquement le trafic et éviter les points chauds lors d'événements incast.

3. Rôle du 920-9B210-00FN-0D0 et des différentiateurs clés

LeLe système de détection de la pollution par le gaz est utilisé pour la détection de la pollution par le gaz.L'interrupteur sert à la fois de feuille et d'épine dorsale, fournissant des performances cohérentes sur l'ensemble du tissu.

Les ingénieurs qui évaluent les marchés trouveront920-9B210-00FN-0D0 InfiniBand commutateur OPNPour la validation de l'interopérabilité, leLe nombre de points de contrôle doit être le même que le nombre de points de contrôle.etLes spécifications 920-9B210-00FN-0D0fournir des matrices de compatibilité détaillées avec les DPU ConnectX-7, BlueField-3 et les appareils de stockage tiers.

4Recommandations pour le déploiement et la mise à l'échelle

Nous recommandons une approche de déploiement par étapes pour minimiser les perturbations de production:

• Phase 1 (pilote):8 à 16 nœuds GPU + 2Les produits de la catégorie 1 peuvent être utilisés pour les produits de la catégorie 1 ou 2.les commutateurs (topologie à rail unique). Valider les performances RDMA et collecter les métriques de base.
• Phase 2 (production partielle):Évoluer à 128 GPUs en utilisant 4 feuilles + 2 spines.
• Phase 3 (production complète):Déployer 16 feuilles + 8 spines pour 512+ GPU. Introduire le routage multi-pistes et la partition de tissu en utilisant NVIDIA UFM.

Pour le câblage, utilisez des câbles optiques actifs (AOC) ou des câbles en cuivre actifs pour des distances inférieures à 5 mètres; pour des spines plus longues ou des liaisons transversales, déployez des émetteurs-récepteurs NDR de 400 Gb/s avec fibre mono-mode.Tous les ports sur le920-9B210-00FN-0D0 est compatiblel'écosystème prend en charge la négociation automatique entre les modes de fonctionnement de 400 Gbps et de 200 Gbps.

5. Opérations, surveillance et dépannage

La préparation à la production nécessite une observabilité solide.920-9B210-00FN-0D0 InfiniBand commutateur OPN solutionLes principales capacités opérationnelles incluent:

• Télémétrie en temps réel:Les compteurs de port, les histogrammes de latence, l'occupation du tampon et les notifications de congestion exportés via Prometheus/Graphite.
• Transition automatique par défaut:Rediriger la liaison sous-seconde en cas de panne du câble ou du récepteur.
• Diagnostique des performances:Compteurs de performance SHARP intégrés et outils d'analyseur de tissu pour identifier les nœuds à drainage lent.

Pour les questions communes, voir leLe nombre de points de contrôle doit être le même que le nombre de points de contrôle.Pour les codes d'erreur et les mesures correctives suggérées, consultez le920-9B210-00FN-0D0 prixles modèles de compromis entre l'expansion des feuilles uniquement et celle de la colonne vertébrale complète.

6. Résumé et évaluation de la valeur

LeNVIDIA Mellanox 920-9B210-00FN-0D0La solution basée sur RDMA offre une latence déterministe de moins d'une microseconde, un débit sans perte de 400 Gb/s et une accélération de calcul en réseau pour les grappes RDMA/HPC/IA.Comparé aux conceptions Ethernet alternatives de 400 Gb, ce tissu InfiniBand permet de réduire de 2,5 fois la latence totale et élimine jusqu'à 90% du trafic collectif via SHARPv3.920-9B210-00FN-0D0 à vendreEn ce qui concerne les options, le coût total de possession est généralement récupéré dans un délai de 6 à 12 mois grâce à une utilisation accrue du GPU et à des délais de réalisation réduits.Nous recommandons un déploiement pilote immédiat pour toute nouvelle ou élargissant l' IA infrastructure.