NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Solution technique

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Solution technique pour l'optimisation des interconnexions à faible latence pour les grappes RDMA, HPC et IA

Analyse des antécédents et des besoins du projet

Les centres de données modernes prenant en charge la formation des grands modèles d'IA, la simulation HPC et le stockage distribué migrent rapidement de 200 Gb/s HDR à 400 Gb/s NDR.La tension de base pour les architectes de réseau est que la densité des nœuds GPU continue d'augmenter, tandis que la latence de communication entre les nœuds et le jitter deviennent le facteur limitant de l'efficacité du cluster.Un seul saut encombré ou une couche de tissu mal configurée peut réduire l'utilisation efficace du GPU sur des centaines de nœuds.

Les exigences typiques pour un tel projet comprennent une faible latence déterministe pour les opérations collectives, un transport sans perte pour RDMA et NVMe sur Fabrics, un radix élevé pour maintenir le tissu plat,et une voie de mise à niveau claire qui protège les investissements existantsLe NVIDIA Mellanox MQM9790-NS2F est positionné pour répondre à ces exigences en tant que commutateur NDR InfiniBand 400Gb/s au sein de la famille Quantum-2.

Conception globale de l'architecture réseau et système

L'architecture recommandée est un tissu InfiniBand à deux niveaux basé entièrement sur des liaisons NDR.tandis que les commutateurs de la colonne vertébrale fournissent la connectivité entre les feuilles et la diversité des cheminsCette conception maintient le nombre de sauts bas et assure une bande passante non-bloquant pour le trafic est-ouest, qui domine les charges de travail IA et HPC.

À la couche de point final, les adaptateurs de canaux hôtes fonctionnent en mode RDMA, permettant des transferts de mémoire à mémoire sans intervention du processeur.et accélération collectiveLe trafic de gestion et de télémétrie partage la même infrastructure physique mais est isolé par des politiques de qualité de service, de sorte que la surveillance n'interfère pas avec les charges de travail de production.

Les principes de conception clés sont les suivants:

• Topologie plate pour minimiser la latence et simplifier le dépannage
• Liens non bloquants ou à faible surabonnement entre niveaux
• RND cohérent de bout en bout pour éviter les goulets d'étranglement liés à la production mixte
• Pistes redondantes pour une disponibilité élevée et un équilibrage de la charge
• Gestion standard InfiniBand pour une cohérence opérationnelle

Rôle et caractéristiques clés du NVIDIA Mellanox MQM9790-NS2F

Le NVIDIA Mellanox MQM9790-NS2F sert de bloc de construction de ce tissu.permettant aux architectes de concevoir un réseau plus plat avec moins de niveauxChaque port OSFP peut fonctionner à la vitesse NDR, et la configuration de 64 ports prend en charge les rôles de feuille et de colonne vertébrale à radix élevé.

Pour les équipes examinant les spécifications MQM9790-NS2F, la plateforme prend en charge NVIDIA SHARPv3 pour l'accélération collective, le contrôle avancé de la congestion et le routage adaptatif.Ces fonctionnalités ciblent directement les problèmes de latence de queue et d'incast communs à la formation en IA et aux charges de travail MPILe commutateur MQM9790-NS2F InfiniBand s'intègre également aux outils de gestion standard InfiniBand, ce qui réduit la courbe d'apprentissage opérationnelle.

Lors de la planification d'une solution de commutateur MQM9790-NS2F InfiniBand, les architectes doivent confirmer les composants compatibles MQM9790-NS2F, y compris les câbles OSFP, les adaptateurs de canaux hôtes et les versions du micrologiciel.L'examen de la fiche de données MQM9790-NS2F au début de la phase de conception aide à valider la puissance, de refroidissement et de l'espace de stockage avant l'approvisionnement.

Recommandations de déploiement et de mise à l'échelle

Un déploiement typique commence par un module pilote de 32 à 64 nœuds GPU connectés à une paire de commutateurs MQM9790-NS2F.en utilisant des unités MQM9790-NS2F supplémentaires pour maintenir une bande passante non bloquanteCette approche incrémentielle permet de valider la latence et le débit avant le déploiement à grande échelle.

Pour la mise à l'échelle, la pratique recommandée est de maintenir la symétrie du tissu: ajouter la capacité de feuille et de colonne vertébrale en incréments correspondants afin que les ratios de surabonnement restent prévisibles.La gestion des câbles et l'étiquetage des ports devraient être normalisés dès le départ, car les déploiements OSFP à haute densité peuvent devenir difficiles à maintenir si la disposition physique est incohérente.

Le tableau ci-dessous résume une considération de conception représentative à deux niveaux:

Opérations, surveillance, dépannage et optimisation

Le succès opérationnel dépend de la visibilité. Les tissus InfiniBand fournissent des compteurs pour les erreurs de liaison, les événements de congestion et l'utilisation du tampon.Ces données doivent être collectées en continu et liées aux données du planificateur de tâches., de sorte que les régressions de performance peuvent être attribuées à des segments de tissu spécifiques plutôt que devinées.

Les scénarios de dépannage courants incluent des stands de crédit, une QoS mal configurée et des incompatibilités de micrologiciel entre les commutateurs et les adaptateurs.confirmer la politique de routageLes efforts d'optimisation devraient se concentrer sur la latence de la queue plutôt que sur le débit moyen.puisque les charges de travail IA et HPC sont sensibles au pire des cas.

Pour l'approvisionnement et la planification du cycle de vie, les équipes comparent souvent le prix MQM9790-NS2F et les options de vente MQM9790-NS2F sur les canaux autorisés.et région, il est donc recommandé d'engager un engagement précoce avec les distributeurs et les représentants de l'entreprise NVIDIA.

Le NVIDIA Mellanox MQM9790-NS2F fournit une base NDR à haut radix, 400Gb / s pour l'interconnexion de cluster RDMA, HPC et AI. En réduisant les niveaux de tissu, en supportant l'accélération collective,et permettant un transport sans perte à faible latencePour les architectes de réseaux et les ingénieurs de prévente, le système de gestion de réseau est un outil de gestion des performances.Il représente un bloc de construction pratique et évolutif pour les tissus InfiniBand de nouvelle génération..