Mellanox 920-9B210-00FN-0D0 InfiniBand Switch. RDMA, HPC et AI Optimisation de l'interconnexion en grappes à faible latence

À mesure que les modèles d'intelligence artificielle gagnent en complexité, les clusters de GPU et les environnements de calcul haute performance (HPC) dépendent de plus en plus d'une communication efficace entre les nœuds de calcul. La bande passante du réseau, la latence et la gestion de la congestion sont devenus des facteurs critiques affectant les performances des charges de travail distribuées. Le commutateur InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 fournit une base de réseau haute densité pour ces applications exigeantes.

Alimenté par la technologie NVIDIA Quantum-2, le QM9790 offre 64 ports NDR fonctionnant jusqu'à 400 Gb/s, avec une capacité de commutation bidirectionnelle agrégée allant jusqu'à 51,2 Tb/s. Cet article examine un scénario de déploiement représentatif d'IA et de HPC multi-racks, en soulignant comment le 920-9B210-00FN-0D0 peut aider les organisations à optimiser la communication RDMA, à améliorer l'évolutivité du tissu et à réduire les limitations de performance liées au réseau.

01. Contexte et défis : Goulots d'étranglement du réseau dans les clusters d'IA et de HPC

Considérez un centre de données exploitant plusieurs racks de serveurs GPU pour l'entraînement de grands modèles linguistiques, des simulations scientifiques et le traitement distribué de données. À mesure que des nœuds de calcul supplémentaires sont déployés, le volume de trafic généré par la communication collective, la synchronisation des paramètres et l'accès aux données à distance augmente considérablement.

Bien que les GPU modernes offrent des capacités de calcul substantielles, une performance d'interconnexion insuffisante peut empêcher les applications d'utiliser pleinement les ressources disponibles. Dans cet environnement, les architectes réseau rencontrent généralement plusieurs défis importants :

• Limitations de bande passante : Les charges de travail GPU à grande échelle nécessitent un échange de données continu, pouvant submerger les interconnexions à faible vitesse.
• Latence de communication : Les opérations de synchronisation fréquentes peuvent augmenter le temps d'attente entre les nœuds de calcul distribués.
• Congestion du réseau : La communication simultanée entre plusieurs serveurs peut créer des points chauds et des performances d'application incohérentes.
• Défis d'évolutivité : L'expansion de la taille du cluster nécessite une planification minutieuse de la capacité des commutateurs, de la topologie du réseau et de l'infrastructure de câblage.
• Complexité opérationnelle : Le maintien d'une gestion fiable du tissu, d'une visibilité des défauts et de la cohérence de la configuration devient de plus en plus important.

Ces défis démontrent pourquoi les réseaux InfiniBand à haute vitesse restent importants pour les charges de travail de calcul étroitement couplées. La solution 920-9B210-00FN-0D0 InfiniBand switch OPN fournit les capacités matérielles nécessaires pour construire des architectures d'interconnexion à large bande passante et à faible latence.

02. Architecture de la solution : Déploiement du commutateur InfiniBand NVIDIA Quantum-2 NDR

Le commutateur 920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/s NDR est conçu pour les tissus de calcul haute performance nécessitant une bande passante substantielle et une communication efficace. Doté de 32 connecteurs OSFP physiques offrant 64 ports NDR, le système 1U prend en charge des interconnexions denses entre les serveurs GPU, les commutateurs réseau et d'autres périphériques InfiniBand.

Dans une implémentation multi-racks représentative, les commutateurs QM9790 peuvent être positionnés au sein d'une topologie InfiniBand leaf-spine. Les serveurs GPU équipés d'adaptateurs NVIDIA ConnectX compatibles se connectent aux commutateurs leaf, tandis que les commutateurs spine fournissent la connectivité entre les racks. Le nombre de commutateurs, d'uplinks et de niveaux réseau dépend de la taille du cluster, des exigences de bande passante et du ratio de surabonnement sélectionné.

Communication de données RDMA et à faible latence

L'accès direct à la mémoire à distance (RDMA) permet aux systèmes de calcul compatibles de transférer des données directement entre des régions de mémoire enregistrées avec une implication réduite du processeur. Dans les environnements GPU distribués, cela peut aider à réduire la surcharge de communication et à améliorer l'efficacité du mouvement des données par rapport aux chemins réseau conventionnels intensifs en logiciel.

Le tissu InfiniBand Quantum-2 prend en charge la communication basée sur RDMA et des capacités réseau avancées, y compris le routage adaptatif, le contrôle de la congestion et le calcul en réseau NVIDIA SHARP. Lorsqu'elles sont correctement configurées et prises en charge par la pile logicielle, ces technologies peuvent aider à optimiser les opérations collectives, à réduire les retards liés à la congestion et à améliorer l'utilisation des ressources réseau.

Gestion du tissu et planification de la compatibilité

Le QM9790 est un commutateur InfiniBand géré extérieurement, contrairement au QM9700 géré intérieurement. Le déploiement nécessite donc une gestion appropriée du sous-réseau externe et une surveillance opérationnelle. NVIDIA Unified Fabric Manager (UFM) peut être intégré là où il est pris en charge pour fournir une visibilité centralisée du tissu et des fonctions de gestion.

Les ingénieurs évaluant les adaptateurs et les composants d'interconnexion compatibles 920-9B210-00FN-0D0 doivent confirmer les capacités de l'adaptateur hôte, l'interopérabilité du firmware, les câbles approuvés et les configurations de connecteurs. Le modèle 920-9B210-00FN-0D0 correspond à la configuration à flux d'air avant, alimentation vers connecteur (P2C), qui doit également correspondre à la conception du refroidissement du centre de données.

03. Résultats attendus et avantages opérationnels

Après la mise en œuvre d'un réseau InfiniBand NDR correctement conçu, les organisations peuvent viser des améliorations de l'efficacité de la communication, de l'utilisation des ressources et de l'évolutivité du tissu. Les gains de performance réels dépendent des caractéristiques de la charge de travail, du matériel serveur, de la topologie du réseau, de la configuration logicielle et des goulots d'étranglement du réseau d'origine.

Pour une évaluation objective des performances, les ingénieurs réseau doivent établir une base de référence avant la migration et effectuer des tests contrôlés après le déploiement. Les outils de validation utiles comprennent les utilitaires de performance InfiniBand, les tests NCCL et les benchmarks d'applications basés sur MPI.

Les mesures recommandées comprennent le débit effectif, la latence point à point, les performances de communication collective, les compteurs d'erreurs de liaison, les indicateurs de congestion et le temps d'achèvement de la charge de travail de bout en bout. La comparaison des latences P50, P95 et P99 dans des conditions de charge représentatives peut également aider à identifier les problèmes de cohérence des performances que les valeurs moyennes peuvent masquer.

Plutôt que de supposer des améliorations en pourcentage fixes, l'objectif est de déterminer si le réseau mis à niveau réduit les goulots d'étranglement de communication mesurables et permet aux ressources de calcul de fonctionner plus efficacement dans des charges de travail de production réelles.

04. Spécifications techniques et sélection de produits

Le commutateur NVIDIA Mellanox 920-9B210-00FN-0D0 appartient à la famille NVIDIA Quantum-2 QM9790. Les spécifications suivantes fournissent une référence pour la conception de l'infrastructure et l'approvisionnement des produits.

Lors de la consultation de la fiche technique 920-9B210-00FN-0D0 ou de la comparaison des options de déploiement, les équipes informatiques doivent évaluer la solution complète plutôt que la seule capacité du commutateur. La conception du câblage, la compatibilité des adaptateurs, la gestion du sous-réseau externe, le flux d'air du rack et l'expansion future du cluster doivent être pris en compte ensemble.

05. Conclusion et perspectives d'avenir

Le commutateur 920-9B210-00FN-0D0 MQM9790-NS2F 400 Gb/s NDR fournit une base solide pour les organisations cherchant à moderniser leur infrastructure réseau d'IA et de HPC. En combinant une connectivité InfiniBand à haute vitesse avec les capacités réseau avancées de Quantum-2, il prend en charge une communication RDMA efficace et des architectures de calcul distribué évolutives.

À mesure que les modèles d'IA deviennent plus grands et que les clusters de GPU s'étendent sur davantage de nœuds de calcul, l'optimisation coordonnée du matériel réseau, de la gestion du tissu et de la communication logicielle restera essentielle. La solution 920-9B210-00FN-0D0 InfiniBand switch OPN solution offre un bloc de construction pratique pour des conceptions d'interconnexion haute performance et à faible latence qui peuvent évoluer avec les exigences changeantes des charges de travail.