Le commutateur InfiniBand NVIDIA Mellanox MQM8790-HS2F en pratique

NVIDIA Mellanox MQM8790-HS2F Commutateur InfiniBand en pratique. Optimisation des interconnexions à faible latence pour les grappes RDMA/HPC/AI

Contexte et défi: Le goulot d'étranglement de la latence dans les grappes d'IA et de HPC à grande échelle

Alors que les grappes de formation d'IA évoluent vers des milliers de GPU et que les systèmes HPC poussent vers des performances à exascale, le tissu réseau reliant les nœuds de calcul est devenu un déterminant de performance critique.Dans ces milieux, la latence n'est pas seulement une mesure elle a un impact direct sur les performances des applications, le temps de résolution et l'efficacité globale du cluster.Pour les charges de travail qui reposent fortement sur les opérations collectives MPI (Message Passing Interface) et les modèles de communication tout-à-toutLes réseaux ethernet traditionnels, comme les réseaux Ethernet, permettent d'accélérer la mise en œuvre de la technologie de l'information et de la communication.même avec RDMA sur Ethernet convergé (RoCE), ont souvent du mal à fournir la faible latence déterministe requise par ces applications exigeantes.

Ce défi a été récemment relevé par un laboratoire national de recherche déployant un groupe HPC de 2 000 nœuds pour la modélisation climatique et la recherche sur l'IA.Le cluster nécessitait une connectivité de 200 Gb/s avec une latence inférieure à 100 nanosecondes pour prendre en charge à la fois les charges de travail HPC basées sur MPI et la formation distribuée de l'IAL'équipe d'ingénieurs avait besoin d'un commutateur capable de fournir des performances constantes et à faible latence à grande échelle.tout en prenant en charge des fonctionnalités avancées telles que le routage adaptatif et le contrôle de la congestion pour maintenir l'efficacité du tissu dans des conditions de charge variables. LeNVIDIA Mellanox MQM8790-HS2F est une marque américaine de télévision.La solution idéale, proposant 40 ports HDR InfiniBand de 200 Gb/s avec une latence inférieure à 100 nanosecondes et des capacités de calcul en réseau avancées.

Solution et déploiement: Construire un tissu InfiniBand à faible latence

Pour relever les défis liés à la latence et à l'évolutivité, le laboratoire a déployé leNVIDIA Mellanox MQM8790-HS2F est une marque américaine de télévision.Il s'agit d'un outil qui permet d'identifier les éléments de base d'une architecture de tissu à feuilles de colonne vertébrale.MQM8790-HS2F Commutateur InfiniBandfournit 40 ports QSFP56, chacun fonctionnant à 200 Gb/s HDR, offrant une capacité de commutation totale de 8 Tb/s avec une latence port-à-port inférieure à 100 nanosecondes.Topologie à 16 feuilles, reliant 2 000 nœuds de calcul équipés chacun d'un adaptateur HDR ConnectX‐6.MQM8790-HS2F 200Gb/s HDR à 40 ports QSFP56Cette configuration a permis à l'équipe de construire un tissu non-bloquant avec une bande passante de bisection complète, garantissant que chaque nœud puisse communiquer avec tous les autres nœuds à la vitesse du fil.

Le déploiement a été réalisé en trois phases clés:

• Conception du tissu:En utilisant leMQM8790-HS2F Solution de commutateur InfiniBand, l'équipe a conçu une topologie spine-leaf où chacun des 16 commutateurs de feuille est connecté à 50 nœuds de calcul (en utilisant une combinaison de connexions directes de 200 Gb/s et de connexions de rupture HDR100 de 100 Gb/s),tandis que 4 commutateurs de la colonne vertébrale fournis connectivité inter-feuille. LeLes produits de la catégorie 1 doivent être présentés dans la catégorie 1 de la présente annexe.Les commutateurs ont été configurés avec le routage adaptatif activé, permettant au tissu de distribuer dynamiquement le trafic sur les chemins disponibles et d'éviter les points de congestion.
• Configuration des fonctionnalités avancées:L'équipe a activé SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) sur les commutateurs MQM8790-HS2F pour décharger les opérations collectives MPI des nœuds de calcul.Cette capacité de calcul en réseau a permis aux commutateurs d'effectuer toutes les opérations de réduction et de diffusion directement, réduisant le nombre de traversées du réseau et la latence globale de la communication collective.
• La mise à jour de performance:La gestion des sous-réseaux a été configurée à l'aide de la plate-forme NVIDIA Unified Fabric Manager (UFM), qui a fourni une visibilité en temps réel sur l'état du tissu, les mesures de latence et les modèles de congestion.L'équipe a ajusté les paramètres de contrôle de la congestion pour optimiser les performances pour le profil de charge de travail mixte HPC et IA.

Parce que leNVIDIA Mellanox MQM8790-HS2F est une marque américaine de télévision.estMQM8790-HS2F est compatibleAvec l'écosystème NVIDIA InfiniBand plus large, y compris les adaptateurs ConnectX‐6 et BlueField‐2, le déploiement a été parfait, sans nécessiter de pilotes personnalisés ni de correctifs de micrologiciel.L'intégration de l'interrupteur avec la plateforme UFM a permis à l'équipe de surveiller les performances du tissu à grande échelle, identifier et résoudre les goulots d'étranglement potentiels avant qu'ils n'aient une incidence sur le temps d'exécution des applications.

Résultats et avantages: améliorations mesurables de la latence et des performances des applications

L'analyse comparative post-déploiement sur le cluster de 2 000 nœuds a révélé des améliorations significatives des performances.La latence moyenne de port à port à travers le tissu a été mesurée à 85 nanosecondes, conformément à la spécification sous 100 nanosecondes documentée dans leFiche de données MQM8790-HS2FCette faible latence s'est traduite directement par des gains de performance des applications: les opérations MPI all-reduce ont été réalisées jusqu'à 35% plus rapidement que le tissu InfiniBand 100Gb/s précédent du laboratoire,En revanche, les emplois de formation à l'IA distribuée (utilisant la communication basée sur NCCL) ont vu les temps d'époque de bout en bout réduits d'environ 28%.

Deuxièmement, la capacité de calcul en réseau SHARP a apporté des avantages de performance substantiels.le cluster a réduit l'utilisation du processeur et du GPU pour les tâches de communication jusqu'à 20%Cette approche a été particulièrement bénéfique pour la formation à l'IA à grande échelle, où la communication collective peut représenter 30 à 40% du temps d'exécution total.

Troisièmement, la fonctionnalité de routage adaptatif s'est avérée essentielle pour maintenir des performances constantes dans des conditions de charge variables.,le routage adaptatif répartit dynamiquement le trafic sur les chemins disponibles, en maintenant une latence moyenne inférieure à 10% de la valeur de référence et en évitant une dégradation des performances due à la congestion.L'équipe a surveillé la santé des tissus à l'aide de la plateforme UFM, qui a fourni des tableaux de bord en temps réel pour suivre la latence, le débit et l'utilisation de la liaison sur les 20 commutateurs.

Quatrièmement, la densité deMQM8790-HS2F 200Gb/s HDR à 40 ports QSFP56Le laboratoire a réduit le nombre de commutateurs nécessaires de 50% par rapport à l'infrastructure InfiniBand de 100 Gb/s précédente,réduire la consommation d'espace de rack et les besoins en énergieChaque MQM8790-HS2F consommait moins de 230 W de puissance typique, contribuant ainsi à une réduction de 20% des coûts de refroidissement de l'infrastructure réseau.

D'un point de vue opérationnel, les capacités de gestion de l'interrupteur ont simplifié l'entretien continu.L'équipe réseau du laboratoire a utilisé les interfaces CLI et Web UI pour effectuer des mises à niveau du micrologiciel et des modifications de configuration sans perturber les opérations du tissu, en tirant parti du support du commutateur pour les mises à niveau sans frappe.Les spécifications MQM8790-HS2Finclure des fonctionnalités de gestion complètes, y compris la surveillance SNMP et l'intégration des journaux système,permettre à l'équipe d'intégrer le tissu dans son cadre de surveillance du centre d'exploitation du réseau (NOC) existant.

Résumé & Perspectives: Un plan pour les tissus InfiniBand à faible latence

L'expérience de déploiement avec leNVIDIA Mellanox MQM8790-HS2F est une marque américaine de télévision.à travers un cluster HPC et IA de 2 000 nœuds démontre clairement qu'un commutateur HDR InfiniBand de 200 Gb/s à 40 ports peut offrir une faible latence, une évolutivité,et des fonctionnalités avancées requises pour les charges de travail exigeantes de recherche et d'entrepriseEn tirant parti de la latence inférieure à 100 nanosecondes du commutateur, du routage adaptatif et des capacités de calcul en réseau SHARP, les organisations peuvent créer des tissus qui accélèrent la communication MPI et IA,réduire le temps de résolution, et améliorer l'efficacité globale des grappes.

À l'avenir, alors que les grappes de formation à l'IA continuent de croître vers plus de 10 000 GPU et que les systèmes HPC évoluent vers l'exascale, la demande de commutateurs InfiniBand à haute densité et à faible latence ne fera qu'augmenter.Le MQM8790-HS2F est bien placé pour cette trajectoire., car sa densité de 40 ports, sa capacité de commutation de 8 Tb/s et sa prise en charge des vitesses HDR200 et HDR100 assurent la compatibilité avec les nœuds de calcul actuels et de nouvelle génération.Pour les organisations prévoyant des déploiements de clusters HPC ou d'IA similaires, l'approche à plusieurs niveaux basée sur la spine-leaf validée dans le cadre de ce déploiement offre une feuille de route pratique: déployer des commutateurs à feuilles MQM8790-HS2F pour la connectivité d'accès,utiliser des commutateurs à colonne vertébrale à densité de port plus élevée (tels que la série QM9700 à 64 ports) pour les tissus de plus grande taille, et de maintenir un cadre de gestion unifié tirant parti de l'UFM pour une optimisation proactive des tissus.

Pour les modèles détaillés de conception de tissus, les guides de réglage des performances et les listes de contrôle de déploiement, consultez leFiche de données MQM8790-HS2Fet la documentation de l'architecture InfiniBand de NVIDIA Mellanox.