Adaptateur serveur Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT en action : Transport et serveur à faible latence RDMA/RoCE

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Adaptateur serveur en action: RDMA / RoCE Optimisation du transport à faible latence et du débit du serveur

Contexte et défi: goulots d'étranglement du réseau dans le stockage distribué et la formation en IA

Dans un environnement de production réel d'un fournisseur de services cloud de taille moyenne, le portefeuille d'activité principal comprend le stockage de blocs distribués (Ceph) et les plates-formes de formation de modèles d'IA basées sur GPU.Comme le volume des données clients a augmenté à un rythme annuel de plus de 200%, l'architecture de réseau TCP/IP 10GbE héritée a progressivement exposé deux points critiques. Premièrement, la latence de synchronisation des données entre les nœuds de stockage a atteint 2,5 ms,empêcher le pool de stockage NVMe de réaliser son plein potentiel de performanceDeuxièmement, lors de la synchronisation des gradients dans les grappes de formation GPU, le débit du réseau ne pouvait atteindre que 60% de la bande passante théorique,avec une part significative des ressources du processeur consommées par la pile de protocoles réseau, ce qui entrave gravement l'efficacité de l'itération de l'entraînement.L'équipe d'architecture avait un besoin urgent d'une solution d'interface réseau capable à la fois de réduire la latence de transmission et d'améliorer considérablement le débit effectif du serveur.

Solution et déploiement: révision de RoCE avec le MCX631102AN-ADAT ConnectX-6 Lx

Après avoir évalué de multiples alternatives, l'équipe a sélectionné leIl s'agit d'un appareil qui est équipé d'un système d'alarme.Le Conseil a décidé de mettre en place un programme d'amélioration de l'efficacité des réseaux électriques.Le système de détection de l'émission de CO2 doit être équipé d'un système de détection de CO2 de qualité supérieure.a été déployé sur 120 nœuds de stockage et 64 nœuds de calcul GPU, remplaçant les adaptateurs 10GbE existants. Chaque serveur était équipé de la configuration SFP28 à double port 25GbE,avec un port de connexion au tissu RoCE de production et le deuxième port réservé à la gestion et au trafic de sauvegardeLe déploiement a tiré parti de laLe système de connectivité est équipé d'un système de connectivité à double port de 25 GbE.le support natif RoCE v2 de l'adaptateur, éliminant le besoin de périphériques de passerelle supplémentaires ou de couches de traduction de protocole.

La mise en œuvre a suivi une approche par étapes.Solution de carte d'adaptateur Ethernet MCX631102AN-ADATLe système de traitement des données est installé sur les nœuds de stockage, permettant NVMe sur Fabrics (NVMe-oF) avec transport RoCE.avec la capacité de stockage GPUDirect de l'adaptateur permettant à la mémoire GPU de communiquer directement avec le stockage NVMe distant sur le réseau RoCE – contournant complètement l'implication du processeurL'ensemble du déploiement a été achevé en deux semaines, avec le maintien de l'infrastructure de commutation 25GbE existante, démontrant ainsi laCompatible avec le MCX631102AN-ADATla nature avec un équipement de réseau de centre de données standard.

Résultats mesurés et gains de performance

L'amélioration des performances suite à laNVIDIA Mellanox MCX631102AN-ADAT est une plateforme de téléphonie mobile.Le tableau suivant résume les principales mesures avant et après observées dans l'environnement de production:

Au-delà des indicateurs quantitatifs, l'équipe a observé des améliorations qualitatives de la stabilité opérationnelle.Le numéro de série est le numéro de série de l'appareil.Les résultats de cette étude ont permis d'éliminer les baisses périodiques de débit précédemment observées lors d'événements de surcharge de trafic, offrant des performances prévisibles pour les emplois de formation sensibles à la latence.Les spécifications du MCX631102AN-ADAT, le moteur de direction avancé de l'adaptateur et les capacités RDMA assurent que même avec 128 connexions NVMe-oF simultanées par port, les performances de la vitesse de ligne sont maintenues de manière constante.

D'un point de vue du coût total, l'équipe d'architecture a calculé que leLe prix MCX631102AN-ADATLe taux de conversion de l'énergie par gigabit de débit effectif était sensiblement inférieur à celui de la mise à niveau vers les alternatives 40GbE ou 100GbE.La possibilité de réutiliser les infrastructures de câblage et de commutation SFP28 existantes a encore réduit les dépenses en immobilisations, en faisant leMCX631102AN-ADAT à vendreL'évaluation est un argument commercial convaincant pour le leadership du fournisseur.

Résumé & Perspectives: Construire une base de réseau prête pour l'avenir

Le déploiement de la production deIl s'agit d'un appareil qui est équipé d'un système d'alarme.montre une voie claire pour les organisations qui cherchent à libérer tout le potentiel de leur infrastructure distribuée.En combinant le transport à faible latence RDMA/RoCE avec des décharges accélérées par matériel, l'adaptateur élimine efficacement le réseau en tant que goulot d'étranglement de performance, que ce soit pour la formation en IA, le stockage défini par logiciel ou le traitement des transactions à haute fréquence.L'expérience de l'équipe confirme que leLe système de détection de l'émission de CO2 doit être équipé d'un système de détection de CO2 de qualité supérieure.offre non seulement des améliorations de référence, mais aussi des gains tangibles de productivité: les temps de réalisation des tâches de formation GPU ont diminué en moyenne de 34%,les SLA sur le temps de réponse des groupes de stockage ont été toujours respectés, même pendant les périodes de charge maximale.

À l'avenir, le fournisseur prévoit d'élargirLe système de connectivité est équipé d'un système de connectivité à double port de 25 GbE.Le déploiement dans des zones de disponibilité supplémentaires, avec des évaluations préliminaires déjà en cours pour l'intégration de l'adaptateur avec les DPU BlueField de NVIDIA pour une meilleure programmabilité du réseau.Pour les équipes d'ingénieurs évaluant des mises à niveau similaires, le détailLa feuille de données MCX631102AN-ADATIl fournit des conseils complets sur les matrices de compatibilité, les paramètres de réglage des performances et les architectures de référence.Les adaptateurs 25GbE déchargés de matériel comme le MCX631102AN-ADAT deviennent rapidement la nouvelle base pour les conceptions de centres de données axées sur les performances.