Pratique d'application: NVIDIA Mellanox MCX631102AN-ADAT RDMA/RoCE Transport à faible latence et amélioration du débit du serveur

Dans les clusters de stockage distribué, de calcul haute performance et de formation à l'IA, la latence du réseau et la surcharge du processeur sont devenues les principaux goulots d'étranglement limitant les performances des serveurs. Un fournisseur de services cloud a récemment mis à niveau son backend de stockage NVMe-oF en sélectionnant l'optionNVIDIA Mellanox MCX631102AN-ADATadaptateur de serveur. En déployant RDMA sur Converged Ethernet (RoCEv2), ils ont obtenu un transport de bout en bout à faible latence et des gains significatifs en matière de débit de serveur. Cette étude de cas examine les performances de l'adaptateur dans un environnement de production.

Contexte et défi : le goulot d'étranglement de la pile de protocoles TCP/IP

L'infrastructure 25 GbE existante du fournisseur gérait le trafic de stockage à l'aide de la pile logicielle TCP/IP traditionnelle. Dans les scénarios NVMe/TCP, l'utilisation du processeur pour l'encapsulation et la désencapsulation des paquets dépassait 40 %, ce qui entraînait des latences de stockage supérieures à 200 µs et une capacité de calcul considérablement réduite sur les serveurs d'applications. Les architectes avaient besoin de toute urgence d'une solution capable de contourner la pile réseau du noyau, de réduire les interférences du processeur et de maintenir un débit linéaire sur des liaisons doubles 25 GbE. Après avoir évalué plusieurs options, ils ont choisi celleMCX631102AN-ADAT ConnectX-6 Lx double port 25GbE SFP28comme matériel de base pour la rénovation de leur tissu de stockage.

Solution et déploiement : RDMA/RoCEv2 avec déchargements matériels

Le déploiement a remplacé tous les serveurs de stockage par leCarte adaptateur Ethernet MCX631102AN-ADAT, fonctionnant en mode sans perte RoCEv2 (en utilisant ECN et PFC). Les principales étapes de déploiement comprenaient :

• Activer SR-IOV et dédier des fonctions virtuelles (VF) aux machines virtuelles de stockage, en contournant la pile réseau de l'hyperviseur
• Configuration de NVMe over Fabrics (NVMe-oF) avec le transport RDMA, éliminant entièrement la surcharge TCP
• Optimisation des seuils de tampon de commutateur pour un trafic RoCE 25 GbE sans perte sur la topologie feuille-épine

LeSpécifications du MCX631102AN-ADAT- y compris les horodatages matériels, le transport de connexion dynamique (DCT) et le moteur de réception vectorisé - ont été pleinement utilisés pour garantir une latence prévisible inférieure à la microseconde, même sous une charge globale de 50 Gbit/s.

Gains de performance mesurés et avantages opérationnels

Après avoir migré vers leNVIDIA Mellanox MCX631102AN-ADAT- basé sur le tissu, les métriques suivantes ont été capturées :

Les ingénieurs ont noté que leSolution de carte adaptateur Ethernet MCX631102AN-ADATfourni une latence de queue prévisible adaptée aux bases de données d’analyse en temps réel. De plus, les cœurs de processeur libérés ont été réaffectés aux charges de travail des applications, augmentant ainsi la densité globale des locataires d'environ 24 % sur les mêmes serveurs physiques.

Compatibilité et intégration de l'écosystème

Lors de l'extension du déploiement, l'équipe des opérations a vérifié que l'adaptateur estCompatible MCX631102AN-ADATavec leurs commutateurs NVIDIA Spectrum existants (profils RoCE sans perte), ainsi que des commutateurs ToR tiers d'Arista et Cisco avec configuration DCBX. Pour la planification des achats, ils ont fait référence auFiche technique MCX631102AN-ADATpour valider les enveloppes de puissance (environ 12 W typiques) et les exigences thermiques. Les premières enquêtes groupées ont confirmé quePrix ​​MCX631102AN-ADATreste compétitif par rapport aux SmartNIC de classe similaire, avec plusieurs distributeurs répertoriésMCX631102AN-ADAT à vendredans le cadre d'accords de volume standard.

Résumé et perspectives

Le dossier de production démontre clairement que leMCX631102AN-ADATpermet un passage fondamental des réseaux de stockage liés au TCP aux structures accélérées par RDMA sans nécessiter une refonte complète de l'infrastructure 100GbE. En tirant parti deMCX631102AN-ADAT ConnectX-6 Lx double port 25GbE SFP28Grâce à leur conception, les organisations peuvent doubler le débit effectif pour les charges de travail sensibles à la latence tout en récupérant d'importantes ressources CPU. À l’avenir, le même modèle de déploiement s’étendra aux cadres d’apprentissage automatique distribués (NCCL sur RoCE) et aux applications avec état basées sur des microservices. Pour les architectes évaluant les mises à niveau 25GbE, leNVIDIA Mellanox MCX631102AN-ADATse présente comme un élément de base éprouvé et renforcé en production pour les réseaux de centres de données hautes performances et à faible latence.