NVIDIA Mellanox MCX4121A-ACAT Adaptateur serveur en action: Déverrouillage des performances RDMA/RoCE à faible latence

Adaptateur de serveur NVIDIA Mellanox MCX4121A-ACAT en action : débloquer les performances à faible latence RDMA/RoCE et augmenter le débit du serveur

Modèle:MCX4121A-ACAT| Marque: NVIDIA Mellanox | Catégorie : Adaptateur serveur 25GbE | Capacités clés : transport à faible latence RDMA/RoCE et optimisation du débit du serveur

Contexte et défis : goulots d'étranglement réseau dans le stockage distribué et l'inférence de l'IA

Pour l’équipe d’infrastructure d’une grande société Internet, une évaluation complète des performances menée début 2025 a révélé des goulots d’étranglement critiques du réseau qui avaient un impact silencieux sur les opérations. Le cluster d'inférence d'IA et les systèmes de stockage distribué de l'entreprise s'appuyaient tous deux sur Ethernet 10 GbE, qui présentait systématiquement une latence élevée et une utilisation excessive du processeur pendant les phases de chargement du modèle et de synchronisation des données. La situation était particulièrement grave dans les scénarios d'accès au stockage NVMe-oF, où la commutation de contexte et la surcharge d'interruption de la pile TCP/IP traditionnelle limitaient considérablement les performances de stockage, plafonnant l'utilisation du GPU à environ 65 %. L'équipe avait un besoin urgent d'une solution de connectivité serveur à haut débit et à faible latence pour libérer tout le potentiel de son stockage back-end et de ses accélérateurs d'IA.

Après des recherches approfondies, l'équipe s'est concentrée sur les adaptateurs Ethernet 25GbE, en particulier ceux prenant en charge RDMA (Remote Direct Memory Access) et RoCEv2 (RDMA sur Converged Ethernet v2). RoCEv2 promettait de contourner le noyau du système d'exploitation et de permettre des transferts de données contournés par le processeur, offrant ainsi en théorie des réductions massives de la latence et de la surcharge du processeur. Cependant, la réalisation d'un transport RDMA efficace impose des exigences strictes aux capacités de déchargement matériel de l'adaptateur et aux mécanismes de contrôle de congestion de bout en bout. Ce contexte a créé l'opportunité idéale pour leNVIDIA Mellanox MCX4121A-ACATpour entrer dans le pipeline d’évaluation.

Solution et déploiement : création d'un réseau de stockage optimisé par RDMA autour du MCX4121A-ACAT

Après un examen détaillé deFiche technique MCX4121A-ACATet la validation de sonSpécifications du MCX4121A-ACATpar rapport à des benchmarks internes, l'équipe d'architecture a décidé de déployer l'adaptateur sur les nœuds d'inférence IA et les serveurs frontaux de stockage. LeMCX4121A-ACAT ConnectX-4 Lx double port 25GbE SFP28La conception a permis à chaque serveur de se connecter via deux fibres optiques à deux commutateurs différents dans la structure feuille-épine, offrant ainsi une redondance des liaisons et un équilibrage de charge.

La stratégie de déploiement a suivi trois phases clés :

• Installation du matériel et validation de la compatibilité :L'équipe a d'abord vérifié leCompatible MCX4121A-ACATliste de serveurs pour garantir une intégration transparente avec les hôtes x86 et ARM existants. Chaque adaptateur a été installé dans un emplacement PCIe 3.0 x8, suivi de l'installation du pilote à partir de la source officielle NVIDIA.
• Configuration réseau RoCEv2 sans perte :PFC (Priority Flow Control) et ECN (Explicit Congestion Notification) ont été activés sur l'infrastructure de commutation compatible RoCEv2. Les protocoles DCBx (Data Center Bridging Exchange) ont été configurés pour garantir un transport sans perte du trafic RDMA sur Ethernet, fournissant ainsi une base stable pour leCarte adaptateur Ethernet MCX4121A-ACATpour offrir toutes ses capacités RDMA.
• Optimisation de la pile de protocoles de stockage :Les cibles NVMe-oF ont été déployées sur des serveurs de stockage, tandis que les initiateurs NVMe-oF ont été configurés sur des serveurs d'applications. En exploitant les moteurs de déchargement matériel de l'adaptateur, toutes les demandes d'E/S de stockage ont été encapsulées sous forme d'opérations RDMA, contournant ainsi la pile réseau du noyau.

Tout au long du processus de déploiement, leNVIDIA Mellanox MCX4121A-ACATa fait preuve d'une véritable simplicité plug-and-play, en compressant ce qui était initialement estimé comme un effort d'intégration de deux semaines en seulement trois jours.

Résultats mesurables : gains de performance significatifs et libération des ressources

Après un mois de production, l'équipe a documenté des améliorations substantielles sur plusieurs indicateurs clés, démontrant clairement la valeur apportée par le système.MCX4121A-ACAT:

Au-delà des chiffres bruts de performance, l'équipe a évalué le retour sur investissement en considérant lesPrix ​​​​du MCX4121A-ACATpar rapport au coût total de possession. La réduction significative de l'utilisation du processeur a permis de maintenir en service plusieurs serveurs dont la capacité était auparavant programmée, ce qui a permis d'économiser directement sur les coûts d'achat de matériel. De plus, la latence réduite a amélioré les temps de réponse du service d'inférence en ligne de 120 ms à 45 ms, offrant ainsi une expérience utilisateur nettement meilleure. Après avoir évaluéMCX4121A-ACAT à vendreet en comparant les rapports prix/performances, la société a conclu que cet adaptateur représente une solution d'accès 25GbE très rentable.

Résumé et perspectives : Construire une infrastructure à faible latence prête pour l'avenir

Grâce à ce déploiement de production, la société Internet a réussi à valider la valeur réelle duNVIDIA Mellanox MCX4121A-ACAT. En tant que pierre angulaire d'une approche globaleSolution de carte adaptateur Ethernet MCX4121A-ACAT, l'adaptateur a non seulement résolu les goulots d'étranglement du réseau dans les charges de travail de stockage et d'IA, mais a également considérablement amélioré l'efficacité globale du débit du serveur. Cette étude de cas démontre clairement qu'à l'ère du 25GbE, la sélection d'un adaptateur doté de solides capacités de déchargement RDMA est décisive pour libérer le potentiel du processeur et réduire la latence critique pour l'entreprise.

Pour l'avenir, l'équipe prévoit d'étendre laMCX4121A-ACATdéploiement dans des cas d'utilisation supplémentaires, notamment le traitement des transactions en ligne et les systèmes de contrôle des risques en temps réel, exploitant davantage ses caractéristiques de faible latence pour les applications de qualité financière. Fort de ce succès, le département infrastructure a commencé à évaluer les produits 100GbE et de nouvelle génération, mais leMCX4121A-ACAT— avec son architecture ConnectX-4 Lx mature et sa large compatibilité avec l'écosystème — continuera de servir de nœud clé, fournissant une base solide pour l'évolution continue du centre de données de l'entreprise.