Mellanox (NVIDIA Mellanox) MCX556A-ECAT NIC serveur en action. RDMA/RoCE Transport à faible latence et gain de débit du serveur

Les centres de données hyperscale et les environnements cloud d'entreprise sont confrontés à un défi commun : à mesure que le nombre de cœurs de processeur augmente, le réseau TCP/IP traditionnel devient le goulot d'étranglement. La surcharge de protocole, les copies de mémoire et les changements de contexte consomment des ressources CPU importantes, limitant les performances des applications. Cette étude de cas examine comment une équipe d'infrastructure de services financiers a résolu ces problèmes en déployant leMellanox (NVIDIA Mellanox) MCX556A-ECATserveur NIC, obtenant des réductions spectaculaires de la latence et des améliorations mesurables du débit du serveur.

Contexte et défis : quand chaque microseconde compte

L'équipe d'infrastructure gérait un cluster de bases de données distribuées prenant en charge l'analyse des risques en temps réel. Avec des centaines de serveurs de base connectés via 25 GbE, la communication entre nœuds reposait sur TCP. À mesure que les volumes d'échanges augmentaient, trois problèmes critiques sont apparus : l'utilisation du processeur sur les nœuds de base de données a dépassé 75 % en raison du traitement de la pile réseau ; la latence de queue pour les opérations de mémoire entre nœuds a atteint 200 microsecondes pendant les heures de pointe ; et l'entreprise a été confrontée à un surprovisionnement coûteux, en ajoutant davantage de serveurs uniquement pour gérer la surcharge du réseau, et non la demande de calcul. L'équipe avait besoin d'unSolution de carte adaptateur Ethernet MCX556A-ECATcela pourrait décharger le réseau tout en permettant l’accès direct à la mémoire à distance (RDMA).

Solution et déploiement : implémentation de RoCE avec les adaptateurs ConnectX

Après avoir évalué les options, l'équipe a sélectionnéNVIDIA Mellanox MCX556A-ECATbasé sur sa capacité double port 100GbE et sa prise en charge native RoCE (RDMA over Converged Ethernet). Déployé en standardCarte réseau PCIe adaptateur MCX556A-ECAT ConnectX, chaque hôte a reçu un seul adaptateur connecté à un commutateur haut de rack compatible RoCE avec PFC (Priority Flow Control) et ECN (Explicit Congestion Notification) activés. Le chemin de migration était simple : l'adaptateur estCompatible MCX556A-ECATavec les emplacements PCIe 3.0 existants, éliminant ainsi les mises à niveau du serveur. La configuration impliquait l'activation de RoCE dans la pile de pilotes et l'ajustement des seuils de tampon comme indiqué dans leFiche technique MCX556A-ECAT. En deux semaines, l'ensemble du cluster de 120 nœuds exécutait une communication basée sur RDMA pour la réplication de bases de données et la mise en cache en mémoire.

LeCarte adaptateur Ethernet MCX556A-ECATopérations clés déchargées : contournement du noyau via l'API Verbs de l'espace utilisateur, transport basé sur le matériel pour les écritures/lectures RDMA et déplacement de données sans copie. Cela a transformé leMellanox (NVIDIA Mellanox) MCX556A-ECATdans l'épine dorsale à faible latence du cluster sans altérer la logique de l'application existante, en passant uniquement des sockets TCP à libfabric ou UCX, un changement géré pendant une fenêtre de maintenance régulière.

Résultats et avantages : gains mesurables en termes de latence et de débit

Les mesures post-déploiement ont validé l’investissement. En utilisant leSpécifications du MCX556A-ECATcomme référence (latence matérielle inférieure à la microseconde), l'équipe a obtenu :

Au-delà des chiffres bruts, l’équipe a atteint une latence stable inférieure à 4 microsecondes au 99,9e percentile, ce qui est critique pour le calcul des risques. Les cœurs de processeur libérés ont permis aux serveurs existants de gérer 40 % de threads d'application en plus, différant ainsi les achats de matériel. LeMCX556A-ECAT à vendreLes aspects économiques sont devenus clairs : un adaptateur par serveur a généré un retour sur investissement en six mois uniquement grâce à la réduction du nombre de nœuds et des coûts d'alimentation et de refroidissement inférieurs. Pour ceux qui recherchentPrix ​​​​du MCX556A-ECATPar rapport aux cartes 100G concurrentes, le coût total de possession, y compris la compatibilité logicielle et la stabilité des pilotes, a favorisé la solution Mellanox.

L'équipe a également vérifiéCompatible MCX556A-ECATstatut avec leur baie de stockage NVMe existante, permettant NVMe over Fabrics (NVMe-oF) avec RDMA. Cela a consolidé le réseau de stockage sur la même structure, simplifiant ainsi le câblage et les ports de commutation. Selon leFiche technique MCX556A-ECAT, la carte prend en charge jusqu'à 16 millions d'IOPS par port, une marge que l'équipe prévoit d'utiliser lors de la mise à niveau du stockage de l'année prochaine.

Résumé et perspectives : une base pour les centres de données de nouvelle génération

Ce déploiement démontre que leMCX556A-ECATn'est pas simplement une carte réseau plus rapide, mais une plate-forme de transformation architecturale. En activant RDMA/RoCE, les organisations peuvent éliminer le goulot d'étranglement TCP, réutiliser les cycles CPU pour des charges de travail à valeur ajoutée et évoluer efficacement. LeNVIDIA Mellanox MCX556A-ECATa prouvé sa valeur dans le domaine de la finance sensible à la latence, mais ses avantages s'étendent à la formation en IA, aux simulations HPC et aux bases de données distribuées. Pour les équipes évaluant les mises à niveau 100G, leCarte réseau PCIe adaptateur MCX556A-ECAT ConnectXreprésente un choix mûr et bien documenté. Que vous consultiez leSpécifications du MCX556A-ECATpour l'optimisation des performances ou la recherche deMCX556A-ECAT à vendrePour planifier un déploiement à l'échelle du cluster, cet adaptateur tient la promesse d'un Ethernet véritablement sans perte et à faible latence.