NVIDIA Mellanox MCX653106A-HDAT Adapteur serveur en action. RDMA/RoCE Transports à faible latence et gains de débit serveur

Adaptateur serveur NVIDIA Mellanox MCX653106A-HDAT en action | Transport à faible latence RDMA/RoCE et gains de débit serveur

Contexte et défi : Le mur de performance des bases de données distribuées

Une société mondiale de services financiers exploitant une plateforme de trading à haute fréquence a rencontré un plafond de performance critique dans son cluster de bases de données distribuées en mémoire. Le cluster, composé de 48 serveurs standards exécutant un magasin clé-valeur personnalisé, a été conçu pour gérer des millions de transactions par seconde avec des temps de réponse inférieurs à la milliseconde. Cependant, à mesure que les volumes de transactions augmentaient, l'infrastructure réseau est devenue le principal goulot d'étranglement. Les adaptateurs 25GbE existants, fonctionnant avec TCP/IP, introduisaient une latence de queue imprévisible qui dépassait occasionnellement les temps d'achèvement des transactions au-delà du strict accord de niveau de service de 500 microsecondes de la société.

L'équipe d'infrastructure a identifié deux problèmes fondamentaux. Premièrement, la pile TCP/IP consommait environ 35 % des ressources CPU sur le cluster, limitant la capacité du moteur de base de données à traiter les requêtes entrantes. Deuxièmement, l'absence de prise en charge RDMA signifiait que chaque communication inter-nœuds nécessitait plusieurs copies mémoire et des traversées de noyau, ajoutant 15 à 20 microsecondes de surcharge par message — une pénalité importante dans un système où chaque microseconde compte. La société avait besoin d'une solution capable de fournir une communication déterministe à faible latence tout en réduisant simultanément la surcharge CPU et en préservant la compatibilité avec leur infrastructure Ethernet existante.

Solution et déploiement : Mise en œuvre de RoCE avec le MCX653106A-HDAT

Après une évaluation approfondie des solutions réseau disponibles, la société a choisi le NVIDIA Mellanox MCX653106A-HDAT comme base de sa mise à niveau réseau. Cette carte réseau PCIe a été déployée sur les 48 serveurs de base de données, remplaçant les adaptateurs de la génération précédente. La carte réseau PCIe adaptateur MCX653106A-HDAT ConnectX offrait la combinaison requise de bande passante élevée, de RoCEv2 accéléré matériellement et de prise en charge GPUDirect — permettant une véritable communication RDMA sur l'infrastructure Ethernet existante.

Le déploiement a suivi une approche soigneusement orchestrée :

• Préparation de l'infrastructure : Chaque serveur a reçu la carte adaptateur Ethernet MCX653106A-HDAT, connectée via des liaisons SFP28 25GbE à double port à des commutateurs redondants en haut de rack. Les commutateurs ont été configurés avec le contrôle de flux prioritaire (PFC) et la notification explicite de congestion (ECN) pour assurer un transport Ethernet sans perte.
• Configuration RDMA : L'équipe a activé RoCEv2 sur des files d'attente prioritaires dédiées, mettant en œuvre une stratégie de gestion de la congestion qui a isolé le trafic RDMA du trafic TCP/IP standard.
• Intégration de la base de données : Le magasin clé-valeur distribué a été recompilé avec des bibliothèques réseau conscientes de RDMA, permettant des transferts mémoire à mémoire directs entre les nœuds de base de données sans intervention du CPU hôte.
• Validation : Un déploiement progressif a été exécuté, commençant par un sous-ensemble de nœuds, suivi de tests de charge pour valider les gains de performance et assurer la stabilité.

Selon la fiche technique MCX653106A-HDAT, l'adaptateur prend en charge PCIe Gen 4.0 x16, offrant jusqu'à 256 Go/s de bande passante hôte — suffisant pour saturer complètement les ports 25GbE doubles tout en conservant une marge pour les futures mises à niveau de vitesse vers 50GbE ou 100GbE. L'équipe a noté que l'adaptateur était entièrement compatible MCX653106A-HDAT avec leur matériel serveur existant, qui prenait en charge PCIe Gen 3.0 et 4.0, simplifiant le chemin de mise à niveau progressif.

Les spécifications MCX653106A-HDAT ont guidé l'optimisation des performances de l'équipe. Ils ont ajusté les paramètres de regroupement d'interruptions pour minimiser la latence, configuré les paramètres de priorité par file d'attente pour garantir que le trafic de réplication de base de données reçoive le traitement QoS le plus élevé, et ont exploité la télémétrie intégrée de l'adaptateur pour surveiller la santé du tissu en temps réel.

Résultats et avantages mesurables

Les améliorations de performance ont été à la fois immédiates et substantielles, impactant directement les opérations de trading de la société :

Au-delà des métriques quantitatives, le NVIDIA Mellanox MCX653106A-HDAT a apporté des avantages opérationnels que l'équipe n'avait pas anticipés. La latence déterministe a assuré des réponses de requête cohérentes inférieures à 100 microsecondes, permettant à la société d'offrir en toute confiance des garanties SLA plus strictes à ses clients de trading. Les cœurs CPU libérés ont été redirigés vers le traitement des requêtes de base de données, augmentant efficacement la capacité transactionnelle du cluster sans ajouter de nouveau matériel.

L'équipe a également exploité la télémétrie avancée de l'adaptateur pour obtenir une visibilité sur les modèles de congestion du tissu, permettant une planification proactive de la capacité et une optimisation des performances. La solution de carte adaptateur Ethernet MCX653106A-HDAT s'est avérée être à la fois un accélérateur de performance et une plateforme d'intelligence opérationnelle.

Résumé et perspectives

Ce déploiement a validé que le MCX653106A-HDAT de NVIDIA Mellanox est plus qu'une mise à niveau réseau — c'est un investissement stratégique dans la performance des systèmes distribués. En permettant RoCEv2 déchargé matériellement, l'adaptateur a réduit la latence des requêtes de plus de 80 %, augmenté le débit de la base de données de 3,6 fois et amélioré considérablement l'efficacité de l'infrastructure. La société a respecté ses exigences SLA strictes tout en reportant un rafraîchissement matériel prévu, générant des économies de capital substantielles.

L'équipe explore maintenant des cas d'utilisation supplémentaires pour le NVIDIA Mellanox MCX653106A-HDAT, y compris NVMe-oF pour le stockage bloc haute performance et l'analyse accélérée par GPU pour la modélisation des risques en temps réel. Le prix du MCX653106A-HDAT, lorsqu'il est évalué par rapport aux économies opérationnelles et aux gains de performance, a représenté un retour sur investissement convaincant — en particulier par rapport au coût du déploiement d'une infrastructure InfiniBand dédiée ou de l'acquisition de nœuds de calcul supplémentaires.

Pour les organisations évaluant activement les options MCX653106A-HDAT à vendre, cette étude de cas démontre que l'adaptateur tient sa promesse de mise en réseau à faible latence et à haut débit dans des environnements de production réels. La combinaison d'accélération matérielle, de télémétrie complète et de compatibilité transparente avec l'infrastructure Ethernet existante fait du NVIDIA Mellanox MCX653106A-HDAT un composant fondamental pour les architectures de centres de données modernes et gourmandes en performance.