NVIDIA Mellanox MCX623106AN-CDAT Adapteur serveur en action

Un fournisseur de cloud de taille moyenne a récemment été confronté à un défi familier : ses anciennes cartes réseau 25 GbE ne pouvaient pas suivre la croissance explosive du stockage NVMe-oF et des charges de travail de formation d'IA distribuées. L'utilisation du processeur dépassait souvent 70 % sur les nœuds de stockage en raison de la surcharge de la pile TCP/IP traditionnelle, tandis que la latence résiduelle pendant les heures de pointe nuisait aux performances des applications. Ce cas concret montre commentNVIDIA Mellanox MCX623106AN-CDATtransformé leur infrastructure grâce à RDMA et RoCE.

Le cluster de stockage du fournisseur était composé de 50 nœuds Ceph, chacun gérant à la fois les E/S client et le trafic de réplication interne. Avec plus de 3 000 disques NVMe dans le backend, trois problèmes sont devenus aigus : des interruptions élevées du processeur dues au traitement réseau, une latence incohérente sous des charges de travail mixtes et une saturation de la bande passante est-ouest. Les adaptateurs existants manquaient de déchargements matériels pour RoCE, obligeant chaque paquet à passer par la pile du noyau. Après avoir évaluéSpécifications du MCX623106AN-CDATet leFiche technique MCX623106AN-CDAT, l'équipe a sélectionné leMCX623106AN-CDAT Adaptateur ConnectX carte réseau PCIepour un déploiement pilote.

La nouvelle architecture a remplacé les anciens adaptateurs par leNVIDIA Mellanox MCX623106AN-CDATdans huit nœuds de stockage et quatre nœuds de calcul. LeCarte adaptateur Ethernet MCX623106AN-CDATdispose d'un double port 100 Gb/s, PCIe 4.0/5.0 et d'une prise en charge native de RoCE. Les principales étapes de déploiement comprenaient :

• Activation de DCQCN (Data Center Quantized Congestion Notification) pour le contrôle de congestion RoCE
• Partitionnement des domaines PFC (Priority Flow Control) pour isoler le trafic de stockage et de formation IA
• Mise à niveau de la structure vers une topologie spine-leaf Ethernet sans perte (seuil de tampon de 25 ms)
• Déploiement de NVMe-oF avec RDMA pour l'accès au stockage en bloc

Le moteur de déchargement ASAP² de l'adaptateur a traité plus de 90 millions de paquets par seconde sur les nœuds de stockage, contournant complètement le processeur hôte pour le mouvement des données. LeSolution de carte adaptateur Ethernet MCX623106AN-CDATa également permis le cryptage en ligne sans pénalité de performances – une exigence pour les locataires de services financiers du fournisseur.

Après trois mois d'utilisation en production, le fournisseur a documenté des améliorations significatives :

LeCarte adaptateur Ethernet MCX623106AN-CDATa également prouvé pleinementCompatible MCX623106AN-CDATavec les commutateurs Cumulus Linux et le backend Ceph BlueStore existants du fournisseur. Aucun conflit de pilote ou de micrologiciel n’est apparu lors du déploiement par étapes.

Ce déploiement confirme que leNVIDIA Mellanox MCX623106AN-CDATn'est pas seulement une mise à niveau de bande passante : elle modifie fondamentalement l'efficacité du serveur via RDMA/RoCE. En déchargeant le traitement du réseau et en activant Ethernet sans perte, l'adaptateur a réduit la latence de stockage de 5 fois tout en libérant des cœurs de processeur pour les charges de travail des applications. Pour les responsables informatiques évaluantPrix ​​MCX623106AN-CDATet du retour sur investissement, le fournisseur a obtenu un retour sur investissement matériel en sept mois grâce à une réduction du nombre de serveurs et des frais de licence.

À mesure que de plus en plus d’organisations adoptent NVMe-oF, GPU Direct RDMA et les microservices,MCX623106AN-CDAT Adaptateur ConnectX carte réseau PCIeoffre une voie éprouvée vers des centres de données à faible latence et à haut débit. Ceux qui cherchentMCX623106AN-CDAT à vendrepouvez contacter les distributeurs NVIDIA Mellanox agréés. CompletSpécifications du MCX623106AN-CDATet des guides de déploiement sont disponibles dans le site officielFiche technique MCX623106AN-CDAT.