Adaptateur serveur Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT en action : Transport et serveur à faible latence pilotés par RDMA/RoCE

Dans les environnements de production réels hébergeant des bases de données distribuées, des clusters d'inférence d'IA et un stockage hyperconvergé, la gigue de latence et la surcharge du processeur causées par la pile TCP/IP traditionnelle sont devenues de sérieux goulots d'étranglement pour la mise à l'échelle. Une équipe d'infrastructure Internet à grande échelle a récemment achevé une mise à niveau complète du réseau basée sur leMellanox (NVIDIA Mellanox) MCX623106AN-CDATadaptateur de serveur, axé sur la validation des avantages tangibles de la technologie RDMA/RoCE pour le transport à faible latence et l'amélioration du débit du serveur. Cet article détaille les détails du déploiement et les principaux résultats de ce cas pratique.

L'équipe exploitait un cluster de milliers de serveurs exécutant un stockage distribué (Ceph) et des systèmes de recommandation en temps réel. Pendant les pics de trafic, chaque nœud de stockage devait gérer des milliers de connexions TCP simultanées, consommant près de 30 % des ressources CPU pour le traitement du protocole réseau, avec une latence de lecture/écriture de bout en bout dépassant souvent 200 μs. De plus, les expériences NVMe sur Fabrics sur des racks, dépourvues de capacités de déchargement matériel, n'ont systématiquement pas réussi à atteindre les performances flash locales attendues. L'équipe avait un besoin urgent d'une solution d'adaptateur de serveur capable de prendre en charge RoCEv2, de fournir un déchargement de transport au niveau matériel et d'offrir simultanément un débit élevé et une faible latence.

Après évaluation, l'équipe a choisi leMCX623106AN-CDATcomme moteur de réseau principal. Cet adaptateur appartient à la famille ConnectX-6 Dx. En remplaçant simplement les anciens adaptateurs 10GbE parNVIDIA Mellanox MCX623106AN-CDATsur chaque nœud et en déployant une configuration réseau RoCE sans perte (DCQCN et PFC), l'équipe a jeté les bases. Pour exploiter pleinement leCarte adaptateur Ethernet MCX623106AN-CDAT, les nœuds de stockage ont permis le déchargement du TCO matériel et l'agrégation dynamique des liens. Lors du déploiement, les ingénieurs ont fait référence auFiche technique MCX623106AN-CDATpour obtenir des conseils sur les capacités PCIe 4.0 x16 et 100GbE à double port, garantissant le budget de liaison et la compatibilité du fond de panier. Après les tests, tous les serveurs ont atteintCompatible MCX623106AN-CDATinterconnexion avec les commutateurs Leaf-Spine existants, ne nécessitant aucun remplacement de l'équipement du réseau central.

L’évaluation des performances post-mise à niveau a donné des résultats saisissants. Lors de l'exécution de la même charge de travail de stockage distribué, les nœuds équipés duMCX623106AN-CDAT Adaptateur ConnectX carte réseau PCIedémontré:

• Latence moyenne de bout en boutchute de 210 μs à 18 μs (opérations de lecture NVMe sur Fabrics sur RoCEv2) ;
• Surcharge du réseau CPUpassant de 28 % à 4 %, libérant les cycles de calcul pour les applications métiers ;
• Débit effectif par nœudatteignant 98,7 Gbps, un transfert proche du débit de ligne ;
• IOPS globales en écriture aléatoire 4Kdu cluster Ceph multi-nœuds augmentant de 3,2x.

Le chef d'équipe a noté : "Solution de carte adaptateur Ethernet MCX623106AN-CDATapporte une véritable capacité RoCE à débit linéaire à notre environnement. Des charges de travail mixtes sensibles à la latence, auparavant inimaginables, peuvent désormais coexister avec des tâches en arrière-plan sur le même plan réseau. » De plus, selon les dossiers d'approvisionnement, lePrix ​​MCX623106AN-CDATdans ce cas, le coût total de possession (TCO) a été réduit de 40 % par rapport aux adaptateurs accélérateurs basés sur FPGA, etMCX623106AN-CDAT à vendrevia les canaux standards a considérablement raccourci le calendrier du projet. DétailléSpécifications du MCX623106AN-CDATa confirmé que l'adaptateur offre une latence inférieure à 600 ns et des performances de débit filaire sur toutes les tailles de paquets, ce qui correspond parfaitement aux exigences de l'équipe.

Cette pratique d'application démontre clairement queMCX623106AN-CDATn'est pas seulement un adaptateur Ethernet hautes performances, mais aussi une pierre angulaire pour la construction de réseaux de centres de données à faible latence et à haut débit. Son architecture complète de déchargement RoCE et son moteur d'accélération matérielle répondent aux principaux défis du traitement réseau lié au processeur et de la latence de la pile de protocoles. Pour toute organisation cherchant à libérer le débit du serveur, à réduire la latence d'accès au stockage et à se préparer aux charges de travail IA et NVMe-oF, leMellanox (NVIDIA Mellanox) MCX623106AN-CDAToffre une voie à suivre éprouvée et prête pour la production.