NVIDIA Mellanox MCX653106A-HDAT en action : réaliser des percées en matière de transport RDMA/RoCE et de débit de serveur à faible latence
June 16, 2026
Dans les environnements modernes de centres de données couvrant le stockage distribué, le commerce à haute fréquence et les grappes de formation à l'IA deux défis persistants demeurent:réduire la latence induite par le réseau et maximiser le débit du serveur sans surcharger le processeurCette application approfondie examine comment un fournisseur d'infrastructure cloud leader a résolu ces problèmes précis en déployant leNVIDIA Mellanox MCX653106A-HDAT est un appareil de téléphonie mobileadaptateur serveur à travers leurs nœuds de calcul et de stockage.
Le contexte et le défi
L'infrastructure 25GbE existante du fournisseur, basée sur des adaptateurs Ethernet standard avec des piles TCP/IP basées sur des logiciels, présentait des limites évidentes.Les charges de travail de stockage utilisant NVMe sur Fabrics ont connu des pics de latence imprévisibles (souvent supérieurs à 50 μs), tandis que les clusters de bases de données souffraient d'une utilisation élevée du processeur, jusqu'à 35% des cœurs étant consommés par le seul traitement réseau.L'équipe d'ingénieurs avait besoin d'une solution capable de fournir une latence inférieure à 10 μs pour les transactions RDMA et de prendre en charge le débit 200GbE sans nécessiter une révision architecturale complète.
Après avoir évalué de multiples options, ils se sont tournés vers leCarte d'adaptateur Ethernet MCX653106A-HDAT, qui promettait un RoCE déchargé du matériel (RDMA sur Ethernet convergé) et une intégration transparente avec leur topologie feuille-colonne vertébrale basée sur Cumulus Linux.
Approche de la solution et du déploiement
Le déploiement s'est centré autour de laCarte réseau PCIe avec adaptateur MCX653106A-HDAT ConnectXChaque nœud de calcul reçoit un adaptateur, tandis que les nœuds de stockage en ont deux pour la redondance.Principales étapes de mise en œuvre:
- Activer le RoCEv2 avec PFC (Contrôle prioritaire des flux) et ECN (Notification explicite de congestion) pour assurer un transport sans perte
- Configuration de SR-IOV pour dédier des fonctions virtuelles à des charges de travail de base de données et de stockage à haute priorité
- Déploiement des dernièresCompatible avec le MCX653106A-HDATpile de pilotes (NVIDIA DOCA 2.5) à travers les nœuds LTS Ubuntu 22.04
- Mise en œuvre de l'accélération DPDK basée sur le matériel pour les chemins de traitement de paquets
Sur la base duLa feuille de données MCX653106A-HDATL'équipe a projeté une latence matérielle inférieure à 1 μs et jusqu'à 215 millions de paquets par seconde (MPPS) pour les transactions de petits paquets.
Résultats et bénéfices mesurables
Après un essai pilote de quatre semaines sur 50 nœuds de production, l'équipe d'infrastructure a documenté les améliorations suivantes lors de la comparaisonNVIDIA Mellanox MCX653106A-HDAT est un appareil de téléphonie mobilecontre leurs adaptateurs anciens:
| Pour la métrique | Adaptateur 25GbE | Le système d'exploitation doit être équipé d'un système d'exploitation de l'énergie. | Amélioration |
|---|---|---|---|
| Le taux de détection de l'émission de CO2 est calculé en fonction de la fréquence d'émission de CO2 de l'émission de CO2. | 52 μs | 60,8 μs | Réduction de 87% |
| Les frais généraux du processeur (stack réseau) | 34% | 7% | 27 points de pourcentage libérés |
| Débit global (par serveur) | 92 Gbps (obligatoires) | 198 Gbps | Augmentation de 115% |
| Taux des petits paquets (64B) | 48 Mpps | 187 Mpps | Gain de ~290% |
Au-delà des chiffres bruts, l'équipe d'ingénieurs a noté que leSolution de carte d'adaptateur Ethernet MCX653106A-HDATIl a été possible d'éliminer les solutions de contournement précédemment requises, telles que les hacks de fusion d'interruption et les tampons de réception surdimensionnés.Les décharges matérielles de l'adaptateur pour VXLAN et Geneve ont également simplifié leur pile de réseautage de conteneurs, réduisant la latence de pod-to-pod de 40% dans les environnements Kubernetes.
Pour les responsables informatiques qui évaluent les coûts,Le prix MCX653106A-HDATLes comparaisons avec des solutions 200GbE comparables ont montré un coût total de possession inférieur de 15 à 20% en tenant compte des économies de noyau du processeur et de la réduction de l'utilisation des ports de commutation.MCX653106A-HDAT à vendredes demandes de renseignements émanant d'équipes adjacentes, y compris HPC et analyse en temps réel, ont déjà été soumises pour le prochain cycle de passation de marchés.
Résumé et perspectives
Le déploiement confirme queNVIDIA Mellanox MCX653106A-HDAT est un appareil de téléphonie mobileCe n'est pas seulement une mise à niveau des spécifications, mais un saut fonctionnel pour les environnements sensibles à la latence et liés au débit.,L'architecture GPUDirect permet aux organisations d'atteindre une latence déterministe à l'échelle des microsecondes tout en récupérant des cycles de processeur pour la logique d'application.
Comme l'équipe d'infrastructure étend leur déploiement à plus de 500 nœuds,Ils explorent également le cryptage intégré en ligne de l'adaptateur (IPsec/TLS) pour la sécurité multi-locataire et le PTP (IEEE 1588v2) pour les charges de travail des services financiers.Pour les ingénieurs en quête de configurations validées, leLes spécifications MCX653106A-HDATCe cas réel montre une chose clairement: leCarte réseau PCIe avec adaptateur MCX653106A-HDAT ConnectXIl offre la promesse d'un Ethernet à faible latence et à haut débit pour les centres de données de nouvelle génération.
Pour une analyse technique plus approfondie, consultez leLa feuille de données MCX653106A-HDATou contactez votre architecte régional de la solution NVIDIA.