NVIDIA Mellanox MCX653105A-HDAT Adaptateur serveur en action: RDMA/RoCE Transport et serveur à faible latence
June 15, 2026
Dans les centres de données modernes, le stockage distribué, l'informatique haute performance (HPC) et les grappes de formation de l'IA sont confrontés à un goulot d'étranglement commun: le réseau.Les piles TCP/IP traditionnelles introduisent une latence importante et des frais généraux du processeurCette étude de cas examine comment un fournisseur de cloud de taille moyenne a relevé ces mêmes défis en déployant leNVIDIA Mellanox MCX653105A-HDAT est une plateforme de téléphonie mobile.l'adaptateur serveur pour permettre le transport à faible latence basé sur RDMA/RoCE et augmenter considérablement le débit du serveur.
Contexte et défis: Quand chaque microseconde compte
L'infrastructure 25GbE existante du fournisseur, exécutant le protocole TCP/IP standard, avait du mal à prendre en charge leur nouveau backend de stockage NVMe-over-Fabrics.L'utilisation du processeur sur les nœuds de stockage dépassait régulièrement 70% uniquement du traitement du réseau, et la latence entre les nœuds était d'environ 50 μs, inacceptable pour leurs charges de travail de base de données sensibles à la latence.La congestion du réseau a provoqué des pics de latence de queue qui ont affecté les SLA d'applicationIls avaient besoin d'une solution capable de décharger les frais généraux du réseau, de fournir une latence inférieure à une microseconde et de maintenir des performances constantes sous charge.
Résolution et déploiement: Introduction de la carte réseau PCIe MCX653105A-HDAT ConnectX
Après avoir évalué plusieurs options, l'équipe a choisi leCarte d'adaptateur Ethernet MCX653105A-HDATIl a été conçu pour être utilisé par les utilisateurs de l'Internet, en particulier pour sa capacité à double port 100GbE et son support natif de RoCE (RDMA sur Ethernet convergé).NVIDIA Mellanox MCX653105A-HDAT est une plateforme de téléphonie mobile.a été déployé sur 120 nœuds de stockage et de calcul, avec la configuration suivante:
- RoCE activéavec ECN (Explicit Congestion Notification) et DCQCN pour le contrôle de la congestion
- NVMe-oF décharge de cibleau matériel, en contournant le processeur hôte pour les entrées/sorties de stockage
- Partitionnementdans les flux prioritaires sans perte pour le trafic de stockage
- Surveillance de la télémétrieen utilisant les compteurs de performance intégrés de l'adaptateur
Selon leLa feuille de données MCX653105A-HDAT, la carte prend en charge à la fois les protocoles InfiniBand et Ethernet, mais l'équipe a choisi RoCEv2 pour s'intégrer de manière transparente à leurs commutateurs Ethernet existants.Tous les principaux modèles de serveurs étaientCompatible avec le MCX653105A-HDATLe déploiement a été réalisé sur deux week-ends avec zéro temps d'arrêt, en utilisant les fonctionnalités de migration en direct de l'adaptateur.
Résultats et avantages: Gains de performance mesurables
L'impact a été immédiat et substantiel.Le tableau suivant résume les indicateurs clés avant et après le déploiement de laSolution de carte d'adaptateur Ethernet MCX653105A-HDAT:
| Pour la métrique | Avant (TCP/IP) | Après (RoCE + MCX653105A-HDAT) | Amélioration |
|---|---|---|---|
| Définition de la fréquence de chargement | 52 μs | 10,8 μs | 96réduction de 0,5% |
| Utilisation du processeur (nœud de stockage, pile réseau) | 72% | 8% | Réduction de 89% |
| Débit effectif par nœud (NVMe-oF) | 18 Gbps | 96 Gbps | 5.3 fois plus |
| La latence de la queue (99,9e centile) | 380 μs | 12 μs | 96Réduction de 0,8% |
Au-delà de ces chiffres, l'équipe a noté des avantages opérationnels supplémentaires.Les spécifications MCX653105A-HDATLes coûts de déploiement de l'appareil, en particulier le déploiement de l'appareil, ont été considérablement améliorés par la mise en place d'un système d'exploitation plus rapide, qui a permis de réduire les perturbations du trafic est-ouest et de faciliter l'évolution.Le prix MCX653105A-HDATL'adaptateur est désormais largement utilisé dans le monde entier.MCX653105A-HDAT à vendreLa mise en œuvre de ces programmes est assurée par des canaux standardisés, rendant cette performance accessible aux organisations de toutes tailles.
Résumé et perspectives: une base pour les infrastructures de nouvelle génération
Cette affaire démontre que leCarte de réseau PCIe avec adaptateur MCX653105A-HDAT ConnectXIl s'agit d'une plateforme pour un véritable calcul centré sur les données.NVIDIA Mellanox MCX653105A-HDAT est une plateforme de téléphonie mobile.transforme la façon dont les serveurs communiquent, éliminant les frais généraux des protocoles hérités et libérant tout le potentiel du stockage NVMe et des tissus de mémoire distribués.
Dans l'avenir, le fournisseur prévoit d'étendre son déploiement pour inclure GPUDirect RDMA pour les charges de travail de formation à l'IA,ainsi que d'explorer les caractéristiques de programmabilité de l'adaptateur pour le traitement de paquets personnalisésPour les architectes informatiques et les ingénieurs de réseau confrontés à des défis de mise à l'échelle similaires, leCarte d'adaptateur Ethernet MCX653105A-HDAToffre une voie éprouvée et prête pour l'avenir vers des réseaux de centres de données à faible latence et à haut débit.