NVIDIA Mellanox MCX653106A-HDAT en action: RDMA / RoCE Optimisation du transport à faible latence et du débit du serveur
July 30, 2026
A major hyperscale cloud provider operating a 256-node cluster for distributed AI training and real-time analytics began experiencing severe network performance degradation as their infrastructure scaledLe tissu existant basé sur TCP/IP 25GbE affichait des latences All-Reduce supérieures à 6 millisecondes sur 128 nœuds.Alors que l'utilisation du processeur pour le traitement du réseau consommait plus de 40% de la capacité de calcul de chaque serveurCe goulot d'étranglement a limité l'utilisation du GPU à seulement 55%, allongeant considérablement les cycles de formation et réduisant la capacité de génération de revenus.L'équipe avait besoin d'une solution capable de fournir à la fois une latence à l'échelle des microsecondes et une bande passante massive tout en fournissant la programmabilité nécessaire à l'optimisation du trafic spécifique à la charge de travail.
Après une évaluation technique approfondie, le fournisseur a choisi leNVIDIA Mellanox MCX653106A-HDAT est un appareil de téléphonie mobileChaque nœud de serveur était équipé d'unCarte réseau PCIe avec adaptateur MCX653106A-HDAT ConnectX, configuré avec une connectivité à double port de 100 GbE pour fournir 200 Gb/s de bande passante globale par nœud.
- Phase 1 L'équipe a installéCarte d'adaptateur Ethernet MCX653106A-HDATLes adaptateurs ont été associés à des commutateurs NVIDIA Spectrum-4 pour la gestion de la congestion de bout en bout.
- Phase 2 Validation et réglage:L'utilisation des données de télémétrie documentées dans leLa feuille de données MCX653106A-HDAT, l'équipe a validé la configuration, affiné les paramètres DCB et optimisé les paramètres de communication collective NCCL.Les caractéristiques de programmabilité avancées de l'adaptateur ont permis une direction de trafic personnalisée pour les modèles spécifiques de réduction totale de la charge de travail.
- La phase 3 Après validation réussie, l'ensemble du cluster a été migré vers le nouvel adaptateur.Compatible avec le MCX653106A-HDATLa nature de la solution a assuré une intégration transparente avec les serveurs existants et les distributions Linux.
- Phase 4 Optimisation continue:L'équipe a tiré parti de la télémétrie en ligne de l'adaptateur et du chemin de données programmable pour mettre en œuvre des politiques de routage axées sur la charge de travail, optimisant ainsi davantage les performances des emplois de formation de l'IA.
L'équipe a noté queSolution de carte d'adaptateur Ethernet MCX653106A-HDATLes ports QSFP56 prenaient en charge à la fois les optiques 100GbE et 25GbE, ce qui permettait une transition en douceur sans perturber la connectivité existante.
| Pour la métrique | Pré-mise à niveau (25GbE TCP/IP) | Le système d'exploitation de l'appareil doit être équipé d'un système d'exploitation de l'appareil, qui doit être équipé d'un système d'exploitation de l'appareil. | Amélioration |
|---|---|---|---|
| Réduction totale de la latence (256 nœuds) | 60,8 ms | 0.22 ms | 30.9* réduction |
| Utilisation du processeur réseau (par nœud) | 43% | 5% | 38 p.p. récupérés |
| Utilisation du GPU (phase de formation) | 55% | 93% | +38% d'augmentation |
| Performance de la formation en grappes | 2.1x niveau de référence | 6.4x le niveau de référence | 3.0* augmentation |
Au-delà de ces gains quantitatifs, le fournisseur a constaté des avantages opérationnels significatifs.accélérer considérablement les délais de mise sur le marché des nouveaux services d'IALe parcours de données programmable de l'adaptateur permettait de façonner le trafic sur mesure pour les flux prioritaires, garantissant que le trafic de communication collective critique ne subisse jamais de conflit.Pour les organisations évaluant le retour sur investissement, leLe prix MCX653106A-HDATL'équipe a également noté que les performances de l'équipe étaient très élevées et qu'elle était en mesure d'accélérer les opérations de déploiement.MCX653106A-HDAT à vendreLes paquets avec les commutateurs NVIDIA Spectrum-4 offraient les économies les plus favorables pour les déploiements à grande échelle.
Le fournisseur a également mis à profit les capacités de télémétrie complètes détaillées dans leLes spécifications MCX653106A-HDATcréer des modèles de performance prédictifs et des stratégies automatisées d'atténuation de la congestion, afin d'améliorer encore l'efficacité opérationnelle.
Ce déploiement à l'échelle de la production démontreNVIDIA Mellanox MCX653106A-HDAT est un appareil de téléphonie mobileest un composant transformateur pour l'intelligence artificielle moderne et l'infrastructure cloud.et des décharges matérielles complètes permettent une mise à l'échelle quasi linéaire pour les charges de travail accélérées par GPUComme un bout à boutSolution de carte d'adaptateur Ethernet MCX653106A-HDAT, elle élimine le goulot d'étranglement du réseau qui a limité historiquement l'efficacité de la formation distribuée et la fourniture de services cloud.
En regardant vers l'avenir,le fournisseur de services cloud étudie une intégration élargie avec NVIDIA DOCA pour mettre en œuvre une programmabilité supplémentaire des chemins de données pour une optimisation spécifique de la charge de travail dans plusieurs environnements de locatairesIls tirent également parti de la télémétrie en ligne de l'adaptateur, largementLa feuille de données MCX653106A-HDAT¢ développer des systèmes automatisés de gestion du rendement de nouvelle génération.NVIDIA Mellanox MCX653106A-HDAT est un appareil de téléphonie mobileest devenue le fondement de leur feuille de route d'infrastructure d'IA, fournissant une plateforme robuste et évolutive pour la prochaine génération de formation de modèles de base et de services d'analyse en temps réel.