Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Adaptateur serveur en action. RDMA/RoCE Transport et serveur à faible latence

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Adaptateur serveur en action. RDMA/RoCE Transport à faible latence et optimisation du débit du serveur

Dans le scénario de déploiement hybride élastique à grande échelle d'une société Internet,La latence du réseau et les frais généraux du processeur sont devenus des obstacles critiques à l'utilisation et aux performances de stockage du GPU.. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureCette étude de cas examine la façon dont lesLe numéro de téléphone est le numéro d'identification de l'appareil.NVIDIA Mellanox a relevé ces défis et transformé le tissu réseau en un véritable accélérateur de calcul.

Contexte et défis: lorsque les NIC 25G atteignent leurs limites

L'environnement de production était composé de plus de 1200 nœuds de calcul répartis sur deux zones de disponibilité, exécutant un mélange de services d'inférence en ligne, de formation en IA hors ligne et de stockage d'objets distribués.Les adaptateurs Ethernet 25G existants, bien qu'adéquate pour la connectivité de base, a eu du mal à faire face à des charges de travail simultanées.

• Utilisation élevée du processeur: Le traitement par piles TCP/IP basé sur logiciel consomme jusqu'à 35% des cœurs du processeur sur les nœuds de stockage pendant les pics d'E/S.
• latence incohérente: la latence de la queue (p99) pour les opérations distribuées à réduction totale dépassait fréquemment 50 μs, ce qui entraînait une sous-utilisation du GPU lors de la synchronisation des paramètres.
• Le goulot d'étranglement du stockage: Le trafic NVMe-oF sur Ethernet à perte a souffert de chutes de paquets, déclenchant des retransmissions qui ont dégradé le débit effectif de près de 40%.

Après avoir évalué de multiples alternatives, y compris les InfiniBand propriétaires et les NIC 25G concurrents, l'équipe a sélectionné leNVIDIA Mellanox MCX623106AN-CDAT est une plateforme de téléphonie mobile.pour sa combinaison unique d'accélération RoCEv2 basée sur le matériel, de chemin de données programmable et de grande compatibilité avec les plateformes.

Approche de la solution et du déploiement

La stratégie de déploiement était axée sur trois piliers:L'utilisation de la technologie RDMA/RoCE est autorisée,activation de la décharge intelligente, etmigration progressive de la flotte. Chaque nœud de calcul en a reçu un.La carte d'adaptateur Ethernet MCX623106AN-CDAT, remplaçant les NIC de la génération précédente sans modifier l'infrastructure 25G en cuivre/fibre sous-jacente.

D'un point de vue de la configuration, l'équipe a tiré parti deLa feuille de données MCX623106AN-CDATpour affiner les paramètres suivants:

• Réglage de la PFC (contrôle prioritaire du débit) RoCEv2: Des classes dédiées de trafic sans perte ont été définies pour le stockage (NVMe-oF) et les communications collectives IA, tandis que le trafic de meilleur effort est resté sur des files d'attente séparées avec perte.
• Décharges matérielles activées: VXLAN/NVGRE tunnel offload, segmentation de la somme de contrôle et LRO (Large Receive Offload) ont été activés pour réduire l'intervention du processeur par paquet.
• Programmabilité prête à être utilisée par la DPU: En utilisant ASAP2, l'équipe a déployé des règles de flux légères pour diriger le trafic de stockage directement vers les terminaux cibles NVMe-oF, en contournant complètement la pile réseau du noyau.

La validation de la compatibilité a été simpleCompatible avec MCX623106AN-CDATLa liste couvrait tous les modèles de serveurs de la flotte (Dell PowerEdge R750 et Supermicro Ultra), et les nœuds existants basés sur Red Hat OpenShift et Ubuntu ont adopté les nouveaux pilotes sans problème.

Résultats et bénéfices mesurables

Après trois semaines de déploiement en production sur 40% du parc informatique, les gains de performance ont été immédiatement visibles.

Au-delà des améliorations quantitatives, l'équipe d'ingénieurs a signalé un changement qualitatif de la stabilité opérationnelle.Les mécanismes PFC et ECN (Explicit Congestion Notification) basés sur le matériel assuraient que le trafic de stockage restait pratiquement sans perte., en éliminant les tempêtes de retransmission en cascade qui ont précédemment affecté les SLA d'application.Carte réseau PCIe avec adaptateur ConnectX MCX623106AN-CDATgéré le chiffrement IPSec à taux de ligne pour le trafic de réplication interzonale, permettant à l'équipe de sécurité d'appliquer des politiques de confiance zéro sans déployer d'appareils de chiffrement dédiés.

Résumé et perspectives

Ce déploiement souligne que leSolution de carte d'adaptateur Ethernet MCX623106AN-CDATCe n'est pas seulement une mise à niveau incrémentielle du NIC, c'est un facilitateur stratégique pour les architectures de centres de données modernes.et des capacités de déchargement complètes, l'adaptateur transforme efficacement un tissu Ethernet standard en une couche d'infrastructure à faible latence et à haut rendement.L'organisation informatique prévoit maintenant d'étendre le déploiement à tous les nœuds restants et évalue activement lesLes spécifications MCX623106AN-CDATpour les modèles 50G Spine-Leaf de nouvelle génération.

Pour les architectes d'infrastructures et les gestionnaires informatiques confrontés à des plafonds de performance similaires, leLe numéro de téléphone est le numéro d'identification de l'appareil.L'architecture est un métier qui offre un parcours convaincant et éprouvé."Nous avons obtenu une meilleure latence que nos précédents 25G NIC à la moitié du coût du processeur, et nous n'avons pas eu à recâbler un seul rack".Avec sa grosseCompatible avec MCX623106AN-CDATLe secteur de l'éco-Le prix MCX623106AN-CDATEn ce qui concerne le positionnement, cet adaptateur est bien placé pour devenir le choix par défaut pour les déploiements RoCE 25G, que la charge de travail soit la formation de l'IA, le stockage distribué ou l'analyse en temps réel.

Les étiquettes:Le numéro de téléphone est le numéro d'identification de l'appareil.NVIDIA Mellanox ConnectX-6 Dx Déploiement RDMA/RoCE Réseaux à faible latence Optimisation du débit du serveur