NVIDIA Mellanox MCX653105A-HDAT Adaptateur serveur Solution technique

À mesure que le stockage distribué, les bases de données convergées et les plates-formes de formation en IA évoluent vers les réseaux 100 GbE/200 GbE, la pile TCP/IP traditionnelle est devenue le principal goulot d'étranglement en termes de performances. Les opérations critiques telles que la réplication des données et la synchronisation des journaux sont très sensibles à la latence. Pourtant, la pile réseau du noyau introduit des dizaines de microsecondes de retard et consomme d'importantes ressources CPU pour le traitement du protocole, limitant considérablement l'évolutivité du débit. Les centres de données modernes nécessitent une solution réseau offrant une latence proche de la mémoire, un débit linéaire et une intervention minimale du processeur.

Cette solution technique est centrée surNVIDIA Mellanox MCX653105A-HDATadaptateur de serveur, conçu pour répondre aux exigences clés suivantes :

• Latence inter-nœuds inférieure à la microseconde pour le stockage distribué et les charges de travail HPC
• Utilisation du processeur inférieure à 10 % pour le traitement réseau, libérant ainsi des cœurs pour la logique des applications
• Transport sans perte avec contrôle de la congestion pour éviter les pics de latence de queue
• Intégration transparente avec l'infrastructure Ethernet existante
• Déchargement matériel pour NVMe‑over‑Fabrics (NVMe‑oF) et GPUDirect RDMA

L'architecture proposée adopte une topologie CLOS (spine-leaf) à deux niveaux avec RoCE (RDMA sur Converged Ethernet) déployé comme protocole de transport principal. Tous les serveurs de calcul et de stockage sont équipés duCarte adaptateur Ethernet MCX653105A-HDAT, connecté à des interrupteurs à feuilles compatibles RoCE. PFC (Priority Flow Control) et ECN (Explicit Congestion Notification) sont activés pour créer des domaines Ethernet sans perte pour le trafic RDMA, tandis que des files d'attente prioritaires séparées isolent les flux de stockage, HPC et de gestion.

Les décisions architecturales clés comprennent :

• RoCEv2sur UDP‑IP pour permettre le routage au-delà des limites de la couche 3
• DCQCN (notification quantifiée de congestion du centre de données)pour une gestion proactive des embouteillages
• PCIe partitionnépour consacrer de la bande passante au stockage plutôt qu'au trafic de calcul sur le même adaptateur
• Prise en charge multi-hôtespermettant à jusqu'à quatre serveurs de partager un seul adaptateur (scénarios de stockage désagrégé)

Au cœur de cette solution, leNVIDIA Mellanox MCX653105A-HDAT– un adaptateur ConnectX‑6 Dx 100 GbE à double port – sert de moteur de déchargement critique. Selon leFiche technique MCX653105A-HDAT, la carte intègre des accélérateurs matériels qui modifient fondamentalement la façon dont les serveurs gèrent les E/S réseau.

Le tableau suivant met en évidence la manière dont les fonctionnalités spécifiques répondent aux exigences architecturales :

LeCarte réseau PCIe adaptateur MCX653105A-HDAT ConnectXcomprend également une télémétrie avancée : chaque paquet contient des horodatages matériels et des compteurs de flux, offrant une visibilité en temps réel sur la congestion sans interroger le processeur hôte. Pour les organisations concernées par les achats, lePrix ​​MCX653105A-HDAToffre un retour sur investissement attrayant par rapport à la mise à l'échelle du processeur uniquement ou aux alternatives basées sur FPGA.

Pour un cluster classique de 200 nœuds, nous recommandons l'approche de déploiement suivante :

• Couche foliaire :Commutateurs compatibles RoCE (par exemple, NVIDIA SN3700) avec PFC/ECN activés, configurés pour les paramètres DCQCN adaptés à la rafale de la charge de travail.
• Couche de la colonne vertébrale :Switchs non bloquants avec un taux de surabonnement adéquat (maximum 3:1 pour le trafic de stockage).
• Côté serveur :UnSolution de carte adaptateur Ethernet MCX653105A-HDATpour deux nœuds pour les clusters de stockage partagé, ou un par nœud pour le HPC à calcul intensif.
• Tampons et MTU :Configurez des trames jumbo de 9 000 octets de bout en bout et allouez 10 à 20 % de la mémoire tampon du commutateur par groupe prioritaire pour des garanties sans perte.

Lors de la vérification de la compatibilité, la plupart des principales plates-formes de serveur sontCompatible MCX653105A-HDAT– notamment Dell PowerEdge, HPE ProLiant, Lenovo ThinkSystem et Supermicro. L'interface PCIe 4.0/5.0 x16 de l'adaptateur garantit une bande passante évolutive pour les processeurs de nouvelle génération.

Les déploiements RoCE en production nécessitent une visibilité proactive. Nous recommandons les pratiques opérationnelles suivantes :

• Collecte de télémétrie :Utilisez NVIDIAmft(Outils du micrologiciel Mellanox) etethtool -Spour exporter des compteurs par port et par file d'attente vers Prometheus ou des systèmes similaires.
• Indicateurs clés à surveiller :Images de pause PFC par seconde, débit de paquets marqué ECN, retransmissions RoCE et température de l'adaptateur.
• Détection des embouteillages :Une augmentation soudaine des pauses PFC signale souvent un récepteur lent ; vérifierSpécifications du MCX653105A-HDATpour les paramètres de réglage du seuil de tampon.
• Gestion du micrologiciel :Planifiez les mises à niveau du micrologiciel pendant les fenêtres de maintenance ; l'adaptateur prend en charge la migration en direct des connexions RoCE pour minimiser les temps d'arrêt.
• Liste de contrôle pour le réglage des performances :Activez la fusion IRQ, définissez les tailles d'anneau Rx/Tx appropriées (4 096 recommandé), les interruptions de broches vers les cœurs dédiés et vérifiez la largeur de la liaison PCIe (x16 @ Gen4/5).

LeNVIDIA Mellanox MCX653105A-HDATfournit une base complète et prête pour la production pour les tissus à faible latence basés sur RDMA/RoCE. En déchargeant l'intégralité du chemin des données – des commandes de stockage à la commutation virtuelle et au chiffrement de sécurité – il transforme le réseau de serveurs d'un goulot d'étranglement en un accélérateur. Les organisations qui adoptent cette solution peuvent s’attendre à :

• Latence déterministe inférieure à 2 µssur des centaines de nœuds
• Amélioration du débit 5 à 10 foispour les flux de travail NVMe‑oF et HPC
• 80 à 90 % de réductionen surcharge du processeur liée au réseau
• Évolutivité linéairesans effondrement des embouteillages

Pour les ingénieurs évaluant les options, leFiche technique MCX653105A-HDATet les guides de compatibilité officiels sont les références faisant autorité. Avec l'adaptateur désormais largementMCX653105A-HDAT à vendreGrâce aux partenaires de distribution de NVIDIA, la voie vers un plan de données hautes performances et à faible latence est à la fois claire et réalisable. Cette solution technique constitue un modèle pour toute organisation cherchant à libérer tout le potentiel des réseaux 100GbE avec RDMA et RoCE.