NVIDIA Mellanox MCX653106A-HDAT Solution technique: Transports et serveurs à faible latence basés sur RDMA/RoCE

Ce livre blanc technique est destiné aux architectes réseau, aux ingénieurs avant-vente et aux responsables des opérations. Il se concentre sur leNVIDIA Mellanox MCX653106A-HDATadaptateur de serveur et explique comment créer une infrastructure réseau de centre de données capable d'assurer un transport RDMA/RoCE à l'échelle de la microseconde et des performances à très haut débit.

Les centres de données modernes sont confrontés à trois défis majeurs : une latence imprévisible dans le stockage distribué, un manque de bande passante dans les clusters de formation d'IA et une consommation excessive de processeur par les piles de protocoles réseau traditionnelles. Les solutions TCP/IP conventionnelles ne peuvent plus répondre aux exigences de latence à l'échelle de la microseconde du NVMe-oF, du trading haute fréquence et de l'analyse en temps réel. L'industrie a besoin de toute urgence d'unSolution de carte adaptateur Ethernet MCX653106A-HDATqui offre un transport RDMA déchargé sur le matériel sur une infrastructure Ethernet standard tout en augmentant le débit du serveur jusqu'à des niveaux de 200 Gbit/s.

Cette solution adopte une architecture CLOS Leaf-Spine à deux couches. Tous les nœuds de calcul et de stockage sont connectés via leNVIDIA Mellanox MCX653106A-HDATaux commutateurs ToR 25G/100G. Les principes clés de conception comprennent :

• Réseau sans perte de bout en bout activé par PFC (Priority Flow Control) et ECN (Explicit Congestion Notification)
• Voies de transport RDMA dédiées pour le stockage et les charges de travail HPC
• Séparation du plan de contrôle (standard TCP/IP) et du plan de données (RoCEv2)
• Déchargements de virtualisation basée sur le matériel (SR-IOV, VXLAN/NVGRE/Geneve)

Basé sur leFiche technique MCX653106A-HDAT, l'adaptateur offre une latence port à port inférieure à 600 ns et prend en charge jusqu'à 215 millions de paquets par seconde, ce qui le rend idéal à la fois pour le trafic de stockage Est-Ouest et pour les flux d'applications Nord-Sud.

LeCarte réseau PCIe adaptateur MCX653106A-HDAT ConnectXsert de moteur de plan de données fondamental. Ses principaux rôles comprennent :

• Accélération RDMA/RoCE :Déchargement matériel complet de RoCEv2, y compris la gestion de la congestion, la gestion des paquets dans le désordre et le placement immédiat des données dans les tampons d'application.
• Déchargement du protocole de stockage :Prise en charge native de NVMe-oF (variantes TCP et RoCE), iSER et SRP, éliminant le traitement cible basé sur logiciel.
• Virtualisation et multilocation :Jusqu'à 1 000 fonctions virtuelles (VF) par port, avec déchargement de tunnel de superposition assurant une encapsulation/décapsulation au débit de ligne.
• Sécurité et télémétrie :Cryptage IPsec/TLS en ligne à 200 Gbit/s, plus suivi des flux basé sur le matériel (par exemple, suivi des connexions, histogrammes).

SelonSpécifications du MCX653106A-HDAT, l'adaptateur prend en charge les interfaces PCIe 4.0/5.0 x16, garantissant ainsi l'absence de goulot d'étranglement côté hôte, même à un débit de ligne complet de 200 GbE.

Une topologie de référence validée comprend :

• Couche de calcul :48 serveurs double socket, chacun équipé d'unMCX653106A-HDAT(configuration double port 100GbE). Les ports sont liés en tant que LAG actif-actif.
• Couche de stockage :12 serveurs cibles NVMe-oF 100 % flash, chacun avec deuxCarte adaptateur Ethernet MCX653106A-HDATunités – une pour l’accès au calcul frontal, une pour la réplication back-end.
• Couche réseau :Quatre commutateurs Spine 100GbE et huit commutateurs Leaf, configurés avec des seuils DCBX, PFC (classe 3 pour RoCE) et ECN.

Pour une évolution au-delà de 200 nœuds, l'architecture prend en charge les conceptions multi-pods utilisant EVPN-VXLAN avec déchargement matériel (entièrementCompatible MCX653106A-HDATavec les commutateurs des principaux fournisseurs). Lors de l'évaluation de la capacité,Prix ​​MCX653106A-HDATpar port 100GbE utilisable est environ 40 % inférieur à celui des solutions Fibre Channel ou InfiniBand comparables.

Le fonctionnement efficace des déploiements RDMA/RoCE nécessite des outils spécialisés. Les pratiques suivantes sont recommandées :

Pour le dépannage, capturez les métadonnées spécifiques à RoCEv2 à l'aiderdmatooletibv_devinfo. Les pièges courants incluent des priorités PFC mal configurées (garantir la cohérence sur tous les périphériques réseau) et des vitesses de liaison PCIe incompatibles (valider aveclspci -vvv).

LeNVIDIA Mellanox MCX653106A-HDAToffre une plate-forme éprouvée et prête pour la production pour transformer les structures Ethernet standard en réseaux hautes performances et sans perte. Les évaluations des valeurs clés comprennent :

• Latence:Latence de lecture NVMe-oF déterministe inférieure à 10 µs (P99), permettant des analyses en temps réel et la convergence HPC.
• Débit :Débit proche de la ligne 200 GbE sans perte de paquets, validé parSpécifications du MCX653106A-HDAT.
• Efficacité du processeur :Libère jusqu'à 30 % des cœurs de processeur précédemment consommés par les piles de réseau et de stockage.
• Coût total de possession :Par rapport aux interconnexions propriétaires,MCX653106A-HDAT à vendrela tarification, combinée à la commutation Ethernet standard, réduit les coûts opérationnels sur trois ans d'environ 35 à 50 %.

Les architectes et les responsables des opérations peuvent déployer en toute confiance cette solution pour les structures d'IA, le stockage désagrégé et les systèmes financiers à très faible latence. Pour les étapes de mise en œuvre détaillées, reportez-vous au site officielFiche technique MCX653106A-HDATet la bibliothèque de documentation DOCA de NVIDIA.