Mellanox (NVIDIA Mellanox) MCX556A-ECAT Serveur NIC Solution technique

Ce livre blanc fournit aux architectes réseau, aux ingénieurs avant-vente et aux responsables des opérations un cadre technique complet pour le déploiement duMellanox (NVIDIA Mellanox) MCX556A-ECATadaptateur réseau du serveur. La solution se concentre sur l'élimination des goulots d'étranglement TCP/IP via RDMA/RoCE, offrant une communication déterministe à faible latence tout en maximisant le débit du serveur pour les charges de travail gourmandes en données.

1. Contexte du projet et analyse des exigences

Les environnements de centres de données modernes, notamment les clusters de formation d'IA, les bases de données distribuées, l'infrastructure hyperconvergée et les plateformes de trading à haute fréquence, partagent une contrainte commune : la pile réseau traditionnelle consomme 30 à 50 % des cycles de processeur sur les copies de mémoire, les changements de contexte et le traitement des protocoles. À mesure que les vitesses de liaison grimpent jusqu’à 100 Gbit/s et au-delà, les réseaux logiciels deviennent insoutenables. Les principales exigences pour la connectivité des serveurs de nouvelle génération incluent : une latence inter-nœuds inférieure à 5 microsecondes, une surcharge du processeur inférieure à 10 % par liaison 100 Gbit/s, un transport sans perte pour les protocoles de stockage (NVMe-oF) et une intégration transparente avec l'infrastructure Ethernet existante. LeSolution de carte adaptateur Ethernet MCX556A-ECATrépond directement à ces demandes.

2. Conception globale de l’architecture réseau/système

L'architecture recommandée déploie leNVIDIA Mellanox MCX556A-ECATen tant qu'adaptateur 100 GbE à double port dans chaque nœud de calcul ou de stockage. La solution adopte une topologie feuille-épine à deux niveaux avec prise en charge RoCE (RDMA over Converged Ethernet). Les décisions architecturales clés comprennent :

• Fondation Ethernet sans perte: activez le contrôle de flux prioritaire (PFC) sur les ports transportant le trafic RoCE et configurez les seuils ECN (Explicit Congestion Notification) sur les commutateurs leaf.
• Classes de trafic séparées : attribuez le trafic RoCE à une file d'attente prioritaire dédiée (généralement 3 ou 5) avec une planification prioritaire stricte.
• Gestion des tampons : allouez des pools de mémoire tampon partagés sur les commutateurs en fonctionSpécifications du MCX556A-ECAT(4 Mo recommandés par port pour un fonctionnement sans perte).

ChaqueCarte réseau PCIe adaptateur MCX556A-ECAT ConnectXse connecte à un commutateur feuille via une optique QSFP28 (SR4, LR4 ou AOC/DAC selon la distance). Pour une haute disponibilité, les configurations à double hébergement relient les deux ports : actif-actif pour le débit ou actif-veille pour le basculement. Le plan de contrôle utilise Ethernet et IP standard, tandis que le plan de données exploite RDMA pour les transferts sans copie.

3. Rôle et principales caractéristiques du Mellanox (NVIDIA Mellanox) MCX556A-ECAT dans la solution

LeMCX556A-ECATsert de moteur de déchargement critique entre la mémoire du serveur et la structure réseau. Son transport basé sur le matériel élimine l'implication du noyau dans le mouvement des données. Capacités clés extraites duFiche technique MCX556A-ECATinclure:

LeCarte adaptateur Ethernet MCX556A-ECATcomprend également un pilotage avancé (classification des flux en 128 files d'attente virtuelles), SR-IOV avec jusqu'à 512 fonctions virtuelles et un déchargement de minuterie matérielle pour le protocole de temps de précision (PTP). Ces fonctionnalités en font un moteur complet d’accélération du chemin de données, et pas seulement une interface à grande vitesse.

4. Recommandations de déploiement et de mise à l'échelle (topologie typique)

Pour un cluster de taille moyenne (64 à 256 nœuds), la topologie suivante est recommandée :

• Couche de feuilles: Deux ou quatre commutateurs RoCE 100GbE à 48 ports (par exemple, NVIDIA SN3700). Chaque feuille se connecte à 24 à 48 serveurs, avec leCompatible MCX556A-ECATPorts QSFP28.
• Couche de la colonne vertébrale: Quatre commutateurs 400GbE à 32 ports fournissant 128 liaisons montantes 100GbE non bloquantes depuis les feuilles.
• Configuration du serveur: UnMCX556A-ECATpar serveur, le port A vers le commutateur feuille A, le port B vers le commutateur feuille B. Cela donne une bande passante globale et une redondance de chemin de 200 Gbit/s.

Faire évoluer la structure au-delà de 256 nœuds nécessite l'ajout de paires feuille-épine ou la migration vers une architecture Clos en 3 étapes. Lors de l'évaluationPrix ​​​​du MCX556A-ECATpar rapport à la capacité future, tenez compte du fait que l'adaptateur estCompatible MCX556A-ECATavec des cartes mères PCIe 4.0 (fonctionnant initialement à 3.0 x16), offrant un chemin de mise à niveau simple.

5. Opérations, surveillance, dépannage et optimisation

L'excellence opérationnelle pour les déploiements RoCE nécessite une surveillance et un réglage spécifiques. Les pratiques clés comprennent :

• Surveillance des compteurs: Utiliserethtool -S ethX | grep -E "roce|pfc|ecn"pour suivre les trames de pause prioritaires et les CNP (Congestion Notification Packets). LeSpécifications du MCX556A-ECATdocumenter les valeurs de référence attendues.
• Réglage du tampon: configurez les tampons de sortie du commutateur sur 4 à 6 Mo pour les files d'attente RoCE. Des tampons insuffisants provoquent des tempêtes PFC et un effondrement du débit.
• Gestion du micrologiciel : Conservez le dernier micrologiciel (disponible sur le portail de support d'entreprise NVIDIA) pour résoudre les errata et obtenir des améliorations de performances documentées dans leFiche technique MCX556A-ECAT.
• Référence de performance: Couririb_write_bwetib_read_latde la boîte à outils OFED. Résultats attendus : 98 à 99 Gbit/s bidirectionnel avec une latence de 0,8 à 1,2 µs pour les messages de 8 octets.

Scénarios de dépannage courants : blocages PFC (vérification des mappages de files d'attente mal configurés), battement de liaison (validation des caractéristiques d'alimentation et de câble) et délais d'attente de connexion RDMA (garantir la cohérence MTU à 4 200 octets pour les trames jumbo). Pour les équipes recherchantMCX556A-ECAT à vendrepour étendre les clusters, l'alignement préalable du micrologiciel entre les lots évite les surprises de compatibilité.

6. Résumé et évaluation de la valeur

LeMCX556A-ECAToffre une proposition de valeur claire pour les centres de données modernes. En activant RDMA/RoCE, leNVIDIA Mellanox MCX556A-ECATréduit la latence des applications de 10 fois par rapport au TCP, réduit la surcharge du réseau du processeur de 85 % et déverrouille la désagrégation du stockage via NVMe-oF. Pour les architectes, la capacité 100GbE à double port de la carte offre une marge future ; pour les équipes opérationnelles, la pile de pilotes mature (Linux, Windows et VMware en amont) simplifie la gestion. Lors de l'évaluationPrix ​​​​du MCX556A-ECATPar rapport au coût total de possession (y compris les licences logicielles, l'alimentation et le refroidissement), l'adaptateur est généralement amorti en 6 à 12 mois grâce à la consolidation des serveurs. Qu'il soit référencé comme unCarte adaptateur Ethernet MCX556A-ECATouCarte réseau PCIe adaptateur MCX556A-ECAT ConnectX, cette solution reste une conception de référence pour les réseaux Ethernet sans perte et à haut débit.