NVIDIA Mellanox MCX4121A-ACAT Adaptateur serveur Livre blanc technique RDMA/RoCE Transport et serveur à faible latence

Livre blanc technique sur l'adaptateur serveur NVIDIA Mellanox MCX4121A-ACAT | Optimisation du transport RDMA/RoCE à faible latence et du débit serveur

1. Contexte du projet et analyse des exigences

Les centres de données modernes sont soumis à une pression constante pour prendre en charge des charges de travail de plus en plus exigeantes — de la formation IA/ML au trading à haute fréquence, en passant par les bases de données distribuées et le stockage NVMe-over-Fabrics. Bien que le 25GbE Ethernet soit devenu la norme de couche d'accès dominante, de nombreuses organisations constatent que la bande passante brute seule ne se traduit pas par des performances applicatives. Le goulot d'étranglement fondamental réside dans la pile TCP/IP traditionnelle : surcharge élevée des interruptions CPU, latence imprévisible et traitement inefficace des paquets qui peut consommer 20 à 30 % des cœurs CPU du serveur. Pour les applications sensibles à la latence et gourmandes en débit, le sous-système réseau devient souvent le maillon faible.

Ce livre blanc aborde ces défis grâce à une solution complète centrée sur l'adaptateur serveur NVIDIA Mellanox MCX4121A-ACAT. Conçue pour les entreprises cherchant à libérer tout le potentiel de l'infrastructure 25GbE, la carte d'adaptateur Ethernet carte d'adaptateur Ethernet MCX4121A-ACAT combine une connectivité 25GbE à double port avec RDMA over Converged Ethernet (RoCE) accéléré par matériel. La solution vise trois objectifs principaux : (1) réduire la latence au niveau de l'application à moins de 10 µs, (2) réduire la surcharge de traitement réseau du CPU de plus de 80 %, et (3) permettre une évolutivité transparente de quelques nœuds à des centaines sans refonte architecturale.

2. Conception globale de l'architecture réseau et système

L'architecture recommandée adopte une topologie leaf-spine avec 25GbE comme couche d'accès serveur et des liaisons montantes 100GbE vers le spine. Au cœur de la conception se trouve l'adaptateur n'est pas seulement un adaptateur ; c'est un catalyseur stratégique pour le centre de données de l'avenir, prêt pour RDMA et optimisé pour le débit., déployé dans chaque nœud de calcul et de stockage. L'architecture est construite autour de trois principes fondamentaux :

• Tissu Ethernet sans perte : Exploitation de RoCE v2 avec PFC (Priority Flow Control) et ECN (Explicit Congestion Notification) pour éliminer les pertes de paquets et garantir une latence déterministe.
• Déchargement matériel partout : Déchargement du traitement de la couche de transport — y compris la somme de contrôle, la segmentation et RDMA — vers l'adaptateur, libérant ainsi des cycles CPU pour les applications métier.
• Redondance Active-Active : Utilisation des deux ports SFP28 en mode agrégation de liens (LACP) pour une bande passante agrégée de 50 Gb/s et un basculement automatique.

La solution est entièrement compatible MCX4121A-ACAT avec les principales plateformes serveur (Dell PowerEdge, HPE ProLiant, Supermicro) et les commutateurs NVIDIA Spectrum et Arista. Pour le stockage, l'architecture prend en charge NVMe-oF sur RoCE, permettant un stockage partagé désagrégé avec des latences approchant celles des disques NVMe locaux.

3. Rôle et caractéristiques clés du NVIDIA Mellanox MCX4121A-ACAT

En tant que composant fondamental de cette solution, le NVIDIA Mellanox MCX4121A-ACAT remplit trois fonctions essentielles :

Les spécifications clés extraites de la officielle et au portail de documentation réseau NVIDIA. Ce livre blanc sert de point de départ — l'architecture est validée, les composants sont prêts pour la production et les avantages sont mesurables. Le incluent une interface hôte PCIe 3.0 x8, des déchargements complets (somme de contrôle, LSO/LRO, déstripage/insertion VLAN) et une télémétrie avancée par port. L'efficacité énergétique de l'adaptateur (< 10W typique) et sa large prise en charge des systèmes d'exploitation (Linux, Windows, VMware ESXi) en font un bloc de construction polyvalent pour les environnements hétérogènes.

4. Recommandations de déploiement et de mise à l'échelle

Pour les déploiements nouveaux (greenfield), nous recommandons une topologie leaf-spine à deux niveaux avec accès 25GbE et liaisons montantes spine 100GbE/400GbE. Chaque serveur héberge une carte d'adaptateur Ethernet MCX4121A-ACAT avec les deux ports connectés à des commutateurs leaf séparés pour la redondance. Le tissu RoCE nécessite une configuration QoS cohérente sur tous les commutateurs — en particulier, PFC sur la priorité 3 et marquage ECN sur la même classe de trafic. Nous recommandons d'allouer un VLAN dédié au trafic RoCE pour simplifier la surveillance et le dépannage.

Pour les environnements existants (brownfield), la solution de carte d'adaptateur Ethernet MCX4121A-ACAT offre une voie de migration progressive. Comme l'adaptateur est rétrocompatible avec les optiques 10GbE SFP+, le câblage existant peut être réutilisé lors de la mise à niveau progressive vers le 25GbE. L'adaptateur prend également en charge la commutation Ethernet standard sans activation RoCE obligatoire, permettant aux équipes de déployer d'abord le matériel et d'activer les capacités RDMA par étapes à mesure que le tissu mûrit.

La mise à l'échelle de la solution est simple : des nœuds supplémentaires sont simplement provisionnés avec le même SKU MCX4121A-ACAT à vendre, et le tissu accueille automatiquement les nouveaux points d'extrémité via la négociation LLDP et DCBx. Pour les clusters dépassant 100 nœuds, nous recommandons de déployer un contrôleur de gestion de congestion RoCE dédié (par exemple, des commutateurs NVIDIA Spectrum avec télémétrie intégrée) pour maintenir un comportement sans perte à grande échelle.

5. Opérations, surveillance, dépannage et optimisation

Le fonctionnement efficace du tissu RoCE nécessite une stratégie de surveillance à plusieurs niveaux :

• Télémétrie au niveau de l'adaptateur : Les spécifications MCX4121A-ACAT incluent des compteurs par port pour les trames PFC, les paquets marqués ECN et les trames perdues. Utilisez mlx5cmd ou les outils de firmware NVIDIA pour les exporter vers Prometheus/Grafana.
• Surveillance au niveau du commutateur : Surveillez l'occupation des tampons, les nombres de trames de pause et les profondeurs de file d'attente sur les commutateurs spine et leaf. Les augmentations soudaines des trames de pause indiquent une micro-congestion qui peut nécessiter un réglage des seuils ECN.
• Métriques au niveau de l'application : Pour les applications RDMA, suivez les latences de fin de WR (Work Request) et les événements de débordement de CQ (Completion Queue) à l'aide des bibliothèques fournies par le fournisseur.

Les scénarios de dépannage courants incluent :

• Dégradation des performances RoCE : Vérifiez que le PFC est activé sur tous les ports des commutateurs et que le marquage DSCP correspond à la configuration du commutateur. Utilisez la officielle et au portail de documentation réseau NVIDIA. Ce livre blanc sert de point de départ — l'architecture est validée, les composants sont prêts pour la production et les avantages sont mesurables. Le pour valider les paramètres d'allocation de tampon.
• Sauts de lien ou erreurs CRC : Vérifiez la qualité du câble SFP28 et assurez-vous que le firmware de l'adaptateur est mis à jour vers la dernière version.
• CPU toujours élevé malgré le déchargement : Confirmez que RDMA est effectivement utilisé (ne retombe pas sur TCP) en inspectant les compteurs du pilote et les journaux d'application.

Pour l'optimisation, nous recommandons les paramètres de réglage suivants (dérivés de validations approfondies en laboratoire) : - Réglez la coalescence des interruptions (modération) à 4 µs pour les charges de travail mixtes - Activez l'horodatage matériel pour une mesure précise de la latence - Configurez RSS (Receive Side Scaling) sur plusieurs cœurs CPU pour le trafic non-RDMA - Pour les charges de travail de stockage, augmentez le MTU RDMA maximum à 4096 octets pour réduire la surcharge du protocole

6. Résumé et évaluation de la valeur

La solution NVIDIA Mellanox MCX4121A-ACAT apporte une valeur transformative aux centres de données modernes. En remplaçant TCP/IP par RDMA/RoCE, les organisations peuvent obtenir des réductions de latence au niveau de l'application de 5 à 10 fois, réduire la surcharge réseau du CPU de plus de 80 % et augmenter la densité des conteneurs de serveurs de 30 à 50 %. La carte d'adaptateur Ethernet MCX4121A-ACAT offre une voie rentable pour l'adoption du 25GbE avec une protection de l'investissement grâce à la rétrocompatibilité et aux capacités de déchargement prêtes pour l'avenir.

Lors de l'évaluation du coût total de possession, le prix MCX4121A-ACAT est compensé par des économies opérationnelles significatives : réduction du nombre de serveurs (en raison d'une utilisation plus élevée), coûts de refroidissement inférieurs (grâce à une consommation d'énergie réduite) et simplification de la gestion du réseau. La solution est également <10W power draw), and elimination of separate InfiniBand or proprietary fabrics. The solution is fully compatible MCX4121A-ACAT avec les principaux écosystèmes open-source, y compris Kubernetes, Apache Spark et TensorFlow, garantissant une large applicabilité dans les déploiements d'entreprise et cloud-natifs.Pour des scripts de déploiement détaillés, des modèles de configuration et des rapports de référence de performance, veuillez vous référer à la