Solution Technique NVIDIA Mellanox MCX556A-ECAT : RDMA/RoCE pour le transport à faible latence et l'optimisation du débit serveur

Ce livre blanc technique s'adresse aux architectes réseau, aux ingénieurs avant-vente et aux responsables des opérations. Il se concentre sur la carte serveur NVIDIA Mellanox MCX556A-ECAT et fournit un cadre systématique pour la construction de réseaux de centres de données haute performance et à faible latence utilisant la technologie RDMA et RoCE.

Les charges de travail modernes des centres de données, y compris le stockage distribué (Ceph, Lustre), les bases de données en mémoire (Redis, Aerospike) et les frameworks d'entraînement IA, exigent à la fois un débit élevé et une latence inférieure à la milliseconde. Les piles TCP/IP traditionnelles introduisent une surcharge CPU importante, des changements de contexte et des copies de données, qui deviennent des goulots d'étranglement lorsque les vitesses réseau atteignent 100 Gb/s et plus. Les exigences clés pour l'infrastructure de nouvelle génération comprennent : la décharge CPU (réduction de l'utilisation du processeur hôte), une latence ultra-faible et prévisible (en particulier pour la latence de queue), un transport sans perte pour les protocoles de stockage (NVMe-oF, iSER) et une intégration transparente avec l'infrastructure Ethernet existante. La carte MCX556A-ECAT répond directement à chacune de ces exigences.

L'architecture recommandée adopte une topologie leaf-spine à deux niveaux avec Ethernet sans perte configuré pour le transport RoCE (RDMA over Converged Ethernet). Tous les nœuds de calcul et de stockage sont équipés de la carte réseau Ethernet MCX556A-ECAT, connectés aux commutateurs leaf via des liaisons 100 GbE QSFP28. Les commutateurs spine agrègent le trafic de la couche leaf, fournissant une bande passante de cœur non bloquante. Les principes architecturaux clés comprennent :

• Séparation des plans de contrôle et de données : RoCEv2 encapsule RDMA dans UDP/IP, permettant le routage à travers les limites de la couche 3.
• Contrôle de flux prioritaire (PFC) : Permet un comportement sans perte pour les classes de trafic RDMA.
• Sélection de transmission améliorée (ETS) : Garantit la bande passante pour les flux sensibles à la latence.
• Notification de congestion : Utilisation de DCQCN (Data Center Quantized Congestion Notification) pour le contrôle de flux de bout en bout.

L'architecture prend en charge les environnements bare-metal et virtualisés, avec SR-IOV fournissant un passage direct des fonctions virtuelles aux VM.

En tant que carte réseau PCIe MCX556A-ECAT ConnectX, cette carte sert de pierre angulaire de la solution. Son moteur de décharge matériel contourne le noyau, permettant un transfert de données direct de mémoire à mémoire. Les fonctionnalités critiques comprennent :

Pour les équipes examinant la fiche technique MCX556A-ECAT et spécifications MCX556A-ECAT, notez que la carte prend en charge PCIe 3.0 et 4.0 (x16), assurant la rétrocompatibilité avec les serveurs existants tout en offrant une voie de migration vers les plateformes de nouvelle génération.

Un déploiement de référence pour un cluster de taille moyenne (jusqu'à 200 nœuds) est décrit ci-dessous. La carte MCX556A-ECAT est installée dans le slot PCIe de chaque serveur, avec une connectivité double port pour la redondance et l'agrégation de bande passante.

• Topologie physique : Deux commutateurs spine, quatre commutateurs leaf. Chaque leaf se connecte à tous les spines (maillage complet). Chaque serveur se connecte à deux leaves (agrégation active-active).
• Configuration RoCE : VLAN dédié pour le trafic RoCE. Marquage QoS basé sur DSCP (par exemple, DSCP 46 pour RDMA). PFC activé sur la priorité 3.
• Gestion des tampons : Configurer des tampons de marge sans perte par port en fonction du temps de trajet aller-retour et de la distance du lien.
• Adressage : Utiliser des affectations IP statiques ou des réservations DHCP pour les interfaces RDMA. Assurer les trames jumbo (MTU 9000) de bout en bout.

Mise à l'échelle au-delà de 200 nœuds : Introduire une couche super-spine et déployer BGP-EVPN pour l'extension de couche 2 sur plusieurs pods. Vérifier les optiques et câbles compatibles MCX556A-ECAT auprès de fournisseurs qualifiés (par exemple, Mellanox, FS.com). Lors de l'évaluation du prix MCX556A-ECAT pour un approvisionnement à grande échelle, tenir compte des prix groupés avec les commutateurs et les optiques.

Le fonctionnement efficace d'un tissu basé sur RoCE nécessite une surveillance proactive et des outils spécialisés :

• Surveillance des performances : Utiliser mlxlink et ethtool pour les statistiques de liaison (BER, erreurs FEC). La solution de carte réseau Ethernet MCX556A-ECAT de NVIDIA inclut la télémétrie via PCM (Performance Counters Monitor).
• Détection de congestion : Surveiller les paquets marqués ECN et les trames de pause PFC à l'aide de la télémétrie du commutateur (par exemple, MIBs SNMP Mellanox). Des taux élevés de trames de pause indiquent une pression sur les tampons.
• Gestion du firmware et des pilotes : Mettre à jour régulièrement vers les dernières versions de NVIDIA OFED. Utiliser mstflint pour la validation du firmware.
• Dépannage courant : Pour les échecs de connexion RDMA, vérifier la cohérence de l'MTU, l'appartenance au VLAN et les mappages DSCP vers CoS. Utiliser ibdev2netdev et rdma link show pour vérifier l'état de l'appareil.
• Conseils d'optimisation : Ajuster les paramètres DCQCN (alpha, bêta, minuteur d'augmentation du débit) en fonction de la charge de travail. Pour les charges de travail de stockage, augmenter la profondeur de la file d'attente d'achèvement. Pour l'entraînement IA, activer GPUDirect RDMA et épingler la mémoire.

Pour la planification de la capacité, se référer à la fiche technique MCX556A-ECAT pour les spécifications thermiques et d'alimentation (typiquement 15W). La carte est largement MCX556A-ECAT en vente via des distributeurs agréés, y compris des programmes de stock de pièces de rechange.

La carte MCX556A-ECAT offre une valeur mesurable selon trois dimensions : performance (réduction jusqu'à 90 % de la latence des applications, gain de débit 4x), efficacité (décharge CPU 70 %, puissance inférieure par Gb/s) et coût total de possession (infrastructure consolidée, nombre de serveurs réduit, coûts de refroidissement inférieurs). Les organisations déployant la carte NVIDIA Mellanox MCX556A-ECAT dans le cadre d'une solution basée sur RoCE peuvent s'attendre à un retour sur investissement dans les 6 à 12 mois, en fonction de l'intensité de la charge de travail. Pour les centres de données de nouvelle génération adoptant l'IA, le HPC ou le stockage défini par logiciel, cette carte représente une base éprouvée et évolutive. Pour commencer, demandez une fiche technique MCX556A-ECAT et validez les configurations compatibles MCX556A-ECAT auprès de votre fournisseur de commutateurs.