Solution technique: réalisation de la RDMA/RoCE à faible latence et optimisation du débit avec le Mellanox

Les centres de données modernes sont constamment sous pression pour offrir des performances plus élevées pour les applications sensibles à la latence telles que les bases de données distribuées, le calcul haute performance (HPC) et les clusters d'entraînement à l'IA. Le réseau TCP/IP traditionnel impose une surcharge CPU importante, créant des goulots d'étranglement qui limitent la scalabilité des applications et augmentent les temps de réponse. Pour les organisations qui cherchent à moderniser leur infrastructure, l'exigence principale est claire : réduire la latence et augmenter le débit du serveur sans refonte architecturale coûteuse.

La solution réside dans l'adoption de RDMA (Remote Direct Memory Access) sur Converged Ethernet (RoCE). Cette technologie permet des transferts de données directs de mémoire à mémoire, contournant le noyau du système d'exploitation pour libérer les ressources CPU et minimiser la latence. Au cœur de cette transformation se trouve la carte d'interface réseau (NIC). La MCX631432AN-ADAB de Mellanox (NVIDIA) est spécialement conçue pour répondre à ces exigences, offrant une base solide pour les fabrics compatibles RoCE.

L'architecture proposée est une fabric leaf-spine conçue pour un environnement Ethernet sans perte, ce qui est une condition préalable à des performances RoCEv2 optimales. La conception intègre le trafic de calcul et de stockage sur une fabric unifiée à haute vitesse pour réduire la complexité et les coûts.

• Couche Spine : Des commutateurs 100GbE à haute capacité fournissent une connectivité non bloquante entre tous les commutateurs leaf, garantissant des chemins à faible latence de n'importe quel point à n'importe quel autre.
• Couche Leaf : Des commutateurs Top-of-Rack (ToR) avec des liaisons descendantes 25GbE se connectent aux serveurs et aux nœuds de stockage. Ces commutateurs sont configurés avec le contrôle de flux prioritaire (PFC) et la notification explicite de congestion (ECN) pour maintenir une fabric sans perte.
• Couche Serveur : Chaque serveur est équipé de la NVIDIA Mellanox MCX631432AN-ADAB, un adaptateur SFP28 dual-port 25GbE. Cela permet le regroupement de réseaux ou des chemins séparés pour le trafic de stockage et de calcul.

Cette conception garantit que la carte adaptateur Ethernet MCX631432AN-ADAB fonctionne dans un environnement où le trafic RoCE peut circuler sans perte de paquets, ce qui est essentiel pour maintenir un débit élevé et une faible latence.

La MCX631432AN-ADAB est le point d'extrémité critique qui permet la solution entière. En tant que membre de la famille ConnectX-6 Lx, elle apporte des fonctionnalités de niveau entreprise au facteur de forme 25GbE. Son rôle principal est de servir de solution de carte adaptateur Ethernet MCX631432AN-ADAB pour le trafic de calcul et de stockage, en déchargeant les tâches réseau du CPU du serveur.

Les principales contributions techniques de l'adaptateur incluent :

• Déchargements matériels : La carte gère tous les aspects du protocole RoCE en matériel, y compris le transport, l'encapsulation et le contrôle de la congestion. Cela garantit que les opérations RDMA consomment presque zéro cycle CPU.
• Flexibilité dual-port : Les deux ports 25GbE peuvent être configurés pour un basculement actif/veille ou utilisés pour séparer les types de trafic. Par exemple, un port peut gérer le trafic Ethernet frontal tandis que l'autre est dédié au trafic de stockage dorsal utilisant RoCE, maximisant le débit et la sécurité.
• Interface hôte PCIe 3.0 x16 : Avec une bande passante suffisante pour piloter simultanément les deux ports 25GbE, la MCX631432AN-ADAB ConnectX-6 Lx dual-port 25GbE SFP28 garantit qu'aucun goulot d'étranglement interne ne limite les performances de l'application.

Le déploiement de la MCX631432AN-ADAB nécessite une planification minutieuse de la fabric réseau et de la configuration du serveur. Les étapes suivantes décrivent un déploiement typique pour un cluster haute performance :

• Préparation de la fabric : Avant le déploiement, configurez les commutateurs réseau pour prendre en charge RoCE. Cela implique d'activer le PFC pour la classe de trafic RoCE et de mettre en œuvre une gestion de la congestion basée sur l'ECN. Cela crée l'environnement sans perte requis pour que l'adaptateur fonctionne de manière optimale.
• Installation des pilotes et du firmware : Installez les derniers pilotes NVIDIA WinOF-2 (pour Windows) ou MLNX_OFED (pour Linux) pour garantir une prise en charge complète des fonctionnalités. Il est essentiel de vérifier que le firmware de la MCX631432AN-ADAB est à jour pour des performances RoCE et une compatibilité optimales.
• Mise à l'échelle du cluster : L'architecture évolue horizontalement en ajoutant plus de nœuds serveurs, chacun avec sa propre MCX631432AN-ADAB. La fabric leaf-spine non bloquante garantit que les nœuds ajoutés ne dégradent pas les performances des nœuds existants. Pour les déploiements plus importants, des groupes d'agrégation de liens (LAG) peuvent être utilisés entre les commutateurs leaf et spine.

Une topologie typique pour un cluster de bases de données implique de connecter les serveurs primaires et répliqués au même commutateur leaf pour minimiser la latence inter-racks. Chaque serveur utilise son adaptateur dual-port pour se connecter à deux commutateurs leaf distincts pour la redondance.

Une fois déployé, le maintien des performances nécessite une surveillance et un réglage proactifs. La MCX631432AN-ADAB fournit une télémétrie complète à cet effet.

• Surveillance des métriques clés : Utilisez des outils tels que `mlxstat` et `ethtool` pour surveiller les compteurs de ports, les erreurs de liaison et les statistiques de trafic RDMA. Le suivi des trames de pause PFC est essentiel ; un nombre élevé indique une fabric avec pertes qui dégradera les performances RoCE.
• Mises à jour du firmware et des pilotes : Vérifiez régulièrement les mises à jour. Les nouveaux firmwares incluent souvent des optimisations de performance et des corrections de bugs qui peuvent réduire davantage la latence et améliorer la compatibilité avec les commutateurs en amont.
• Optimisation des performances : Pour les environnements aux exigences de latence les plus strictes, un réglage fin de la modération des interruptions et des tailles de tampons peut apporter des gains incrémentiels. La flexibilité de l'adaptateur permet aux architectes de régler les paramètres en fonction de leur charge de travail spécifique (par exemple, HPC vs virtualisation).

Pour dépanner les problèmes de connectivité, la première étape consiste à vérifier que les modules SFP28 sont compatibles MCX631432AN-ADAB. L'utilisation d'optiques qualifiées par NVIDIA garantit un établissement de liaison et des performances fiables.

La MCX631432AN-ADAB de Mellanox (NVIDIA) offre une voie claire et efficace pour la mise en œuvre d'une fabric réseau haute performance et à faible latence. En tirant parti de ses capacités avancées de déchargement RoCE, les organisations peuvent obtenir les doubles avantages d'une surcharge CPU considérablement réduite et d'un débit serveur considérablement augmenté. Les spécifications MCX631432AN-ADAB détaillées et la fiche technique MCX631432AN-ADAB valident sa capacité à gérer les charges de travail les plus exigeantes.

Pour les responsables informatiques et les architectes réseau évaluant un renouvellement matériel, les gains de performance offerts par cette solution se traduisent directement par une valeur commerciale : traitement des transactions plus rapide, accès au stockage plus efficace et coût total de possession amélioré. Alors que les demandes de données continuent d'augmenter, le déploiement de la MCX631432AN-ADAB garantit que l'infrastructure réseau n'est pas un goulot d'étranglement, mais un accélérateur. Pour des informations détaillées sur les prix ou pour vérifier le prix MCX631432AN-ADAB et la disponibilité, veuillez consulter votre représentant NVIDIA.