Adaptateur Serveur NVIDIA Mellanox MCX631432AN-ADAB en Action | Transport RDMA/RoCE à Faible Latence et Gains de Débit Serveur

NVIDIA Mellanox MCX631432AN-ADAB Adaptateur serveur en action. RDMA/RoCE Transports à faible latence et gains de débit du serveur

Contexte et défi: Le goulot d'étranglement de la latence dans le stockage distribué

L'équipe d'infrastructure d'une grande entreprise Internet a récemment rencontré un défi familier: leur cluster de stockage distribué, construit sur un backend Ceph,Il était difficile de suivre le rythme des demandes croissantes d'application.Alors que les nœuds de stockage étaient équipés de puissants processeurs et de disques NVMe rapides, la latence du réseau était devenue le principal goulot d'étranglement, en particulier pendant les opérations d'E/S de pointe.Les adaptateurs 10GbE existants manquaient de capacités de déchargement matériel, provoquant une intervention excessive du processeur pour chaque paquet traité.

Cette surcharge était plus prononcée dans les charges de travail à forte intensité d'écriture, où chaque opération d'E/S nécessitait plusieurs allers-retours sur le réseau.L'équipe avait besoin d'une solution qui pourrait réduire considérablement la latence de la queue tout en augmentant le débit global du serveurIls se sont donc tournés vers la technologie Ethernet, sans avoir besoin d'une révision complète de leur infrastructure Ethernet existante.NVIDIA Mellanox MCX631432AN-ADAB est une plateforme de téléchargementUn adaptateur SFP28 25GbE à double port spécialement conçu pour les déploiements RDMA sur Ethernet convergé (RoCE).

Solution et déploiement: déploiement de RoCE avec le ConnectX-6 Lx

Le déploiement visait trois nœuds de stockage servant de serveurs de métadonnées au sein du cluster Ceph, où la sensibilité à la latence est la plus élevée.Le système de connectivité de l'équipement est équipé d'un système de connectivité à double port de 25 GbE SFP28l'équipe a configuré les deux ports en mode liaison active-active,un débit de bande passante total maximal de 50 Gb/s tout en assurant une redondance en cas de décalage.

Un aspect essentiel de la mise en œuvre était de permettre à RoCEv2 avec Priority Flow Control (PFC) et Explicit Congestion Notification (ECN) d'assurer un comportement de réseau sans perte.Le système d'exploitation de l'appareil doit être équipé d'une carte de connexion à l'émetteur.Le système de gestion de la congestion de l'électricité supporte nativement ces mécanismes avancés de gestion de la congestion, éliminant le besoin de commutateurs propriétaires ou de licences supplémentaires.L'équipe a également utilisé les horodatages matériels intégrés de l'adaptateur et les compteurs de télémétrie pour surveiller l'état du tissu en temps réel pendant la phase initiale de combustion..

Selon leLe numéro de série de l'appareil est le numéro de série de l'appareil, l'adaptateur prend en charge PCIe Gen 4.0 x8, ce qui s'est avéré essentiel pour saturer pleinement les ports 25GbE doubles sans engloutir le bus hôte.rendre la mise à niveau simplePour les environnements encore sur PCIe Gen 3.0, l' adaptateur reste pleinCompatible avec MCX631432AN-ADABavec compatibilité avec les versions antérieures, une flexibilité qui a simplifié le plan de déploiement par étapes.

Le processus de déploiement a été considérablement simplifié. Avec la pile de pilotes de réseau NVIDIA, les adaptateurs ont été reconnus immédiatement dans l'environnement CentOS 8.Les spécifications du MCX631432AN-ADABpour affiner les allocations de tampons et interrompre les réglages de fusion, en adaptant le comportement de l'adaptateur à leurs modèles de charge de travail spécifiques.

Résultats et bénéfices mesurables

Les gains de performance ont été immédiats et quantifiables.NVIDIA Mellanox MCX631432AN-ADAB est une plateforme de téléchargement:

Au-delà des chiffres, l'équipe a observé une amélioration de la cohérence des temps de réponse d'E/S, éliminant l'effet "voisin bruyant" qui avait précédemment affecté les applications locataires partageant le backend de stockage.Les décharges matérielles fournies par leSolution de carte d'adaptateur Ethernet MCX631432AN-ADABréduit les frais généraux du processeur de manière significative, de sorte que les nœuds pouvaient gérer environ 60% de IOPS de plus avant d'atteindre la saturation du processeur, retardant ainsi efficacement un cycle de rafraîchissement du matériel prévu.

Pour l'équipe d'exploitation du réseau, la télémétrie intégrée de l'adaptateur et la possibilité d'accéder aux compteurs de performance en temps réel via leLes spécifications du MCX631432AN-ADABL'équipe a pu identifier les micro-explosions et les problèmes de profondeur de file d'attente avant qu'ils n'aient un impact sur les charges de travail de production.

Résumé & Perspectives: une base pour l'échelle future

Ce déploiement a validé que leNVIDIA Mellanox MCX631432AN-ADAB est une plateforme de téléchargementCe n'est pas seulement une mise à niveau incrémentielle, mais une composante transformatrice pour les systèmes distribués sensibles à la latence.l'adaptateur a permis de réduire considérablement la latence moyenne et la latence de la queue tout en augmentant simultanément le débit global du serveur de près de 6 foisLes cycles de processeur libérés sont maintenant réaffectés au traitement au niveau de l'application, ce qui améliore encore l'efficacité globale du cluster.

À l'avenir, l'équipe explore d'autres cas d'utilisation pour les adaptateurs,y compris NVMe sur Fabrics (NVMe-oF) pour le stockage de blocs haute performance et potentiellement GPUDirect pour les charges de travail de formation d'IA. La flexibilité de l'architecture ConnectX-6 Lx assure que le mêmeLe code de l'émetteur est le code de l'émetteur.Le matériel peut supporter ces exigences en évolution sans remplacement.Le prix MCX631432AN-ADAB, comparé aux économies d'exploitation et aux gains de performance, présente un argument commercial convaincant.

L'expérience de l'équipe souligne une tendance plus large: à mesure que les centres de données adoptent de plus en plus 25GbE et les tissus supérieurs, le choix de l'adaptateur serveur devient une décision architecturale critique.Le système d'exploitation de l'appareil doit être équipé d'une carte de connexion à l'émetteur.offre une solution éprouvée et prête à la production pour ceux qui cherchent à combler le fossé entre les infrastructures existantes et les exigences de performance de la prochaine génération.