Solution technique pour adaptateur serveur Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Adaptateur serveur Solution technique: RDMA/RoCE Transports à faible latence et amélioration du débit du serveur

1. Analyse des antécédents et des besoins du projet

Les centres de données modernes sont en train de passer de l'architecture "computation-centrique" à l'architecture "data-centrique", entraînés par la croissance explosive des charges de travail IA/ML, des systèmes de stockage distribués,et des plateformes d'analyse en temps réelDans ce contexte, l'adaptateur réseau n'est plus un composant de connectivité passif mais un déterminant essentiel de la performance globale de l'application.avec ses limitations de contournement du noyau et les frais généraux de la pile de protocole, est devenue un goulot d'étranglement majeur, consommant jusqu'à 30% des cycles de processeur, tout en ne permettant pas de fournir la latence de microsecondes et le débit de ligne requis par les charges de travail de nouvelle génération.

Plus précisément, trois défis interdépendants exigent une réponse architecturale.Les systèmes de stockage utilisant NVMe sur Fabrics (NVMe-oF) nécessitent une latence d'accès inférieure à 100 microsecondes pour exploiter pleinement les supports flash modernes; toute latence induite par le réseau nuit directement aux performances de stockage.Les cadres de formation d'IA distribués tels que PyTorch et TensorFlow reposent sur des opérations all-reduce fréquentes sur les grappes GPUTroisièmement, la virtualisation et la conteneurisation introduisent des frais généraux supplémentaires d'encapsulation,nécessitant une décharge de matériel intelligent pour maintenir les performances à l'échelle. LeIl s'agit d'un appareil qui est équipé d'un système d'alarme.L'adaptateur serveur répond directement à ces exigences, fournissant une base spécialement conçue pour les réseaux de centres de données à haute performance et à faible latence.

2. Conception globale de l'architecture réseau et système

La solution proposée adopte une architecture de réseau à deux niveaux conçue pour maximiser les capacités desLe système de détection de l'émission de CO2 doit être équipé d'un système de détection de CO2 de qualité supérieure.. À la couche de feuille, les commutateurs SFP28 25GbE fournissent une connectivité ToR (Top-of-Rack), chaque commutateur de feuille prenant en charge jusqu'à 48 ports.fournir une connectivité non-bloquant de n'importe où à n'importe oùCette architecture est optimisée pour le transport RoCE v2 (RDMA sur converged Ethernet version 2),utilisation des mécanismes natifs de contrôle de la congestion de l'adaptateur et des capacités de contrôle prioritaire du flux (PFC) pour maintenir des conditions de réseau sans perte.

Chaque nœud de calcul et de stockage est équipé duLe système de connectivité est équipé d'un système de connectivité à double port de 25 GbE.adaptateur, avec des ports configurés en mode actif-actif pour fournir à la fois une disponibilité élevée et une bande passante de 50 GbE agrégée. Le serveur hôte est connecté à l'adaptateur via PCIe 4.0 x8,assurer une bande passante suffisante pour le trafic à pleine vitesseD'un point de vue logiciel, l'architecture intègre la pile de pilotes OFED (OpenFabrics Enterprise Distribution) de NVIDIA, fournissant un support RoCE optimisé sur les principaux systèmes d'exploitation.Pour les nœuds de stockage, l'architecture intègre des cibles NVMe-oF directement accessibles via RoCE, éliminant entièrement la couche TCP/IP du chemin de données.

3Rôle et caractéristiques clés du MCX631102AN-ADAT dans la solution

LeNVIDIA Mellanox MCX631102AN-ADAT est une plateforme de téléphonie mobile.sert d'interface réseau fondamentale pour les domaines de calcul et de stockage, jouant quatre rôles essentiels au sein de l'architecture globale.L'utilisation de la technologie de l'accélérateur de direction pour fournir un débit de ligne de 25 GbE par port pour toutes les tailles de paquetsLes spécifications du MCX631102AN-ADAT, qui démontrent une latence d'application à application inférieure à 1 microseconde lorsqu'elles sont associées à des commutateurs dotés de RoCE.

Deuxièmement, l'adaptateur agit comme le point final de transport RDMA, déchargeant l'ensemble de la pile de protocole RDMA, y compris l'enregistrement de la mémoire, la traduction d'adresse et le traitement de la finition, du processeur hôte.Ce déchargement est particulièrement important pour les charges de travail de stockage, réduisant l'utilisation du processeur pour les initiateurs NVMe-oF d'environ 18% à moins de 3% par rapport aux implémentations de logiciel uniquement.le MCX631102AN-ADAT fournit une décharge de superposition basée sur le matériel pour VXLAN et NVGRE, en veillant à ce que l'encapsulation virtualisée des réseaux ne dégrade pas les performances, un avantage essentiel pour les déploiements natifs du cloud.l'adaptateur prend en charge SR-IOV (Single Root I/O Virtualization), permettant jusqu'à 256 fonctions virtuelles par port pour un isolement multi-locataire efficace sans compromettre le débit.Solution de carte d'adaptateur Ethernet MCX631102AN-ADATs'intègre parfaitement à la technologie de stockage GPUDirect de NVIDIA, permettant le déplacement direct des données entre la mémoire GPU et les périphériques de stockage NVMe distants sur le réseau.

Le tableau suivant résume les principales spécifications techniques pertinentes pour l'architecture de la solution:

4Recommandations de déploiement et de mise à l'échelle avec topologie typique

Pour les déploiements en greenfield, nous recommandons une approche à trois niveaux de mise à l'échelle.avec chaque nœud équipé du MCX631102AN-ADAT et les deux ports connectés au même commutateur de feuille pour l'agrégation de liaisons. au niveau moyen (64 ∼ 128 nœuds), l'architecture devrait adopter une conception à deux niveaux,avec les doubles ports de chaque nœud connectés à différents interrupteurs de feuille pour fournir à la fois des performances et de la résilienceÀ l'échelle de l'entreprise (256+ nœuds), la solution recommande de déployer une architecture à trois niveaux avec une segmentation dédiée des tissus RoCE,isoler le trafic de stockage du trafic de calcul à la couche réseau, et en tirant parti de laCompatible avec le MCX631102AN-ADATLa nature avec à la fois NVIDIA Spectrum et des commutateurs 25GbE tiers.

Pour les environnements brownfield, l'adaptateur offre une compatibilité descendante transparente avec les optiques et les câbles SFP+ 10GbE, permettant aux organisations de migrer progressivement.La feuille de données MCX631102AN-ADATfournit des matrices de compatibilité détaillées pour les principales plates-formes de serveurs, y compris les familles Dell PowerEdge, HPE ProLiant et Supermicro SuperServer.Le déploiement de l'adaptateur doit être coordonné avec les mises à jour du micrologiciel pour s'assurer que tous les nœuds exécutent la même version minimale du micrologiciel pour un comportement RoCE cohérentNous recommandons également d'utiliser la persistance de la configuration basée sur EEPROM de l'adaptateur pour maintenir les paramètres lors des redémarrages du système, réduisant ainsi les frais généraux opérationnels pendant les fenêtres de maintenance.

5Opérations, surveillance, dépannage et optimisation

LeLe numéro de série est le numéro de série de l'appareil.Il fournit des capacités complètes de télémétrie et de gestion grâce aux outils MLNX_OFED de NVIDIA.Ces comptoirs sont accessibles via le système de détection des débits.Le code est le suivant:Le module de noyau et peut être intégré avec Prometheus ou d'autres solutions TSDB.utiliser la surveillance PFC (Priority Flow Control) de l'adaptateur pour détecter et corriger les événements de congestion du réseau avant qu'ils n'affectent les performances de l'applicationTroisièmement, mettre en œuvre des alertes basées sur des seuils pour la température de l'adaptateur et l'état de la liaison PCIe afin d'identifier de manière préventive la dégradation du matériel.

Pour le dépannage, les diagnostics avancés de l'adaptateur, y compris les tests de boucle par port, les journaux d'entraînement des liaisons et les statistiques de coalescence d'interruption, fournissent une visibilité détaillée des problèmes de performance..Nous recommandons d'établir une base de fonctionnement normal pendant le déploiement initial, capturant des métriques clés telles que la latence moyenne, le débit et l'utilisation du processeur,pour servir de référence pour les comparaisons futures. Lors de l'évaluation de laLe prix MCX631102AN-ADATEn ce qui concerne la gestion de la propriété, les organisations devraient tenir compte des économies opérationnelles découlant de la réduction de la consommation de processeur et de la simplification des flux de travail de dépannage.

Stratégies d'optimisationLe système de détection de l'émission de CO2 doit être équipé d'un système de détection de CO2 de qualité supérieure.Dans la configuration de l'hôte, régler la taille maximale de la charge utile PCIe à 512 octets et activer la modération des interruptions pour équilibrer la latence et l'efficacité du processeur.configurer les priorités des PFC de manière cohérente sur tous les commutateurs et adaptateurs, nous recommandons de consacrer la priorité 3 au trafic RoCE et la priorité 0 au trafic de gestionDans la couche application, aligner la profondeur de file d'attente RDMA sur les caractéristiques de la charge de travail: les files d'attente plus profondes profitent aux charges de travail de stockage à haut débit,tandis que les files d'attente plus peu profondes réduisent la latence pour le traitement des transactions sensibles. Le détailLes spécifications du MCX631102AN-ADATfournir des conseils spécifiques pour régler ces paramètres sur différentes plateformes de système d'exploitation.

6Résumé et évaluation de la valeur

LeIl s'agit d'un appareil qui est équipé d'un système d'alarme.fournit une solution architecturale qui répond aux défis fondamentaux des réseaux de centres de données modernes: fournir une latence à l'échelle des microsecondes, un transport RDMA accéléré par matériel,et un débit constant de 25GbE tout en réduisant les frais généraux du processeur hôteEn servant d'interface réseau unifiée pour les charges de travail de calcul, de stockage et d'IA, l'adaptateur simplifie l'infrastructure tout en améliorant les performances.Solution de carte d'adaptateur Ethernet MCX631102AN-ADATréduit la consommation de CPU liée au réseau d'environ 80%, améliore la latence d'accès au stockage de plus de 80%,et offre des performances prévisibles dans des conditions de charge variables grâce à la gestion de la congestion basée sur le matériel.

D'un point de vue commercial,L'adaptateur permet aux organisations de maximiser les investissements existants dans les commutateurs 25GbE tout en offrant des performances auparavant seulement réalisables avec des solutions 40GbE ou 100GbE. LeMCX631102AN-ADAT à vendrel'évaluation démontre systématiquement un retour sur investissement positif dans un délai de 12 à 18 mois, en raison de la réduction des besoins en nombre de serveurs (en raison d'une efficacité par nœud plus élevée) et de la réduction des frais généraux d'exploitation.Pour les organisations construisant ou modernisant des réseaux de centres de données, le MCX631102AN-ADAT représente non seulement une mise à niveau progressive, mais une amélioration fondamentale de l'efficacité de la base de réseau.