Solution technique pour adaptateur serveur NVIDIA Mellanox MCX4121A-ACAT

Cette solution technique est conçue pour les architectes de réseau, les ingénieurs de prévente et les responsables des opérations.NVIDIA Mellanox MCX4121A-ACAT est un appareil de télécommunicationL'adaptateur serveur permet le transport à faible latence basé sur RDMA/RoCE et améliore considérablement le débit du serveur dans les environnements modernes des centres de données.

1. Analyse des antécédents et des besoins du projet

Les réseaux TCP/IP traditionnels imposent des limitations fondamentales aux charges de travail sensibles aux performances telles que les bases de données distribuées, le stockage NVMe-oF et l'analyse en temps réel.Les principaux problèmes incluent les coûts généraux élevés du processeur liés au traitement de la pile réseau, une latence imprévisible due à la retransmission de paquets et une copie de mémoire inefficace entre le noyau et les espaces d'application.

Pour relever ces défis, les centres de données modernes ont besoin d'une solution de réseau qui offre:

• Délai de latence de bout en bout inférieur à 10 microsecondes pour le stockage et le trafic HPC
• Le contournement du noyau et l'accès direct à la mémoire pour réduire la charge du processeur
• Tissu Ethernet sans perte prenant en charge 25 GbE par port
• Intégration transparente avec l'infrastructure Ethernet existante

LeLe code de l'émetteur est le code de l'émetteur.La solution RoCE basée sur les systèmes de commutation répond directement à ces exigences tout en conservant la compatibilité avec les écosystèmes de commutation standard.

2. Conception globale de l'architecture réseau et système

L'architecture proposée adopte une topologie de feuille-colonne vertébrale avec Ethernet sans perte à des couches d'accès 25 GbE.Carte d'adaptateur Ethernet MCX4121A-ACAT, se connectant à des commutateurs à feuille via des câbles SFP28 DAC ou des émetteurs-récepteurs optiques.Les commutateurs à feuille prennent en charge les protocoles de liaison entre les centres de données (DCB), y compris le contrôle de flux prioritaire (PFC) et la sélection de transmission améliorée (ETS), qui sont essentiels pour le trafic RoCE.

Pour les conceptions à haute disponibilité, les adaptateurs à double port permettent des configurations de liaison active-active ou de basculement.assurer une bande passante non bloquante pour le trafic est-ouestLa clé de cette conception est la séparation du trafic de stockage RoCE du trafic de gestion TCP/IP régulier à l'aide de VLAN et de classes QoS.

3Rôle du NVIDIA Mellanox MCX4121A-ACAT et caractéristiques clés

LeNVIDIA Mellanox MCX4121A-ACAT est un appareil de télécommunicationIl sert de composant critique pour permettre la RDMA sur Ethernet convergé.cet adaptateur SFP28 25GbE à double port offre les capacités d'accélération matérielle suivantes::

• Déchargement du matériel RoCE:Traitement complet du transport RDMA en silicium, éliminant les frais généraux du logiciel
• Compatibilité des étiquettes et récupération des sonnettes:Gestion fiable des connexions assistée par matériel
• Virtualisation SR-IOV:Jusqu'à 256 fonctions virtuelles par port pour la densité des conteneurs et des machines virtuelles
• GPUDirect RDMA:Accès direct à la mémoire GPU pour les grappes de formation IA/ML
• Déchargement du réseau de superposition:Encapsulation/décapsulation matérielle pour VXLAN, NVGRE et Geneve

LeLe système de connectivité de base est un système de connectivité de base.L'adaptateur prend également en charge des fonctionnalités avancées, notamment le routage adaptatif, le contrôle de la congestion et les décharges de tampons de rupture.Fiche de données MCX4121A-ACATfournit des spécifications électriques, thermiques et mécaniques complètes.

4Recommandations de déploiement et de mise à l'échelle (exemples de topologie)

Topologie typique 25GbE RoCE Fabric pour plus de 100 nœuds:

• Couche d'accès:Commutateurs à feuille 25GbE à 48 ports avec support DCB
• Couche de la colonne vertébrale:Commutateurs de base à 100 GbE à 32 ports
• Adaptateur serveur: Le code de l'émetteur est le code de l'émetteur.(à double port) dans une fente PCIe 3.0 x8
• Le câblage:DAC passif SFP28 pour le rack intérieur (≤ 5 m), optique active pour le rack transversal

Étapes de déploiement:

• Vérifier les paramètres du BIOS du serveur (bifurcation PCIe, activation SR-IOV, décryptage supérieur à 4G)
• InstallezNVIDIA Mellanox MCX4121A-ACAT est un appareil de télécommunicationle firmware via les outils mlxup ou MST
• Configurer les ports de commutation: priorité PFC 3-5, attribution de bande passante ETS, DSCP de confiance
• Activer le RoCE sur l'hôte: définir le mode RoCE sur v2 (amicale pour le routage), configurer le préfixe GID
• Valider le comportement sans perte à l'aide d'ibdiagnet et de cqounter

Pour une mise à l'échelle à plus de 500 nœuds, envisagez de déployer un tissu de stockage RoCE séparé pour isoler le trafic de stockage des communications est-ouest de production.Compatible avec MCX4121A-ACATL'écosystème comprend tous les principaux équipementiers de serveurs et fournisseurs de commutateurs, assurant une mise à l'échelle fluide.

5. Opérations, surveillance, dépannage et optimisation

Principaux indicateurs de surveillance:

• Les dépôts de paquets RoCE (indique les problèmes de configuration des PFC)
• Profondeurs de file d'attente d'envoi/réception RDMA
• Erreurs de port, CRC et reprise des liaisons
• Utilisation du processeur par noyau (mesure de l'efficacité du contournement du noyau)

Outils essentiels:

• mellanox_perf mesure de la bande passante/de la latence au niveau de l'adaptateur
• iBdiagnet RoCE validation des tissus et diagnostique des câbles
• statistiques par file d'attente et compteurs de déchargement
• syslog/dmesg suivi des événements du pilote et du micrologiciel

Directives d'optimisation:

• Définir le NRPE (récepteur de réseau actif) pour l'équité multi-flux
• Ajustez la coalescence d'interruption en fonction du type de charge de travail
• Pour les charges de travail de stockage, lier les achèvements RDMA aux cœurs de processeur dédiés
• UtilisationLes spécifications MCX4121A-ACATpour valider les limites thermiques sous une charge continue de la ligne

Lorsque le budget et l'approvisionnement deviennent des considérations, vérifiezLe prix MCX4121A-ACATles tendances etMCX4121A-ACAT à vendreLes achats en volume réduisent généralement le coût unitaire tout en assurant une véritable prise en charge du firmware.

6. Résumé et évaluation de la valeur

LeSolution de carte d'adaptateur Ethernet MCX4121A-ACAToffre des avantages quantifiables à travers plusieurs dimensions:

Au-delà des performances brutes, la solution réduit le TCO en consolidant les réseaux de stockage et de données sur un seul tissu Ethernet sans perte.Le code de l'émetteur est le code de l'émetteur.permet aux organisations de préserver les investissements en commutation existants tout en débloquant les capacités RDMA précédemment réservées à InfiniBand.Cet adaptateur fournit une, un chemin évolutif vers un réseau de serveurs à faible latence et à haut débit.