Solution technique pour adaptateur serveur NVIDIA Mellanox MCX653106A-HDAT

NVIDIA Mellanox MCX653106A-HDAT Adaptateur serveur Solution technique: RDMA / RoCE Transport à faible latence et architecture d'amélioration du débit du serveur

1. Analyse des antécédents et des besoins du projet

Les centres de données modernes qui prennent en charge l'intelligence artificielle, l'informatique haute performance et l'analyse en temps réel sont confrontés à une confluence d'exigences exigeantes: bande passante massive, latence à l'échelle des microsecondes,performance déterministeLes architectures de réseau traditionnelles basées sur TCP/IP et Ethernet standard ne répondent pas systématiquement à ces exigences, introduisant des perturbations de latence imprévisibles.consommer des ressources de processeur excessives pour le traitement du protocole, et manquant de la programmabilité nécessaire à l'optimisation spécifique de la charge de travail.entraînant une dégradation grave des performances et une utilisation inefficace des ressources.

Les principales exigences de l'entreprise qui conduisent à l'adoption d'adaptateurs de serveurs avancés comprennent:

• La latence est très faible à l'échelle:Les emplois de formation distribués nécessitent une latence de communication collective inférieure à 500 microsecondes sur des centaines de nœuds pour maintenir l'utilisation du GPU au-dessus de 90%.
• Déchargement du processeur au-delà du réseau de base:Le traitement réseau doit consommer moins de 8% des ressources du processeur par nœud pour préserver la capacité des charges de travail des applications.
• Sécurité au taux de ligne:Le chiffrement des données en transit doit être effectué à la vitesse du fil sans compromettre le débit ni ajouter de latence significative.
• Chemin de données programmable:Les adaptateurs doivent prendre en charge la direction personnalisée du trafic et le traitement des paquets afin de s'adapter à l'évolution des modèles de charge de travail et des innovations de protocole.
• Évolutivité sans faille:L'infrastructure doit évoluer de dizaines à des centaines de nœuds avec une croissance linéaire des performances et sans explosions de complexité opérationnelle.

LeNVIDIA Mellanox MCX653106A-HDAT est un appareil de téléphonie mobileest spécialement conçu pour répondre à ces exigences, servant de base à la prochaine génération de réseaux de centres de données.

2. Conception globale de l'architecture réseau/système

L'architecture proposée utilise une topologie feuille-colonne vertébrale haute performance optimisée pour le transport RoCEv2.Solution de carte d'adaptateur Ethernet MCX653106A-HDAT, déployée dans chaque nœud serveur pour fournir une connectivité à bande passante ultra-haute avec des capacités de déchargement avancées.

Couches d'architecture:

• Nœuds de calcul et de stockage:Chaque serveur est équipéCarte réseau PCIe avec adaptateur MCX653106A-HDAT ConnectXLes deux ports fonctionnent en mode actif-actif, fournissant un débit global de 200 Gb/s avec équilibrage de charge et basé sur le matériel.L'adaptateur est PCIe 4L'interface.0 x16 offre une bande passante de 32 GT/s, éliminant les goulots d'étranglement côté hôte.
• Couche de feuille:Les commutateurs NVIDIA Spectrum-4 fournissent une redirection Ethernet sans perte et à faible latence avec un contrôle de congestion avancé par RoCE (PFC, ECN et DCQCN).Ces commutateurs prennent en charge les uplinks 400GbE et fournissent une télémétrie complète pour la visibilité du tissu.
• Couche de la colonne vertébrale:Les commutateurs à colonne vertébrale de haute capacité interconnectent tous les nœuds de feuille via des uplinks 400GbE, assurant une communication non-bloquant, de n'importe où à n'importe où sur l'ensemble du tissu avec une latence déterministe.
• Gestion et orchestration:NVIDIA DOCA et MLNX-OS fournissent une gestion unifiée, une collecte de télémétrie, une orchestration de configuration et un approvisionnement sans contact sur l'ensemble de la pile.

L'architecture intègre une virtualisation de réseau basée sur le matériel via SR-IOV et eSwitch offload, prenant en charge jusqu'à 1,000 fonctions virtuelles par adaptateur pour un isolement multi-locataire efficace sans compromettre les performances.

3. Rôle et caractéristiques clés du NVIDIA Mellanox MCX653106A-HDAT dans la solution

LeNVIDIA Mellanox MCX653106A-HDAT est un appareil de téléphonie mobileIl sert d'interface critique entre les ressources de calcul/stockage et le tissu réseau.

Selon leLa feuille de données MCX653106A-HDAT, l'adaptateur ne consomme que 25 W à pleine charge, offrant des performances de pointe par watt.Les spécifications MCX653106A-HDATsupport de télémétrie avancée détaillée, y compris des compteurs de performances par flux, des histogrammes de latence et la détection en temps réel de la congestion,tous les éléments essentiels pour les opérations proactives du réseau et la planification de la capacité.

4Recommandations de déploiement et de mise à l'échelle (avec topologie typique)

Pour les organisations qui planifient le déploiement de la productionNVIDIA Mellanox MCX653106A-HDAT est un appareil de téléphonie mobile, il est recommandé d' adopter l' approche suivante par étapes:

La phase 1 Commencez par un petit cluster pour valider la configuration RoCE, affiner les paramètres DCB et benchmarquer les performances des applications.Carte réseau PCIe avec adaptateur MCX653106A-HDAT ConnectXEffectuer une validation approfondie des paramètres PFC, ECN et DCQCN à l'aide des données de télémétrie exposées par l'adaptateur.

Phase 2 Expansion du pod (20 50 nœuds):Déployez une paire de commutateurs NVIDIA Spectrum-4 avec configuration Ethernet sans perte.Activer la gestion de la congestion basée sur le matériel et configurer des politiques de qualité de service spécifiques à la charge de travail. LeCompatible avec le MCX653106A-HDATLa nature de la solution assure une intégration transparente avec les plateformes de serveur et les distributions Linux existantes.

La phase 3 Déployer sur plusieurs racks avec des commutateurs de colonne vertébrale interconnectant les nœuds de feuilles.fourniture automatisée, et la surveillance à l'échelle du tissu.

Description de la topologie typique:Une configuration de rack standard se compose de 20 serveurs de calcul/stockage, chacun équipé d'unLe numéro de série de l'appareil doit être identifié.. le port 1 se connecte au commutateur A de la feuille, le port 2 se connecte au commutateur B de la feuille, fournissant des chemins actifs-actifs redondants avec un basculement automatique.formant un tissu CLOS avec 1Cette conception garantit que toute défaillance d'un seul lien ou d'un commutateur n'affecte pas la disponibilité de l'application, avec des mécanismes de récupération sous-seconde.

Pour les organisations évaluant le coût total de possession, leLe prix MCX653106A-HDATIl convient d'envisager les économies de CPU (typiquement 4 à 6 cœurs récupérés par serveur), les gains de débit d'application de 3 à 5 fois et la capacité de consolider plusieurs liens 25 GbE.Des réductions de volume sont souvent disponibles pourMCX653106A-HDAT à vendreles paquets avec les commutateurs NVIDIA Spectrum et les abonnements au logiciel DOCA.

5Opérations, surveillance, dépannage et optimisation

Le fonctionnement efficace d'un tissu RoCE de haute performance nécessite des pratiques spécialisées de surveillance et de dépannage.Le numéro de série de l'appareil doit être identifié.fournit une instrumentation complète pour soutenir ces activités:

• Collecte et visualisation de télémétrie:Utilisez les compteurs matériels de l'adaptateur pour surveiller le débit par flux, les profondeurs de file d'attente, les dépôts de paquets et les distributions de latence à une granularité inférieure à la seconde.Les mesures d'exportation vers les plateformes de surveillance standard (Prometheus), Grafana, ELK stack) pour les tableaux de bord en temps réel et les alertes.
• Détection et gestion de la congestion:Surveiller les trames de pause PFC, les paquets marqués ECN et l'occupation du tampon pour identifier et localiser les micro-explosions et les points chauds de trafic.La feuille de données MCX653106A-HDATfournit des conseils détaillés sur l'interprétation de ces compteurs et l'établissement de seuils d'alerte significatifs.
• Gestion du cycle de vie:Les mises à jour régulières de la pile de pilotes NVIDIA OFED et du micrologiciel de l'adaptateur sont essentielles pour améliorer les performances, la sécurité et les fonctionnalités.Gestion du cycle de vie sans contact dans les grands déploiements.
• Directives de réglage des performances:Les principaux paramètres de réglage comprennent les seuils de tampon PFC (généralement de 2 à 4 Mo par port), les limites de marquage ECN (80 à 90% de la profondeur de file d'attente), les paramètres de modération de l'interruption de l'adaptateur (latence de solde par rapport au débit),et la configuration des liaisons PCIeLes paramètres appropriés dépendent du profil de charge de travail spécifique et de la taille du cluster.
• Cadre de dépannage systématique:La plupart des problèmes de performances peuvent être attribués à des configurations incorrectes du DCB, à des incompatibilités de MTU, à des incompatibilités de version de pilote ou à des problèmes de câblage.Je ne sais pas., et mlxband) fournit une visibilité complète sur l'état opérationnel, l'état de la liaison, les statistiques d'erreur et l'utilisation de la bande passante.

6Résumé et évaluation de la valeur

LeNVIDIA Mellanox MCX653106A-HDAT est un appareil de téléphonie mobilereprésente un investissement stratégique dans l'infrastructure qui offre une valeur commerciale transformatrice à travers plusieurs dimensions:

En tant que bout à boutSolution de carte d'adaptateur Ethernet MCX653106A-HDAT, il permet aux organisations de construire des réseaux sans perte et hautes performances qui réalisent pleinement le potentiel des charges de travail modernes d'IA, HPC et natives du cloud.Environnements de fournisseur de services cloud, ou des installations de recherche dédiées,NVIDIA Mellanox MCX653106A-HDAT est un appareil de téléphonie mobilefournit systématiquement les performances, l'efficacité et l'intelligence que les architectes de réseau exigent pour les infrastructures de nouvelle génération.