NVIDIA Mellanox MCX653105A-HDAT Adaptateur serveur Solution technique

NVIDIA Mellanox MCX653105A-HDAT Adaptateur serveur Solution technique: RDMA / RoCE Transport à faible latence et architecture d'amélioration du débit du serveur

1. Analyse des antécédents et des besoins du projet

Les formations aux grands modèles de langage (LLM), les simulations informatiques hautes performances et les charges de travail d'analyse de données en temps réel continuent de s'amplifier.Les réseaux de centres de données sont confrontés à une convergence sans précédent des demandesLes clusters modernes accélérés par GPU nécessitent non seulement une bande passante massive, mais aussi une latence à l'échelle des microsecondes, des performances déterministes et une gestion intelligente du trafic.Architectures de réseau traditionnelles, basé sur TCP/IP et Ethernet standard, ne répond pas systématiquement à ces exigences ­ introduisant des jitters de latence imprévisibles, consommant des ressources de CPU excessives pour le traitement du protocole,et manquant de la programmabilité nécessaire à l'optimisation spécifique de la charge de travail.

Les principales exigences de l'entreprise qui conduisent à l'adoption d'adaptateurs de serveurs avancés comprennent:

• La latence est très faible à l'échelle:Les emplois de formation distribués nécessitent une latence de communication collective inférieure à 500 microsecondes sur des centaines de nœuds pour maintenir l'utilisation du GPU au-dessus de 90%.
• Déchargement du processeur au-delà du réseau de base:Le traitement réseau doit consommer moins de 8% des ressources du processeur par nœud pour réserver la capacité pour le pré-traitement des données et le contrôle des modèles.
• Sécurité au taux de ligne:Le cryptage des données en transit (IPsec/MACsec) doit être effectué à la vitesse du fil sans compromettre le débit ou ajouter une latence significative.
• Chemin de données programmable:L'adaptateur doit prendre en charge la direction du trafic personnalisée et le traitement des paquets afin de s'adapter à l'évolution des modèles de charge de travail et aux innovations de protocole.
• Évolutivité sans faille:L'infrastructure doit évoluer de dizaines à des centaines de nœuds avec une croissance linéaire des performances et sans explosions de complexité opérationnelle.

LeNVIDIA Mellanox MCX653105A-HDAT est une plateforme de téléphonie mobile.est conçu pour répondre à ces exigences de manière complète, servant de base à la prochaine génération de réseaux de centres de données.

2. Conception globale de l'architecture réseau/système

L'architecture proposée utilise une topologie feuille-colonne vertébrale haute performance optimisée pour le transport RoCEv2.Solution de carte d'adaptateur Ethernet MCX653105A-HDAT, déployée dans chaque nœud serveur pour fournir une connectivité à bande passante ultra-haute avec des capacités de déchargement avancées.

Couches d'architecture:

• Nœuds de calcul et de stockage:Chaque serveur est équipéCarte de réseau PCIe avec adaptateur MCX653105A-HDAT ConnectXLes deux ports fonctionnent en mode actif-actif, fournissant un débit global de 200 Gb/s avec équilibrage de charge et basé sur le matériel.L'adaptateur est PCIe 4L'interface.0 x16 offre une bande passante de 32 GT/s, éliminant les goulots d'étranglement côté hôte.
• Couche de feuille:Les commutateurs NVIDIA Spectrum-4 fournissent une redirection Ethernet sans perte et à faible latence avec un contrôle de congestion avancé par RoCE (PFC, ECN et DCQCN).Ces commutateurs prennent en charge les uplinks 400GbE et fournissent une télémétrie complète pour la visibilité du tissu.
• Couche de la colonne vertébrale:Les commutateurs à colonne vertébrale de haute capacité interconnectent tous les nœuds de feuille via des uplinks 400GbE, assurant une communication non-bloquant, de n'importe où à n'importe où sur l'ensemble du tissu avec une latence déterministe.
• Gestion et orchestration:NVIDIA DOCA et MLNX-OS fournissent une gestion unifiée, une collecte de télémétrie, une orchestration de configuration et un approvisionnement sans contact sur l'ensemble de la pile.

L'architecture intègre une virtualisation de réseau basée sur le matériel via SR-IOV et eSwitch offload, prenant en charge jusqu'à 1,000 fonctions virtuelles par adaptateur pour un isolement multi-locataire efficace sans compromettre les performances.

3. Rôle et caractéristiques clés du NVIDIA Mellanox MCX653105A-HDAT dans la solution

LeNVIDIA Mellanox MCX653105A-HDAT est une plateforme de téléphonie mobile.Il sert d'interface critique entre les ressources de calcul/stockage et le tissu réseau.

Selon leLa feuille de données MCX653105A-HDAT, l'adaptateur ne consomme que 25 W à pleine charge, offrant des performances de pointe par watt.Les spécifications MCX653105A-HDATsupport de télémétrie avancée détaillée, y compris des compteurs de performances par flux, des histogrammes de latence et la détection en temps réel de la congestion,qui sont tous essentiels pour les opérations proactives du réseau et la planification de la capacité.

4Recommandations de déploiement et de mise à l'échelle (avec topologie typique)

Pour les organisations qui planifient le déploiement de la productionNVIDIA Mellanox MCX653105A-HDAT est une plateforme de téléphonie mobile., il est recommandé d' adopter l' approche suivante par étapes:

La phase 1 Commencez par un petit cluster pour valider la configuration RoCE, affiner les paramètres DCB et benchmarquer les performances des applications.Carte de réseau PCIe avec adaptateur MCX653105A-HDAT ConnectXEffectuer une validation approfondie des paramètres PFC, ECN et DCQCN à l'aide des données de télémétrie exposées par l'adaptateur.

Phase 2 Expansion du pod (20 50 nœuds):Déployez une paire de commutateurs NVIDIA Spectrum-4 avec configuration Ethernet sans perte.Activer la gestion de la congestion basée sur le matériel et configurer des politiques de qualité de service spécifiques à la charge de travail. LeCompatible avec le MCX653105A-HDATLa nature de la solution assure une intégration transparente avec les plateformes de serveur et les distributions Linux existantes.

La phase 3 Déployer sur plusieurs racks avec des commutateurs de colonne vertébrale interconnectant les nœuds de feuilles.fourniture automatisée, et la surveillance à l'échelle du tissu.

Description de la topologie typique:Une configuration de rack standard se compose de 20 serveurs de calcul/stockage, chacun équipé d'unLe numéro de série de l'appareil doit être identifié.. le port 1 se connecte au commutateur A de la feuille, le port 2 se connecte au commutateur B de la feuille, fournissant des chemins actifs-actifs redondants avec un basculement automatique.formant un tissu CLOS avec 1Cette conception garantit que toute défaillance d'un seul lien ou d'un commutateur n'affecte pas la disponibilité de l'application, avec des mécanismes de récupération sous-seconde.

Pour les organisations évaluant le coût total de possession, leLe prix MCX653105A-HDATIl convient d'envisager les économies de CPU (typiquement 4 à 6 cœurs récupérés par serveur), les gains de débit d'application de 3 à 5 fois et la capacité de consolider plusieurs liens 25 GbE.Des réductions de volume sont souvent disponibles pourMCX653105A-HDAT à vendreles paquets avec les commutateurs NVIDIA Spectrum et les abonnements au logiciel DOCA.

5Opérations, surveillance, dépannage et optimisation

Le fonctionnement efficace d'un tissu RoCE de haute performance nécessite des pratiques spécialisées de surveillance et de dépannage.Le numéro de série de l'appareil doit être identifié.fournit une instrumentation complète pour soutenir ces activités:

• Collecte et visualisation de télémétrie:Utilisez les compteurs matériels de l'adaptateur pour surveiller le débit par flux, les profondeurs de file d'attente, les dépôts de paquets et les distributions de latence à une granularité inférieure à la seconde.Les mesures d'exportation vers les plateformes de surveillance standard (Prometheus), Grafana, ELK stack) pour les tableaux de bord en temps réel et les alertes.
• Détection et gestion de la congestion:Surveiller les trames de pause PFC, les paquets marqués ECN et l'occupation du tampon pour identifier et localiser les micro-explosions et les points chauds de trafic.La feuille de données MCX653105A-HDATfournit des conseils détaillés sur l'interprétation de ces compteurs et l'établissement de seuils d'alerte significatifs.
• Gestion du cycle de vie:Les mises à jour régulières de la pile de pilotes NVIDIA OFED et du micrologiciel de l'adaptateur sont essentielles pour améliorer les performances, la sécurité et les fonctionnalités.Gestion du cycle de vie sans contact dans les grands déploiements.
• Directives de réglage des performances:Les principaux paramètres de réglage comprennent les seuils de tampon PFC (généralement de 2 à 4 Mo par port), les limites de marquage ECN (80 à 90% de la profondeur de file d'attente), les paramètres de modération de l'interruption de l'adaptateur (latence de solde par rapport au débit),et la configuration des liaisons PCIeLes paramètres appropriés dépendent du profil de charge de travail spécifique et de la taille du cluster.
• Cadre de dépannage systématique:La plupart des problèmes de performances peuvent être attribués à des configurations incorrectes du DCB, à des incompatibilités de MTU, à des incompatibilités de version de pilote ou à des problèmes de câblage.Je ne sais pas., et mlxband) fournit une visibilité complète sur l'état opérationnel, l'état de la liaison, les statistiques d'erreur et l'utilisation de la bande passante.

6Résumé et évaluation de la valeur

LeNVIDIA Mellanox MCX653105A-HDAT est une plateforme de téléphonie mobile.représente un investissement stratégique dans l'infrastructure qui offre une valeur commerciale transformatrice à travers plusieurs dimensions:

En tant que bout à boutSolution de carte d'adaptateur Ethernet MCX653105A-HDAT, il permet aux organisations de construire des réseaux sans perte et hautes performances qui réalisent pleinement le potentiel des charges de travail modernes d'IA, HPC et natives du cloud.Environnements de fournisseur de services cloud, ou des installations de recherche dédiées,NVIDIA Mellanox MCX653105A-HDAT est une plateforme de téléphonie mobile.fournit systématiquement les performances, l'efficacité et l'intelligence que les architectes de réseau exigent pour les infrastructures de nouvelle génération.