Commutateur InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 en pratique

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 Commutateur InfiniBand en pratique. Optimisation des interconnexions à faible latence pour les grappes RDMA / HPC / AI

Contexte et défis: lorsque l'échelle des grappes rencontre des goulots d'étranglement d'interconnexion

La division de recherche sur l'IA d'une grande entreprise d'Internet s'est retrouvée à un carrefour familier.Leur flotte croissante de serveurs GPU – couvrant plusieurs racks et de plus en plus utilisés pour la formation de grands modèles de langage – souffrait de délais de réalisation imprévisiblesLe tissu existant basé sur Ethernet, bien qu'adéquat pour les charges de travail générales, ne pouvait pas gérer les modèles de trafic synchronisés et fréquents de la formation distribuée.Toutes les opérations réduites s'arrêteraient régulièrement en raison de la chute des paquets et de la congestion incastL'équipe d'infrastructure avait besoin d'un changement fondamental dans la façon dont leur réseau de back-end gérait le trafic RDMA,et ils en avaient besoin sans revoir toute leur architecture de centre de données.

Conception de la solution: déploiement du commutateur OPN 920-9B210-00FN-0D0 InfiniBand

Après avoir évalué plusieurs options d'interconnexion, l'équipe a sélectionné leLe produit est fabriqué à partir d'un matériau d'une valeur supérieure ou égale à la valeur nominale de l'appareilLe déploiement s'est centré sur une topologie à deux niveaux, avec chaque commutateur de feuille reliant jusqu'à 40 nœuds GPU via des liens 400Gb/s.Le système de détection de la pollution par le gaz est utilisé pour la détection de la pollution par le gaz.La variante a été choisie spécifiquement pour son architecture non-blocage et ses capacités de calcul intégrées SHARPv3 en réseau.Cela a permis à l'équipe de décharger les opérations de communication collective directement sur le tissu du commutateur, réduisant les frais généraux du processeur et libérant des cycles de GPU pour le calcul réel.

En termes de déploiement physique, les commutateurs ont été installés avec un flux d'air de l'avant vers l'arrière pour correspondre à la configuration existante de couloir chaud/couloir froid.Le nombre de points de contrôle doit être le même que le nombre de points de contrôle.Le câblage a été maintenu cohérent à l'aide d'émetteurs-récepteurs QSFP-DD, avec le920-9B210-00FN-0D0 est compatibleL'optique validée sur l'ensemble du budget de liaison, y compris les liaisons entre la colonne vertébrale et les feuilles jusqu'à 100 mètres.

Approche de déploiement: intégration par étapes

• Phase 1 Validation en laboratoire:Un banc d'essai à petite échelle avec 8 nœuds GPU et deux commutateurs a été utilisé pour comparer la latence et le débit.NVIDIA Mellanox 920-9B210-00FN-0D0La détection de la latence de commutation est de moins de 600 ns, soit une amélioration de 60% par rapport à la génération HDR précédente.
• Phase 2  Déploiement par étapes:L'équipe a migré un module d'entraînement à la fois, en utilisant le gestionnaire de tissu unifié de NVIDIA pour surveiller en temps réel les indicateurs de santé et de congestion des liens.Cela a permis de réduire au minimum les perturbations des charges de production en cours.
• La phase 3 Les 18 commutateurs ont été déployés sur trois racks, formant une colonne vertébrale entièrement non bloquante avec des liaisons ascendantes de 400 Gbps.Le routage adaptatif a permis d'équilibrer dynamiquement le trafic et d'éviter les surabonnements pendant les heures de pointe.

Tout au long du déploiement, l'équipe d'ingénieurs s'est référé à laLes spécifications 920-9B210-00FN-0D0La télémétrie avancée de l'interrupteur a fourni une visibilité granulaire sur le nombre d'erreurs par port et l'utilisation de la liaison,permettre une maintenance proactive et une planification de la capacité.

Résultats mesurables et avantages opérationnels

Dans les deux semaines suivant le déploiement à grande échelle, les améliorations ont été tangibles.représentant une réduction de 37% des frais généraux de communicationLes temps de réalisation des travaux pour un modèle typique de type GPT ont été améliorés de près de 30%, permettant à l'équipe de recherche d'itérer plus rapidement et d'exécuter plus d'expériences par semaine.Le moteur SHARPv3 intégré décharge en moyenne 18% des opérations collectives, ce qui se traduit directement par une utilisation plus élevée du GPU et une consommation d'énergie plus faible par course d'entraînement.

Sur le plan opérationnel, l'équipe informatique a signalé moins d'échecs de travail liés au réseau et beaucoup moins de temps consacré au diagnostic de problèmes au niveau des liaisons.920-9B210-00FN-0D0 InfiniBand commutateur OPN solutionL'interface de gestion unifiée a réduit la courbe d'apprentissage pour l'équipe d'exploitation du réseau,qui pourrait maintenant gérer l'ensemble du tissu à travers une seule vitre.

Considérations relatives aux coûts et aux marchés publics

Alors que la première920-9B210-00FN-0D0 prixEn réduisant les délais d'achèvement des travaux et en améliorant l'utilisation du processeur graphique,l'organisation a réalisé une réduction de 22% des coûts d'instance cloud pour une capacité de calcul équivalenteEn outre, le920-9B210-00FN-0D0 à vendreLa société a également annoncé qu'elle allait mettre en place un nouveau système de gestion des ressources humaines, qui permettrait aux investisseurs de bénéficier d'une meilleure qualité de vie.

Résumé et perspectives: un plan pour une infrastructure d'IA de nouvelle génération

Le déploiement de laLe produit est fabriqué à partir d'un matériau d'une valeur supérieure ou égale à la valeur nominale de l'appareilLa combinaison des vitesses NDR de 400 Gb/s, qui permettent d'améliorer les performances de l'appareil, permet d'améliorer les performances de l'appareil et d'améliorer les performances de l'appareil.latence inférieure à la microsecondeLes architectes de réseaux apprécieront la flexibilité de l'utilisation de l'informatique de base et de l'intelligence artificielle dans les clusters HPC basés sur RDMA.920-9B210-00FN-0D0 InfiniBand commutateur OPNLes responsables de l'informatique peuvent s'appuyer sur des outils de gestion robustes et uneLe nombre de points de contrôle doit être le même que le nombre de points de contrôle.pour la planification des capacités.

En regardant vers l'avenir, l'organisation prévoit déjà d'étendre le tissu pour prendre en charge de plus grands grappes GPU,y compris l'intégration des DPU BlueField-3 pour une décharge de stockage supplémentaire et un isolement de sécurité. Le920-9B210-00FN-0D0 est compatibleL'écosystème garantit que les futures mises à niveau, que ce soit vers des NIC ou des technologies optiques plus récentes, seront prises en charge de manière transparente.Ce changement ne représente pas seulement une mise à niveau incrémentielle mais un facteur fondamental de performance à grande échelle.