Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch en action : optimisation de l'interconnexion à faible latence
May 29, 2026
Dans la formation de l'IA dans le monde réel et les déploiements informatiques haute performance, la latence du réseau et les frais généraux du processeur deviennent souvent des tueurs silencieux de l'évolutivité.Ce résumé de candidature examine comment une organisation de recherche de taille moyenne a relevé ces mêmes défis en déployant lesLe système de gestion de l'énergie est basé sur des systèmes de gestion de l'énergie qui sont basés sur des systèmes de gestion de l'énergie.L'interrupteur InfiniBand est le tissu de base de leur groupe de recherche basé sur GPU.
Le tissu RoCE Ethernet 100Gb/s hérité de l'organisation souffrait d'une latence de queue imprévisible en raison de tempêtes PFC (Priority Flow Control) et d'une gestion inefficace de la congestion.Comme leurs modèles d'IA ont augmenté de 10 milliards à plus de 50 milliards de paramètres, les opérations de communication collective (All-Reduce, All-to-All) consommaient près de 45% du temps total d'itération.un tissu à faible latence qui pourrait tirer pleinement parti du RDMA tout en maintenant une mise à l'échelle linéaire des performancesLa recherche a rapidement convergé sur leLe système de contrôle de l'équipement doit être équipé d'un système de contrôle de l'équipement.comme le bloc de construction le plus prometteur.
L'équipe a sélectionné les920-9B110-00FH-0D0 MQM8790-HS2F 200 Gb/s HDRLa fonction de commutation est l'épine dorsale de la couche vertébrale, interconnectant 64 nœuds GPU sur quatre racks.920-9B110-00FH-0D0 InfiniBand commutateur OPNDans le cadre de la commande, ils ont déployé deux commutateurs de base redondants avec 40 ports HDR chacun, atteignant un ratio de surabonnement non-bloquant de 1:1.Le déploiement exploite le routage adaptatif et SHARPv2 (Protocole d'agrégation et de réduction hiérarchique évolutif) Les données de l'établissement doivent être fournies à l'autorité compétente de l'État membre où le véhicule est situé.Pour ce qui est de la compatibilité, l'équipe a confirméLes données de l'établissement doivent être disponibles sur le site Web de l'établissement.L'écosystème comprenait leurs adaptateurs HDR ConnectX-6 existants et l'optique QSFP56 standard.
La télémétrie post-déploiement a révélé des améliorations spectaculaires. La latence de bout en bout entre deux nœuds GPU est passée de 3,2 μs (RoCE) à moins de 1,1 μs, avec une réduction de la jitter de 80%.NVIDIA Mellanox 920-9B110-00FH-0D0Le tableau suivant résume les indicateurs clés:
| Pour la métrique | Précédent (RoCE) | avec 920-9B110-00FH-0D0 |
|---|---|---|
| La fréquence moyenne de latence P2P (MPI pingpong) | 3.2 μs | 10,08 μs |
| All-Reduce (512 GPU, message de 1 Go) | 170,3 ms | 70,4 ms |
| Utilisation efficace de la bande passante | 62% | 94% |
| Surcharge du processeur (par 10 Gb/s) | ~ 8% | < 1% |
Au-delà des chiffres bruts, le920-9B110-00FH-0D0 InfiniBand commutateur OPN solutionEn utilisant NVIDIA UFM (Unified Fabric Manager), l'équipe a obtenu une visibilité en temps réel du tissu, une optimisation automatisée du chemin,et les alertes de congestion proactives fonctionnalités indisponibles dans leur déploiement Ethernet précédent. LeLes spécifications 920-9B110-00FH-0D0Il a également permis un fonctionnement économe en énergie: le châssis 1U consommait seulement 180W à pleine charge, ce qui réduisait leur contribution PUE.
Pour les organisations qui évaluent des améliorations similaires, le920-9B110-00FH-0D0 prixLa plupart des distributeurs proposent maintenant des solutions de distribution sans perte pour les appareils connectés à Internet.920-9B110-00FH-0D0 à vendreL'analyse du retour sur investissement de l'équipe a montré une période de récupération de 9 mois purement grâce à l'amélioration de l'utilisation du GPU.
Le déploiement a confirmé que leNVIDIA Mellanox 920-9B110-00FH-0D0pour les architectes qui conçoivent des clusters d'IA de nouvelle génération ou des systèmes HPC,Ce commutateur représente une preuveLes solutions développées autour de l'exascale, les solutions développées autour de l'exascale, les solutions développées autour de l'exascale, les solutions développées autour de l'exascale, les solutions développées autour de l'exascale, les solutions développées autour de l'exascale, les solutions développées autour de l'exascale, les solutions développées autour duLe système de contrôle de l'équipement doit être équipé d'un système de contrôle de l'équipement.Le projet de réseau de liaison à haut rendement sera toujours à l'avant-garde de la conception.