Transcepteur optique de centre de données NVIDIA Mellanox MMAIB00-B150D en pratique

NVIDIA Mellanox MMAIB00-B150D Transcepteur optique de centre de données en pratique.

Contexte et défi: le commerce de la bande passante et de la distance 25G dans les environnements à protocole mixte

Comme les opérateurs de centres de données mettent simultanément à niveau leurs réseaux d'accès aux serveurs de 10G à 25G tout en conservant des tissus Ethernet et InfiniBand séparés pour la formation, le stockage et l'intelligence artificielle,et le calcul à usage généralPour les émetteurs-récepteurs 25G SFP28, le principal compromis a été entre la portée et la flexibilité du protocole:certains modules sont optimisés pour Ethernet 25GBASE-SR avec une portée de 100 mètres sur OM4, tandis que d'autres sont spécifiquement qualifiés pour les environnements HDR 25G InfiniBand avec une portée similaire mais des exigences d'intégrité du signal différentes.Les architectes de réseau ont généralement été contraints de maintenir des SKU d'émetteur-récepteur séparés pour chaque type de tissu, augmentant la complexité de l'inventaire et le risque de déploiement du mauvais module dans un port de commutation donné.

Ce défi a récemment été relevé par une entreprise mondiale de services financiers qui a déployé un nouveau pôle de recherche sur l'IA dans trois halls adjacents des centres de données.Le cluster nécessitait une connectivité 25G pour le trafic de stockage Ethernet et 25G InfiniBand pour la communication GPU-GPU, avec des distances de liaison allant de 5 mètres (à l'intérieur du rack) à 90 mètres (à travers le couloir et entre les rangées).L'équipe d'ingénieurs avait besoin d'un seul émetteur-récepteur 25G SFP28 capable d'offrir des performances fiables à la fois sur les protocoles et les distances, en éliminant le besoin de cycles de qualification séparés et en réduisant les stocks de pièces de rechange.NVIDIA Mellanox MMAIB00-B150D est une plateformeLa solution optimale est apparue en proposant un émetteur-récepteur optique 25G avec support Ethernet/InfiniBand à double protocole et une portée de 100 mètres sur la fibre OM4.

Solution et déploiement: une stratégie optique 25G unifiée sur Ethernet et InfiniBand

Pour relever les défis liés à la distance de bande passante et à la flexibilité des protocoles, l'entreprise a normalisé lesNVIDIA Mellanox MMAIB00-B150D est une plateformeIl s'agit de l'unique émetteur-récepteur optique 25G pour toutes les liaisons multimode en fibre à travers le pôle de recherche sur l'IA.Transcepteur optique MMAIB00-B150Dfonctionne sur une fibre multimode duplex standard en utilisant la technologie VCSEL à 850 nm, prenant en charge à la fois les protocoles 25GBASE-SR Ethernet et 25G InfiniBand HDR sans reconfiguration du micrologiciel.La portée de 100 mètres du module sur la fibre OM4 et la portée de 70 mètres sur la fibre OM3 ont fourni une couverture suffisante pour toutes les liaisons intra-salle, tandis que la capacité de double protocole permettait un inventaire unifié des émetteurs-récepteurs dans le tissu de stockage Ethernet et le tissu de calcul InfiniBand de l'entreprise.

Le déploiement a été réalisé dans quatre zones distinctes, chacune ayant des exigences spécifiques en matière de câblage et de connectivité:

• Zone A (dans la voie ferrée, à 2°5 m):Les câbles de patch LC en duplex direct des ports de commutation SFP28 aux NIC du serveur.
• Zone B (étagères adjacentes, 8 à 25 mètres):Le câblage OM4 est structuré via des plateaux de fibres aériennes avec des panneaux intermédiaires.bien dans le budget optique du module tel que documenté dans leLa valeur de l'émission est calculée à partir de la valeur de l'émission..
• Zone C (cross-ais / entre les rangées, 30 à 70 mètres):Pour maintenir la marge minimale de 3,0 dB,l'équipe a effectué un nettoyage des extrémités de tous les connecteurs avant leur installation et a vérifié la perte d'insertion à l'aide d'un compteur de puissance optique pendant la mise en service;.
• Zone D (connexions entre les halls, 80 à 90 mètres):Utilisé pour les connexions entre les trois halls adjacents du centre de données.et vérification de la marge de puissance pendant la mise en service.

Parce que leNVIDIA Mellanox MMAIB00-B150D est une plateformeestLe système de gestion des risques est conforme à la norme MMAIB00-B150Davec des commutateurs NVIDIA Spectrum Ethernet et des commutateurs NVIDIA Quantum InfiniBand, ainsi que des adaptateurs de la série ConnectX et des DPU BlueField,l'équipe a été en mesure de déployer le même récepteur SKU sur l'ensemble du tissu sans aucune configuration ou qualification spécifique au protocoleÇa.MMAIB00-B150D réseau de centres de données optiques MellanoxCette solution a éliminé la nécessité d'inventaires distincts d'émetteurs-récepteurs Ethernet et InfiniBand, réduisant de manière significative la complexité des marchés et le risque de mauvaise mise à disposition.

Résultats et avantages: Gains mesurables en termes de coûts, de simplicité et de flexibilité du protocole

L'analyse post-déploiement sur les 1 800 liaisons optiques a révélé plusieurs avantages quantifiables.Solution de récepteur optique MMAIB00-B150DDans le cadre de la mise en place d'un système d'échange de données, l'organisation a éliminé la nécessité de mettre en place des SKU distincts pour les émetteurs-récepteurs Ethernet et InfiniBand, réduisant ainsi l'inventaire des émetteurs-récepteurs de 50% et simplifiant les processus de commande.Le prix de la MMAIB00-B150D, lorsqu'il est évalué par rapport au coût combiné des modules distincts basés uniquement sur Ethernet et basés uniquement sur InfiniBand,a permis d'économiser 30% de coûts par liaison, car la capacité de double protocole a éliminé le besoin de deux stocks distincts avec des frais généraux associés.

Deuxièmement, le taux d'échec opérationnel au cours des neuf premiers mois était exceptionnellement faible: seulement quatre remplacements d'émetteurs-récepteurs sur 1 800 unités ont été nécessaires, soit un taux d'échec de 0.22%, ce qui est nettement inférieur à la moyenne de l'industrie de 0Cette fiabilité est attribuable à l'alignement optique optimisé en usine et au contrôle de qualité rigoureux du MMAIB00-B150D,Les résultats de l'enquête ont été publiés dans les journaux de l'équipe.Les spécifications MMAIB00-B150D.

Troisièmement, l'efficacité énergétique desNVIDIA Mellanox MMAIB00-B150D est une plateformeLes 1 800 émetteurs-récepteurs utilisés dans l'ensemble du parc ont consommé environ 2,6 kW au total.comparativement à une estimation de 30,6 kW si des modules Ethernet et InfiniBand distincts avaient été maintenus (chacun avec des profils de puissance légèrement différents).Cette réduction de puissance de 28% a directement amélioré la mesure de l'efficacité de l'utilisation de l'énergie (PUE) de l'installation d'un.02 points.

D'un point de vue opérationnel, la capacité de double protocole a apporté des avantages significatifs lors d'événements de maintenance.L'équipe pourrait simplement déplacer les émetteurs-récepteurs MMAIB00-B150D existants de l'ancien commutateur vers le nouveau sans se soucier de la compatibilité du protocoleDe même, lorsque le tissu InfiniBand a été élargi, la même SKU d'émetteur-récepteur a été utilisée, éliminant la nécessité de prévoir séparément la demande d'émetteur-récepteur spécifique au protocole.L'interface de surveillance de diagnostic numérique (DDM) du module a fourni une visibilité en temps réel de l'état optique des deux tissus, permettant à l'équipe opérationnelle d'identifier et de traiter la dégradation des maillons avant qu'elle n'affecte les charges de travail de production.

Résumé et perspectives: un plan pour une architecture optique 25G polyvalente

L'expérience de déploiement avec leNVIDIA Mellanox MMAIB00-B150D est une plateformeà travers plusieurs zones de distance et à la fois Ethernet et InfiniBand tissus démontre clairement qu'un seul,L'émetteur-récepteur 25G SFP28 bien caractérisé peut répondre efficacement aux exigences de flexibilité de la bande passante et du protocole des centres de données modernes d'IAEn tirant parti de la portée de 100 mètres duLe montant de la subvention est calculé en fonction des coûts de production.sur la fibre OM4 et sa capacité à double protocole, les architectes peuvent éviter le coût et la complexité de plusieurs SKU optiques tout en maintenant l'intégrité du signal et la simplicité opérationnelle à travers le rack,entre les plateaux, les liaisons transversales et inter-salles.

À l'avenir, comme 25G Ethernet et 25G InfiniBand continuent de servir de base de couche d'accès pour la formation de l'IA, HPC, et les environnements de stockage d'entreprise, la demande de polyvalent,Les émetteurs-récepteurs optiques à double protocole ne feront que croîtreLe MMAIB00-B150D est bien placé pour cette trajectoire.parce que sa large compatibilité avec les plates-formes NVIDIA Mellanox et le facteur de forme SFP28 standard assure une intégration transparente avec l'infrastructure actuelle et les futures mises à niveauPour les organisations prévoyant des migrations similaires de 10G à 25G ou déployant des tissus d'IA à protocole mixte, l'approche à niveaux validée dans ce déploiement offre une feuille de route pratique:normaliser sur le MMAIB00-B150D pour toutes les liaisons 25G multimode en fibre jusqu'à 100 mètres, réserver des solutions à plus longue portée pour les liaisons de plus de 100 mètres,et maintenir un cadre de surveillance unifié qui tire parti des données DDM pour gérer de manière proactive la santé optique à travers les tissus Ethernet et InfiniBand.

Pour des modèles de budget détaillés, des listes de contrôle d'installation et des protocoles de nettoyage, consultez leLa valeur de l'émission est calculée à partir de la valeur de l'émission.et les notes d'application optique de NVIDIA Mellanox.