Solution technique d'émetteur-récepteur optique pour centre de données NVIDIA Mellanox MMAIB00-B150D

Solution technique d'émetteur-récepteur optique pour centre de données NVIDIA Mellanox MMAIB00-B150D | Équilibrer la bande passante et la distance entre les liaisons rack à rack et inter-installations

1. Contexte du projet et analyse des exigences

À mesure que les architectures des centres de données évoluent pour prendre en charge des charges de travail de formation en IA, de calcul haute performance (HPC) et de stockage d'entreprise de plus en plus exigeantes, l'interconnexion de la couche physique entre les serveurs, les commutateurs et les systèmes de stockage doit offrir à la fois une bande passante élevée et une flexibilité opérationnelle. Au niveau de la couche d'accès 25G, où se produisent la majorité des connexions serveur-commutateur, les architectes réseau sont confrontés à un défi de conception crucial : comment fournir une connectivité 25G sur différentes distances (de 5 mètres à 100 mètres) tout en prenant en charge les protocoles Ethernet et InfiniBand, sans proliférer les types d'émetteurs-récepteurs ni compromettre l'intégrité du signal. L'approche traditionnelle consistant à maintenir des références d'émetteur-récepteur distinctes pour chaque protocole et niveau de distance introduit une surcharge opérationnelle importante, car les structures Ethernet et InfiniBand nécessitent des cycles de qualification différents, et les modules à courte et longue portée comportent des structures de coûts distinctes.

Ce défi est amplifié par deux tendances concurrentes du secteur. Premièrement, l’adoption croissante d’architectures mixtes dans les clusters d’IA – où Ethernet gère le trafic de stockage et de gestion tandis qu’InfiniBand gère la communication GPU à GPU – exige des émetteurs-récepteurs optiques capables de fonctionner de manière transparente dans les deux environnements de protocole. Deuxièmement, les exigences en matière de développement durable entraînent des réductions de la consommation électrique par port, car les commutateurs haute densité dotés de 48 ou 64 ports SFP28 peuvent consommer une énergie importante si les émetteurs-récepteurs ne sont pas optimisés pour l'efficacité. Une solution technique structurée est requise : une solution standardisée sur un seul émetteur-récepteur SFP28 25G bien caractérisé avec une capacité de double protocole, des directives claires de planification des distances, des procédures de validation du budget de liaison et une surveillance proactive de l'état sur les structures Ethernet et InfiniBand.

2. Conception globale de l’architecture réseau/système

L'architecture proposée adopte une topologie spine-leaf à deux niveaux avec des ports SFP28 25G servant de couche d'accès pour tous les nœuds de calcul, de stockage et GPU. Chaque commutateur feuille, généralement équipé de 48 ou 64 ports SFP28, se connecte aux serveurs et aux contrôleurs de stockage via des liaisons 25G, tandis que plusieurs liaisons montantes 100G ou 400G connectent le niveau feuille à la couche dorsale pour le trafic inter-pods et d'interconnexion des centres de données (DCI). L'architecture prend en charge à la fois Ethernet (pour le stockage et la gestion) et InfiniBand (pour les structures GPU à GPU et HPC) au sein de la même conception de couche physique, en utilisant une référence d'émetteur-récepteur optique cohérente pour toutes les liaisons d'accès 25G, quel que soit le protocole.

Pour cette architecture, leNVIDIA Mellanox MMAIB00-B150Dest sélectionné comme seul émetteur-récepteur optique 25G pour toutes les liaisons de couche d'accès jusqu'à 100 mètres sur fibre OM4 et 70 mètres sur fibre OM3. CeÉmetteur-récepteur optique MMAIB00-B150Dfonctionne sur fibre multimode duplex à l'aide de la technologie VCSEL 850 nm, prenant en charge les protocoles Ethernet 25GBASE-SR et 25G InfiniBand HDR sans reconfiguration du micrologiciel. La capacité de double protocole est essentielle à la stratégie SKU unifiée de l'architecture, car leNVIDIA Mellanox MMAIB00-B150DestCompatible MMAIB00-B150Davec les commutateurs NVIDIA Spectrum Ethernet et les commutateurs NVIDIA Quantum InfiniBand, ainsi que les adaptateurs de la série ConnectX et les DPU BlueField.

L'architecture intègre également une conception d'installation de fibre standardisée utilisant des connecteurs LC duplex et une fibre multimode OM4 pour toutes les nouvelles installations, avec des dispositions permettant de réutiliser l'infrastructure OM3 existante pour des liaisons plus courtes lorsque la marge de liaison le permet. Cette conception garantit que n'importe quel port SFP28 peut être interconnecté à n'importe quel point final dans la limite de portée de 100 mètres, offrant une flexibilité maximale pour le rééquilibrage de la capacité et les cycles de rafraîchissement du matériel. Le guide de conception fait référence auSpécifications du MMAIB00-B150Dpour le rayon de courbure (minimum 30 mm dynamique), la propreté des connecteurs (conformément à la norme CEI 61300-3-35) et les budgets de perte d'insertion (maximum 2,5 dB au total pour la liaison complète, y compris les connecteurs et les épissures).

3. Rôle et fonctionnalités clés du NVIDIA Mellanox MMAIB00-B150D dans la solution

Au sein de cette architecture, leÉmetteur-récepteur optique MMAIB00-B150Dfonctionne comme une interface optique standardisée qui relie le domaine électrique du commutateur/adaptateur avec l'infrastructure de fibre optique, offrant des performances constantes sur les structures Ethernet et InfiniBand. Ses principales caractéristiques techniques sont essentielles au succès de la stratégie mono-SKU :

• Fonctionnement à double protocole :Prend en charge à la fois Ethernet 25GBASE-SR et InfiniBand HDR 25G avec détection automatique, permettant un inventaire unifié des émetteurs-récepteurs sur des structures hétérogènes.
• Émetteur VCSEL 850 nm :Fournit une puissance de sortie optique fiable (-4 à +4 dBm) avec un bruit de faible intensité relative (RIN), prenant en charge des diagrammes oculaires nets sur fibre multimode à une signalisation NRZ de 25,78 Gbit/s.
• Récepteur PIN haute sensibilité :Sensibilité typique de -8,5 dBm, offrant une marge de liaison d'au moins 3,0 dB sur OM4 à 100 mètres et 5,0 dB sur OM4 à 70 mètres, tenant compte des pertes et du vieillissement des connecteurs.
• Efficacité énergétique :Consommation typique inférieure à 1,5 W, permettant des configurations de ports denses sans dépasser les budgets thermiques.
• Surveillance de diagnostic numérique intégrée (DDM) :Rapports en temps réel de la puissance Tx, de la puissance Rx, de la température, de la tension et du courant de polarisation via l'interface de gestion I²C standard, permettant une détection proactive des défauts dans les deux environnements de protocole.
• Large plage de températures de fonctionnement :Température du boîtier de 0 °C à 70 °C, garantissant un fonctionnement fiable dans des environnements de rack haute densité avec une chaleur ambiante élevée.
• Qualification en usine pour Ethernet et InfiniBand :Élimine le besoin de cycles de qualification distincts spécifiques au protocole, réduisant ainsi le temps et les risques de déploiement.

Ces fonctionnalités sont largement documentées dans leFiche technique MMAIB00-B150D, qui comprend des masques de diagramme oculaire, des courbes de tolérance de gigue et des dessins mécaniques à intégrer dans les outils d'agencement d'armoires. La fiche technique fournit également des tableaux détaillés de bilan de liaison qui sont référencés lors de la phase de planification architecturale pour valider que la perte d'insertion totale de chaque liaison reste dans les limites du budget optique du module.

4. Recommandations de déploiement et de mise à l'échelle (avec description typique de la topologie)

Pour le déploiement initial, nous recommandons une approche de zonage structurée qui mappe les niveaux de distance aux types de câblage standardisés et garantit une marge de liaison cohérente sur toutes les connexions, quel que soit le protocole. La topologie typique suivante est utilisée pour un commutateur feuille à 48 ports desservant 48 serveurs répartis dans six armoires (8 serveurs par armoire), avec des distances entre armoires allant de 5 à 90 mètres :

• Zone A (Intra-rack, 2 à 5 mètres) :Cordons de brassage LC duplex directs du commutateur feuille aux serveurs. La marge de liaison dépasse 6 dB, garantissant un fonctionnement robuste même avec une dégradation modérée du connecteur.
• Zone B (armoires adjacentes, 8 à 25 mètres) :Câblage OM4 structuré via des plateaux fibre aériens avec panneaux de brassage intermédiaires. Nombre total de connecteurs : 2 paires couplées par lien. Marge de liaison : 4,5 à 5,0 dB, bien dans les 3,0 dB minimum du module.
• Zone C (traversée / inter-rangée, 30 à 70 mètres) :Trunks OM4 pré-terminés avec connecteurs polis en usine, acheminés sous des planchers surélevés. Marge de liaison : 3,5 à 4,0 dB, toujours confortable même en tenant compte d'un vieillissement allant jusqu'à 0,5 dB sur 5 ans.
• Zone D (Inter-halls/campus, 70-100 mètres) :Utilisé uniquement pour les connexions de campus courts où l'infrastructure OM4 existe. La marge de liaison à 100 mètres est d'environ 3,0 dB, ce qui nécessite un nettoyage méticuleux des connecteurs, la conformité du rayon de courbure et une vérification de la marge de puissance lors de la mise en service.

L'évolution au-delà d'un seul pod suit les mêmes principes de zonage, avec l'ajout de commutateurs d'agrégation intermédiaires qui terminent les liaisons d'accès 25G à partir de plusieurs pods. Parce que leSolution d'émetteur-récepteur optique MMAIB00-B150Dutilise un seul SKU avec une capacité double protocole, l'expansion ne nécessite pas de prévision des types d'émetteur-récepteur par protocole ou par distance — toutes les liaisons sont fournies de manière identique. Cela simplifie la logistique et permet à l'équipe opérationnelle de maintenir un petit stock tampon d'émetteurs-récepteurs de rechange (généralement 5 % des unités déployées) pour un remplacement rapide lors des événements de maintenance.

Pour la planification de la distance, le tableau suivant fournit des lignes directrices pour une portée maximale en fonction du type de fibre et du budget de liaison :

Lors d'un déploiement à des distances proches de la portée maximale, nous vous conseillons d'effectuer une mesure de puissance optique lors de la mise en service à l'aide d'une source lumineuse et d'un wattmètre, en comparant la perte mesurée au budget calculé à partir duFiche technique MMAIB00-B150D. Cette étape de validation garantit que tout défaut de câblage ou contamination est détecté avant la mise en production du lien.

5. Opérations et maintenance : surveillance, dépannage et optimisation

Le cycle de vie opérationnel de l'infrastructure optique basée sur MMAIB00-B150D nécessite une approche systématique de la surveillance et de la gestion des pannes, exploitant les capacités DDM du module sur les structures Ethernet et InfiniBand. Nous recommandons d'intégrer l'interface de gestion I²C dans le système de gestion de réseau central (NMS) à l'aide de la norme SFF-8472 MIB pour les modules SFP. Les seuils clés à configurer pour les alertes proactives incluent :

• Dégradation de la puissance d'émission :Alerte si la puissance de sortie chute de plus de 2,0 dB par rapport à la valeur nominale, indiquant un vieillissement potentiel du VCSEL ou une contamination du connecteur côté transmission.
• Marge de puissance Rx :Avertissement si la puissance reçue approche -8,0 dBm (avec une sensibilité à -8,5 dBm), indiquant une perte de liaison excessive, des dommages au câble ou un mauvais alignement des connecteurs.
• Excursions de température :Alertez si la température du boîtier dépasse 65 °C, ce qui suggère une obstruction du flux d'air, une panne de ventilateur ou une augmentation de la température ambiante.
• Dérive du courant de polarisation :Surveiller les changements dans le courant de polarisation du laser au fil du temps ; une augmentation soutenue au-delà de 30 % de la valeur nominale peut indiquer une dégradation du VCSEL.

En cas de dégradation ou de défaillance du lien, un protocole de dépannage structuré doit être suivi :

1. Vérifiez les lectures DDM pour isoler le défaut — comparez les valeurs Tx et Rx aux plages attendues duSpécifications du MMAIB00-B150Det confirmez si le problème affecte à la fois les structures Ethernet et InfiniBand ou un seul protocole.
2. Inspectez les connecteurs LC duplex aux deux extrémités à l’aide d’un microscope d’extrémité ; nettoyer si une contamination est détectée conformément aux normes CEI 61300-3-35.
3. Testez la liaison avec un émetteur-récepteur MMAIB00-B150D en bon état pour confirmer si le défaut réside dans le module ou dans l'installation de fibre.
4. Si le problème persiste, effectuez un test OTDR pour localiser les ruptures de fibre, les courbures excessives ou les échecs d'épissure dans le chemin de câblage structuré.
5. Pour les problèmes spécifiques au protocole, vérifiez que la configuration du commutateur/point de terminaison correspond au mode de protocole détecté automatiquement de l'émetteur-récepteur ; bien que le MMAIB00-B150D prenne en charge la détection automatique, certaines plates-formes existantes peuvent nécessiter une configuration manuelle du protocole.

Les opportunités d'optimisation incluent des audits périodiques de la gestion des câbles pour garantir le respect du rayon de courbure minimum et pour vérifier que les faisceaux de fibres ne sont pas comprimés ou soumis à une tension excessive. De plus, parce que lePrix ​​​​MMAIB00-B150Dest compétitif par rapport aux autres modules 25G SR qualifiés tout en offrant une capacité double protocole, nous vous recommandons de conserver un petit stock d'émetteurs-récepteurs de rechange (environ 5 % du total des unités déployées) pour permettre un remplacement rapide et minimiser le MTTR. Pour les déploiements à grande échelle, envisagez de mettre en œuvre des tableaux de bord automatisés sur l’état de santé optique qui regroupent les données DDM sur toutes les liaisons des structures Ethernet et InfiniBand, permettant ainsi une maintenance prédictive et une planification de capacité.

6. Résumé et évaluation de la valeur

LeNVIDIA Mellanox MMAIB00-B150DLa solution technique basée sur cette solution fournit une méthodologie pragmatique et validée sur le terrain pour équilibrer la bande passante, la distance et la flexibilité du protocole sur les réseaux d'accès aux centres de données 25G. En standardisant sur un seul émetteur-récepteur SFP28 conforme à la norme IEEE — leÉmetteur-récepteur optique MMAIB00-B150D— l'architecture élimine la complexité liée à la gestion de plusieurs SKU pour différents protocoles et niveaux de distance, réduit les stocks de pièces de rechange et simplifie la planification du déploiement. La technologie VCSEL 850 nm du module, combinée à un récepteur PIN haute sensibilité, offre des performances fiables sur les fibres multimodes OM3 et OM4 jusqu'à 100 mètres, couvrant la grande majorité des liaisons intra-centre de données et campus tout en prenant en charge les structures Ethernet et InfiniBand.

Les indicateurs de valeur clés issus de déploiements comparables incluent :

• Réduction des stocks :Un seul SKU d'émetteur-récepteur remplace deux références spécifiques au protocole et deux références spécifiques à la distance, réduisant ainsi les frais logistiques de 60 à 70 %.
• Efficacité énergétique :Avec < 1,5 W par module, le MMAIB00-B150D contribue à réduire les coûts de refroidissement et à améliorer le PUE.
• Fiabilité opérationnelle :La surveillance proactive compatible DDM réduit le MTTR jusqu'à 60 % pour les défauts de couche optique sur les deux types de structure.
• Optimisation des coûts :LePrix ​​​​MMAIB00-B150Dest compétitif par rapport aux autres modules 25G SR qualifiés, tandis que sa capacité à double protocole et sa large compatibilité éliminent les coûts de qualification supplémentaires et réduisent les frais de formation.

Pour les architectes réseau et les responsables de l'ingénierie, le MMAIB00-B150D offre une interface optique « à installer et à oublier » qui maintient des performances constantes malgré les variations de température, les contraintes mécaniques et les environnements de protocole. La solution est particulièrement recommandée pour les nouveaux centres de données IA planifiant des réseaux d'accès 25G standardisés avec des structures mixtes Ethernet et InfiniBand, ainsi que pour les environnements industriels passant de 10G à 25G tout en réutilisant l'infrastructure de fibre multimode existante. Alors que 25G Ethernet et 25G InfiniBand continuent de servir de base de couche d'accès pour les environnements d'IA, HPC et de stockage d'entreprise, l'architecture optique basée sur MMAIB00-B150D fournit une base robuste et évolutive qui s'aligne à la fois avec les contraintes opérationnelles actuelles et les feuilles de route de capacité à long terme.

Pour obtenir des directives d'intégration détaillées, des données de simulation thermique et des packages de certification de conformité, veuillez vous référer à la documentation officielle du produit.