Solution technique d'émetteur-récepteur optique pour centre de données NVIDIA Mellanox MMA4Z00-NS

Solution technique d'émetteur-récepteur optique pour centre de données NVIDIA Mellanox MMA4Z00-NS | Équilibrer la bande passante et la distance entre les liaisons rack à rack et inter-installations

1. Contexte du projet et analyse des exigences

À mesure que les charges de travail d’intelligence artificielle (IA) et de calcul haute performance (HPC) continuent d’évoluer, l’infrastructure réseau sous-jacente doit évoluer pour prendre en charge les vitesses d’accès Ethernet 800G et InfiniBand 400G. Les architectes de centres de données sont désormais confrontés à un défi critique en matière de conception de couche physique : comment fournir une bande passante de 800 G sur différentes distances – depuis les connexions intra-rack (2 à 5 mètres) jusqu'aux liaisons transversales (30 à 60 mètres) et même les connexions entre rangées ou entre bâtiments (jusqu'à 100 mètres) – sans prolifération de types d'émetteurs-récepteurs, sans gonfler les coûts d'inventaire ou compromettre l'intégrité du signal. L'approche traditionnelle consistant à sélectionner des modules optiques distincts pour chaque niveau de distance (par exemple, SR8 pour une portée courte, DR8/FR8 pour une portée étendue) introduit une complexité opérationnelle et augmente le risque de mauvais approvisionnement, lorsqu'un module à courte portée est déployé par inadvertance sur une liaison plus longue, provoquant des taux d'erreur binaire (BER) imprévisibles.

Ce défi est aggravé par trois tendances concurrentes du secteur. Premièrement, l'adoption généralisée du facteur de forme OSFP (Octal Small Form Factor Pluggable) sur les commutateurs Ethernet et InfiniBand a créé une interface commune, mais tous les émetteurs-récepteurs OSFP n'offrent pas des performances constantes sur fibre multimode à des vitesses PAM4 de 800 G. Deuxièmement, les exigences en matière de développement durable entraînent une réduction de la consommation électrique par port, car les commutateurs haute densité dotés de 32 ou 64 ports OSFP peuvent consommer une énergie importante si les émetteurs-récepteurs ne sont pas optimisés. Troisièmement, les équipes opérationnelles ont besoin de capacités de diagnostic uniformes sur toutes les liaisons optiques pour simplifier la surveillance et réduire le temps moyen de réparation (MTTR). Une solution technique structurée est requise : une solution standardisée sur un seul émetteur-récepteur 800G SR8 bien caractérisé tout en fournissant des directives claires pour la planification des distances, la validation du budget de liaison et la gestion proactive de l'état sur les structures Ethernet et InfiniBand.

2. Conception globale de l’architecture réseau/système

L'architecture proposée adopte une topologie spine-leaf à deux niveaux avec des ports OSFP 800G servant d'interface d'accès principale pour les nœuds de calcul GPU et les systèmes de stockage. Chaque commutateur feuille, généralement équipé de 32 ou 64 ports OSFP, se connecte aux commutateurs spine en amont via des liaisons montantes 800G ou 1,6T, tandis que les ports en aval sont alloués aux nœuds de calcul et aux contrôleurs de stockage répartis sur plusieurs racks et allées. Pour maximiser l'utilisation des ports et réduire l'encombrement du commutateur, l'architecture exploite des configurations de dérivation 2 × 400G : un seul port OSFP 800G est divisé en deux connexions 400G indépendantes, chacune se terminant par un serveur GPU ou un point de terminaison de stockage distinct. Cette conception double efficacement la densité de ports effective du niveau feuille, ce qui est particulièrement précieux dans les environnements riches en GPU où l'espace rack est limité.

Le câblage physique entre les commutateurs et les points finaux est implémenté à l'aide duNVIDIA Mellanox MMA4Z00-NScomme émetteur-récepteur optique 800G standardisé pour toutes les liaisons fibre multimode jusqu'à 65 mètres. CeÉmetteur-récepteur MMA4Z00-NS 800G OSFP SR8fonctionne sur fibre multimode OM4 (50 mètres) et OM5 (70 mètres) en utilisant 8 voies parallèles à 100G PAM4 par voie, conforme aux spécifications Ethernet 800GBASE-SR8 et 400G-SR4 ainsi qu'aux débits de données InfiniBand HDR et NDR. La capacité double protocole du module — prenant en charge à la fois Ethernet et InfiniBand sans reconfiguration du micrologiciel — permet une stratégie optique unifiée sur des structures hétérogènes, réduisant ainsi le nombre de références d'émetteur-récepteur requises dans les environnements à protocoles mixtes.

L'architecture intègre également une conception d'installation de fibre standardisée utilisant des connecteurs MPO-12 et une fibre multimode à large bande OM5 pour toutes les nouvelles installations, avec des dispositions permettant de réutiliser l'infrastructure OM4 existante pour des liaisons plus courtes lorsque la marge de liaison le permet. Cette conception garantit que n'importe quel port OSFP peut être interconnecté à n'importe quel point final dans la limite de portée de 65 mètres, offrant ainsi une flexibilité maximale pour le rééquilibrage de la capacité et les cycles de rafraîchissement du matériel. Le guide de conception fait référence auSpécifications du MMA4Z00-NSpour le rayon de courbure (dynamique minimale de 30 mm), la propreté des connecteurs (conformément à la norme CEI 61300-3-35) et les budgets de perte d'insertion (maximum 3,0 dB au total pour la liaison complète, y compris les connecteurs et les épissures).

3. Rôle et fonctionnalités clés du NVIDIA Mellanox MMA4Z00-NS dans la solution

Au sein de cette architecture, leÉmetteur-récepteur MMA4Z00-NS 800G OSFP SR8fonctionne comme une interface optique standardisée qui relie le domaine électrique du commutateur/adaptateur avec l'infrastructure de fibre optique. Ses principales caractéristiques techniques sont essentielles au succès de la stratégie mono-SKU :

• Fonctionnement à double protocole :Prend en charge Ethernet 800G (800GBASE-SR8) et InfiniBand 400G (NDR) avec détection automatique, permettant un inventaire unifié des émetteurs-récepteurs sur des structures hétérogènes.
• Capacité de dérivation native 2×400G :LeMMA4Z00-NS 2x400G InfiniBand/EthernetLe mode permet à un seul port OSFP d'alimenter deux points de terminaison 400G indépendants à l'aide d'un assemblage de câbles breakout MPO-12 à 2 × MPO-8, éliminant ainsi le besoin de modules de sortance externes.
• Réseau VCSEL 850 nm avec 8 voies :Fournit une puissance de sortie optique fiable (typique -2,0 à +4,0 dBm par voie) avec un bruit de faible intensité relative (RIN), prenant en charge des diagrammes oculaires propres sur fibre multimode à 100G PAM4.
• Réseau de récepteurs PIN haute sensibilité :Sensibilité typique de -5,5 dBm par voie, offrant une marge de liaison d'au moins 3,0 dB sur OM5 à 70 mètres, tenant compte des pertes et du vieillissement des connecteurs.
• Efficacité énergétique :Consommation typique inférieure à 10,5 W en mode 800G et environ 8,2 W en mode breakout 2×400G, permettant des configurations de ports denses sans dépasser les budgets thermiques.
• Surveillance de diagnostic numérique intégrée (DDM) :Rapports en temps réel de la puissance Tx, de la puissance Rx, de la température, de la tension et du courant de polarisation pour chaque voie via l'interface de gestion I²C standard, permettant une détection proactive des défauts et un dépannage au niveau de la voie.
• Large plage de températures de fonctionnement :Température du boîtier de 0 °C à 70 °C, garantissant un fonctionnement fiable dans des environnements de rack haute densité avec une chaleur ambiante élevée.

Ces fonctionnalités sont largement documentées dans leFiche technique MMA4Z00-NS, qui comprend des masques de diagramme oculaire, des courbes de tolérance de gigue et des dessins mécaniques à intégrer dans les outils d'agencement d'armoires. La fiche technique fournit également des tableaux détaillés de bilan de liaison qui sont référencés lors de la phase de planification architecturale pour valider que la perte d'insertion totale de chaque liaison reste dans les limites du budget optique du module.

4. Recommandations de déploiement et de mise à l'échelle (avec description typique de la topologie)

Pour le déploiement initial, nous recommandons une approche de zonage structurée qui mappe les niveaux de distance aux types de câblage standardisés et garantit une marge de liaison cohérente sur toutes les connexions. La topologie typique suivante est utilisée pour un commutateur feuille à 32 ports desservant 64 nœuds GPU dans huit armoires (8 nœuds par armoire), avec des distances entre armoires allant de 5 à 50 mètres :

• Zone A (Intra-rack, 2 à 5 mètres) :Cordons de brassage MPO-12 directs du commutateur feuille (dans la même armoire) aux nœuds GPU. La marge de liaison dépasse 6 dB, garantissant un fonctionnement robuste même avec une dégradation modérée du connecteur.
• Zone B (armoires adjacentes, 8 à 20 mètres) :Câblage OM5 structuré via des plateaux fibre aériens avec panneaux de brassage intermédiaires. Nombre total de connecteurs : 2 paires couplées par lien. Marge de liaison : 4,0 à 4,5 dB, bien dans les 3,0 dB minimum du module.
• Zone C (traversée / inter-rangée, 25 à 50 mètres) :Trunks OM5 pré-terminés avec connecteurs polis en usine, acheminés sous des planchers surélevés. Marge de liaison : 3,0 à 3,5 dB, toujours confortable même en tenant compte d'un vieillissement jusqu'à 0,5 dB sur 5 ans.
• Zone D (Campus inter-bâtiments, 50-65 mètres) :Utilisé uniquement pour les connexions de campus courts où l'infrastructure OM5 existe. La marge de liaison à 65 mètres est d'environ 3,0 dB, ce qui nécessite un nettoyage méticuleux des connecteurs, la conformité du rayon de courbure et une vérification de la marge de puissance lors de la mise en service.

L'évolution au-delà d'un seul pod suit les mêmes principes de zonage, avec l'ajout de commutateurs d'agrégation intermédiaires qui terminent les liaisons d'accès 800G à partir de plusieurs pods. Parce que leSolution d'émetteur-récepteur MMA4Z00-NS 800G OSFP SR8utilise un seul SKU avec une capacité double protocole, l'expansion ne nécessite pas de prévision des types d'émetteur-récepteur par protocole ou par distance — toutes les liaisons sont fournies de manière identique. Cela simplifie la logistique et permet à l'équipe opérationnelle de maintenir un petit stock tampon d'émetteurs-récepteurs de rechange (généralement 5 % des unités déployées) pour un remplacement rapide lors des événements de maintenance.

Pour la planification de la distance, le tableau suivant fournit des lignes directrices pour une portée maximale en fonction du type de fibre et du budget de liaison :

Lors d'un déploiement à des distances proches de la portée maximale, nous vous conseillons d'effectuer une mesure de puissance optique lors de la mise en service à l'aide d'une source lumineuse et d'un wattmètre, en comparant la perte mesurée au budget calculé à partir duFiche technique MMA4Z00-NS. Cette étape de validation garantit que tout défaut de câblage ou contamination est détecté avant la mise en production du lien.

5. Opérations et maintenance : surveillance, dépannage et optimisation

Le cycle de vie opérationnel de l'infrastructure optique basée sur le MMA4Z00-NS nécessite une approche systématique de la surveillance et de la gestion des pannes, en tirant parti des capacités DDM au niveau des voies du module. Nous recommandons d'intégrer l'interface de gestion I²C dans le système de gestion de réseau central (NMS) à l'aide de la norme CMIS (Common Management Interface Spécification) pour les modules OSFP. Les seuils clés à configurer pour les alertes proactives incluent :

• Dégradation de la puissance d'émission :Alerte si la puissance de sortie sur une voie chute de plus de 2,0 dB par rapport à la valeur nominale, indiquant un vieillissement potentiel du VCSEL ou une contamination du connecteur côté transmission.
• Marge de puissance Rx :Avertissement si l'alimentation reçue sur une voie approche -5,0 dBm (avec une sensibilité à -5,5 dBm), indiquant une perte de liaison excessive, des dommages au câble ou un alignement défectueux du connecteur MPO.
• Excursions de température :Alertez si la température du boîtier dépasse 65 °C, ce qui suggère une obstruction du flux d'air, une panne de ventilateur ou une augmentation de la température ambiante.
• Dérive du courant de polarisation :Surveiller les changements dans le courant de polarisation du laser au fil du temps ; une augmentation soutenue au-delà de 30 % de la valeur nominale sur n'importe quelle voie peut indiquer une dégradation du VCSEL.

En cas de dégradation ou de défaillance du lien, un protocole de dépannage structuré doit être suivi :

1. Vérifier les lectures DDM au niveau des voies pour isoler laquelle des 8 voies subit une dégradation ; comparer les valeurs Tx et Rx aux plages attendues duSpécifications du MMA4Z00-NS.
2. Inspectez les connecteurs MPO aux deux extrémités à l’aide d’un microscope d’extrémité ; nettoyer si une contamination est détectée conformément aux normes CEI 61300-3-35, en accordant une attention particulière à chaque voie affectée.
3. Testez la liaison avec un émetteur-récepteur MMA4Z00-NS en bon état pour confirmer si le défaut réside dans le module ou dans l'installation de fibre.
4. Si le problème persiste sur une voie spécifique, effectuez un test OTDR ou utilisez un diagnostic de bouclage pour isoler le défaut sur le chemin de la fibre ou sur le chemin optique interne de l'émetteur-récepteur.

Les opportunités d'optimisation incluent des audits périodiques de la gestion des câbles pour garantir la conformité minimale du rayon de courbure et pour vérifier que la décharge de traction du connecteur MPO n'est pas compromise. De plus, parce que lePrix ​​​​MMA4Z00-NSest compétitif par rapport aux autres modules 800G SR8 qualifiés, nous vous recommandons de conserver un petit stock d'émetteurs-récepteurs de rechange (environ 5 % du total des unités déployées) pour permettre un remplacement rapide et minimiser le MTTR. Pour les déploiements à grande échelle, envisagez de mettre en œuvre des tableaux de bord automatisés sur la santé optique qui regroupent les données DDM au niveau des voies sur toutes les liaisons, permettant ainsi une maintenance prédictive et une planification des capacités.

6. Résumé et évaluation de la valeur

LeNVIDIA Mellanox MMA4Z00-NSLa solution technique basée sur cette technologie fournit une méthodologie pragmatique et validée sur le terrain pour équilibrer la bande passante et la distance sur les réseaux d'accès aux centres de données 800G. En standardisant sur un seul émetteur-récepteur OSFP SR8 conforme à la norme IEEE — leÉmetteur-récepteur MMA4Z00-NS 800G OSFP SR8— l'architecture élimine la complexité liée à la gestion de plusieurs SKU pour différents niveaux de distance et protocoles, réduit les stocks de pièces de rechange et simplifie la planification du déploiement. La technologie VCSEL 850 nm du module, combinée à un réseau de récepteurs PIN haute sensibilité, offre des performances fiables sur les fibres multimodes OM4 et OM5 jusqu'à 70 mètres, couvrant la grande majorité des liaisons intra-centre de données tout en prenant en charge les structures Ethernet et InfiniBand.

Les indicateurs de valeur clés issus de déploiements comparables incluent :

• Réduction des stocks :Un seul SKU d'émetteur-récepteur remplace quatre références spécifiques à la distance/au protocole (par exemple SR8, SR4, DR8, FR8), réduisant ainsi les frais logistiques de 60 à 70 %.
• Efficacité énergétique :À < 10,5 W en mode 800G et < 8,2 W en mode breakout 2 × 400G, le MMA4Z00-NS contribue à réduire les coûts de refroidissement et à améliorer le PUE.
• Fiabilité opérationnelle :La surveillance proactive DDM au niveau des voies réduit le MTTR jusqu'à 60 % pour les défauts de la couche optique.
• Optimisation des coûts :LePrix ​​​​MMA4Z00-NSest compétitif par rapport aux autres modules 800G SR8 qualifiés, tandis que sa capacité de double protocole et sa prise en charge native de dérivation éliminent les coûts de qualification supplémentaires et le matériel externe.

Pour les architectes de réseau et les responsables de l'ingénierie, le MMA4Z00-NS offre une interface optique « à définir et à oublier » qui maintient des performances constantes malgré les variations de température et les contraintes mécaniques. La solution est particulièrement recommandée pour les nouveaux centres de données IA planifiant des réseaux d'accès 800G standardisés, ainsi que pour les environnements industriels passant de 400G à 800G tout en réutilisant l'infrastructure de fibre multimode existante. Alors que l'Ethernet 800G et l'InfiniBand 400G continuent de gagner du terrain dans les environnements d'IA, HPC et de stockage d'entreprise, l'architecture optique basée sur MMA4Z00-NS fournit une base robuste et évolutive qui s'aligne à la fois sur les contraintes opérationnelles actuelles et sur les feuilles de route de capacité à long terme.

Pour obtenir des directives d'intégration détaillées, des données de simulation thermique et des packages de certification de conformité, veuillez vous référer à la documentation officielle du produit.