Solution technique d'émetteur-récepteur optique pour centre de données NVIDIA Mellanox MMA4Z00-NS

NVIDIA Mellanox MMA4Z00-NS Transcepteur optique de centre de données Solution technique équilibrant la bande passante et la distance dans les liaisons intra-rack et inter-salle

1. Analyse des antécédents et des besoins du projet

Comme les groupes de formation d'intelligence artificielle vont de milliers à des dizaines de milliers de GPU,Les réseaux de centres de données sont confrontés à des défis sans précédent en termes de densité de bande passante et de distance physique simultanémentPrenons une IA typique (centre informatique intelligent) comme exemple,ses nœuds de calcul GPU sont répartis sur plusieurs racks au même étage ainsi que sur deux salles de machines de base aux étages adjacentsLes exigences en matière de réseautage sont strictes: fournir une bande passante de 800G à taux de ligne complet entre tous les nœuds de calcul,supporte à la fois InfiniBand (pour la communication directe GPU) et Ethernet (pour les tissus de stockage et de gestion), et couvrent des distances de liaison allant de 5 mètres (à l'intérieur du rack) à 80 mètres (entre les salles) sans introduire de goulots d'étranglement de traduction de protocole.

Les approches de conception traditionnelles reposent généralement sur un mélange de différents types d'émetteurs-récepteurs: 800G SR8 pour les liaisons intra-rack à courte portée (jusqu'à 50 m sur OM4),et 800G DR8/FR8 solutions mono-mode pour des connexions inter-salles plus longuesCependant, cette stratégie multi-SKU crée des frais généraux opérationnels importants dans la gestion des stocks, les tests de qualification et l'approvisionnement en pièces de rechange.le coût et la consommation d'énergie plus élevés des optiques mono-mode les rendent sous-optimales pour les grandes, des déploiements à haute densité.NVIDIA Mellanox MMA4Z00-NS est une plateformea été évaluée comme une solution potentielle basée sur une seule plateforme capable d'unifier les deux domaines de distance tout en maintenant la flexibilité du protocole et l'efficacité en termes de coûts.

2. Conception globale de l'architecture réseau/système

L'architecture proposée adopte une topologie de feuille de colonne vertébrale avec des nœuds de calcul GPU connectés à des commutateurs de feuille via des ports 800G OSFP,et les commutateurs à feuilles reliés à des commutateurs à colonne vertébrale utilisant le même type d'émetteur-récepteur pour maintenir la cohérenceLa décision architecturale clé a été de normaliser sur un modèle unique d'émetteur-récepteur optiqueNVIDIA Mellanox MMA4Z00-NS est une plateforme¢sur tous les segments de liaison, de l'intérieur du rack à l'intérieur des salles, en tirant parti de son DSP amélioré et de son budget de puissance optique pour étendre la portée effective au-delà de la spécification standard de 50 mètres.

Pour maximiser l'intégrité du signal sur de longues distances, l'architecture intègre plusieurs principes de conception:

• Optimisation des usines de fibres:Utilisation de fibres multimodes OM4 de haute qualité (largeur de bande modale minimale efficace ≥ 4700 MHz·km) pour toutes les liaisons, avec des connecteurs APC MPO-12 pour minimiser les pertes d'insertion et la réflexion.Les voies de câblage structurées sont conçues pour éviter les courbes serrées et les sauts excessifs des panneaux de patch.
• Réserve budgétaire:Le budget de perte architecturale est maintenu en dessous de 3,0 dB pour toutes les liaisons, ce qui assure une marge suffisanteLe numéro de référence est le numéro de référence.pour fonctionner sans erreur même à 80 mètres, ce qui est réalisé en limitant le nombre de paires de connecteurs couplés à un maximum de quatre par liaison.
• Envoi non conforme au protocole:Les commutateurs à feuilles (NVIDIA Spectrum-4 pour Ethernet et Quantum-2 pour InfiniBand) sont configurés pour reconnaître leMMA4Z00-NS 2x400G InfiniBand/Ethernetmode opérationnel, permettant l'attribution de protocoles dynamiques par port sans modification du matériel.

L'architecture prend en charge à la fois les déploiements monorack et multi-rack, avec leLe numéro de référence est le numéro de référence.Servir de couche physique universelle à toutes les distances.

3Rôle du NVIDIA Mellanox MMA4Z00-NS et caractéristiques clés

Au cœur de cette solution se trouve laNVIDIA Mellanox MMA4Z00-NS est une plateformeIl fonctionne comme un pont de couche physique unifié, éliminant le besoin de plusieurs types d'émetteurs-récepteurs.

Le détailLa feuille de données MMA4Z00-NSfournit des spécifications optiques et électriques complètes, y compris les caractéristiques de l'émetteur et du récepteur,qui ont été utilisés pour valider les calculs du budget de liaison pour tous les segments de ce déploiement. LeLes spécifications MMA4Z00-NSconfirmer une puissance d'émission typique de -2,5 dBm à 4,0 dBm et une sensibilité du récepteur de -6,5 dBm (BER 5E-8), ce qui fournit l'espace optique nécessaire à la cible de 80 mètres.

LaMMA4Z00-NS 800G émetteur-récepteur OSFP SR8fonctionne en regroupant huit voies de signaux électriques 100G PAM4 du commutateur ASIC, en les convertissant en signaux optiques et en les transmettant par fibre multimode parallèle via l'interface MPO-12.Sur le côté récepteur, le DSP intégré effectue l'horloge et la récupération de données, l'égalisation et le démultiplexage vers le domaine électrique.Ce pipeline de traitement est essentiel pour maintenir l'intégrité du signal sur de longues distances où la dispersion modale et l'atténuation dégraderaient autrement les performances.

4. Recommandations de déploiement et de mise à l'échelle (avec topologie typique)

Pour un déploiement optimal desNVIDIA Mellanox MMA4Z00-NS est une plateforme, les lignes directrices de topologie et de câblage suivantes sont recommandées:

Topologie typique  Échelle à trois niveaux:

• Niveau 1 (à l'intérieur du rack, ≤ 15 m):Des câbles de patch MPO-12 directs entre les nœuds de calcul du GPU et les commutateurs TOR.Le numéro de référence est le numéro de référence.est installé aux deux extrémités, sans conditionnement supplémentaire.
• Le niveau 2 (cross-rack, 15 45 m):Des câbles MPO pré-terminés traversant des plateaux aériens, reliant les commutateurs TOR aux commutateurs d'agrégation de feuilles.
• Niveau 3 (inter-salle, 45 à 80 m):Les câbles structurés avec des troncs MPO renforcés, utilisant des connecteurs poli-angle et un épaississement minimal. Chaque maillon est testé pour la perte d'insertion et la réflectivité avant mise en service.

Liste de contrôle de déploiement:

• Vérifier toutes les liaisons en fibre optique à l'aide d'un réflectomètre optique à domaine temporel (OTDR) et d'un compteur de puissance pour confirmer une perte inférieure à 3,0 dB.
• Configurez les ports de commutation selon le protocole souhaité (InfiniBand ou Ethernet) et vérifiez que leLe numéro de référence est le numéro de référence.La commande est automatiquement négociée pour le mode de fonctionnement correctLa feuille de données MMA4Z00-NS.
• Pour les environnements mixtes 400G/800G, activer le mode partagé 2×400G sur les ports sélectionnés, ce qui permet auMMA4Z00-NS 2x400G InfiniBand/Ethernetcapacité à prendre en charge deux connexions 400G à partir d'un seul émetteur-récepteur.
• Déployer par étapes: commencer par un seul rack, vérifier les métriques BER et de latence, puis étendre aux liens entre racks et entre salles.

Pour une expansion à grande échelle au-delà de 80 mètres, l'architecture recommande de positionner le câble optique actif (AOC) ou les solutions mono-mode uniquement pour les liaisons de base les plus longues, tout en conservant la longueur de l'interface.MMA4Z00-NS 800G OSFP SR8 solution d'émetteur récepteurpour la grande majorité des connexions feuille-colonne vertébrale et calcul-feuille.

5. Opérations, surveillance, dépannage et optimisation

LeLe numéro de référence est le numéro de référence.est conçu pour une simplicité opérationnelle, avec une prise en charge complète de la surveillance diagnostique numérique (DDM) via l'interface I2C. Les principales pratiques opérationnelles comprennent:

• Surveillance en temps réel:Les plateformes de gestion de réseau de NVIDIA peuvent déclencher des alertes lorsque les seuils sont approchés,permettant une maintenance proactive.
• Marge de liaison:Utilisez les capacités de réglage DSP pour effectuer des tests de marge de liaison pendant l'installation et dans le cadre des contrôles trimestriels de santé.Le numéro de référence est le numéro de référence.prend en charge les réglages d'égalisation à la demande via le firmware, ce qui peut compenser le vieillissement progressif des fibres ou la dégradation des connecteurs.
• Isolement des défauts:Si une liaison présente un BER élevé ou des événements de perte de signal, les données DDM des deux extrémités de la liaison doivent être comparées.Les modes de défaillance courants comprennent les connecteurs MPO sales/contaminés (nettoyer à l'aide de nettoyants de type cartouche), une perte de courbure excessive (inspecter le routage physique) ou une dégradation de l'émetteur (vérifier le biais du courant et les tendances de puissance optique).
• Mises à jour du micrologiciel:NVIDIA publie périodiquement des mises à jour de firmware qui peuvent améliorer les algorithmes d'égalisation et améliorer la compatibilité.Le numéro de référence est le numéro de référence.les unités sont équipées de la dernière version du firmware selon les instructions du fabricant.

Pour optimiser les performances, l'architecture recommande d'effectuer un balayage de base de toutes les liaisons aux modes 800G et 2×400G, en enregistrant la puissance optique et les statistiques BER.Cette ligne de base sert de référence pour le dépannage futur et la planification des capacitésEn outre, leMMA4Z00-NS à vendrela disponibilité par une distribution mondiale standardisée garantit que les unités de rechange peuvent être obtenues rapidement, réduisant le temps d'arrêt en cas de panne.

6. Résumé et évaluation de la valeur

LeNVIDIA Mellanox MMA4Z00-NS est une plateformefournit une solution optique unifiée convaincante pour les centres de données d'IA modernes qui doivent équilibrer une large bande passante avec des distances physiques variables.En normalisant sur un seul type d'émetteur-récepteur à travers les liaisons intra-rack et inter-salle, l'architecture réduit la complexité de l'inventaire, rationalise les processus de qualification et simplifie la maintenance,tout en tirant parti des capacités optiques et DSP avancées du module pour étendre la portée au-delà des limites traditionnelles du SR8.

Résultats clés:

• Simplification de l'inventaire:Une seule SKU remplace plusieurs types d'émetteurs-récepteurs, réduisant les coûts de détention des pièces de rechange d'environ 60%.
• Efficacité des coûts:L'infrastructure de fibres multimodes est nettement moins coûteuse que l'installation mono-mode, et laPrix du MMA4Z00-NSLe coût par port est nettement inférieur à celui des alternatives DR8/FR8 équivalentes.
• Flexibilité pour l'avenirLe mode split 2×400G fournit une rampe d'accès pour les environnements qui ne sont pas encore entièrement prêts pour 800G, tandis que le mode 800G prend en charge les grappes GPU de nouvelle génération aujourd'hui.
• Résilience opérationnelle:Des paramètres DSP robustes de DDM, d'alerte proactive et réglables sur le terrain garantissent que les liens restent dans les spécifications tout au long de leur durée de vie.

Pour les architectes de réseau, les ingénieurs de solutions et les équipes d'exploitation, leLe numéro de référence est le numéro de référence.Il représente une pierre angulaire pratique, performante et rentable pour la construction de réseaux d'IA évolutifs pouvant s'étendre sur des racks et des pièces sans compromis.La feuille de données MMA4Z00-NSla documentation technique d'appui est disponible pour faciliter la planification de l'intégration et la validation du déploiement.