Solution d'accélération de l'entraînement IA : Intégration des clusters DPU et GPU Mellanox

À mesure que les modèles d'intelligence artificielle prennent une ampleur et une complexité exponentielles, les architectures de centres de données traditionnelles atteignent leurs limites. La demande insatiable de puissance de calcul dans l'entraînement de l'IA a fait de la mise en réseau efficace des GPU non pas une simple optimisation, mais une exigence fondamentale. Ce document de synthèse de solution explore comment l'intégration stratégique du DPU Mellanox (unité de traitement des données) au sein des clusters GPU permet de résoudre les goulets d'étranglement critiques, de décharger la surcharge du processeur hôte et de libérer de nouveaux niveaux d'évolutivité et d'efficacité pour les charges de travail d'IA à grande échelle.Le DPU Mellanox (qui fait désormais partie de la gamme de produits BlueField de NVIDIA) est un processeur révolutionnaire conçu spécifiquement pour résoudre ces goulots d'étranglement de l'infrastructure. Il ne s'agit pas simplement d'une carte d'interface réseau (NIC), mais d'un système sur puce (SoC) entièrement programmable qui comprend de puissants cœurs Arm et des moteurs d'accélération spécialisés. En déployant des DPU dans chaque serveur, les organisations peuvent créer une couche d'infrastructure accélérée par le matériel.L'ère des modèles à plusieurs billions de paramètres a fermement établi le cluster GPU comme le moteur de l'IA moderne. Cependant, à mesure que les clusters évoluent vers des milliers de GPU, un nouveau problème apparaît : le processeur du serveur hôte est submergé par les mouvements de données, la planification et les tâches de communication. Cette surcharge, qui comprend la mise en réseau, les E/S de stockage et les protocoles de sécurité, peut consommer plus de 30 % des cycles du processeur d'un serveur, des cycles qui sont désespérément nécessaires au processus d'entraînement réel de l'IA. Cette inefficacité augmente directement le temps d'entraînement et le coût total de possession (TCO).Durée totale de l'entraînement (BERT-Large)Le principal goulot d'étranglement dans l'entraînement de l'IA à grande échelle n'est plus seulement les FLOPS bruts ; c'est l'inefficacité systémique des pipelines de données. Les principaux défis comprennent :Goulots d'étranglement des E/S : le déplacement d'énormes ensembles de données du stockage vers la mémoire GPU crée un encombrement sur le bus PCIe et le réseau, ce qui entraîne des temps d'inactivité du GPU.

Mise en réseau GPU inefficace : les opérations de communication collectives (comme All-Reduce) sont gérées par logiciel, créant une latence et une gigue qui ralentissent l'entraînement synchronisé.

La solution : déchargement, accélération et isolation avec le DPU MellanoxLe DPU Mellanox (qui fait désormais partie de la gamme de produits BlueField de NVIDIA) est un processeur révolutionnaire conçu spécifiquement pour résoudre ces goulots d'étranglement de l'infrastructure. Il ne s'agit pas simplement d'une carte d'interface réseau (NIC), mais d'un système sur puce (SoC) entièrement programmable qui comprend de puissants cœurs Arm et des moteurs d'accélération spécialisés. En déployant des DPU dans chaque serveur, les organisations peuvent créer une couche d'infrastructure accélérée par le matériel.Comment le DPU Mellanox transforme les clusters d'IA :

• Déchargement de l'infrastructure : le DPU Mellanox décharge l'ensemble de la pile réseau, de stockage et de sécurité du processeur hôte. Cela inclut TCP/IP, NVMe over Fabrics (NVMe-oF), le chiffrement et les fonctions de pare-feu. Cela « libère » les cœurs du processeur exclusivement pour l'application d'IA.Communication accélérée : le DPU est doté d'un accès direct à la mémoire à distance (RDMA) déchargé du matériel, ce qui permet aux GPU d'accéder directement à la mémoire d'autres GPU sur le réseau avec une latence extrêmement faible, une pierre angulaire de la mise en réseau GPU haute performance.
• Évolutivité améliorée : avec le processeur hôte libéré des tâches d'infrastructure, la mise à l'échelle d'un cluster n'entraîne pas une augmentation linéaire de la surcharge du processeur. Cela permet une mise à l'échelle plus efficace et prévisible vers des nombres de nœuds massifs.Sécurité Zero-Trust : le DPU permet un modèle de sécurité « zero-trust » en fournissant une racine de confiance isolée du matériel, une gestion des clés et la possibilité d'exécuter des applications de sécurité dans un environnement isolé sur le DPU lui-même, séparément de l'hôte.
• Résultats quantifiables : performances, efficacité et gains de TCOL'intégration du DPU Mellanox génère des améliorations immédiates et mesurables sur les principaux indicateurs de performance. Les données suivantes sont basées sur des références industrielles et des déploiements réels :
• MétriqueDurée totale de l'entraînement (BERT-Large)Serveur avec DPU MellanoxAmélioration

Cœurs de processeur disponibles pour l'IA

> 95 %Latence All-Reduce (256 GPU)

• ~180 µsRéduction de 64 %~12 Go/s
• ~40 Go/sAugmentation de 233 %Durée totale de l'entraînement (BERT-Large)~60 heures
• ~42 heuresRéduction de 30 %
• Ces gains de performance se traduisent directement en valeur commerciale : un délai de mise en modèle plus rapide, des coûts de cloud/calcul plus faibles et la capacité de s'attaquer à des problèmes plus complexes dans la même empreinte d'infrastructure.Conclusion : construire l'avenir de l'infrastructure d'IA