Analyse de l'architecture réseau Mellanox pour la prise en charge de l'entraînement de grands modèles d'IA

La date:Le 18 novembre 2023

À mesure que les modèles d'intelligence artificielle augmentent de façon exponentielle en taille et en complexité, le tissu réseau reliant des milliers de GPU est devenu le déterminant essentiel de l'efficacité de la formation.Mellanox dans la bande InfiniBandLa technologie est devenue l'épine dorsale fondamentale des supercalculateurs d'IA modernes, spécialement conçus pour surmonter les goulots d'étranglement de communication qui frappent les grandesFormation des modèles d'IACet article déconstruit les innovations architecturales qui font d'InfiniBand la norme de facto pour accélérer les charges de travail d'IA les plus exigeantes au monde.

ModerneFormation des modèles d'IA, comme pour les grands modèles de langage (LLM), repose sur des stratégies de données parallèles où les paramètres du modèle sont synchronisés sur des milliers de GPU après le traitement de chaque mini- lot de données.Le temps passé dans cette phase de synchronisationLa réduction de la charge de travail est un facteur essentiel de l'efficacité de l'économie.Réseaux GPU, ces frais généraux de communication peuvent consommer plus de 50% du cycle de formation total, réduisant considérablement l'utilisation globale de la GPU et prolongeant le temps de visibilité de semaines à mois.Le réseau n'est plus un simple tuyau de données; il s'agit d'une composante de base du calcul.

Mellanox dans la bande InfiniBands'attaque directement à ce goulot d'étranglement avec une suite de moteurs d'accélération basés sur le matériel qui transforment le réseau d'un participant passif en un actif de calcul.

• SHARP (Protocole d'agrégation et de réduction hiérarchique évolutive):Cette technologie révolutionnaire effectue des opérations d'agrégation (par exemple, des sommes, des moyennes) directement dans les commutateurs InfiniBand.SHARP réduit les données dans le tissu réseauLa mise en place d'un système d'exploitation de l'information, qui réduit considérablement le volume des données transférées et le temps nécessaire à la synchronisation, peut accélérer les opérations collectives jusqu'à 50%.
• Routage adaptatif et contrôle de la congestion:Les capacités de routage dynamique d'InfiniBand dirigent automatiquement le trafic autour des points chauds congestionnés,assurer une utilisation uniforme du tissu de réseau et empêcher qu'un seul maillon ne devienne un goulot d'étranglement lors de phases de communication intensive "tous à tous".
• Ultra-faible latence et large bande passante:Avec une latence de bout en bout inférieure à 600 nanosecondes et une prise en charge de 400 Gb/s et plus,Mellanox dans la bande InfiniBandfournit la vitesse brute nécessaire à l'échange de paramètres en temps quasi réel entre les GPU.

Les avantages architecturaux d'InfiniBand se traduisent directement par des résultats commerciaux et de recherche supérieurs pour les entreprises exécutant des charges de travail d'IA à grande échelle.

Ces indicateurs démontrent qu'un système optimiséRéseaux GPULa stratégie n'est pas un luxe, mais une nécessité pour obtenir un retour sur investissement viable sur des investissements de plusieurs millions de dollars dans des clusters d'IA.

L'ère de la conception de centres de données à usage général touche à sa fin pour la recherche sur l'IA.Formation des modèles d'IAIl faut une approche co-conçue où la puissance de calcul des GPU est assortie d'une mise en réseau intelligente et accélérée desMellanox dans la bande InfiniBandEn minimisant les frais de communication et en maximisant l'utilisation du GPU, l'architecture InfiniBand est la clé pour débloquer des innovations plus rapides, réduire les coûts de formation,et réaliser des échelles d'IA auparavant impossiblesElle constitue la base indispensable pour la prochaine génération de percées en IA.