NVIDIA présente Reshard Collective pour optimiser la réajustement des poids RL

NVIDIA a dévoilé le Reshard collective, une nouvelle méthode de communication conçue pour optimiser le réajustement des poids dans les flux de travail d'apprentissage par renforcement (RL). Le réajustement des poids implique le transfert de paramètres de modèle de politique mis à jour depuis les GPU d'entraînement vers les GPU d'inférence, un processus critique pour générer de nouvelles trajectoires d'entraînement. Le Reshard collective vise à résoudre les inefficacités des méthodes actuelles, en particulier à mesure que les tailles de modèle continuent d'augmenter.

Défis du réajustement des poids pour de grands modèles

Les méthodes traditionnelles de réajustement des poids reposent sur une approche de collecte et diffusion, où les GPU d'entraînement reconstituent des paramètres de modèle complets avant de les diffuser aux GPU d'inférence. Bien que ce processus soit simple, il entraîne une communication redondante, car les GPU d'inférence reçoivent des tenseurs entiers même lorsque seuls des fragments spécifiques sont nécessaires. Pour de grands modèles tels que Kimi K3 (2.8 trillions de paramètres) et Qwen 3.8 2.4T A95B (2.4 trillions de paramètres), cette inefficacité est amplifiée. En supposant des poids BF16, ces modèles nécessitent environ 11.2 To et 9.6 To de charge de communication par réajustement, respectivement.

Reshard Collective : Une solution DTensor à DTensor

Le Reshard collective reformule le réajustement des poids comme un problème de transfert DTensor à DTensor, en s'appuyant sur l'abstraction de tenseur distribué de PyTorch. Cette approche permet des transferts directs de fragment à fragment entre les GPU d'entraînement et d'inférence, éliminant ainsi le besoin de représentations de tenseurs complets intermédiaires. En mappant des régions de fragments qui se chevauchent et en optimisant les chemins de communication, le Reshard collective minimise la taille de la charge utile et équilibre la distribution des données entre les GPU.

Performances de référence

Selon les benchmarks internes de NVIDIA, le Reshard collective réduit significativement la latence de réajustement. Pour le modèle DeepSeek-V3 de 671 millions de paramètres, la latence est tombée de 14.9 secondes à 2.6 secondes sur les systèmes DGX H100 et de 6.1 secondes à 2.3 secondes sur les systèmes DGX GB200. Des tests supplémentaires sur un cluster GPU 256-NVL72 avec NDR InfiniBand ont montré une réduction du temps de synchronisation des poids de 5.78 secondes à 2.77 secondes, réduisant ainsi le temps total des étapes RL de 12.7%. Le transfert d'une seule couche de mélange d'experts en feed-forward s'est amélioré de 77.3 millisecondes à 9.8 millisecondes par rapport à des envois directs plats.

Implémentation Open-Source

Le Reshard collective est disponible en tant qu'implémentation open-source via le dépôt d'extensions NCCL de NVIDIA. Le package inclut des composants expérimentaux de maillage à maillage et des dépendances sur CUDA 12 et CUDA 13, avec NCCL 2.30.7 validé pour une utilisation. La documentation de NVIDIA souligne le potentiel d'intégration dans des frameworks comme NeMo RL et vLLM, qui ont précédemment exploré des optimisations de transfert de poids.

En abordant le goulot d'étranglement croissant de la synchronisation des poids dans les flux de travail RL, le Reshard collective représente une avancée critique pour scaler efficacement de grands modèles d'IA.