NVIDIA、RLウェイトリフィットを最適化するReshardコレクティブを発表

NVIDIAは、強化学習（RL）ワークフローにおけるウェイトリフィットを最適化するために設計された新しい通信手法、Reshardコレクティブを発表しました。ウェイトリフィットは、トレーニングGPUから推論GPUに更新されたポリシーモデルパラメータを転送するプロセスで、これは新しいトレーニングトラジェクトリを生成するために重要です。Reshardコレクティブは、特にモデルサイズが拡大し続ける中で、現在の手法の非効率性に対処することを目指しています。

大規模モデルのウェイトリフィットにおける課題

従来のウェイトリフィット手法は、トレーニングGPUが完全なモデルパラメータを再構築して推論GPUにブロードキャストする、集約およびブロードキャストアプローチに依存しています。これは単純な方法ですが、推論GPUは特定のシャードのみが必要な場合でも、完全なテンソルを受け取るため、冗長な通信が発生します。Kimi K3（2.8兆パラメータ）やQwen 3.8 2.4T A95B（2.4兆パラメータ）などの大規模モデルでは、この非効率が増大します。BF16ウェイトを仮定すると、これらのモデルはそれぞれ11.2 TBおよび9.6 TBの通信ペイロードを必要とします。

Reshardコレクティブ：DTensorからDTensorへのソリューション

Reshardコレクティブは、ウェイトリフィットをDTensorからDTensorへの転送問題と再定式化し、PyTorchの分散テンソル抽象を活用します。このアプローチにより、トレーニングGPUと推論GPUの間で直接シャードからシャードへの転送が可能になり、中間のフルテンソル表現の必要がなくなります。重複するシャード領域のマッピングと通信経路の最適化により、Reshardコレクティブはペイロードサイズを最小化し、GPU間でのデータ分配のバランスを取ります。

パフォーマンスベンチマーク

NVIDIAの内部ベンチマークによると、Reshardコレクティブはリフィット待機時間を大幅に短縮します。671十億パラメータのDeepSeek-V3モデルでは、DGX H100システムでの待機時間が14.9秒から2.6秒に短縮され、DGX GB200システムでは6.1秒から2.3秒に短縮されました。NDR InfiniBandを有する256-GPU NVL72クラスターでの追加テストでは、ウェイト同期時間が5.78秒から2.77秒に短縮され、合計RLステップ時間は12.7%だけ削減されました。単一のフィードフォワードミクスチャオブエキスパート層の転送は、フラットな直接送信と比較して77.3ミリ秒から9.8ミリ秒に改善されました。

オープンソース実装

Reshardコレクティブは、NVIDIAのNCCL拡張リポジトリを通じてオープンソース実装として提供されています。このパッケージには、実験的なメッシュ間コンポーネントとCUDA 12およびCUDA 13への依存関係が含まれ、NCCL 2.30.7は使用の検証がなされています。NVIDIAのドキュメントでは、以前にウェイト転送の最適化を探求してきたNeMo RLやvLLMのようなフレームワークへの統合の可能性が強調されています。

RLワークフローにおけるウェイト同期のボトルネックの増大に対処することで、Reshardコレクティブは大規模AIモデルを効率的にスケールするための重要な進展を表しています。