NVIDIAスナップショットがKubernetesにおけるGPUワークロード回復を加速

NVIDIAは、Kubernetes上でのGPUワークロードのスタートアップおよび回復時間を大幅に短縮するために設計された、NVIDIA DSX AI Factoryプラットフォームのオープンソースコンポーネントであるスナップショットを導入しました。初期化されたGPUワークロードを推論レプリカ間で再利用できるようにすることで、スナップショットは、特に推論需要の急増やレプリカの故障時に、数分かかるコールドスタートによる遅延に対処します。

スナップショットNVIDIAの動作方式

スナップショットはGPUワークロードのチェックポイントおよび復元システムです。CPUおよびGPUメモリを含む完全に初期化されたワークロードをキャプチャし、互換性のあるインフラストラクチャ上で復元します。このプロセスは、重みのロード、カーネルのコンパイル、CUDAグラフのキャプチャなどの繰り返しのワークロード初期化ステップをバイパスし、数分ではなく数秒で推論容量をオンラインにします。

このシステムは、カスタムリソースを通じてKubernetesと統合されています。ユーザーは、実行中のワークロードのチェックポイントを作成するためにPodSnapshotを、初期化直後にワークロードのチェックポイントを作成するためにSnapshotJobを作成できます。復元するには、新しいPodが保存されたPodSnapshotを参照し、キャプチャされた状態から再開します。スナップショットは、単一のノード上で複数のGPUにまたがるワークロードをサポートし、テンソル並列（TP）やデータとエキスパートの並列（DEP）などの並列戦略を使用する大規模モデルに適しています。

性能ベンチマーク

ベンチマークは、スナップショットが大幅な性能向上を提供することを示しています。たとえば、上流の寄稿者であるCrusoeは、NVIDIA HGX B300ハードウェア上で、約8分から31秒にGLM-5.3 Podの準備時間を短縮しました。同様に、Saturn Cloudは、同じプラットフォーム上でvLLMのスタートアップ時間が2–8.5分から6–34秒に短縮されたと報告しています。

テストされた構成全体で、スナップショットは3.6から42.7秒でレプリカを復元し、コールドスタートと比較して8xから36xのスピードアップを達成しました。1 TBチェックポイントを持つ最大の専門家の混合（MoE）モデルでも、復元時間は43秒未満に保たれ、コールドスタート時間は6から19分になっています。

統合とユースケース

もともとNVIDIA Dynamo推論ワーカー用に開発されたスナップショットは、現在、他の推論エンジン、スケジューラー、およびプラットフォームとの統合に利用できます。vLLM、SGLang、NVIDIA TensorRT LLMなどの推論エンジンをサポートし、それぞれのために用意された例も提供されています。システムは、推論ワークロードの急速なスケーリングや回復を必要とするAIファクトリーの操作に特に有利です。

スナップショットのチェックポイントプロセスは、GPUワーカーのメモリ内の完全な状態をキャプチャすることを含み、復元プロセスはこの状態を新しいコンテナに直接ロードします。これにより、繰り返しの初期化ステップが必要なくなり、AI推論パイプラインの遅延を減少させるための貴重なツールとなります。