エージェントサブストレートがKubernetesを強化し、スケーラブルなAIエージェント管理を実現

NVIDIAは、AIエージェントの管理をスケールで最適化するために設計されたオープンソースのランタイムであるエージェントサブストレートを導入しました。現在、Cloud Native Computing Foundation（CNCF）サンドボックスの一部となっているエージェントサブストレートは、頻繁なアイドル状態と迅速な状態遷移を伴うワークロードを処理する際のKubernetesの非効率を解決します。このプラットフォームは、標準コンテナに比べて10xのエージェント密度を提供し、ゼロトラストの原則に基づいたセキュリティを維持します。

AIエージェント向け伝統的Kubernetesの課題

AIエージェントは、短いアクティビティのバーストと長時間のアイドル期間を交互に繰り返すため、その状態—メモリ、ファイルシステム、プロセスを含む—がステップ間で持続する必要があります。毎回新しいPodを展開する従来のKubernetesワークフローは、APIサーバーとの相互作用、イメージプル、ネットワークセットアップによる大幅な遅延をもたらします。これらの遅延は、長寿命サービスには許容されますが、ミリ秒または秒単位でマイクロタスクを実行するエージェントには実用的ではありません。

プラットフォームチームは、Podを温かく保つリソースを無駄にするか、需要に応じてPodを作成してコールドスタートペナルティを被るかという二つの最適ではないオプションに直面しています。エージェントサブストレートは、エージェントが新しいPodを作成せずに効率的に操作を一時停止および再開することを可能にすることで、これらの問題を解決します。

エージェントサブストレートの仕組み

エージェントサブストレートは、Kubernetes上に準備が整ったワーカーポッドのプールを維持することによって機能します。エージェントがアイドルになると、その状態がスナップショットされ、メモリとファイルシステムを含む、ワーカーは他のタスクのために解放されます。エージェントが再活性化されると、その状態は利用可能なワーカーに復元され、Kubernetes APIサーバーとスケジューラーをバイパスします。このアプローチにより、500ミリ秒未満でエージェントが起動し、迅速に操作を再開することが保証されます。

ランタイムは、gVisorやmicroVMなどの複数のサンドボックス技術をサポートし、各エージェントのために安全で孤立した環境を確保します。また、Kubernetesのクラスタスケジューリング、クォータ、配置ポリシーなどの機能とシームレスに統合します。

採用を促進する主要なユースケース

エージェントサブストレートは、いくつかの要求の厳しいワークロードに合わせて調整されています：

• コーディングアシスタントおよびエージェントサービス: コーディングエージェントは、ファイル編集やテスト実行などのタスクを実行するために持続的な環境を必要とします。エージェントサブストレートは、各セッションに温かいサンドボックスを割り当てることなく、プラットフォームが数千のセッションを提供できるようにします。
• 強化学習（RL）後のトレーニング: RL環境は、展開バッチ中にサンドボックス需要のバーストを伴います。エージェントサブストレートはコールドスタート遅延を最小化し、GPUトレーナーがアイドル状態にならないようにします。
• 研究用GPUサンドボックス: 研究者は、CUDAコンパイルやカーネルベンチマークなどのタスクのために短命のGPUサンドボックスを必要とすることがよくあります。エージェントサブストレートは、迅速なサンドボックスの作成と公正なGPUリソースの共有を促進します。

最近の貢献と今後の開発

エージェントサブストレートの機能を強化するために、いくつかの進展がありました：

• リクエストパーキング: すべてのワーカーがビジーである場合、受信リクエストはキューに入れられ、ワーカーが利用可能になるまで再試行され、ピーク時のエラーを防ぎます。
• GPUサポート: デバイスプラグイン機能が導入され、サンドボックスがKubernetesの動的リソース割り当て（DRA）を通じて特定のデバイス、例えばNVIDIA GPUをリクエストできるようになりました。
• コンテナごとのリソース制限: メモリとCPUの制限により、サンドボックス内の暴走コンテナが隣接するコンテナに干渉しないようにします。
• 状態を持つGPUサンドボックス: エージェントはアイドル期間中にGPUを解放し、コンパイルされたアーティファクトやロードされたデータを含む状態を保持したまま再開できるようになりました。

エージェントサブストレートのオープンソースの性質と、KAIスケジューラーやNVIDIA Dynamoなどのコンポーネントを含むNVIDIAのDSX AI Factory Platformとの統合は、スケーラブルで効率的なAIエージェント管理のための重要なツールとしての位置を確立します。