NVIDIA DSX AI FactoryがランタイムAIインベントリでGPU検証を強化

NVIDIAは、AIクラスタランタイム（AICR）をk8s -aibomプロジェクトと統合することで、GPUプラットフォームの検証とAIワークロードの追跡において重要な進歩を発表しました。この開発はNVIDIA DSX AI Factory Platformの一部であり、Kubernetes上で実行されるAIワークロードのトレース可能性と再現性を向上させることにより、AIインフラストラクチャガバナンスの重要なギャップに対処します。

AICRによる検証の強化

AICRは、NVIDIA DSX AI Factoryのオープンソースモジュラーコンポーネントで、GPU加速されたKubernetes環境のためにバージョンロックされたレシピと再現可能なデプロイメントバンドルを生成します。各レシピは、ハードウェア、クラウド、オペレーティングシステム、ワークロードの意図を含む特定の構成を定義します。これらのレシピはデプロイメントパスに対して検証され、一貫性とセキュリティを確保します。例えば、AICRは、上流のソース、チャート、およびダイジェストで固定されたコントローラー画像を検証済みのセットにバインドし、その出所を確認し、セキュリティのデフォルト設定をレビューします。

AICRによって作成されたデプロイメントバンドルには、整合性のためのチェックサムと、aicr bundle --attestコマンドを介したオプションの署名が含まれています。これらのバンドルは、Helm、Flux、Argo CDなどのさまざまなツールを使用してデプロイ可能で、プラットフォームチームに柔軟性を提供します。AICR v1.2.0は、迅速かつ繰り返し検証済みのGPUプラットフォームを配信する能力を示しています。

k8s -aibomによるAIワークロードインベントリ

k8s -aibomは、Googleによって開発されたオープンソースプロジェクトで、Kubernetes上で実行されるAIワークロードを追跡することでAICRを補完します。これは、認識されたワークロードのためにCycloneDX 1.6 AI材の請求書（AIBOM）を発行し、モデル、推論ランタイム、依存関係に関する詳細な洞察を提供します。このシステムは、ネイティブDynamoグラフ、NIMService、LeaderWorkerSet、DisaggregatedSet、およびCronJobリソースなどをサポートしています。

二つのストックレシピ—h100 -gke-cos-inferenceおよびh100 -gke-cos-inference-dynamo—はデフォルトでk8s -aibomを選択しますが、他のGoogle Kubernetes Engine（GKE）レシピは--runtime-inventoryフラグを使用してオプトインできます。定常状態の操作中に、k8s -aibomは効率的なリソース使用を示し、一分あたり約四件のAPIサーバーリクエスト、2.2ミリコアの平均CPU使用率、28から34 MiBのメモリ作業セットが含まれます。

統一されたAIガバナンス

AICRとk8s -aibomの統合は、AIインフラストラクチャのライフサイクルの二つの端を扱います。AICRはGPUプラットフォームが検証された構成から構築されることを保証し、k8s -aibomはそれらのプラットフォーム上で実行されるAIワークロードを可視化します。これにより、安全性のレビュー、コンプライアンス監査、インシデント対応を可能にし、AIガバナンスを強化します。

この統一されたアプローチは、未登録のまたはシャドーAIワークロードを特定し、依存関係の変更を検出し、外部AI APIおよびベクトルデータベースを追跡するのに役立ちます。プラットフォーム検証とワークロードのトレース可能性のギャップを埋めることで、NVIDIAはAI工場の設計、構築、運営のための堅実な基盤を提供することを目指しています。