NVIDIA DSX AI工厂通过运行时AI库存增强GPU验证
NVIDIA宣布通过将其AI集群运行时(AICR)与k8s -aibom项目集成,在GPU平台验证和AI工作负载跟踪方面取得了重大进展。该发展是NVIDIA DSX AI工厂平台的一部分,旨在通过提供增强的可追溯性和可复现性来解决AI基础设施治理中的关键差距,这些AI工作负载在Kubernetes上运行。
通过AICR增强验证
AICR是NVIDIA DSX AI工厂的一个开源模块组件,为GPU加速的Kubernetes环境生成版本锁定的配方和可复现的部署包。每个配方定义了特定的配置,包括硬件、云、操作系统和工作负载意图。这些配方针对部署路径进行验证,以确保一致性和安全性。例如,AICR将上游源、图表和摘要固定的控制器镜像绑定为经过测试的集合,从而验证来源和审查安全默认设置。
AICR创建的部署包包括完整性校验和可选的签名,使用aicr bundle --attest命令。这些包可使用各种工具(如Helm、Flux和Argo CD)进行部署,为平台团队提供灵活性。AICR v1.2.0已经证明其能够快速且重复地提供经过验证的GPU平台。
使用k8s -aibom的AI工作负载库存
k8s -aibom是Google开发的一个开源项目,补充了AICR,通过跟踪在Kubernetes上运行的AI工作负载。它为已识别的工作负载发出CycloneDX 1.6 AI物料清单(AIBOM),提供有关模型、推理运行时和依赖关系的详细见解。该系统支持本地Dynamo图、NIMService、LeaderWorkerSet、DisaggregatedSet和CronJob资源等。
两个默认选取k8s -aibom的库存配方——h100 -gke-cos-inference和h100 -gke-cos-inference-dynamo,而其他Google Kubernetes Engine(GKE)配方可以使用--runtime-inventory标志选择加入。在稳态操作期间,k8s -aibom表现出高效的资源使用,包括每分钟大约四次API服务器请求,2.2毫核平均CPU使用率,以及28到34 MiB内存工作集。
统一的AI治理
AICR与k8s -aibom的集成解决了AI基础设施生命周期的两个端点。AICR确保GPU平台是基于经过验证的配置构建的,而k8s -aibom则提供了对运行这些平台的AI工作负载的可见性。两者结合增强了AI治理,使安全审核、合规审计和事件响应成为可能。
这种统一的方法有助于识别未注册或影子AI工作负载,检测依赖关系的变化,并跟踪外部AI API和向量数据库。通过弥合平台验证与工作负载可追溯性之间的差距,NVIDIA旨在为设计、构建和运营AI工厂提供坚实的基础。