NVIDIA DSX AI Factory가 런타임 AI 인벤토리로 GPU 검증 향상

NVIDIA는 AI 클러스터 런타임(AICR)을 k8s -aibom 프로젝트와 통합함으로써 GPU 플랫폼 검증 및 AI 워크로드 추적의 중요한 발전을 발표했습니다. 이 개발은 NVIDIA DSX AI Factory Platform의 일환으로, Kubernetes에서 실행되는 AI 워크로드에 대한 향상된 추적 가능성과 재현성을 제공하여 AI 인프라 거버넌스의 주요 격차를 해결합니다.

AICR로 향상된 검증

AICR은 NVIDIA DSX AI Factory의 오픈 소스 모듈형 구성 요소로, GPU 가속 Kubernetes 환경을 위한 버전 고정 레시피 및 재현 가능한 배포 번들을 생성합니다. 각 레시피는 하드웨어, 클라우드, 운영 체제 및 워크로드 의도를 포함하는 특정 구성을 정의합니다. 이러한 레시피는 배포 경로에 대해 검증되어 일관성과 보안을 보장합니다. 예를 들어, AICR은 상류 소스, 차트 및 다이제스트 고정 컨트롤러 이미지를 테스트된 세트에 바인딩하여 출처를 확인하고 보안 기본값을 검토합니다.

AICR에 의해 생성된 배포 번들은 무결성을 위한 체크섬을 포함하고 aicr bundle --attest 명령을 통한 선택적 서명을 포함합니다. 이러한 번들은 Helm, Flux 및 Argo CD와 같은 다양한 도구를 사용하여 배포할 수 있어 플랫폼 팀에 유연성을 제공합니다. AICR v1.2.0는 검증된 GPU 플랫폼을 신속하고 반복적으로 제공할 수 있는 능력을 입증했습니다.

k8s -aibom을 통한 AI 워크로드 인벤토리

k8s -aibom은 Google이 개발한 오픈 소스 프로젝트로, Kubernetes에서 실행되는 AI 워크로드를 추적하여 AICR을 보완합니다. 이는 인식된 워크로드에 대해 CycloneDX 1.6 AI 자재 청구서(AIBOM)를 방출하여 모델, 추론 실행 시간 및 종속성에 대한 상세한 통찰을 제공합니다. 이 시스템은 네이티브 Dynamo 그래프, NIMService, LeaderWorkerSet, DisaggregatedSet 및 CronJob 리소스를 지원합니다.

두 개의 스톡 레시피—h100 -gke-cos-inference 및 h100 -gke-cos-inference-dynamo—는 기본적으로 k8s -aibom을 선택하며, 다른 Google Kubernetes Engine(GKE) 레시피는 --runtime-inventory 플래그를 사용하여 옵트인할 수 있습니다. 정상 상태 운영 중에 k8s -aibom은 일분에 약 사개의 API 서버 요청, 2.2 밀리코어의 평균 CPU 사용량, 28에서 34 MiB의 메모리 작업 집합을 포함한 효율적인 리소스 사용을 보여주었습니다.

통합된 AI 거버넌스

AICR과 k8s -aibom의 통합은 AI 인프라의 라이프사이클의 두 가지 측면을 다룹니다. AICR은 GPU 플랫폼이 검증된 구성에서 구축되도록 보장하고, k8s -aibom은 이러한 플랫폼에서 실행되는 AI 워크로드에 대한 가시성을 제공합니다. 이들 두 가지는 안전성 검토, 컴플라이언스 감사 및 사건 대응을 가능하게 하여 AI 거버넌스를 향상시킵니다.

이 통합된 접근 방식은 등록되지 않았거나 그림자 AI 워크로드를 식별하고, 종속성의 변화를 감지하고, 외부 AI API 및 벡터 데이터베이스를 추적하는 데 도움을 줍니다. 플랫폼 검증과 워크로드 추적 가능성 간의 격차를 해소함으로써, NVIDIA는 AI 공장을 설계, 구축 및 운영하기 위한 강력한 기반을 제공하는 것을 목표로 하고 있습니다.