NVIDIA, DGX SuperPOD 운영 최적화를 위한 AI 에이전트 배포

NVIDIA는 DGX SuperPOD 인프라 관리 최적화를 위해 설계된 AI 공장 운영 에이전트를 발표했습니다. AI 기반 도메인 전문 에이전트를 활용하여 시스템은 사이트 신뢰성 엔지니어(SRE)의 수작업 부담을 줄이고 컴퓨팅, 네트워크, 하드웨어 및 스케줄링 계층 전반에 걸쳐 원인 분석을 효율적으로 수행하는 것을 목표로 하고 있습니다.

AI 기반 운영 프레임워크

AI 공장 운영 에이전트는 2024-11에 Anthropic에 의해 도입된 개방형 표준인 모델 컨텍스트 프로토콜(MCP)을 통해 소통하는 여러 전문 에이전트를 통합합니다. 이 프로토콜은 AI 애플리케이션과 외부 도구 간의 원활한 상호작용을 가능하게 하여, NVIDIA는 AI 공장 환경에서 가동 시간과 성능을 극대화할 수 있습니다. 이 시스템은 사용자 대면 채팅 인터페이스를 통해 도메인 전문 에이전트와 도구를 조율하는 NVIDIA의 NemoClaw 설계도에 기반하여 구축됩니다.

프레임워크의 주요 구성 요소는 다음을 포함합니다:

• 작업 복구 에이전트: 교육 작업 실패를 식별하고 다층 원인 분석을 수행합니다.
• 하드웨어 에이전트: PCIe 오류, GPU 결함 및 열 이상과 같은 하드웨어 문제를 진단합니다.
• 관찰 가능성 에이전트: Prometheus 및 Grafana Loki 로그를 사용하여 대시보드를 동적으로 생성합니다.
• Kubernetes 에이전트: 클러스터 리소스 및 스케줄링 상태에 대한 읽기 전용 통찰을 제공합니다.
• 클러스터 관리 에이전트: 클러스터 진단 및 문제 해결을 위해 NVIDIA Base Command Manager API와 인터페이스합니다.

모듈식 설계로 인해 조직은 기존 구성 요소를 변경하지 않고 추가 에이전트 및 인프라를 통합할 수 있습니다. 이 시스템은 온프레미스 배포 및 데이터 주권을 지원하며, 에이전트 추론은 로컬로 제공되는 NVIDIA Nemotron 오픈 모델을 통해 이루어집니다.

기술 아키텍처

AI 공장 운영 에이전트는 Kubernetes 제어 평면 애플리케이션으로 작동합니다. Helm은 사용자 인터페이스, OpenClaw 게이트웨이, MCP 도구 서버, 추론 엔드포인트 및 NVIDIA OpenShell 런타임을 Kubernetes 서비스로 배포합니다. OpenShell 런타임은 세션별 Kubernetes 샌드박스를 생성함으로써 안전하고 감사 가능한 실행을 보장하고, Kubernetes 자격 증명에 대한 직접 접근을 피합니다.

보안 조치에는 역할 기반 접근 제어(RBAC) 및 서버 측 검사 도구가 포함되어 있어 에이전트가 미리 정의된 권한 내에서 작동하도록 보장합니다. 예를 들어, 에이전트는 포드 및 구성 맵 데이터를 읽을 수 있지만 포드를 생성하거나 업데이트하는 것은 제한됩니다.

운영의 이점과 배움

생산 환경에서 NVIDIA의 에이전트는 고장을 감지하고 여러 계층에 걸쳐 원인을 상관시키며 자연어 인터페이스를 통해 실행 가능한 권장 사항을 제공하는 능력을 보여주었습니다. NVIDIA의 배포에서 얻은 주요 학습은 다음과 같습니다:

• 중복된 책임을 피하기 위해 에이전트의 경계를 명확히 유지합니다.
• 자동화를 도입하기 전에 읽기 전용 작업을 통해 신뢰를 구축합니다.
• 작업 부하, 하드웨어 및 네트워크 계층 간 신호를 상관시켜 원인 분석을 강화합니다.
• 정확한 MCP 정의로 도구 라우팅 정확성을 개선합니다.
• SRE 검토를 위해 증거와 이유를 제시하여 투명성을 보장합니다.

미래의 응용

현재 NVIDIA의 DGX SuperPOD 환경 내에서 배포되고 있지만, AI 공장 운영 에이전트 프레임워크는 확장성과 적응성을 염두에 두고 설계되었습니다. 대규모 AI 공장을 운영하는 조직은 운영 워크플로를 통합하고 가시성을 높이며 인프라 관리에서의 수동 개입을 줄이기 위해 이 시스템을 구현할 수 있습니다.