에이전트 서브스트레이트가 Kubernetes를 향상시켜 확장 가능한 AI 에이전트 관리
NVIDIA는 AI 에이전트를 대규모로 관리하기 위한 최적화된 오픈소스 런타임인 에이전트 서브스트레이트를 도입했습니다. 현재 Cloud Native Computing Foundation(CNCF) 샌드박스의 일부인 에이전트 서브스트레이트는 빈번한 유휴 상태와 빠른 상태 전환이 특징인 작업 부하를 처리할 때 Kubernetes의 비효율성을 해결합니다. 이 플랫폼은 표준 컨테이너에 비해 10x 높은 밀도의 에이전트를 제공하며, 제로 트러스트 원칙을 통해 보안을 유지합니다.
AI 에이전트를 위한 전통적 Kubernetes의 문제
AI 에이전트는 종종 짧은 활동의 폭발과 긴 유휴 기간 사이를 번갈아 가며, 이들은 상태—메모리, 파일 시스템 및 프로세스 포함—가 단계 간에 지속되어야 합니다. 각 세션마다 새로운 Pod를 생성하는 전통적인 Kubernetes 워크플로우는 API 서버와의 상호작용, 이미지 풀, 네트워크 설정으로 인한 상당한 지연을 초래합니다. 이러한 지연은 장기 서비스에는 허용되지만, 밀리초 또는 초 단위로 마이크로 작업을 실행하는 에이전트에게는 비현실적입니다.
플랫폼 팀은 두 가지 비최적 옵션에 직면합니다: Pods를 따뜻하게 유지하여 계산 자원을 낭비하거나, 요청에 따라 Pods를 생성하여 콜드 스타트 패널티를 겪는 것입니다. 에이전트 서브스트레이트는 에이전트가 새로운 Pod 생성 없이도 효율적으로 작업을 일시 중지하고 재개할 수 있게 함으로써 이러한 문제를 해결합니다.
에이전트 서브스트레이트의 작동 원리
에이전트 서브스트레이트는 Kubernetes에서 준비된 워커 Pods의 풀을 유지하여 작동합니다. 에이전트가 유휴 상태가 되면, 메모리와 파일 시스템을 포함한 상태가 스냅샷되어 워커는 다른 작업을 위해 해제됩니다. 에이전트가 재활성화될 때, 그 상태는 사용 가능한 워커에 복원되어 Kubernetes API 서버와 스케줄러를 우회합니다. 이 접근 방식은 500 밀리초 이내에 작업을 신속하게 재개할 수 있도록 보장합니다.
이 런타임은 gVisor 및 microVM과 같은 여러 샌드박싱 기술을 지원하여 각 에이전트에 안전하고 고립된 환경을 보장합니다. 또한 Kubernetes 기능인 클러스터 스케줄링, 쿼터 및 배치 정책과도 원활하게 통합됩니다.
채택을 촉진하는 주요 사용 사례
에이전트 서브스트레이트는 몇 가지 요구가 높은 작업 부하에 맞춰 조정되었습니다：
- 코딩 보조기 및 에이전트 제공: 코딩 에이전트는 파일 편집 및 테스트 실행과 같은 작업을 수행하기 위해 지속적인 환경이 필요합니다. 에이전트 서브스트레이트는 플랫폼이 각 세션에 따뜻한 샌드박스를 할당하지 않고도 수천 개의 세션을 제공할 수 있게 합니다.
- 강화 학습(RL) 후 훈련: RL 환경은 배치 롤아웃 중 샌드박스 수요의 폭발을 수반합니다. 에이전트 서브스트레이트는 콜드 스타트 지연을 최소화하여 GPU 트레이너가 유휴 상태로 방치되지 않도록 합니다.
- 연구용 GPU 샌드박스: 연구원들은 종종 CUDA 컴파일 및 커널 벤치마크와 같은 작업을 위해 단명하는 GPU 샌드박스를 필요로 합니다. 에이전트 서브스트레이트는 빠른 샌드박스 생성과 공정한 GPU 리소스 공유를 촉진합니다.
최근 기여 및 향후 개발
에이전트 서브스트레이트의 기능을 향상시키기 위해 몇 가지 발전이 이루어졌습니다：
- 요청 주차: 모든 워커가 바쁠 때, 들어오는 요청은 대기열에 추가되고 워커가 이용 가능해질 때까지 재시도되어 피크 수요 동안 오류를 방지합니다.
- GPU 지원: 장치 플러그 가능성이 도입되어, 샌드박스가 Kubernetes 동적 리소스 할당(DRA)을 통해 특정 장치, 예를 들어 NVIDIA GPU를 요청할 수 있게 되었습니다.
- 컨테이너별 리소스 제한: 메모리와 CPU 제한은 샌드박스 내에서 제어할 수 없는 컨테이너가 이웃하는 컨테이너에 방해가 되지 않도록 보장합니다.
- 상태 있는 GPU 샌드박스: 에이전트는 이제 유휴 기간 동안 GPU를 해제하고, 컴파일된 아티팩트와 로드된 데이터를 포함한 상태를 유지한 채로 재개할 수 있습니다.
에이전트 서브스트레이트의 오픈소스 특성과 NVIDIA의 DSX AI Factory Platform과의 통합, KAI 스케줄러 및 NVIDIA 다이나모와 같은 구성 요소를 포함하여, 확장 가능하고 효율적인 AI 에이전트 관리의 중요한 도구로 자리잡고 있습니다.