NVIDIA 스냅샷이 Kubernetes에서 GPU 작업 부하 복구를 가속화합니다.

NVIDIA는 Kubernetes에서 GPU 작업 부하의 시작 및 복구 시간을 획기적으로 줄이기 위해 NVIDIA DSX AI Factory 플랫폼의 오픈 소스 구성 요소인 스냅샷을 도입했습니다. 초기화된 GPU 작업 부하를 추론 복제본 간에 재사용할 수 있게 함으로써, 스냅샷은 특히 추론 수요의 급증이나 복제본 실패 시 수분이 걸리는 코ールド 스타트로 인한 지연 문제를 해결합니다.

NVIDIA 스냅샷 작동 원리

스냅샷은 GPU 작업 부하용 체크포인트 및 복원 시스템입니다. CPU 및 GPU 메모리를 포함해 완전히 초기화된 작업 부하를 캡처하고 호환되는 인프라에서 복원합니다. 이 과정은 중량 로딩, 커널 컴파일 및 CUDA 그래프 캡처와 같은 반복적인 작업 부하 초기화 단계를 우회하여, 몇 분이 아니라 몇 초 안에 추론 용량을 온라인으로 제공합니다.

이 시스템은 사용자 정의 리소스를 통해 Kubernetes와 통합됩니다. 사용자는 실행 중인 작업 부하의 체크포인트를 만들기 위해 PodSnapshot을 생성하거나 초기화 직후 작업 부하의 체크포인트를 만들기 위해 SnapshotJob을 생성할 수 있습니다. 복원하려면, 새로운 Pod가 저장된 PodSnapshot을 참조하여 캡처된 상태에서 재개합니다. 스냅샷은 단일 노드에서 여러 GPU에 걸쳐 작업 부하를 지원하여 텐서 병렬 처리(TP) 및 데이터 및 전문 병렬 처리(DEP)와 같은 병렬 전략을 사용하는 대규모 모델에 적합하게 만듭니다.

성능 벤치마크

벤치마크는 스냅샷이 상당한 성능 향상을 제공함을 보여줍니다. 예를 들어, 상류 기여자인 Crusoe는 NVIDIA HGX B300 하드웨어에서 GLM-5.3 Pod 준비 시간을 약 8 분에서 31 초로 단축하였습니다. 마찬가지로 Saturn Cloud는 같은 플랫폼에서 vLLM의 시작 시간이 2–8.5 분에서 6–34 초로 감소했다고 보고했습니다.

테스트된 구성에서 스냅샷은 3.6에서 42.7 초로 복제본을 복원했으며, 코ールド 스타트와 비교해 8x에서 36x의 속도 향상을 달성했습니다. 1 TB 체크포인트를 가진 최대 혼합 전문가(MoE) 모델의 경우도 복원 시간이 43 초 미만으로 유지되었으며, 코ールド 스타트 시간은 6에서 19 분까지였습니다.

통합 및 사용 사례

원래 NVIDIA Dynamo 추론 작업자를 위해 개발된 스냅샷은 이제 다른 추론 엔진, 스케줄러 및 플랫폼과의 통합을 위해 제공됩니다. vLLM, SGLang 및 NVIDIA TensorRT LLM과 같은 추론 엔진을 지원하며, 각 엔진에 대한 준비된 예제가 제공됩니다. 이 시스템은 추론 작업 부하의 빠른 확장이나 복구가 필요한 AI 공장 운영에 특히 유리합니다.

스냅샷의 체크포인트 프로세스는 GPU 작업자의 전체 메모리 상태를 캡처하는 것과 관련이 있으며, 복원 프로세스는 이 상태를 새 컨테이너에 직접 로드합니다. 이를 통해 반복적인 초기화 단계가 필요 없어져 AI 추론 파이프라인의 지연을 줄이는 데 유용한 도구가 됩니다.