Снимок NVIDIA Ускоряет Восстановление Нагрузки GPU на Kubernetes
NVIDIA представила Снимок, компонент с открытым исходным кодом Платформы NVIDIA DSX AI Factory, разработанный для значительного сокращения времени запуска и восстановления нагрузок GPU на Kubernetes. Позволяя повторно использовать инициализированные нагрузки GPU в репликах для индукции, Снимок устраняет задержки, вызванные холодными стартами, которые могут занимать несколько минут, особенно во время всплесков спроса на индукцию или сбоев реплик.
Как Работает Снимок NVIDIA
Снимок — это система контрольной точки и восстановления для нагрузок GPU. Он захватывает полностью инициализированную нагрузку, включая память CPU и GPU, и восстанавливает ее на совместимой инфраструктуре. Этот процесс обходит повторяющиеся шаги инициализации нагрузки, такие как загрузка весов, компиляция ядра и захват графа CUDA, позволяя емкости индукции выходить в онлайн за секунды вместо минут.
Система интегрируется с Kubernetes через настраиваемые ресурсы. Пользователи могут создать PodSnapshot для создания контрольной точки работающей нагрузки или SnapshotJob для создания контрольной точки нагрузки немедленно после инициализации. Чтобы восстановить, новый Pod ссылается на сохраненный PodSnapshot, продолжая с захваченного состояния. Снимок поддерживает нагрузки, охватывающие несколько GPU на одном узле, что делает его подходящим для крупномасштабных моделей, использующих стратегии параллелизма, такие как параллелизм тензоров (TP) и параллелизм данных и экспертов (DEP).
Бенчмарки Производительности
Бенчмарки показывают, что Снимок обеспечивает значительные улучшения производительности. Например, Crusoe, страхующий участник, сократил время готовности Pod GLM-5.3 с примерно 8 минут до 31 секунд на аппаратном обеспечении NVIDIA HGX B300 . Аналогично, Saturn Cloud сообщил, что время запуска vLLM сократилось с 2–8.5 минут до 6–34 секунд на той же платформе.
Во всех протестированных конфигурациях Снимок восстановил реплики за 3.6 до 42.7 секунд, достигая ускорения от 8x до 36x по сравнению с холодными стартами. Даже для крупнейших моделей смешанной экспертизы (MoE) с вероятными контрольными точками 1 TB на восьми GPU, время восстановления оставалось менее 43 секунд, по сравнению с холодными стартами от 6 до 19 минут.
Интеграция и Сценарии Использования
Первоначально разработанный для рабочих мест ИНС NVIDIA Dynamo, Снимок теперь доступен для интеграции с другими двигателями индукции, планировщиками и платформами. Он поддерживает двигатели индукции, такие как vLLM, SGLang и NVIDIA TensorRT LLM, с готовыми примерами для каждого. Система особенно выгодна для операций фабрики ИИ, требующих быстрого масштабирования или восстановления нагрузок индукции.
Процесс контрольной точки Снимка включает в себя захват полного состояния в памяти рабочего GPU, в то время как процесс восстановления напрямую загружает это состояние в новый контейнер. Это устраняет необходимость повторных инициализационных шагов, что делает его ценным инструментом для сокращения задержек в пайплайнах индукции ИИ.