La instantánea de NVIDIA acelera la recuperación de cargas de trabajo de GPU en Kubernetes
NVIDIA ha introducido Instantánea, un componente de código abierto de la Plataforma de IA DSX de NVIDIA, diseñado para reducir significativamente los tiempos de inicio y recuperación de cargas de trabajo de GPU en Kubernetes. Al permitir que las cargas de trabajo de GPU inicializadas se reutilicen entre réplicas de inferencia, Instantánea aborda las demoras causadas por los inicios en frío, que pueden tardar varios minutos, especialmente durante picos de demanda de inferencia o fallos de réplicas.
Cómo funciona la instantánea de NVIDIA
La instantánea es un sistema de punto de control y restauración para cargas de trabajo de GPU. Captura una carga útil completamente inicializada, incluida la memoria de CPU y GPU, y la restaura en infraestructura compatible. Este proceso evita pasos repetidos de inicialización de cargas de trabajo como la carga de pesos, la compilación de núcleos y la captura de gráficos CUDA, permitiendo que la capacidad de inferencia esté disponible en segundos en lugar de minutos.
El sistema se integra con Kubernetes a través de recursos personalizados. Los usuarios pueden crear una PodSnapshot para crear un punto de control de una carga de trabajo en ejecución o un SnapshotJob para crear un punto de control de una carga de trabajo inmediatamente después de la inicialización. Para restaurar, un nuevo Pod hace referencia a la PodSnapshot guardada, reanudando desde el estado capturado. La instantánea admite cargas de trabajo que abarcan múltiples GPU en un solo nodo, lo que la hace adecuada para modelos a gran escala que utilizan estrategias de paralelismo como paralelismo de tensores (TP) y paralelismo de datos y expertos (DEP).
Marcos de rendimiento
Los marcos demuestran que la instantánea logra mejoras sustanciales en el rendimiento. Por ejemplo, Crusoe, un contribuyente de upstream, redujo el tiempo de disponibilidad de GLM-5.3 Pod de aproximadamente 8 minutos a 31 segundos en el hardware NVIDIA HGX B300 . De manera similar, Saturn Cloud informó que los tiempos de inicio de vLLM cayeron de 2–8.5 minutos a 6–34 segundos en la misma plataforma.
A través de las configuraciones probadas, la instantánea restauró réplicas en 3.6 a 42.7 segundos, logrando aceleraciones de 8x a 36x en comparación con los inicios en frío. Incluso para los modelos más grandes de mezcla de expertos (MoE) con 1 TB de puntos de control en ocho GPU, los tiempos de restauración se mantuvieron por debajo de 43 segundos, en comparación con los tiempos de inicio en frío de 6 a 19 minutos.
Integración y casos de uso
Inicialmente desarrollado para trabajadores de inferencia de NVIDIA Dynamo, la instantánea ahora está disponible para integrarse con otros motores de inferencia, programadores y plataformas. Admite motores de inferencia como vLLM, SGLang y NVIDIA TensorRT LLM, con ejemplos listos para cada uno. El sistema es especialmente ventajoso para operaciones de fábrica de IA que requieren rápida escalabilidad o recuperación de cargas de trabajo de inferencia.
El proceso de creación de puntos de control de la instantánea implica capturar el estado completo en memoria de un trabajador de GPU, mientras que el proceso de restauración carga directamente este estado en un nuevo contenedor. Esto elimina la necesidad de pasos de inicialización repetidos, convirtiéndolo en una herramienta valiosa para reducir la latencia en los canales de inferencia de IA.