O Snapshot da NVIDIA Acelera a Recuperação de Carga de Trabalho de GPU no Kubernetes

A NVIDIA introduziu o Snapshot, um componente de código aberto da Plataforma NVIDIA DSX AI Factory, projetado para reduzir significativamente os tempos de inicialização e recuperação das cargas de trabalho de GPU no Kubernetes. Ao permitir que cargas de trabalho de GPU inicializadas sejam reutilizadas em réplicas de inferência, o Snapshot aborda os atrasos causados por inicializações frias, que podem levar vários minutos, especialmente durante picos de demanda de inferência ou falhas de réplicas.

Como Funciona o Snapshot da NVIDIA

O Snapshot é um sistema de checkpoint e restauração para cargas de trabalho de GPU. Ele captura uma carga de trabalho totalmente inicializada, incluindo memória da CPU e da GPU, e a restaura em infraestrutura compatível. Este processo elimina etapas repetidas de inicialização de carga de trabalho, como carregamento de peso, compilação de núcleo e captura de gráfico CUDA, permitindo que a capacidade de inferência entre online em segundos em vez de minutos.

O sistema integra-se ao Kubernetes por meio de recursos personalizados. Os usuários podem criar um PodSnapshot para fazer checkpoint de uma carga de trabalho em execução ou um SnapshotJob para fazer checkpoint de uma carga de trabalho imediatamente após a inicialização. Para restaurar, um novo Pod faz referência ao PodSnapshot salvo, retomando do estado capturado. O Snapshot suporta cargas de trabalho que abrangem várias GPUs em um único nó, tornando-se adequado para modelos em larga escala que utilizam estratégias de paralelismo, como paralelismo de tensor (TP) e paralelismo de dados e especialistas (DEP).

Benchmarks de Desempenho

Os benchmarks demonstram que o Snapshot oferece melhorias substanciais de desempenho. Por exemplo, a Crusoe, um colaborador upstream, reduziu o tempo de prontidão do Pod GLM-5.3 de aproximadamente 8 minutos para 31 segundos no hardware NVIDIA HGX B300 . Da mesma forma, a Saturn Cloud relatou que os tempos de inicialização do vLLM caíram de 2–8.5 minutos para 6–34 segundos na mesma plataforma.

Em todas as configurações testadas, o Snapshot restaurou réplicas em 3.6 a 42.7 segundos, alcançando acelerações de 8x a 36x em comparação com inicializações frias. Mesmo para os maiores modelos de mistura de especialistas (MoE) com 1 TB de checkpoints em oito GPUs, os tempos de restauração permaneceram abaixo de 43 segundos, em comparação com os tempos de inicialização fria de 6 a 19 minutos.

Integração e Casos de Uso

Originalmente desenvolvido para trabalhadores de inferência NVIDIA Dynamo, o Snapshot agora está disponível para integração com outros mecanismos de inferência, escalonadores e plataformas. Ele suporta mecanismos de inferência como vLLM, SGLang e NVIDIA TensorRT LLM, com exemplos prontos fornecidos para cada um. O sistema é particularmente vantajoso para operações de fábrica de IA que requerem escalonamento rápido ou recuperação de cargas de trabalho de inferência.

O processo de checkpointing do Snapshot envolve capturar o estado completo em memória de um trabalhador de GPU, enquanto o processo de restauração carrega diretamente esse estado em um novo contêiner. Isso elimina a necessidade de etapas repetidas de inicialização, tornando-o uma ferramenta valiosa para reduzir a latência em pipelines de inferência de IA.