L'instantané NVIDIA accélère la récupération des charges de travail GPU sur Kubernetes

NVIDIA a introduit l'instantané, un composant open-source de la plateforme NVIDIA DSX AI Factory, conçu pour réduire de manière significative les temps de démarrage et de récupération des charges de travail GPU sur Kubernetes. En permettant la réutilisation des charges de travail GPU initialisées à travers les répliques d'inférence, l'instantané s'attaque aux retards causés par les démarrages à froid, qui peuvent prendre plusieurs minutes, notamment lors de pics de demande d'inférence ou d'échecs de répliques.

Comment fonctionne l'instantané NVIDIA

L'instantané est un système de point de contrôle et de restauration pour les charges de travail GPU. Il capture une charge de travail entièrement initialisée, y compris la mémoire CPU et GPU, et la restaure sur une infrastructure compatible. Ce processus contourne les étapes répétées d'initialisation des charges de travail, telles que le chargement des poids, la compilation des noyaux et la capture du graphique CUDA, permettant à la capacité d'inférence d'être opérationnelle en quelques secondes au lieu de plusieurs minutes.

Le système s'intègre à Kubernetes via des ressources personnalisées. Les utilisateurs peuvent créer un PodSnapshot pour prendre un point de contrôle d'une charge de travail en cours d'exécution ou un SnapshotJob pour prendre un point de contrôle d'une charge de travail immédiatement après l'initialisation. Pour restaurer, un nouveau Pod fait référence au PodSnapshot enregistré, reprenant à partir de l'état capturé. L'instantané prend en charge les charges de travail s'étendant sur plusieurs GPU sur un seul nœud, ce qui le rend adapté aux modèles à grande échelle utilisant des stratégies de parallélisme comme le parallélisme de tenseur (TP) et le parallélisme de données et d'experts (DEP).

Repères de performance

Les repères démontrent que l'instantané offre des améliorations de performance substantielles. Par exemple, Crusoe, un contributeur upstream, a réduit le temps de préparation du Pod GLM-5.3 d'environ 8 minutes à 31 secondes sur le matériel NVIDIA HGX B300 . De même, Saturn Cloud a rapporté que les temps de démarrage de vLLM ont chuté de 2–8.5 minutes à 6–34 secondes sur la même plateforme.

Sur les configurations testées, l'instantané a restauré des répliques en 3.6 à 42.7 secondes, atteignant des accélérations de 8x à 36x par rapport aux démarrages à froid. Même pour les plus grands modèles à mélange d'experts (MoE) avec des points de contrôle 1 TB sur huit GPU, les temps de restauration sont restés inférieurs à 43 secondes, par rapport aux temps de démarrage à froid de 6 à 19 minutes.

Intégration et cas d'utilisation

Développé à l'origine pour les travailleurs d'inférence NVIDIA Dynamo, l'instantané est maintenant disponible pour intégration avec d'autres moteurs d'inférence, planificateurs et plateformes. Il prend en charge des moteurs d'inférence tels que vLLM, SGLang, et NVIDIA TensorRT LLM, avec des exemples prêts à l'emploi fournis pour chacun. Le système est particulièrement avantageux pour les opérations de l'AI Factory nécessitant un dimensionnement rapide ou une récupération des charges de travail d'inférence.

Le processus de point de contrôle de l'instantané implique de capturer l'état complet en mémoire d'un travailleur GPU, tandis que le processus de restauration charge directement cet état dans un nouveau conteneur. Cela élimine la nécessité d'étapes d'initialisation répétées, en faisant un outil précieux pour réduire la latence dans les pipelines d'inférence AI.