NVIDIA Snapshot beschleunigt die Wiederherstellung von GPU-Arbeitslasten auf Kubernetes

NVIDIA hat Snapshot eingeführt, ein Open-Source-Komponente der NVIDIA DSX AI Factory Plattform, die darauf ausgelegt ist, die Start- und Wiederherstellungszeiten von GPU-Arbeitslasten auf Kubernetes erheblich zu reduzieren. Durch die Möglichkeit, initialisierte GPU-Arbeitslasten über Inferenz-Replicas wiederzuverwenden, adressiert Snapshot die Verzögerungen, die durch Kaltstarts verursacht werden, die mehrere Minuten in Anspruch nehmen können, insbesondere bei Nachfrageausbrüchen bei der Inferenz oder bei Ausfällen von Replicas.

So funktioniert NVIDIA Snapshot

Snapshot ist ein Checkpoint- und Wiederherstellungssystem für GPU-Arbeitslasten. Es erfasst eine vollständig initialisierte Arbeitslast, einschließlich CPU- und GPU-Speicher, und stellt sie auf kompatibler Infrastruktur wieder her. Dieser Prozess umgeht wiederholte Initiierungsschritte, wie das Laden von Gewichten, die Kompilierung von Kernen und das Erfassen von CUDA-Grafiken, sodass die Inferenzkapazität in Sekunden anstatt in Minuten online kommt.

Das System integriert sich über benutzerdefinierte Ressourcen mit Kubernetes. Benutzer können ein PodSnapshot erstellen, um eine laufende Arbeitslast zu checkpointen, oder einen SnapshotJob, um eine Arbeitslast sofort nach der Initialisierung zu checkpointen. Zur Wiederherstellung bezieht sich ein neuer Pod auf das gespeicherte PodSnapshot und setzt den gespeicherten Zustand fort. Snapshot unterstützt Arbeitslasten, die mehrere GPUs auf einem einzelnen Knoten umfassen, was es geeignet macht für große Modelle, die Parallelismusstrategien wie Tensor-Parallelismus (TP) und Daten- und Experten-Parallelismus (DEP) verwenden.

Leistungsbenchmarks

Benchmarks zeigen, dass Snapshot erhebliche Leistungssteigerungen bietet. Zum Beispiel reduzierte Crusoe, ein Upstream-Beitragszahler, die GLM-5.3 Pod-Bereitschaftszeit von etwa 8 Minuten auf 31 Sekunden auf der NVIDIA HGX B300 Hardware. Ähnlich berichtete Saturn Cloud, dass die Startzeiten von vLLM von 2–8.5 Minuten auf 6–34 Sekunden auf derselben Plattform gesunken sind.

Über die getesteten Konfigurationen hinweg stellte Snapshot die Replikate in 3.6 bis 42.7 Sekunden wieder her und erreichte Beschleunigungen von 8x bis 36x im Vergleich zu Kaltstarts. Selbst bei den größten Mischung-aus-Experten (MoE) Modellen mit 1 TB Checkpoints über acht GPUs blieben die Wiederherstellungszeiten unter 43 Sekunden, verglichen mit Kaltstartzeiten von 6 bis 19 Minuten.

Integration und Anwendungsfälle

Ursprünglich für NVIDIA Dynamo-Inferenzarbeiter entwickelt, ist Snapshot jetzt für die Integration mit anderen Inferenz-Engines, Planern und Plattformen verfügbar. Es unterstützt Inferenz-Engines wie vLLM, SGLang und NVIDIA TensorRT LLM, wobei für jede bereitgestellte Beispiele zur Verfügung stehen. Das System ist besonders vorteilhaft für KI-Fabriken, die eine schnelle Skalierung oder Wiederherstellung von Inferenz-Arbeitslasten erfordern.

Der Checkpoint-Prozess von Snapshot beinhaltet das Erfassen des vollständigen Speichers eines GPU-Arbeiters, während der Wiederherstellungsprozess diesen Zustand direkt in einen neuen Container lädt. Dadurch entfällt die Notwendigkeit für wiederholte Initialisierungsschritte, wodurch es sich als wertvolles Werkzeug zur Verringerung der Latenz in KI-Inferenz-Pipelines erweist.