NVIDIA Mission Control erweitert 2.5 autonome Wiederherstellung auf Kubernetes
NVIDIA teilte am 2026-10-26 mit, dass Mission Control seine autonome Wiederherstellungs-Engine 2.5 auf Kubernetes-basierte Workloads ausweitet, die mit NVIDIA Run:KI verwaltet werden, und ein Resilienz-Framework, das zuvor auf Slurm-basierte Hochleistungs-Computing-Jobs beschränkt war, in Kubernetes-Umgebungen verlagert. Das Unternehmen stellte das Update als Teil eines umfassenderen Vorgehens auf Selbstheilung KI Fabrikinfrastruktur dar, bei der große Trainingsläufe mit weniger manuellem Eingreifen fortgesetzt werden können, wenn Hardware- oder Softwarefehler auftreten.
Beweise und Kontext
Laut dem technischen Blog von NVIDIA, veröffentlicht am 26. Oktober, kombiniert die autonome Wiederherstellungs-Engine von Mission Control zwei Dienste: autonome Job-Wiederherstellung und autonome Hardware-Wiederherstellung. Im Kubernetes-Setup fungiert Run:KI als Standard-Scheduler, während der Job-Recovery-Service den Workload-Kontext, die Fehlerhistorie und die Job-Topologie nutzt, um zu entscheiden, ob eine Workload neu gestartet, erneut versucht, in die Warteschlange gelegt oder anderswo platziert werden soll. Die Hardware-Recovery-Schicht überwacht Knoten und GPUs, isoliert Anomalien aus der Planung und führt Diagnosen oder Sanierungen durch, damit verdächtige Geräte nicht ständig in neue Jobs gelangen.
Das Unternehmen beschrieb drei Wiederherstellungspfade. In einem Hardwarefehler-Szenario während des Trainings kann das System Workloads auf gesunde Knoten neu starten oder umplanen, während der fehlerhafte Knoten isoliert und diagnostiziert wird. Bei vorübergehenden Softwarefehlern kann es gemäß der Scheduler-Richtlinie erneut versuchen, ohne gesunde Hardware in Quarantäne zu stellen. Wenn eine Verschlechterung früh erkannt wird, kann ein Knoten aus der Planung entfernt werden, bevor ein Job darauf landet. NVIDIA erklärte, dass die Trennung von Planung, Jobkontext und Hardware-Gesundheitsfunktionen dazu dient, das Modell portabel über Orchestratoren hinweg portabel zu machen.
Release-Notizen im verifizierten Hintergrundmaterial fügen technische Details über den Blogbeitrag hinaus hinzu, darunter Run:KI 2.26, Base Command Manager 11.34.0, Wiederherstellungsintegration mit dem KAI-Scheduler mittels Kubeflow PyTorch-Trainingsoperatoren sowie NVRx 0.6.0 asynchrone Checkpointing-Unterstützung. NVIDIA hebt in dieser Version außerdem zentrale Verbesserungen zur Keycloak-Authentifizierung sowie Sicherheits- und Kubernetes-Hardening-Updates hervor.
Die gleichen Release-Notizen setzen auch Grenzen für das Update. Die Unterstützung für Vera Rubin NVL72 wird als Early Access für den wesentlichen Base Command Manager Aufruf beschrieben, und Run:KI sowie die Autonomous Resiliency Engine werden auf dieser Plattform in dieser Version nicht unterstützt. Minerva Netzwerktelemetrie und AIOps sowie NVIDIA Dynamic Power Software sind als Pre-Release-Betas und nicht als Standardkomponenten konzipiert.