NVIDIA Mission Control 2.5 расширяет автономное восстановление на Kubernetes
NVIDIA заявила 2026-10-26году, что Mission Control 2.5 расширяет свой движок автономного восстановления на нагрузки на базе Kubernetes, управляемые с помощью NVIDIA Run:ИИ, перенося фреймворк устойчивости, ранее ограниченный высокопроизводительными вычислительными задачами на базе Slurm, в среды Kubernetes. Компания представила обновление как часть более широкого стремления к самовосстанавливающейся ИИ заводской инфраструктуре, где крупные тренировки могут продолжаться с меньшим ручным вмешательством при возникновении аппаратных или программных неисправностей.
Доказательства и контекст
Согласно техническому блогу NVIDIA, опубликованному в октябре 26года, движок автономного восстановления Mission Control объединяет два сервисы: автономное восстановление заданий и автономное восстановление аппаратного обеспечения. В конфигурации Kubernetes Run:ИИ выступает в роли планировщика по умолчанию, а сервис восстановления заданий использует контекст нагрузки, историю отказов и топологию заданий, чтобы решить, следует ли загружать заново, повторно пробовать, перестраивать в очередь или перемещать её в другое место. Слой аппаратного восстановления отслеживает узлы и GPU, изолирует аномалии в планировании и проводит диагностику или устранение, чтобы подозрительное оборудование не появлялось в новых заданиях.
Компания описала три путей восстановления. В случае аппаратной неисправности во время обучения система может перезапустить или переназначить нагрузки на здоровые узлы, пока неисправный узел изолирован и диагностируется. Для временных программных ошибок она может повторять работу в соответствии с политикой планировщика без карантина здорового оборудования. Если ухудшение обнаруживается на ранней стадии, узел может удалить из планирования до того, как на него попадёт задание. NVIDIA заявила, что разделение функций планирования, контекста задачи и состояния аппаратного обеспечения направлено на то, чтобы модель была портативной между оркестраторами.
Заметки о выпуске в проверенном фоновом материале добавляют технические детали помимо блога, включая Run:ИИ 2.26, Base Command Manager 11.34.0, интеграцию восстановления с планировщиком KAI с использованием операторов обучения Kubeflow PyTorch, а также поддержку NVRx 0.6.0 асинхронной контрольной точке. NVIDIA также выделяет централизованные улучшения аутентификации Keycloak и обновления безопасности и усиления Kubernetes в этом релизе.
Те же заметки о выпуске также устанавливают ограничения на обновление. Поддержка Vera Rubin NVL72 описывается как ранний доступ только для необходимого подбора через Base Command Manager, а Run:ИИ и Autonomous Resiliency Engine не поддерживаются на этой платформе в этом релизе. Grid-telemetry и AIOps Minerva, а также NVIDIA Dynamic Power Software рассматриваются как предрелизные бета-версии, а не стандартные компоненты.