Substrat Agenta Улучшает Kubernetes для Масштабируемого Управления Агентами ИИ

NVIDIA представила Substrat Agenta, открытый runtime, предназначенный для оптимизации управления агентами ИИ в широких масштабах. Теперь, став частью песочницы Cloud Native Computing Foundation (CNCF), Substrat Agenta решает проблемы, возникающие в Kubernetes при работе с нагрузками, характеризующимися частыми простоями и быстрыми переходами состояний. Платформа предлагает плотность агентов 10x выше, чем стандартные контейнеры, обеспечивая безопасность через принципы нулевой доверительности.

Проблемы с Традиционным Kubernetes для Агентов ИИ

Агенты ИИ часто чередуют короткие всплески активности и длительные периоды простоя, требуя, чтобы их состояние—включая память, файловую систему и процессы—сохранялось между этапами. Традиционные рабочие процессы Kubernetes, которые включают создание нового Pod для каждой сессии, приводят к значительным задержкам из-за взаимодействий с сервером API, загрузкой образов и настройкой сети. Эти задержки приемлемы для долгоживущих сервисов, но непрактичны для агентов, выполняющих микро-задачи за миллисекунды или секунды.

Команды платформ сталкиваются с двумя неоптимальными вариантами: поддерживать Pods в тепле, что desperdicia ресурсы вычислений, или создавать Pods по мере необходимости, что приводит к штрафам за холодный старт. Substrat Agenta решает эти проблемы, позволяя агентам эффективно приостанавливать и возобновлять операции, не требуя создания новых Pods.

Как Работает Substrat Agenta

Substrat Agenta работает, поддерживая пул готовых рабочих Pods в Kubernetes. Когда агент становится неактивным, его состояние захватывается, включая память и файловую систему, и рабочий освобождается для других задач. Когда агент активируется вновь, его состояние восстанавливается на любом доступном рабочем, минуя сервер API Kubernetes и планировщик. Этот подход гарантирует быструю возобновляемость операций, при этом агенты просыпаются за менее чем 500 миллисекунд.

Runtime поддерживает несколько технологий песочниц, таких как gVisor и microVMs, обеспечивая безопасные, изолированные среды для каждого агента. Он также бесшовно интегрируется с функциями Kubernetes, такими как планирование кластеров, квоты и политики размещения.

Ключевые Случаи Использования, Способствующие Адаптации

Substrat Agenta разработан для нескольких требовательных нагрузок:

• Ассистенты программирования и обслуживание агентов: Кодирующие агенты требуют постоянных сред для выполнения задач, таких как редактирование файлов и выполнение тестов. Substrat Agenta позволяет платформам обслуживать тысячи сессий без необходимости выделять теплые песочницы для каждой.
• Обучение с подкреплением (RL) после тренировки: Среды RL включают всплески спроса на песочницы во время партий развертывания. Substrat Agenta минимизирует задержки холодного старта, гарантируя, что тренеры GPU не остаются без дела.
• Песочницы GPU для исследований: Исследователи часто требуют краткосрочные песочницы GPU для задач, таких как компиляция CUDA и бенчмаркинг ядер. Substrat Agenta облегчает быстрое создание песочниц и справедливое распределение ресурсов GPU.

Недавние Вклады и Будущее Развитие

Было сделано несколько усовершенствований для повышения функциональности Substrat Agenta:

• Парковка запросов: Когда все рабочие заняты, входящие запросы ставятся в очередь и повторяются до тех пор, пока рабочий не станет доступен, предотвращая ошибки во время пикового спроса.
• Поддержка GPU: Были введены возможности подключения устройств, позволяющие песочницам запрашивать конкретные устройства, такие как NVIDIA GPUs, через Динамическое Распределение Ресурсов Kubernetes (DRA).
• Ограничения ресурсов для контейнеров: Ограничения памяти и ЦПУ гарантируют, что неконтролируемые контейнеры внутри песочницы не нарушают работу соседних контейнеров.
• Состояние песочниц GPU: Агенты теперь могут освобождать GPU в периоды простоя и возобновляться с сохранением своего состояния, включая скомпилированные артефакты и загруженные данные.

Открытая природа Substrat Agenta и его интеграция с Платформой DSX AI от NVIDIA, включая компоненты, такие как KAI Scheduler и NVIDIA Dynamo, ставят его в позицию критического инструмента для масштабируемого и эффективного управления агентами ИИ.