Agent Substrate Mejora Kubernetes para la Gestión Escalable de Agentes de IA
NVIDIA ha introducido Agent Substrate, un entorno de ejecución de código abierto diseñado para optimizar la gestión de agentes de IA a gran escala. Ahora parte del Sandbox de la Cloud Native Computing Foundation (CNCF), Agent Substrate aborda las ineficiencias en Kubernetes al manejar cargas de trabajo caracterizadas por estados de inactividad frecuentes y rápidas transiciones de estado. La plataforma ofrece una densidad de agentes 10x más alta en comparación con los contenedores estándar, manteniendo la seguridad a través de principios de cero confianza.
Desafíos del Kubernetes Tradicional para Agentes de IA
Los agentes de IA a menudo alternan entre breves ráfagas de actividad y períodos prolongados de inactividad, requiriendo que su estado—incluyendo memoria, sistema de archivos y procesos—persista entre etapas. Los flujos de trabajo tradicionales de Kubernetes, que incluyen arrancar un nuevo Pod para cada sesión, resultan en retrasos significativos debido a las interacciones con el servidor API, extracciones de imágenes y configuraciones de red. Estos retrasos, aceptables para servicios de larga duración, son poco prácticos para agentes que ejecutan microtareas en milisegundos o segundos.
Los equipos de plataforma enfrentan dos opciones subóptimas: mantener los Pods calientes, lo que desperdicia recursos computacionales, o crear Pods a demanda, lo que incurre en penalizaciones por inicio en frío. Agent Substrate resuelve estos problemas al permitir que los agentes suspendan y reanuden operaciones de manera eficiente, sin necesidad de crear nuevos Pods.
Cómo Funciona Agent Substrate
Agent Substrate opera manteniendo un grupo de Pods de trabajo listos en Kubernetes. Cuando un agente se queda inactivo, su estado se captura, incluyendo memoria y sistema de archivos, y el trabajador se libera para otras tareas. Cuando el agente se reactiva, su estado se restaura en cualquier trabajador disponible, eludiendo el servidor API y el programador de Kubernetes. Este enfoque asegura una rápida reanudación de operaciones, con agentes despertando en menos de 500 milisegundos.
El entorno de ejecución admite múltiples tecnologías de sandbox, como gVisor y microVMs, asegurando entornos seguros e isolados para cada agente. También se integra sin problemas con funciones de Kubernetes como programación de clústeres, cuotas y políticas de colocación.
Casos de Uso Clave que Impulsan la Adopción
Agent Substrate está diseñado para varias cargas de trabajo exigentes:
- Asistentes de codificación y servicio de agentes: Los agentes de codificación requieren entornos persistentes para realizar tareas como edición de archivos y ejecución de pruebas. Agent Substrate permite a las plataformas servir miles de sesiones sin dedicar sandboxes calientes a cada una.
- Reforzamiento del aprendizaje (RL) después del entrenamiento: Los entornos de RL implican ráfagas de demanda de sandbox durante lotes de despliegue. Agent Substrate minimiza los retrasos por inicio en frío, asegurando que los entrenadores de GPU no queden inactivos.
- Sandboxes de GPU para investigación: Los investigadores a menudo requieren sandboxes de GPU de corta duración para tareas como compilación de CUDA y evaluación de kernels. Agent Substrate facilita la creación rápida de sandboxes y el uso equitativo de recursos de GPU.
Contribuciones Recientes y Desarrollo Futuro
Se han realizado varios avances para mejorar la funcionalidad de Agent Substrate:
- Estacionamiento de solicitudes: Cuando todos los trabajadores están ocupados, las solicitudes entrantes se ponen en cola y se vuelven a intentar hasta que un trabajador esté disponible, previniendo errores durante la demanda máxima.
- Soporte de GPU: Se ha introducido la capacidad de conectar dispositivos, permitiendo que las sandboxes soliciten dispositivos específicos, como GPUs de NVIDIA, a través de la Asignación Dinámica de Recursos de Kubernetes (DRA).
- Limites de recursos por contenedor: Límites de memoria y CPU aseguran que los contenedores descontrolados dentro de una sandbox no interrumpan a los contenedores vecinos.
- Sandboxes GPU con estado: Ahora los agentes pueden liberar GPUs durante períodos de inactividad y reanudar con su estado intacto, incluidos artefactos compilados y datos cargados.
La naturaleza de código abierto de Agent Substrate y su integración con la Plataforma DSX AI de NVIDIA, que incluye componentes como KAI Scheduler y NVIDIA Dynamo, lo posicionan como una herramienta crítica para la gestión escalable y eficiente de agentes de IA.