O Substrato do Agente Enriquecendo o Kubernetes para Gestão Escalável de Agentes de IA

A NVIDIA introduziu o Substrato do Agente, um runtime de código aberto projetado para otimizar a gestão de agentes de IA em grande escala. Agora parte do Sandbox da Cloud Native Computing Foundation (CNCF), o Substrato do Agente aborda ineficiências no Kubernetes ao lidar com cargas de trabalho caracterizadas por estados ociosos frequentes e rápidas transições de estado. A plataforma oferece uma densidade de agentes 10x superior em comparação com contêineres padrão, enquanto mantém a segurança através de princípios de confiança zero.

Desafios com o Kubernetes Tradicional para Agentes de IA

Os agentes de IA frequentemente alternam entre curtos períodos de atividade e períodos ociosos prolongados, exigindo que seu estado—incluindo memória, sistema de arquivos e processos—persista entre as etapas. Os fluxos de trabalho tradicionais do Kubernetes, que envolvem a criação de um novo Pod para cada sessão, resultam em atrasos significativos devido a interações com o servidor API, pull de imagens e configuração de rede. Esses atrasos, aceitáveis para serviços de longa duração, são impraticáveis para agentes que executam micro-tarefas em milissegundos ou segundos.

As equipes de plataforma enfrentam duas opções subótimas: manter os Pods quentes, o que desperdiça recursos de computação, ou criar Pods sob demanda, o que acarreta penalidades de início a frio. O Substrato do Agente resolve esses problemas permitindo que os agentes suspendam e retomem operações de maneira eficiente, sem exigir a criação de novos Pods.

Como Funciona o Substrato do Agente

O Substrato do Agente opera mantendo um pool de Pods de trabalho prontos no Kubernetes. Quando um agente fica ocioso, seu estado é capturado, incluindo memória e sistema de arquivos, e o trabalhador é liberado para outras tarefas. Quando o agente é reativado, seu estado é restaurado em qualquer trabalhador disponível, evitando o servidor da API do Kubernetes e o agendador. Essa abordagem garante uma rápida retomada das operações, com os agentes acordando em menos de 500 milissegundos.

O runtime suporta múltiplas tecnologias de sandbox, como gVisor e microVMs, garantindo ambientes seguros e isolados para cada agente. A integração é também feita de forma fluida com recursos do Kubernetes, como agendamento de cluster, quotas e políticas de colocação.

Principais Casos de Uso Impulsionando a Adoção

O Substrato do Agente é projetado para várias cargas de trabalho exigentes:

• Assistentes de codificação e serviço de agentes: Agentes de codificação requerem ambientes persistentes para realizar tarefas como edição de arquivos e execução de testes. O Substrato do Agente permite que plataformas sirvam milhares de sessões sem dedicar sandboxes quentes para cada uma.
• Aprendizado por reforço (RL) pós-treinamento: Ambientes de RL envolvem picos de demanda de sandbox durante lotes de lançamento. O Substrato do Agente minimiza os atrasos de início a frio, garantindo que treinadores de GPU não fiquem ociosos.
• Sandboxes de GPU para pesquisa: Pesquisadores frequentemente necessitam de sandboxes de GPU de curta duração para tarefas como compilação CUDA e benchmarking de kernels. O Substrato do Agente facilita a criação rápida de sandboxes e o compartilhamento justo de recursos de GPU.

Contribuições Recentes e Desenvolvimento Futuro

Diversos avanços foram feitos para aprimorar a funcionalidade do Substrato do Agente:

• Estacionamento de solicitações: Quando todos os trabalhadores estão ocupados, as solicitações entrantes são enfileiradas e tentadas novamente até que um trabalhador fique disponível, prevenindo erros durante picos de demanda.
• Suporte a GPU: A conectividade de dispositivos foi introduzida, permitindo que sandboxes solicitem dispositivos específicos, como GPUs da NVIDIA, através da Alocação Dinâmica de Recursos do Kubernetes (DRA).
• Limites de recursos por contêiner: Limites de memória e CPU garantem que contêineres descontrolados dentro de uma sandbox não perturbem contêineres vizinhos.
• Sandboxes de GPU com estado: Agentes agora podem liberar GPUs durante períodos de ociosidade e retomar com seu estado intacto, incluindo artefatos compilados e dados carregados.

A natureza de código aberto do Substrato do Agente e sua integração com a Plataforma DSX AI da NVIDIA, incluindo componentes como KAI Scheduler e NVIDIA Dynamo, o posicionam como uma ferramenta crítica para a gestão escalável e eficiente de agentes de IA.