Agent Substrate améliore Kubernetes pour la gestion évolutive des agents d'IA

NVIDIA a introduit l'Agent Substrate, un environnement d'exécution open-source conçu pour optimiser la gestion des agents d'IA à grande échelle. Maintenant partie intégrante du Cloud Native Computing Foundation (CNCF) Sandbox, l'Agent Substrate s'attaque aux inefficacités de Kubernetes lors du traitement de charges de travail caractérisées par des états inactifs fréquents et des transitions rapides entre états. La plateforme offre une densité d'agents 10x supérieure par rapport aux conteneurs standard, tout en maintenant la sécurité grâce aux principes de zero-trust.

Défis avec Kubernetes traditionnel pour les agents d'IA

Les agents d'IA alternent souvent entre de courtes périodes d'activité et de longues périodes d'inactivité, nécessitant que leur état—y compris la mémoire, le système de fichiers et les processus—persiste entre les étapes. Les flux de travail Kubernetes traditionnels, qui consistent à créer un nouveau Pod pour chaque session, entraînent des retards significatifs dus aux interactions avec le serveur API, aux récupérations d'images et à la configuration du réseau. Ces retards, acceptables pour des services à long terme, sont peu pratiques pour les agents qui exécutent des micro-tâches en millisecondes ou en secondes.

Les équipes de plateforme font face à deux options sous-optimales : garder les Pods chauds, ce qui gaspille des ressources informatiques, ou créer des Pods à la demande, ce qui entraîne des pénalités de démarrage à froid. L'Agent Substrate résout ces problèmes en permettant aux agents de suspendre et de reprendre leurs opérations efficacement, sans nécessiter la création de nouveaux Pods.

Comment fonctionne l'Agent Substrate

L'Agent Substrate fonctionne en maintenant un pool de Pods de travail prêts sur Kubernetes. Lorsqu'un agent devient inactif, son état est enregistré, y compris la mémoire et le système de fichiers, et le travailleur est libéré pour d'autres tâches. Lorsque l'agent est réactivé, son état est restauré sur n'importe quel travailleur disponible, contournant le serveur API Kubernetes et le planificateur. Cette approche garantit une reprise rapide des opérations, les agents se réactivant en moins de 500 millisecondes.

L'environnement d'exécution prend en charge plusieurs technologies de sandboxing, telles que gVisor et microVMs, garantissant des environnements sécurisés et isolés pour chaque agent. Il s'intègre également parfaitement avec les fonctionnalités Kubernetes telles que la planification de clusters, les quotas et les politiques de placement.

Cas d'utilisation clés favorisant l'adoption

L'Agent Substrate est adapté à plusieurs charges de travail exigeantes :

• Assistants de codage et service d'agents : Les agents de codage nécessitent des environnements persistants pour effectuer des tâches telles que l'édition de fichiers et l'exécution de tests. L'Agent Substrate permet aux plateformes de gérer des milliers de sessions sans dédier des sandboxes chauds à chaque.
• Apprentissage par renforcement (RL) après formation : Les environnements RL impliquent des pics de demande de sandbox pendant les lots de déploiement. L'Agent Substrate minimise les délais de démarrage à froid, garantissant que les formateurs GPU ne restent pas inactifs.
• Sandboxes GPU pour la recherche : Les chercheurs ont souvent besoin de sandboxes GPU éphémères pour des tâches telles que la compilation CUDA et le benchmarking de noyaux. L'Agent Substrate facilite la création rapide de sandboxes et un partage équitable des ressources GPU.

Contributions récentes et développement futur

Plusieurs avancées ont été réalisées pour améliorer la fonctionnalité de l'Agent Substrate :

• Stationnement des requêtes : Lorsque tous les travailleurs sont occupés, les demandes entrantes sont mises en file d'attente et réessayées jusqu'à ce qu'un travailleur devienne disponible, empêchant les erreurs pendant les pics de demande.
• Support GPU : La possibilité de branchement des appareils a été introduite, permettant aux sandboxes de demander des dispositifs spécifiques, tels que des GPUs NVIDIA, via l'allocation dynamique des ressources Kubernetes (DRA).
• Limites de ressources par conteneur : Les limites de mémoire et de CPU garantissent que les conteneurs incontrôlés au sein d'une sandbox ne perturbent pas les conteneurs voisins.
• Sandboxes GPU avec état : Les agents peuvent désormais libérer des GPUs pendant les périodes d'inactivité et reprendre avec leur état intact, y compris les artefacts compilés et les données chargées.

La nature open-source de l'Agent Substrate et son intégration avec la plateforme DSX AI Factory de NVIDIA, y compris des composants comme KAI Scheduler et NVIDIA Dynamo, en font un outil essentiel pour la gestion évolutive et efficace des agents d'IA.