Agent Substrate verbessert Kubernetes für skalierbares AI-Agenten-Management

NVIDIA hat Agent Substrate eingeführt, eine Open-Source-Laufzeitumgebung, die entwickelt wurde, um das Management von AI-Agenten in großem Maßstab zu optimieren. Jetzt Teil des Cloud Native Computing Foundation (CNCF) Sandbox, adressiert Agent Substrate Ineffizienzen in Kubernetes bei der Handhabung von Workloads, die durch häufige Leerlaufzustände und schnelle Zustandsübergänge gekennzeichnet sind. Die Plattform bietet eine 10x höhere Dichte von Agenten im Vergleich zu Standardcontainern und gewährleistet gleichzeitig Sicherheit durch Zero-Trust-Prinzipien.

Herausforderungen mit traditionellem Kubernetes für AI-Agenten

AI-Agenten wechseln oft zwischen kurzen Aktivitätsphasen und langen Leerlaufzeiten, was erfordert, dass ihr Zustand – einschließlich Speicher, Dateisystem und Prozesse – zwischen den Schritten persistiert. Traditionelle Kubernetes-Workflows, die das Starten eines neuen Pods für jede Sitzung beinhalten, führen zu erheblichen Verzögerungen aufgrund von API-Server-Interaktionen, Image-Pulls und Netzwerkeinrichtungen. Diese Verzögerungen sind für langfristige Dienste akzeptabel, aber für Agenten, die Mikroaufgaben in Millisekunden oder Sekunden ausführen, unpraktisch.

Plattformteams stehen vor zwei suboptimalen Optionen: Pods warm halten, was Rechenressourcen verschwendet, oder Pods auf Abruf zu erstellen, was Kaltstart-Strafen mit sich bringt. Agent Substrate löst diese Probleme, indem es Agenten ermöglicht, ihre Operationen effizient zu pausieren und wieder aufzunehmen, ohne neue Pods erstellen zu müssen.

Wie Agent Substrate funktioniert

Agent Substrate arbeitet, indem es einen Pool von bereitstehenden Arbeits-Pods in Kubernetes aufrechterhält. Wenn ein Agent inaktiv wird, wird sein Zustand erfasst, einschließlich Speicher und Dateisystem, und der Arbeiter wird für andere Aufgaben freigegeben. Wenn der Agent reaktiviert wird, wird sein Zustand auf einen verfügbaren Arbeiter wiederhergestellt, wobei der Kubernetes-API-Server und der Scheduler umgangen werden. Dieser Ansatz sorgt für eine schnelle Wiederaufnahme der Operationen, wobei Agenten in weniger als 500 Millisekunden aufwachen.

Die Laufzeit unterstützt mehrere Sandbox-Technologien wie gVisor und microVMs, um sichere, isolierte Umgebungen für jeden Agenten zu gewährleisten. Es integriert sich auch nahtlos mit Kubernetes-Funktionen wie Cluster-Scheduling, Quoten und Platzierungspolitiken.

Wichtige Anwendungsfälle, die die Akzeptanz vorantreiben

Agent Substrate ist auf mehrere anspruchsvolle Workloads zugeschnitten:

• Coding-Assistenten und Agentenservices: Coding-Agenten benötigen persistente Umgebungen, um Aufgaben wie Dateibearbeitung und Testausführung durchzuführen. Agent Substrate ermöglicht es Plattformen, tausende von Sitzungen zu bedienen, ohne jeden eine warme Sandbox zu widmen.
• Verstärkendes Lernen (RL) nach dem Training: RL-Umgebungen erfordern während Rollout-Batches Phasen mit hoher Sandbox-Nachfrage. Agent Substrate minimiert Kaltstartverzögerungen und stellt sicher, dass GPU-Trainer nicht inaktiv sind.
• GPU-Sandboxes für Forschung: Forscher benötigen oft kurzlebige GPU-Sandboxes für Aufgaben wie CUDA-Kompilierung und Kernel-Benchmarking. Agent Substrate erleichtert die schnelle Erstellung von Sandboxes und die faire Nutzung von GPU-Ressourcen.

Neueste Beiträge und zukünftige Entwicklungen

Mehrere Fortschritte wurden erzielt, um die Funktionalität von Agent Substrate zu verbessern:

• Anfrage-Parkplätze: Wenn alle Arbeiter beschäftigt sind, werden eingehende Anfragen in einer Warteschlange platziert und erneut versucht, bis ein Arbeiter verfügbar ist, wodurch Fehler während hoher Nachfragezeiten vermieden werden.
• GPU-Unterstützung: Die Gerätesteckbarkeit wurde eingeführt, sodass Sandboxes spezifische Geräte wie NVIDIA-GPUs über Kubernetes Dynamic Resource Allocation (DRA) anfordern können.
• Ressourcenlimits pro Container: Speicher- und CPU-Limits stellen sicher, dass außer Kontrolle geratene Container innerhalb einer Sandbox benachbarte Container nicht stören.
• Zustandsbehaftete GPU-Sandboxes: Agenten können jetzt GPUs während Leerlaufzeiten freigeben und mit ihrem Zustand, einschließlich kompilierter Artefakte und geladener Daten, wieder aufnehmen.

Die Open-Source-Natur von Agent Substrate und die Integration mit NVIDIA's DSX AI Factory Platform, einschließlich Komponenten wie KAI Scheduler und NVIDIA Dynamo, positionieren es als ein entscheidendes Werkzeug für das skalierbare, effiziente Management von AI-Agenten.