NVIDIA Setzt KI-Agenten ein, um DGX SuperPOD-Betrieb zu Optimieren

NVIDIA hat seinen KI-Fabrikbetriebsagenten vorgestellt, einen Rahmen zur Optimierung des Managements seiner DGX SuperPOD-Infrastruktur. Durch den Einsatz von KI-gesteuerten, domänenspezifischen Agenten soll die manuelle Arbeitslast von Site Reliability Engineers (SREs) reduziert und die Ursachenanalyse über Compute-, Netzwerk-, Hardware- und Planungsebenen hinweg optimiert werden.

KI-gesteuertes Betriebssystem

Der KI-Fabrikbetriebsagent integriert mehrere spezialisierte Agenten, die über das Model Context Protocol (MCP) kommunizieren, einen offenen Standard, der von Anthropic in 2024-11 eingeführt wurde. Dieses Protokoll ermöglicht nahtlose Interaktionen zwischen KI-Anwendungen und externen Tools, sodass NVIDIA die Betriebszeit und Leistung in seinen KI-Fabrik-Umgebungen maximieren kann. Das System basiert auf dem NemoClaw-Blueprint von NVIDIA, der domänenspezifische Agenten und Werkzeuge über eine benutzerorientierte Chat-Oberfläche orchestriert.

Die Schlüsselkomponenten des Rahmens umfassen:

• Job Recovery Agent: Identifiziert Trainingsjobfehler und führt eine Ursachenanalyse auf mehreren Ebenen durch.
• Hardware-Agent: Diagnostiziert Hardwareprobleme wie PCIe-Fehler, GPU-Fehler und thermische Anomalien.
• Observability-Agent: Generiert dynamisch Dashboards mit Prometheus- und Grafana Loki-Protokollen.
• Kubernetes-Agent: Bietet nur-lesende Einblicke in Clusterressourcen und Planungszustände.
• Cluster Management Agent: Schnittstelle zu den APIs des NVIDIA Base Command Managers für Clusterdiagnosen und -fehlerbehebung.

Das modulare Design ermöglicht es Organisationen, zusätzliche Agenten und Infrastrukturen zu integrieren, ohne bestehende Komponenten zu ändern. Das System unterstützt lokale Bereitstellung und Datenhoheit, wobei die Agenten-Inferenz von lokal bereitgestellten NVIDIA Nemotron offenen Modellen unterstützt wird.

Technische Architektur

Der KI-Fabrikbetriebsagent arbeitet als Kubernetes-Control-Plane-Anwendung. Helm stellt die Benutzeroberfläche, das OpenClaw-Gateway, die MCP-Tool-Server, den Inferenzendpunkt und die NVIDIA OpenShell-Laufzeit als Kubernetes-Dienste bereit. Die OpenShell-Runtime gewährleistet eine sichere, prüfbare Ausführung, indem sie pro Sitzung Kubernetes-Sandkästen für Shell-Befehle erstellt, um den direkten Zugriff auf Kubernetes-Anmeldeinformationen zu vermeiden.

Sicherheitsmaßnahmen umfassen rollenbasierte Zugriffskontrolle (RBAC) und serverseitige Inspektionswerkzeuge, die sicherstellen, dass die Agenten innerhalb vordefinierter Berechtigungen arbeiten. Beispielsweise können Agenten Pod- und ConfigMap-Daten lesen, sind jedoch daran gehindert, Pods zu erstellen oder zu aktualisieren.

Betriebliche Vorteile und Erkenntnisse

In der Produktion haben die Agenten von NVIDIA die Fähigkeit gezeigt, Fehler zu erkennen, Ursachen auf mehreren Ebenen zu korrelieren und über eine natürliche Sprachschnittstelle umsetzbare Empfehlungen zu geben. Zu den wichtigen Erkenntnissen aus der Implementierung von NVIDIA gehören:

• Klare Agentengrenzen aufrechterhalten, um überlappende Verantwortlichkeiten zu vermeiden.
• Vertrauen durch nur-lesende Operationen aufbauen, bevor Automatisierung eingeführt wird.
• Die Ursachenanalyse durch die Korrelation von Signalen über Arbeitslast-, Hardware- und Netzwerkschichten verbessern.
• Die Genauigkeit der Werkzeugweiterleitung durch präzise MCP-Definitionen verbessern.
• Transparenz gewährleisten, indem Beweise und Argumente für die SRE-Überprüfung sichtbar gemacht werden.

Zukünftige Anwendungen

Obwohl derzeit in den DGX SuperPOD-Umgebungen von NVIDIA implementiert, ist das Framework des KI-Fabrikbetriebsagenten für Skalierbarkeit und Anpassungsfähigkeit konzipiert. Organisationen, die groß angelegte KI-Fabriken betreiben, können das System implementieren, um betriebliche Workflows zu vereinheitlichen, die Beobachtbarkeit zu verbessern und manuelle Eingriffe im Infrastrukturmanagement zu reduzieren.