NVIDIA Déploie des Agents IA pour Optimiser les Opérations DGX SuperPOD

NVIDIA a dévoilé son Agent des Opérations de l'Usine IA, un cadre conçu pour optimiser la gestion de son infrastructure DGX SuperPOD. En s'appuyant sur des agents spécifiques à un domaine pilotés par IA, le système vise à réduire la charge de travail manuelle des ingénieurs de fiabilité sur site (SRE) et à rationaliser l'analyse des causes profondes à travers les couches de calcul, de réseau, de matériel et de planification.

Cadre Opérationnel Piloté par IA

L'Agent des Opérations de l'Usine IA intègre plusieurs agents spécialisés qui communiquent via le Protocole de Contexte de Modèle (MCP), une norme ouverte introduite par Anthropic en 2024-11. Ce protocole permet une interaction transparente entre les applications IA et les outils externes, permettant à NVIDIA de maximiser le temps de fonctionnement et les performances dans ses environnements d'usine IA. Le système est construit autour du plan NemoClaw de NVIDIA, qui orchestre des agents et des outils spécifiques à un domaine via une interface de chat orientée utilisateur.

Les composants clés du cadre comprennent :

• Agent de Récupération de Travail : Identifie les échecs des travaux d'entraînement et effectue une analyse des causes profondes à plusieurs niveaux.
• Agent Matériel : Diagnostique les problèmes matériels tels que les erreurs PCIe, les pannes de GPU et les anomalies thermiques.
• Agent d'Observabilité : Génère dynamiquement des tableaux de bord à l'aide des journaux Prometheus et Grafana Loki.
• Agent Kubernetes : Fournit des informations en lecture seule sur les ressources de cluster et les états de planification.
• Agent de Gestion de Cluster : Interfère avec les API du Gestionnaire de Commande de Base de NVIDIA pour les diagnostics et la résolution des problèmes de cluster.

La conception modulaire permet aux organisations d'intégrer des agents et des infrastructures supplémentaires sans modifier les composants existants. Le système prend en charge le déploiement sur site et la souveraineté des données, avec des inférences d'agents alimentées par des modèles ouverts NVIDIA Nemotron servis localement.

Architecture Technique

L'Agent des Opérations de l'Usine IA fonctionne comme une application de plan de contrôle Kubernetes. Helm déploie l'interface utilisateur, la passerelle OpenClaw, les serveurs d'outils MCP, le point de terminaison des inférences et le temps d'exécution NVIDIA OpenShell en tant que services Kubernetes. Le temps d'exécution OpenShell garantit une exécution sécurisée et vérifiable en créant des bacs à sable Kubernetes par session pour les commandes shell, évitant ainsi l'accès direct aux identifiants Kubernetes.

Les mesures de sécurité incluent le contrôle d'accès basé sur les rôles (RBAC) et des outils d'inspection côté serveur, garantissant que les agents fonctionnent dans des permissions prédéfinies. Par exemple, les agents peuvent lire des données de pod et de configmap, mais sont restreints dans la création ou la mise à jour des pods.

Bénéfices Opérationnels et Enseignements

En production, les agents de NVIDIA ont démontré la capacité de détecter des échecs, de corréler les causes profondes à travers plusieurs couches et de fournir des recommandations exploitables via une interface en langage naturel. Les enseignements clés de la mise en œuvre de NVIDIA incluent :

• Maintenir des limites claires entre les agents pour éviter les responsabilités chevauchantes.
• Établir la confiance grâce à des opérations en lecture seule avant d'introduire l'automatisation.
• Améliorer l'analyse des causes profondes en corrélant des signaux à travers les couches de charge de travail, matériel et réseau.
• Améliorer la précision de l'acheminement des outils avec des définitions MCP précises.
• Assurer la transparence en rendant visibles les preuves et le raisonnement pour la révision par l'SRE.

Applications Futures

Bien qu'actuellement déployé au sein des environnements DGX SuperPOD de NVIDIA, le cadre de l'Agent des Opérations de l'Usine IA est conçu pour la scalabilité et l'adaptabilité. Les organisations exploitant de grandes usines IA peuvent mettre en œuvre le système pour unifier les flux de travail opérationnels, améliorer l'observabilité et réduire l'intervention manuelle dans la gestion de l'infrastructure.