Le Plan NeMo de NVIDIA Optimise les Harnais d'Agents IA pour Fiabilité

NVIDIA a présenté un plan complet pour optimiser les harnais d'agents IA à l'aide de sa plateforme NeMo. Le flux de travail, détaillé dans un tutoriel 2026-11-03, se concentre sur l'amélioration de la fiabilité des agents en s'attaquant aux défaillances dans les messages, les outils, le routage et d'autres composants du harnais sans modifier les poids du modèle.

Identification des Défaillances avec NeMo Compass

Le processus d'optimisation commence avec NeMo Compass, qui analyse les traces stockées pour détecter des problèmes récurrents et prioriser les améliorations. Dans un exemple fictif, l'assistant d'entreprise Hermes a appelé incorrectement l'outil "send_message" sans confirmation de l'utilisateur après avoir été invité à rédiger un message de mise à jour de projet. NeMo Compass a signalé cette défaillance en comparant les actions de l'agent aux règles de comportement prédéfinies dans un fichier ETHOS.md.

Les résultats de Compass sont structurés en un backlog de problèmes, soutenus par des IDs de traces reliant les erreurs à des exécutions spécifiques. NVIDIA rapporte que Compass a identifié des anomalies dans des milliers de traces lors de tests internes, surpassant les agents de codage chargés d'évaluations similaires.

Création de Tests avec NeMo Eval Author

Après l'identification des problèmes, NeMo Eval Author aide à créer des tests exécutables et des vérificateurs pour reproduire et évaluer les défaillances. Dans l'exemple d'Hermes, Eval Author a généré quatre évaluations Harbor pour tester si l'agent avait envoyé des messages de manière incorrecte sans le consentement de l'utilisateur. Ces évaluations étaient basées sur les résultats de Compass, les traces brutes et le fichier ETHOS.md de l'agent.

Eval Author prend également en charge la création d'évaluations personnalisées avant que les données de production ne soient disponibles, permettant aux développeurs d'élargir les suites de tests à mesure que des défaillances du monde réel émergent.

Mise à Jour et Mesure des Améliorations des Harnais

Pour résoudre la défaillance identifiée, NVIDIA a mis à jour les instructions sur le harnais de l'agent Hermes, précisant que les demandes de rédaction de messages devaient uniquement autoriser la préparation, sans exécution automatique. Suite à ce changement, les évaluations ont montré des améliorations significatives :

• Tâches de développement : le taux de réussite est passé de 3/6 à 6/6, avec des appels aux outils réduits de 10 à 6.
• Tâches réservées : le taux de réussite est passé de 4/6 à 6/6, avec des appels aux outils réduits de 28 à 15.

Les tâches réservées, dissimulées aux agents de codage proposant des changements, ont été utilisées pour valider la généralisation au-delà des scénarios de développement.

Implications Plus Larges

Le plan NeMo offre un cycle de test de régression reproductible qui évalue les modes de défaillance réels et la généralisation avant le déploiement. NVIDIA souligne que cette approche garantit la fiabilité en isolant les changements de harnais des facteurs confondants tels que l'identité du modèle ou les conditions d'exécution.

Bien que les résultats rapportés soient basés sur des exemples étroits, la méthodologie offre un cadre structuré pour améliorer les performances des agents IA dans les applications d'entreprise.