NVIDIA détaille l’outil d’attribution pour diagnostiquer les défaillances d’IA distribuée

NVIDIA a défini un système d’attribution de charge de travail conçu pour retracer les défaillances d’IA distribuée jusqu’à leur événement initial, plutôt que de s’arrêter aux erreurs en aval qui apparaissent entre rangs et nœuds. L’entreprise a indiqué que l’outil corrélait les journaux, les métriques, la télémétrie et l’état du planificateur afin de produire un diagnostic structuré incluant le résultat, la cause profonde, les nœuds affectés, les symptômes de soutien et une trace de preuves.

Comment fonctionne le système

Dans un article de blog 2026-11-02, NVIDIA a décrit Attribution comme un système d’attribution d’échec centré sur la charge de travail, utilisant des règles déterministes pour rendre les résultats reproductibles et personnalisables. La société a indiqué que le système est open source et utilisé dans toute l’infrastructure IA NVIDIA. Selon le post, elle a analysé des millions de charges de travail chaque semaine sur des centaines de milliers de GPU.

L’architecture se compose de deux composants déployables : le Service d’attribution NVIDIA et le Blueprint d’attribution NVIDIA. Le Service analyse une tentative de charge de travail à la fois via une API REST, tandis que le Blueprint connecte les planificateurs de cluster et les sources de télémétrie, recueille le contexte de la charge de travail et écrit le résultat. NVIDIA a indiqué que le processus commence par définir le champ de la charge de travail, puis collecter des observations à partir des journaux d’application, syslogs, pilotes GPU et messages du gestionnaire Fabric, historique du planificateur, ainsi que métriques de nœuds et réseau.

Exemple de diagnostic

NVIDIA a indiqué qu’un exemple établi montre comment le système peut distinguer une cause profonde des symptômes en aval dans un travail de formation multi-rang. Dans l’exemple, un GPU rencontre une erreur grave, décrite comme XID 149, et des erreurs NCCL suivent sur d’autres rangs. Le système corréle ces événements, identifie le XID comme cause principale, retient les échecs NCCL dans la chaîne de symptômes et nomme le nœud responsable.

L’entreprise a également décrit un cas synthétique dans lequel les journaux d’application contenaient trois différentes erreurs NCCL et les journaux système sur node-02 montraient des 149 XID avec des mots d’erreur qui décodent un problème d’intégrité du signal NVLink. NVIDIA a indiqué que la règle de filtrage à l’étape PRÉCOCE décode le problème d’intégrité du signal tout en laissant les événements NCCL inchangés, et que le raffinement FINAL met en lumière le problème d’intégrité du signal sur node-02 tout en préservant les rapports NCCL comme preuve intéressante.

Limites et incertitude

NVIDIA a indiqué que la qualité de l’attribution dépend de la qualité et de l’exhaustivité de la télémétrie sous-jacente. Lorsque plusieurs causes correspondent aux preuves, l’entreprise a indiqué que la sub_domain est ambiguë. Le post a également indiqué que des preuves insuffisantes peuvent produire un résultat non attribué, indiquant que le système est conçu pour refléter l’incertitude plutôt que pour forcer un diagnostic définitif à partir de données incomplètes.

L’article n’a pas fourni de date de lancement pour une disponibilité plus large au-delà du 2026-11-02 post, et il n’a pas divulgué les prix ni les conditions commerciales.