NVIDIA Details Attributionstool zur Diagnose verteilter KI-Fehler

NVIDIA hat ein Workload-Attribution-System entwickelt, das verteilte KI-Fehler bis zu ihrem auslösenden Ereignis zurückverfolgen soll, anstatt bei den nachgelagerten Fehlern zu stoppen, die über Ränge und Knoten hinweg auftreten. Das Unternehmen sagte, das Tool korreliere Logs, Metriken, Telemetrie und Scheduler-Zustand, um eine strukturierte Diagnose zu erstellen, die das Ergebnis, die Ursache, betroffene Knoten, unterstützende Symptome und eine Evidenzspur umfasst.

Wie das System funktioniert

In einem 2026-11-02 Blogbeitrag beschrieb NVIDIA Attribution als ein arbeitslastzentriertes, fehlerzentriertes Attributionssystem, das deterministische Regeln verwendet, um Ergebnisse reproduzierbar und anpassbar zu machen. Das Unternehmen erklärte, das System sei Open Source und werde in der gesamten NVIDIA-KI-Infrastruktur verwendet. Laut dem Beitrag wurden jede Woche Millionen von Arbeitslasten über Hunderttausende von GPUs hinweg analysiert.

Die Architektur besteht aus zwei deployierbaren Komponenten: dem NVIDIA Attribution Service und dem NVIDIA Attribution Blueprint. Der Service analysiert eins Workload-Versuch jeweils über eine REST-API, während der Blueprint Cluster-Scheduler und Telemetriequellen verbindet, den Workload-Kontext sammelt und das Ergebnis schreibt. NVIDIA erklärte, der Prozess beginne mit der Scoping der Workload, dann Beobachtungen aus Anwendungsprotokollen, Systemlogs, GPU-Treiber- und Fabric Manager-Nachrichten, Scheduler-Verlauf sowie Knoten- und Netzwerkmetriken.

Beispieldiagnose

NVIDIA sagte, ein ausgearbeitetes Beispiel zeigt, wie das System eine Ursache von nachgelagerten Symptomen in einem Multi-Rang-Trainingsjob unterscheiden kann. Im Beispiel stößt eins GPU auf einen schweren Fehler, der als XID 149 bezeichnet wird, und NCCL-Fehler folgen bei anderen Rängen. Das System korreliert diese Ereignisse, identifiziert die XID als Ursache, speichert die NCCL-Fehler in der Symptomkette und benennt den verantwortlichen Knoten.

Das Unternehmen beschrieb außerdem einen synthetischen Fall, in dem Anwendungsprotokolle drei verschiedenen NCCL-Fehlern und Systemprotokollen auf node-02 XID-149 mit Fehlerwörtern zeigten, die zu einem NVLink-Signalintegritätsproblem entschlüsseln. NVIDIA erklärte, dass die EARLY-stage-Filtering-Regel das Signalintegritätsproblem entschlüsselt, während die NCCL-Ereignisse unverändert bleiben, und die FINAL Refinement deckt das Signalintegritätsproblem auf node-02 auf, während die NCCL-Berichte als interessante Beweise erhalten bleiben.

Grenzen und Unsicherheit

NVIDIA erklärte, dass die Qualität der Attribution von der Qualität und Vollständigkeit der zugrundeliegenden Telemetrie abhängt. Wenn mehrere Ursachen mit den Beweisen übereinstimmen, erklärte das Unternehmen, sei die sub_domain mehrdeutig. Der Beitrag sagte außerdem, dass unzureichende Beweise ein nicht zugeordnetes Ergebnis liefern können, was darauf hindeutet, dass das System darauf ausgelegt ist, Unsicherheit widerzuspiegeln, anstatt eine eindeutige Diagnose aus unvollständigen Daten zu erzwingen.

Der Artikel nannte kein Veröffentlichungsdatum für eine breitere Verfügbarkeit über den 2026-11-02 Beitrag hinaus und gab weder Preise noch kommerzielle Bedingungen bekannt.