NVIDIA DSX KI-Fabrik verbessert die GPU-Validierung mit Runtime KI-Inventar
NVIDIA hat bedeutende Fortschritte bei der Validierung von GPU-Plattformen und dem Nachverfolgen von KI-Arbeitslasten durch die Integration seines AI-Cluster-RunTime (AICR) mit dem k8s -aibom-Projekt bekannt gegeben. Diese Entwicklung, Teil der NVIDIA DSX KI-Fabrik-Plattform, zielt darauf ab, kritische Lücken in der Governance der KI-Infrastruktur zu schließen, indem sie verbesserte Nachvollziehbarkeit und Reproduzierbarkeit für KI-Arbeitslasten bietet, die auf Kubernetes ausgeführt werden.
Verbesserte Validierung mit AICR
AICR, ein modulares Open-Source-Komponenten der NVIDIA DSX KI-Fabrik, generiert versionsgesperrte Rezepte und reproduzierbare Bereitstellungspakete für GPU-beschleunigte Kubernetes-Umgebungen. Jedes Rezept definiert eine spezifische Konfiguration, einschließlich Hardware, Cloud, Betriebssystem und Arbeitslastintention. Diese Rezepte werden gegen Bereitstellungspfade validiert, um Konsistenz und Sicherheit zu gewährleisten. Zum Beispiel bindet AICR aufwärts gerichtete Quellen, Diagramme und zusammengefasste kontrollierte Bilder in einen getesteten Satz, um die Herkunft zu überprüfen und die Sicherheitsstandards zu überprüfen.
Bereitstellungspakete, die von AICR erstellt wurden, enthalten Prüfziffern zur Integrität und optional eine signierte Zeichenfolge über den Befehl aicr bundle --attest. Diese Pakete können mit verschiedenen Tools wie Helm, Flux und Argo CD bereitgestellt werden, wodurch Flexibilität für Plattformteams gewährleistet wird. AICR v1.2.0 hat seine Fähigkeit unter Beweis gestellt, validierte GPU-Plattformen schnell und wiederholt zu liefern.
KI-Arbeitslastinventar mit k8s -aibom
k8s -aibom, ein von Google entwickeltes Open-Source-Projekt, ergänzt AICR, indem es die auf Kubernetes laufenden KI-Arbeitslasten verfolgt. Es gibt CycloneDX 1.6 KI-Stücklisten (AIBOM) für erkannte Arbeitslasten aus und bietet detaillierte Einblicke in Modelle, Inferenzlaufzeiten und Abhängigkeiten. Das System unterstützt native Dynamo-Grafiken, NIMService, LeaderWorkerSet, DisaggregatedSet und CronJob-Ressourcen, unter anderem.
Zwei Standardrezepte—h100 -gke-cos-inference und h100 -gke-cos-inference-dynamo—wählen standardmäßig k8s -aibom aus, während andere Google Kubernetes Engine (GKE) Rezepte sich über das --runtime-inventory Flag einschreiben können. Während des stabilen Betriebs hat k8s -aibom eine effiziente Ressourcennutzung gezeigt, einschließlich etwa vier API-Server-Anfragen pro Minute, einem durchschnittlichen CPU-Verbrauch von 2.2 Milli-Kernen und einem Arbeitssatz von 28 bis 34 MiB Arbeitsspeicher.
Vereinte KI-Governance
Die Integration von AICR und k8s -aibom adressiert zwei Enden des Lebenszyklus der KI-Infrastruktur. Während AICR sicherstellt, dass GPU-Plattformen aus validierten Konfigurationen erstellt werden, bietet k8s -aibom Sichtbarkeit über die auf diesen Plattformen laufenden KI-Arbeitslasten. Gemeinsam verbessern sie die KI-Governance, indem sie Sicherheitsüberprüfungen, Compliance-Audits und Vorfallreaktionen ermöglichen.
Dieser vereinheitlichte Ansatz hilft dabei, nicht registrierte oder Schatten-KI-Arbeitslasten zu identifizieren, Änderungen in Abhängigkeiten zu erkennen und externe KI-APIs sowie Vektordatenbanken nachzuverfolgen. Durch die Überbrückung der Kluft zwischen der Plattformvalidierung und der Nachverfolgbarkeit der Arbeitslasten zielt NVIDIA darauf ab, eine robuste Basis für das Design, den Aufbau und den Betrieb von KI-Fabriken zu bieten.