L'usine AI DSX de NVIDIA améliore la validation GPU avec l'inventaire AI à l'exécution
NVIDIA a annoncé des avancées significatives dans la validation des plateformes GPU et le suivi des charges de travail AI grâce à l'intégration de son AI Cluster Runtime (AICR) avec le projet k8s -aibom. Ce développement, qui fait partie de la plateforme NVIDIA DSX AI Factory, comble des lacunes critiques dans la gouvernance de l'infrastructure AI en fournissant une traçabilité et une reproductibilité améliorées pour les charges de travail AI fonctionnant sur Kubernetes.
Validation améliorée avec AICR
AICR, un composant modulaire open-source de la NVIDIA DSX AI Factory, génère des recettes versionnées et des ensembles de déploiement reproductibles pour les environnements Kubernetes accélérés par GPU. Chaque recette définit une configuration spécifique, y compris le matériel, le cloud, le système d'exploitation et l'intention de charge de travail. Ces recettes sont validées par rapport aux chemins de déploiement, garantissant la cohérence et la sécurité. Par exemple, AICR lie des sources en amont, des graphiques et des images de contrôleur fixées par un digest dans un ensemble testé, vérifiant la provenance et examinant les paramètres de sécurité par défaut.
Les ensembles de déploiement créés par AICR incluent des sommes de contrôle pour l'intégrité et une signature optionnelle via la commande aicr bundle --attest. Ces ensembles sont déployables à l'aide de divers outils tels que Helm, Flux et Argo CD, offrant ainsi une flexibilité pour les équipes de plateforme. AICR v1.2.0 a démontré sa capacité à fournir rapidement et de manière répétée des plateformes GPU validées.
Inventaire des charges de travail AI avec k8s -aibom
k8s -aibom, un projet open-source développé par Google, complète AICR en suivant les charges de travail AI fonctionnant sur Kubernetes. Il émet des factures de matériaux AI CycloneDX 1.6 (AIBOM) pour les charges de travail reconnues, fournissant des informations détaillées sur les modèles, les temps d'inférence et les dépendances. Le système prend en charge les graphiques Dynamo natifs, NIMService, LeaderWorkerSet, DisaggregatedSet et les ressources CronJob, entre autres.
Deux recettes de stock—h100 -gke-cos-inference et h100 -gke-cos-inference-dynamo—sélectionnent k8s -aibom par défaut, tandis que d'autres recettes Google Kubernetes Engine (GKE) peuvent s'inscrire via le drapeau --runtime-inventory. Pendant l'opération en état d'équilibre, k8s -aibom a montré une utilisation efficace des ressources, y compris environ quatre requêtes API-server par minute, une utilisation CPU moyenne de 2.2 millicores, et un ensemble de travail de mémoire de 28 à 34 MiB.
Gouvernance AI unifiée
L'intégration d'AICR et de k8s -aibom aborde deux aspects du cycle de vie de l'infrastructure AI. Alors qu'AICR garantit que les plateformes GPU sont construites à partir de configurations validées, k8s -aibom fournit une visibilité sur les charges de travail AI fonctionnant sur ces plateformes. Ensemble, ils améliorent la gouvernance AI en permettant des examens de sécurité, des audits de conformité et des réponses aux incidents.
Cette approche unifiée aide à identifier les charges de travail AI non enregistrées ou cachées, à détecter les changements dans les dépendances et à suivre les API AI externes et les bases de données vectorielles. En comblant le fossé entre la validation de la plateforme et la traçabilité des charges de travail, NVIDIA vise à fournir une base solide pour concevoir, construire et exploiter des usines d'AI.