La Fábrica de IA DSX de NVIDIA Mejora la Validación de GPU con Inventario de IA en Tiempo de Ejecución
NVIDIA ha anunciado avances significativos en la validación de plataformas GPU y el rastreo de cargas de trabajo de IA a través de la integración de su Runtime de Clúster de IA (AICR) con el proyecto k8s -aibom. Este desarrollo, parte de la Plataforma de Fábrica de IA DSX de NVIDIA, aborda brechas críticas en la gobernanza de la infraestructura de IA al proporcionar una mayor trazabilidad y reproducibilidad para las cargas de trabajo de IA que se ejecutan en Kubernetes.
Validación Mejorada con AICR
AICR, un componente modular de código abierto de la Fábrica de IA DSX de NVIDIA, genera recetas bloqueadas por versión y paquetes de implementación reproducibles para entornos Kubernetes acelerados por GPU. Cada receta define una configuración específica, que incluye hardware, nube, sistema operativo e intención de carga de trabajo. Estas recetas se validan contra rutas de implementación, asegurando consistencia y seguridad. Por ejemplo, AICR asocia fuentes ascendentes, gráficos e imágenes de controladores fijadas en resumen en un conjunto probado, verificando el origen y revisando los valores predeterminados de seguridad.
Los paquetes de implementación creados por AICR incluyen sumas de comprobación para la integridad y una firma opcional a través del comando aicr bundle --attest. Estos paquetes son desplegables utilizando diversas herramientas como Helm, Flux y Argo CD, proporcionando flexibilidad a los equipos de plataforma. AICR v1.2.0 ha demostrado su capacidad para entregar plataformas GPU validadas de manera rápida y repetible.
Inventario de Cargas de Trabajo de IA con k8s -aibom
k8s -aibom, un proyecto de código abierto desarrollado por Google, complementa a AICR al rastrear cargas de trabajo de IA que se ejecutan en Kubernetes. Emite facturas de materiales de IA CycloneDX 1.6 (AIBOM) para cargas de trabajo reconocidas, proporcionando información detallada sobre modelos, tiempos de inferencia y dependencias. El sistema admite gráficos de Dynamo nativos, NIMService, LeaderWorkerSet, DisaggregatedSet y recursos de CronJob, entre otros.
Dos recetas de stock—h100 -gke-cos-inference y h100 -gke-cos-inference-dynamo—seleccionan k8s -aibom por defecto, mientras que otras recetas de Google Kubernetes Engine (GKE) pueden optar por utilizar la opción --runtime-inventory. Durante la operación en estado estable, k8s -aibom ha mostrado uso eficiente de recursos, incluyendo aproximadamente cuatro solicitudes por minuto al servidor API, un promedio de uso de CPU de 2.2 milicores, y un conjunto de trabajo de memoria de 28 a 34 MiB.
Gobernanza Unificada de IA
La integración de AICR y k8s -aibom aborda dos extremos del ciclo de vida de la infraestructura de IA. Mientras AICR asegura que las plataformas GPU se construyan a partir de configuraciones validadas, k8s -aibom proporciona visibilidad sobre las cargas de trabajo de IA que se ejecutan en esas plataformas. Juntos, mejoran la gobernanza de la IA al habilitar revisiones de seguridad, auditorías de cumplimiento y respuesta a incidentes.
Este enfoque unificado ayuda a identificar cargas de trabajo de IA no registradas o sombras, detectar cambios en las dependencias y rastrear API de IA externas y bases de datos vectoriales. Al cerrar la brecha entre la validación de la plataforma y la trazabilidad del trabajo, NVIDIA aspira a proporcionar una base sólida para diseñar, construir y operar fábricas de IA.