A Fábrica de IA DSX da NVIDIA Melhora a Validação de GPU com Inventário de IA em Tempo de Execução
A NVIDIA anunciou avanços significativos na validação de plataformas de GPU e no rastreamento de cargas de trabalho de IA através da integração de seu AI Cluster Runtime (AICR) com o projeto k8s -aibom. Esse desenvolvimento, parte da Plataforma NVIDIA DSX AI Factory, aborda lacunas críticas na governança da infraestrutura de IA, proporcionando melhor rastreabilidade e reprodutibilidade para cargas de trabalho de IA em execução no Kubernetes.
Validação Aprimorada com AICR
AICR, um componente modular de código aberto da NVIDIA DSX AI Factory, gera receitas bloqueadas por versão e pacotes de implantação reprodutíveis para ambientes Kubernetes acelerados por GPU. Cada receita define uma configuração específica, incluindo hardware, nuvem, sistema operacional e intenção da carga de trabalho. Essas receitas são validadas contra os caminhos de implantação, garantindo consistência e segurança. Por exemplo, o AICR vincula fontes upstream, gráficos e imagens de controlador com digest-pinned em um conjunto testado, verificando a proveniência e revisando os padrões de segurança.
Os pacotes de implantação criados pelo AICR incluem somas de verificação para integridade e assinatura opcional através do comando aicr bundle --attest. Esses pacotes podem ser implantados usando diversas ferramentas, como Helm, Flux e Argo CD, oferecendo flexibilidade para as equipes da plataforma. O AICR v1.2.0 demonstrou sua capacidade de entregar plataformas de GPU validadas de forma rápida e repetível.
Inventário de Cargas de Trabalho de IA com k8s -aibom
O k8s -aibom, um projeto de código aberto desenvolvido pelo Google, complementa o AICR ao rastrear cargas de trabalho de IA em execução no Kubernetes. Ele emite CycloneDX 1.6 faturas de materiais (AIBOMs) para cargas de trabalho reconhecidas, fornecendo insights detalhados sobre modelos, tempos de execução de inferência e dependências. O sistema oferece suporte a gráficos Dynamo nativos, NIMService, LeaderWorkerSet, DisaggregatedSet e recursos CronJob, entre outros.
Duas receitas padrão—h100 -gke-cos-inference e h100 -gke-cos-inference-dynamo—seletivamente utilizam k8s -aibom por padrão, enquanto outras receitas do Google Kubernetes Engine (GKE) podem optar pelo uso da flag --runtime-inventory. Durante a operação em estado constante, o k8s -aibom demonstrou uso eficiente de recursos, incluindo aproximadamente quatro solicitações de API-server por minuto, uso médio de CPU de 2.2 milicores e um conjunto de memória de trabalho de 28 a 34 MiB.
Governança Unificada de IA
A integração do AICR e do k8s -aibom aborda duas extremidades do ciclo de vida da infraestrutura de IA. Enquanto o AICR garante que as plataformas de GPU sejam construídas a partir de configurações validadas, o k8s -aibom fornece visibilidade sobre as cargas de trabalho de IA em execução nessas plataformas. Juntos, eles aprimoram a governança de IA, permitindo revisões de segurança, auditorias de conformidade e respostas a incidentes.
Essa abordagem unificada ajuda a identificar cargas de trabalho de IA não registradas ou em sombra, detectar mudanças nas dependências e rastrear APIs externas de IA e bancos de dados vetoriais. Ao fechar a lacuna entre a validação da plataforma e a rastreabilidade da carga de trabalho, a NVIDIA visa fornecer uma base robusta para projetar, construir e operar fábricas de IA.