Фабрика ИИ DSX от NVIDIA Улучшает Проверку GPU с помощью Инвентаризации ИИ в Режиме Реального Времени
NVIDIA объявила о значительных достижениях в проверке платформ GPU и отслеживании рабочих нагрузок ИИ через интеграцию своего AI Cluster Runtime (AICR) с проектом k8s -aibom. Это развитие, часть платформы NVIDIA DSX AI Factory, устраняет критические пробелы в управлении инфраструктурой ИИ, обеспечивая лучшую отслеживаемость и воспроизводимость для рабочих нагрузок ИИ, работающих на Kubernetes.
Улучшенная Проверка с AICR
AICR, модульный компонент с открытым исходным кодом платформы NVIDIA DSX AI Factory, создает рецепты, заблокированные по версиям, и воспроизводимые пакеты развертывания для окружений Kubernetes, ускоренных GPU. Каждый рецепт определяет конкретную конфигурацию, включая оборудование, облако, операционную систему и намерение рабочей нагрузки. Эти рецепты проверяются на соответствие путям развертывания, что обеспечивает согласованность и безопасность. Например, AICR связывает источники upstream, графики и изображения контроллеров с фиксированной хеш-суммой в проверенный набор, проверяя происхождение и пересматривая параметры безопасности.
Пакеты развертывания, созданные AICR, включают контрольные суммы для целостности и опциональную подпись через команду aicr bundle --attest. Эти пакеты могут быть развернуты с помощью различных инструментов, таких как Helm, Flux и Argo CD, что обеспечивает гибкость для команд платформы. AICR v1.2.0 продемонстрировала свою способность быстро и повторяемо предоставлять проверенные платформы GPU.
Инвентаризация Рабочих Нагрузок ИИ с k8s -aibom
k8s -aibom, проект с открытым исходным кодом, разработанный Google, дополняет AICR, отслеживая рабочие нагрузки ИИ, работающие на Kubernetes. Он выдает CycloneDX 1.6 счета материалов (AIBOM), обеспечивая подробные отзывы о моделях, времени вывода и зависимостях. Система поддерживает нативные графы Dynamo, NIMService, LeaderWorkerSet, DisaggregatedSet и ресурсы CronJob и др.
Две стандартные рецепты—h100 -gke-cos-inference и h100 -gke-cos-inference-dynamo—по умолчанию используют k8s -aibom, в то время как другие рецепты Google Kubernetes Engine (GKE) могут выбрать использование с помощью флага --runtime-inventory. Во время работы в стабильном состоянии k8s -aibom продемонстрировала эффективное использование ресурсов, включая примерно четыре запроса API-сервера в минуту, среднее использование ЦП на уровне 2.2 милликоров и объем оперативной памяти от 28 до 34 MiB.
Единое Управление ИИ
Интеграция AICR и k8s -aibom решает две стороны жизненного цикла инфраструктуры ИИ. В то время как AICR обеспечивает построение платформ GPU на основе проверенных конфигураций, k8s -aibom предоставляет видимость рабочих нагрузок ИИ, работающих на этих платформах. Вместе они улучшат управление ИИ, позволяя проводить проверки безопасности, аудиты соблюдения норм и реагирование на инциденты.
Этот единый подход помогает выявлять нерегистрируемые или теневые загрузки ИИ, обнаруживать изменения в зависимостях и отслеживать внешние ИИ-API и векторные базы данных. Устранение разрыва между проверкой платформы и отслеживанием нагрузки позволяет NVIDIA создать надежную основу для проектирования, строительства и эксплуатации фабрик ИИ.