NVIDIA detalha a receita do Kubernetes para suporte a Vera Rubin NVL72
A NVIDIA afirmou que seu IA Cluster Runtime pode deixar clusters Kubernetes prontos para Vera Rubin NVL72 bandejas de computação no dia um ao empacotar configurações ajustadas, gerar pacotes de implantação e validar o cluster em execução. A empresa enquadrou o esforço como parte de sua DSX IA Factory Platform e afirmou que o trabalho aborda as mudanças de hardware, drivers e escalonadores necessárias quando novos sistemas de GPU são introduzidos em uma pilha nativa de nuvem.
O que muda para Vera Rubin NVL72
No post, a NVIDIA afirmou que o Vera Rubin NVL72 é uma evolução da mesma arquitetura em escala de rack MGX usada pela GB200 NVL72, mas com várias mudanças visíveis para o usuário que as equipes de plataforma precisam planejar. A empresa afirmou que o novo sistema exige o ramo R615.23 drivers, com suporte inicial direcionado para R610 e suporte oficial à plataforma em R620. Também afirmou que Vera Rubin substitui ConnectX-7 NICs e DPUs BlueField-3 por SuperNICs ConnectX-9 e DPUs BlueField-4 , e que o DOCA 3.3.0 é a primeira versão GA suportando ConnectX-9.
A NVIDIA disse que a topologia também muda de maneiras que são importantes para cargas de trabalho pesadas em I/O, como redes RDMA e armazenamento GPUDirect. Segundo o post, a bandeja de computação Vera Rubin NVL72 expõe oito ConnectX-9 grupos de dispositivos PCI com 32 funções, em comparação com adaptadores de quatro ConnectX-7 na bandeja de computação NVIDIA DGX GB200 NVL72. A empresa também afirmou que a conectividade GPU para NIC é NÓ dentro de um soquete e SYS entre soquetes, e que as contagens de funções PCI não representam as portas físicas.
O post ainda dizia que GPUs Rubin introduzem novos perfis MIG, mas que as receitas Vera Rubin descritas ali usam alocação completa da GPU e não configuram MIG. Acrescentou que cargas de trabalho NVLink NVIDIA multi-nós continuam usando IMEX, e que o DRA v0.5.0 inclui uma opção alpha gerenciada pelo host com isolamento de domínio apenas, enquanto o cluster descrito no post usa o modo driverManageed.
Validação em hardware inicial
A NVIDIA afirmou que validou a pilha de NVL72 Vera Rubin de ponta a ponta usando a versão oficial do GPU Operator v26.7.0 , a versão oficial do driver DRA v0.5.0 e um driver R615 instalado pelo host. A empresa afirmou que tanto as variantes de receitas de treinamento quanto as de inferência validaram com sucesso para implantação e conformidade, e que a receita de treinamento também passou por uma porta de desempenho baseada em um NCCL all-reduce entre nós sobre o tecido NVLink da NVIDIA por meio de um IMEX ComputeDomain.
Na tabela de validação, a NVIDIA relatou um resultado de desempenho de 744.71 GB/s largura de banda do barramento a 16 GiB para a primeira redução total NCCL entre nós em ambas as bandejas de computação. A empresa afirmou que a variante de inferência passou pela mesma matriz de implantação e conformidade no mesmo cluster, mas essa inferência que serve ao desempenho permanece adiada por enquanto.
A postagem também disse que as primeiras rodadas de validação foram temporariamente bloqueadas por um problema de hardware ou tecido em um dos primeiros clusters Vera Rubin que impedia uma bandeja de processamento fora do tecido NVLink. A NVIDIA disse que o problema não estava relacionado ao Operador da GPU ou ao driver DRA e foi resolvido após o hardware ser reinstalado.
Implantação baseada em receitas e limites registrados
Segundo a NVIDIA, o AICR captura as escolhas de plataforma necessárias para montar um cluster Vera Rubin funcional como uma receita versionada, incluindo modo driver, fiação em tempo de execução do container, versões dos componentes e configurações específicas da plataforma. A empresa afirmou que a nova família de receitas Vera Rubin para rke2, o acelerador de vr200 e o Ubuntu são lançados como Prévia, o que significa que é destinada a adotantes iniciais e ainda não possui o suporte à produção e a qualificação do ciclo de vida de uma receita suportada.
A postagem dizia que a receita codifica o modo driver gerenciado pelo host porque a imagem do sistema pré-instala o driver arm64 kernel aberto do módulo, enquanto o kit de ferramentas de contêineres permanece gerenciado pelo operador. Também afirmou que a receita permite ComputeDomains suportados por IMEX para o tecido NVL72 , deixa a alocação total da GPU no plugin do dispositivo e fixa um conjunto de pisos e peculiaridades, incluindo Kubernetes 1.34.1 ou posterior, Ubuntu 26.04 e um kernel otimizado para Vera arm64 64k páginas.
A NVIDIA disse que a primeira implantação do pacote teve como alvo uma combinação de plataforma que não havia sido previamente validada junta: arm64, Ubuntu 26.04, um kernel de 64k páginas, RKE2 e Vera Rubin. A empresa afirmou que essa configuração passou de handoff de cluster para um tempo de execução saudável em poucas horas, e que um segundo cluster Vera Rubin reproduziu o resultado no dia seguinte.
A postagem também afirmou que o limite validado não é definitivo. A NVIDIA observou que o desempenho de inferência servindo ainda depende de uma imagem de runtime publicada construída contra CUDA 13.4 ou posterior, e disse que as imagens públicas atuais de vLLM e IA-dynamo ainda não atendem a esse requisito da forma necessária para um piso de desempenho de inferência Vera Rubin. A empresa afirmou que as evidências de validação publicadas devem, portanto, ser tratadas como o registro histórico da coordenada da receita contra a qual foram capturadas.
A NVIDIA disse que as receitas de Vera Rubin são publicadas no repositório open-source NVIDIA/aicr em v1.0.0, e que os usuários podem gerar a configuração validada com comandos de receitas aicr para variantes de treinamento ou inferência.