NVIDIA detalha três otimizações de inferência para DGX Spark
A NVIDIA afirmou três otimizações de software podem melhorar significativamente a inferência no DGX Spark ao rodar o modelo Ling-3.0-flash do Inclusion IA, com os maiores ganhos vindo da decodificação especulativa uma vez que os componentes estejam configurados para funcionar juntos. Em um post publicado em 27 de outubro de 2026, a empresa relatou geração de tokens mais rápida e menor latência de ponta a ponta, além de alertar que um erro na integração pode tornar a configuração combinada mais lenta do que a linha base não otimizada.
O que a NVIDIA mediu
A avaliação utilizou Ling-3.0-flash-fp4, um modelo de mistura de especialistas com 124 bilhões de parâmetros totais e 5.1 bilhões de parâmetros ativos por token, segundo a postagem da NVIDIA. A linha de base seguiu a configuração do livro de receitas da empresa, incluindo kernels MoE do FlashInfer MXFP4 , GEMM denso do NVIDIA CUTLASS e fp32 saída com cabeça LM. A NVIDIA disse que o perfil mostrou que o caminho de decodificação era limitado à memória, com leituras em peso dominando o tempo de execução, e que o cálculo MoE e a projeção da camada de saída eram os principais alvos para otimização.
Em uma carga de trabalho sintética com 32,000 tokens de entrada, 2,000 tokens de saída e tamanho de lote 1, a primeira otimização, trocando o backend Humming MXFP4 MoE, reduzindo o tempo por token de saída de 27.71 ms para 25.35 ms e aumentando a taxa de decodificação de 36.09 tok/s para 39.45 tok/s, ou 9.3% em relação à linha base, segundo a NVIDIA. Adicionar online quantização FP8 LM-head reduziu ainda mais o TPOT para 22.76 ms e aumentou a taxa de transferência para 43.94 tok/s, um ganho cumulativo de 21.7% em relação à linha base.
A terceira técnica, a decodificação especulativa de previsão multi-token com NEXTN, teve o maior efeito no teste sintético. A NVIDIA disse que a pilha completa de otimização de três reduziu o TPOT para 9.72 ms e elevou o throughput de decodificação para 102.88 tok/s, uma melhora 185.1% em relação à base dessa configuração sintética. A empresa afirmou que o tempo de aceitação do MTP atingiu 3.90 tokens por rodada nesse teste, mas alertou que o resultado não estabelece ganhos comparáveis em outras cargas de trabalho.
Os resultados de GSM8K de ponta a ponta foram mais modestos
A NVIDIA também relatou uma comparação mais rigorosa de ponta a ponta em todas as perguntas de teste 1,319 GSM8K usando prompting cinco-shot, 0.6 de temperatura, top_p 0.95, top_k 29 e max_tokens 32,768, com a cadeia de pensamento ativada. Nessa execução, a linha de base apresentou 26.45 ms de TPOT e 37.81 tok/s, enquanto a configuração totalmente otimizada atingiu 18.56 ms de TPOT e 53.89 tok/s, um aumento 42.5% de throughput. A latência média caiu de 15.21 segundos para 11.49 segundos, uma redução 24.5%, enquanto GSM8K precisão passou de 96.89% para 96.82%, uma diferença de 0.08 pontos percentuais, segundo o post.
A empresa afirmou que a diferença entre os ganhos de carga sintética e real refletia vários fatores, incluindo saídas sintéticas mais repetitivas, amostragem gulosa mais simples no teste sintético e saídas reais mais curtas, que diluem os custos fixos de cada etapa de decodificação. A NVIDIA observou que o comprimento mediano da saída GSM8K era cerca de 310 tokens, em comparação com uma saída sintética fixa 2,000 tokens, e afirmou que o benchmark sintético, portanto, superestima os benefícios da decodificação especulativa para outras cargas de trabalho.
Ressalva sobre integração importa
A NVIDIA afirmou que as técnicas três não se sobrepõem conceitualmente: zumbido e quantização FP8 LM-head reduzem o custo de cada etapa de decodificação, enquanto o MTP reduz o número de etapas. Mas a empresa também apontou um problema de implantação. Quando online FP8 quantização LM-head e MTP são ativados juntos, o modelo preliminar deve compartilhar o módulo LM-head completo com o modelo alvo. Sem essa interface, a NVIDIA disse que o framework pode silenciosamente cair para uma configuração quebrada em que o comprimento de aceitação cai para 1.00 e a taxa de transferência fica abaixo da linha base.
O aviso prático do post é que a validação de inicialização importa tanto quanto os números dos benchmarks. A NVIDIA disse que os desenvolvedores deveriam verificar se cada otimização está ativa no lançamento, em vez de inferir o estado da configuração apenas pelo desempenho posterior. O artigo não forneceu um próximo catalisador agendado além da orientação publicada.