NVIDIA detalla tres optimizaciones de inferencia para DGX Spark
NVIDIA afirmó que tres optimizaciones de software pueden mejorar sustancialmente la inferencia en DGX Spark al ejecutar el modelo Ling-3.0-flash de Inclusion IA, con las mayores ganancias provenientes de la decodificación especulativa una vez que los componentes están configurados para funcionar juntos. En una publicación publicada el 27 de octubre de 2026, la empresa informó de una generación de tokens más rápida y una latencia de extremo a extremo más baja, además de advertir que uno error en la integración puede hacer que la configuración combinada sea más lenta que la línea base no optimizada.
Lo que midió NVIDIA
La evaluación utilizó Ling-3.0-flash-fp4, un modelo de expertos con 124 mil millones de parámetros totales y 5.1 mil millones de parámetros activos por token, según la publicación de NVIDIA. La línea base seguía la configuración de la empresa con receta, incluyendo kernels MoE de FlashInfer MXFP4 , NVIDIA CUTLASS denso GEMM y fp32 salida de cabezal LM. NVIDIA dijo que el perfilado mostró que la ruta de decodificación estaba limitada por la memoria, con lecturas en peso dominando el tiempo de ejecución, y que el cálculo MoE y la proyección en la capa de salida eran los principales objetivos para la optimización.
En una carga sintética con 32,000 tokens de entrada, tokens de salida 2,000 y tamaño de lote 1, la primera optimización, el intercambio del backend Humming MXFP4 MoE, redujo el tiempo por token de salida de 27.71 ms a 25.35 ms y aumentó el rendimiento de decodificación de 36.09 tok/s a 39.45 tok/s, o 9.3% respecto a la línea base, según NVIDIA. Añadir cuantización online FP8 cabeza LM redujo aún más TPOT a 22.76 ms y aumentó el rendimiento a 43.94 tok/s, una ganancia acumulada de 21.7% respecto a la línea base.
La tercera técnica, la decodificación especulativa de predicción multi-token con NEXTN, tuvo el mayor efecto en la prueba sintética. NVIDIA afirmó que la pila completa de optimización de tres redujo TPOT a 9.72 ms y elevó el rendimiento de decodificación a 102.88 tok/s, una mejora 185.1% respecto a la base de esa configuración sintética. La compañía afirmó que la duración de aceptación del MTP alcanzó 3.90 tokens por ronda en esa prueba, pero advirtió que el resultado no establece ganancias comparables en otras cargas de trabajo.
Los resultados de GSM8K de principio a fin fueron más modestos
NVIDIA también informó de una comparación más estricta de extremo a extremo en todas las preguntas de 1,319 GSM8K del examen usando indicaciones cinco-shot, 0.6 de temperatura, top_p 0.95, top_k 29 y max_tokens 32,768, con la cadena de pensamiento activada. En esa ejecución, la línea base registró 26.45 ms de TPOT y 37.81 tok/s, mientras que la configuración totalmente optimizada alcanzó 18.56 ms de TPOT y 53.89 tok/s, un aumento 42.5% en el rendimiento. La latencia media bajó de 15.21 segundos a 11.49 segundos, una reducción 24.5%, mientras que GSM8K precisión pasó de 96.89% a 96.82%, una diferencia de 0.08 puntos porcentuales, según la publicación.
La compañía señaló que la brecha entre las ganancias en carga sintética y real reflejaba varios factores, incluyendo salidas sintéticas más repetitivas, muestreo codicioso más simple en la prueba sintética y salidas reales más cortas, que diluyen los costes fijos de cada paso de decodificación. NVIDIA señaló que la mediana GSM8K longitud de salida era de unos 310 tokens, frente a una salida sintética fija de 2,000 tokens, y afirmó que el benchmark sintético por tanto sobreestima los beneficios de la decodificación especulativa para otras cargas de trabajo.
Aspectos de la integración
NVIDIA afirmó que las técnicas tres no se solapan conceptualmente: el zumbido y la cuantización FP8 cabeza LM reducen el coste de cada paso de decodificación, mientras que MTP reduce el número de pasos. Pero la empresa también señaló un problema de despliegue. Cuando la cuantización online FP8 cabezal LM y MTP están habilitadas juntas, el modelo borrador debe compartir el módulo completo de cabeza LM con el modelo objetivo. Sin esa interfaz, NVIDIA dijo que el framework puede caer silenciosamente a una configuración rota en la que la longitud de aceptación cae a 1.00 y el rendimiento queda por debajo de la línea base.
La advertencia práctica de la publicación es que la validación de arranque importa tanto como los números de benchmark. NVIDIA dijo que los desarrolladores deberían verificar que cada optimización esté activa en el lanzamiento en lugar de inferir el estado de configuración solo a partir del rendimiento posterior. El artículo no proporcionó un siguiente catalizador programado más allá de la guía publicada.