NVIDIA는 DGX Spark에 대한 세 추론 최적화를 상세히 설명합니다

NVIDIA는 Inclusion AI의 Ling-3.0-flash 모델을 실행할 때 소프트웨어 최적화가 DGX Spark의 추론을 실질적으로 향상시킬 수 있다고 밝혔으며, 가장 큰 이점은 구성 요소들이 함께 작동하도록 구성된 후 추측적 디코딩에서 나온다고 세밝혔습니다. 2026년 10월 27일자 게시물에서 Nvidia는 더 빠른 토큰 생성과 낮은 종단 간 지연 시간을 보고했으며, 한 통합 실수가 최적화되지 않은 기준선보다 통합 세팅을 느리게 만들 수 있다고 경고했습니다.

NVIDIA가 측정한 것들

평가는 Ling-3.0-flash-fp4를 사용했으며, 이는 토큰당 124 억 개의 총 매개변수와 5.1 억 개의 활성 매개변수를 가진 전문가들의 혼합 모델이라고 NVIDIA의 게시물에 따르면 전해졌습니다. 기준선은 FlashInfer MXFP4 MoE 커널, NVIDIA CUTLASS 밀도 GEMM, fp32 LM 헤드 출력을 포함한 회사의 요리책 구성을 따랐습니다. NVIDIA는 프로파일링을 통해 디코딩 경로가 메모리 바운딩을 하고 있으며, 가중치 읽기가 실행 시간을 지배하며, MoE 계산과 출력 계층 투사가 주요 최적화 대상임을 밝혔습니다.

입력 토큰이 32,000 , 출력 토큰이 2,000 , 배치 크기 1있는 합성 워크로드에서, 첫 번째 최적화인 Humming MXFP4 MoE 백엔드를 스왑하여 출력 토큰당 시간을 27.71 ms에서 25.35 ms로 단축시키고, 디코드 처리량을 36.09 tok/s에서 39.45 tok/s로 증가시켰다고 NVIDIA는 기준선에 비해 9.3% 증가했습니다. 온라인 FP8 LM-헤드 양자화를 추가하면 TPOT가 22.76 ms로 더 줄었고, 처리량은 43.94 tok/s로 증가하여 누적 21.7% tok/s로 증가했습니다. 이는 기준선 대비 누적 증가였습니다.

세 번째 기법인 NEXTN을 이용한 다중 토큰 예측 추측적 디코딩은 합성 테스트에서 가장 큰 효과를 보였습니다. NVIDIA는 전체 세 최적화 스택이 TPOT를 9.72 ms로 낮추고 디코딩 처리량을 102.88 tok/s로 끌어올려 해당 합성 환경에서 기준 수준보다 185.1% 향상된 결과를 보였다고 밝혔습니다. 회사는 해당 테스트에서 MTP 수락 길이가 라운드당 3.90 토큰에 도달했지만, 다른 워크로드에서 유사한 성능 향상을 입증하지는 못한다고 경고했습니다.

종단 간 GSM8K 결과는 더 소박했다

NVIDIA는 또한 1,319 GSM8K다섯샷 프롬프트, 온도 0.6, top_p 0.95, top_k 29, max_tokens 32,768등 검사 문제를 모두 종단 간 비교를 더 엄격하게 보고했으며, 사고 연쇄 활성화도 했습니다. 이 테스트에서 기준선은 TPOT 26.45 ms TPOT, 37.81 tok/s를 기록했고, 완전 최적화된 구성은 TPOT 18.56 ms TPOT, 53.89 tok/s를 기록해 처리량이 42.5% 증가했습니다. 평균 지연 시간은 15.21초에서 11.49초로 줄어 24.5% 줄었고, GSM8K 정확도는 96.89%에서 96.82%로 이동해 0.08퍼센트포인트 차이를 보였다고 게시물에 전했습니다.

이 회사는 합성 출력과 실제 작업 부하 증가 차이가 여러 요인을 반영한다고 밝혔는데, 이는 반복적인 합성 출력, 합성 테스트에서의 단순한 탐욕 샘플링, 그리고 각 디코딩 단계의 고정 비용을 희석시키는 짧은 실제 출력 등이라고 합니다. NVIDIA는 중앙값 GSM8K 출력 길이가 약 310 토큰이며, 고정된 2,000-토큰 합성 출력에 비해 합성 벤치마크가 다른 워크로드에 대한 투기적 디코딩 이점을 과대평가한다고 밝혔습니다.

통합 주의사항이 중요합니다

NVIDIA는 세 기법들이 개념적으로 겹치지 않는다고 밝혔습니다: 허밍과 FP8 LM-헤드 양자화는 각 디코딩 단계의 비용을 줄이고, MTP는 단계 수를 줄여줍니다. 하지만 회사는 배포 문제도 지적했습니다. 온라인 FP8 LM-헤드 양자화와 MTP가 함께 활성화될 때, 초안 모델은 목표 모델과 전체 LM-헤드 모듈을 공유해야 합니다. 이 인터페이스가 없으면 프레임워크가 조용히 잘못된 구성으로 되돌아가 수1.00 감소하고 처리량이 기준선 이하로 떨어질 수 있다고 NVIDIA는 말했습니다.

이 글의 실질적인 경고는 시작 검증이 벤치마크 수치만큼 중요하다는 점입니다. NVIDIA는 개발자들이 각 최적화가 출시 시점에 활성화되어 있는지 검증해야 하며, 단순히 이후의 성능만으로 구성 상태를 추론해야 한다고 밝혔습니다. 기사에서는 공개된 지침 외에 다음 예정된 촉매제를 제시하지 않았습니다.