NVIDIA의 공동 설계가 AI 공장의 메모리 효율성과 처리량을 향상시킵니다

NVIDIA는 AI 공장에서 고대역폭 메모리(HBM)의 효율성을 극대화하기 위한 공동 설계 전략을 발표했습니다. 메모리의 활용 방식을 최적화함으로써, 회사는 중요한 처리량 증가를 달성하였으며, NVIDIA Vera Rubin NVL72는 GB300 NVL72와 비교하여 메가와트당 최대 30x의 처리량을 제공합니다. 이는 두 GPU가 동일한 288 GB HBM 용량을 유지하고 있음에도 불구하고 이루어진 개선입니다. 이 개선은 메모리의 각 바이트가 단순히 용량을 늘리는 것이 아니라 최대한 유용한 작업을 수행해야 한다는 중요성을 강조합니다.

NVFP4: 정확성을 손상시키지 않으면서 데이터 압축

이러한 증가를 주도하는 주요 혁신 중 하나는 NVFP4이며, 이는 블록 수준 및 텐서 수준 스케일링을 결합하여 더 적은 바이트에 더 많은 지능을 저장하는 4 비트 정밀도 형식입니다. NVFP4는 FP16와 비교하여 대략 3.5x, FP8와 비교하여 1.8x모델 발자국을 줄여, KV 캐시 용량을 증가시키고 더 큰 배치를 지원하는 데 필요한 메모리를 확보합니다. AA-AgentPerf 및 MLPerf Endpoints와 같은 벤치마크는 NVFP4가 FP8의 처리량의 최대 4x를 제공하면서도 엄격한 정확성 요건을 유지할 수 있음을 검증했습니다. 또한, NVFP4는 KV 캐시 발자국을 최대 50%까지 줄여, 더 높은 캐시 적중률과 디코딩 시 저조한 대역폭 소비를 가능하게 합니다.

NVLink: 통합 메모리 풀 만들기

NVIDIA의 공동 설계 접근법의 또 다른 중요한 구성 요소는 NVLink 확장 도메인으로, 이는 여러 GPU 간에 메모리를 효과적으로 풀링합니다. 예를 들어, 광범위 전문가 병렬 구성(Wide-EP)에서 NVLink는 GPU가 메모리 리소스를 공유할 수 있도록 하여 전문가 혼합 모델(MoE)과 관련된 로드 비용을 줄입니다. GB200 NVL72에서는 NVLink가 130 TB/s의 집합 대역폭을 제공하여, EP32 구성이 EP8 구성과 비교하여 각 GPU당 최대 1.8x의 출력 토큰을 제공할 수 있도록 합니다. Vera Rubin NVL72는 3.0 TB/s의 NVLink 6 대역폭과 인라인 메모리 텐서 가속기(TMA) 설명자 업데이트로 이 기능을 확장하여 째로 메모리 사용을 최적화합니다.

NVIDIA Dynamo: KV 캐시 활용 최적화

캐시된 데이터를 효과적으로 재사용할 수 있도록 하기 위해, NVIDIA는 KV 캐시를 전체 시스템의 리소스로 처리하는 분산형 제공 계층인 Dynamo를 개발했습니다. Dynamo는 KV 인식 라우팅을 사용하여 캐시 블록의 위치를 추적하여 재계산의 필요성을 최소화합니다. 이 접근법은 재사용 가능한 시스템 프롬프트, 도구 스키마 및 공유 문서를 포함하는 에이전트적 작업 부하에 특히 유익합니다. Dynamo는 캐시된 접두사의 중복과 작업자 부하를 균형 있게 조정하여 잘못 배치된 또는 퇴거된 캐시 데이터와 관련된 비효율성을 감소시킵니다.

이러한 혁신을 통해 NVIDIA의 공동 설계 전략은 GPU 아키텍처, 상호 연결 및 소프트웨어에 대한 전체적인 접근이 AI 공장의 성능과 효율성을 크게 향상시키고, 메모리의 각 바이트의 가치를 극대화할 수 있음을 보여줍니다.