Co-Design da NVIDIA Aumenta a Eficiência de Memória e Throughput da Fábrica de IA

A NVIDIA unveiled revelou uma estratégia de co-design destinada a maximizar a eficiência da memória de alta largura de banda (HBM) em fábricas de IA. Ao otimizar como a memória é utilizada, a empresa alcançou ganhos significativos de throughput, com o NVIDIA Vera Rubin NVL72 entregando até 30x de throughput por megawatt em comparação com o GB300 NVL72, apesar de ambas as GPUs manterem a mesma capacidade de 288 GB de HBM. Esta melhoria destaca a importância de maximizar o trabalho útil que cada byte de memória executa, ao invés de simplesmente aumentar a capacidade.

NVFP4: Comprimindo Dados sem Comprometer a Precisão

Uma das inovações-chave que impulsionam esses ganhos é o NVFP4, um formato de precisão de 4 bits que combina escalonamento em nível de bloco e tensor para armazenar mais inteligência em menos bytes. O NVFP4 reduz a pegada do modelo em aproximadamente 3.5x em comparação com FP16 e 1.8x em comparação com o FP8, liberando memória para tarefas críticas, como aumentar a capacidade do KV-cache e suportar lotes maiores. Benchmarks como AA-AgentPerf e MLPerf Endpoints validaram a capacidade do NVFP4 de entregar até 4x do throughput do FP8 enquanto mantém requisitos rigorosos de precisão. Além disso, o NVFP4 reduz a pegada do KV cache em até 50%, permitindo taxas de acerto de cache mais altas e menor consumo de largura de banda durante a decodificação.

NVLink: Criando um Pool de Memória Unificado

Outro componente crítico da abordagem de co-design da NVIDIA é o domínio de escalonamento do NVLink, que agrega eficazmente a memória entre várias GPUs. Por exemplo, em configurações de paralelismo de especialistas amplo (Wide-EP), o NVLink permite que GPUs compartilhem recursos de memória, reduzindo os custos de carga associados a modelos de mistura de especialistas (MoE). No GB200 NVL72, o NVLink fornece 130 TB/s de largura de banda agregada, permitindo que configurações EP32 entreguem até 1.8x mais tokens de saída por segundo por GPU em comparação com configurações EP8. O Vera Rubin NVL72 estende essa capacidade com 3.0 TB/s de largura de banda NVLink 6 e atualizações de descritor aceleratório de tensor de memória em linha (TMA), otimizando ainda mais a utilização da memória entre racks.

NVIDIA Dynamo: Otimizando a Utilização do KV Cache

Para garantir que os dados em cache sejam reutilizados de forma eficaz, a NVIDIA desenvolveu o Dynamo, uma camada de serviço distribuído que trata o KV cache como um recurso de toda a frota. O Dynamo emprega roteamento ciente de KV para rastrear onde os blocos de cache estão, minimizando a necessidade de recomputação. Essa abordagem é particularmente benéfica para cargas de trabalho agentic, que frequentemente envolvem prompts de sistema reutilizáveis, esquemas de ferramentas e documentos compartilhados. Ao equilibrar a sobreposição de prefixos em cache com a carga de trabalho dos trabalhadores, o Dynamo reduz as ineficiências associadas a dados de cache mal colocados ou evacuados.

Através dessas inovações, a estratégia de co-design da NVIDIA demonstra como uma abordagem holística à arquitetura GPU, interconexões e software pode aprimorar significativamente o desempenho e a eficiência das fábricas de IA, maximizando o valor de cada byte de memória.