NVIDIA Introduz Coletivo Reshard para Otimizar Refit de Pesos em RL
A NVIDIA revelou o coletivo Reshard, um novo método de comunicação projetado para otimizar o refit de pesos em fluxos de trabalho de aprendizado por reforço (RL). O refit de pesos envolve transferir parâmetros atualizados do modelo de política de GPUs de treinamento para GPUs de inferência, um processo crítico para gerar novas trajetórias de treinamento. O coletivo Reshard busca abordar ineficiências nos métodos atuais, especialmente à medida que os tamanhos dos modelos continuam a aumentar.
Desafios no Refit de Pesos para Modelos Grandes
Métodos tradicionais de refit de pesos dependem de uma abordagem de coleta e difusão, onde as GPUs de treinamento reconstroem parâmetros completos do modelo antes de transmiti-los para as GPUs de inferência. Embora simples, este processo resulta em comunicação redundante, já que as GPUs de inferência recebem tensores inteiros mesmo quando apenas shards específicos são necessários. Para modelos grandes como Kimi K3 (2.8 trilhões de parâmetros) e Qwen 3.8 2.4T A95B (2.4 trilhões de parâmetros), essa ineficiência é ampliada. Assumindo pesos de BF16, esses modelos requerem aproximadamente 11.2 TB e 9.6 TB de carga de comunicação por refit, respectivamente.
Coletivo Reshard: Uma Solução DTensor para DTensor
O coletivo Reshard reformula o refit de pesos como um problema de transferência DTensor para DTensor, aproveitando a abstração de tensor distribuído do PyTorch. Essa abordagem permite transferências diretas de shard para shard entre GPUs de treinamento e inferência, eliminando a necessidade de representações de tensor completo intermediárias. Ao mapear regiões de shard sobrepostas e otimizar os caminhos de comunicação, o coletivo Reshard minimiza o tamanho da carga e equilibra a distribuição de dados entre as GPUs.
Benchmark de Desempenho
De acordo com os benchmarks internos da NVIDIA, o coletivo Reshard reduz significativamente a latência do refit. Para o modelo DeepSeek-V3 de 671 bilhões de parâmetros, a latência caiu de 14.9 segundos para 2.6 segundos em sistemas DGX H100 e de 6.1 segundos para 2.3 segundos em sistemas DGX GB200. Testes adicionais em um cluster 256-GPU NVL72 com NDR InfiniBand mostraram uma redução no tempo de sincronização de pesos de 5.78 segundos para 2.77 segundos, reduzindo o tempo total dos passos de RL em 12.7%. A transferência de uma única camada de mistura de especialistas feed-forward melhorou de 77.3 milissegundos para 9.8 milissegundos em comparação a envios diretos planos.
Implementação de Código Aberto
O coletivo Reshard está disponível como uma implementação de código aberto através do repositório de extensões NCCL da NVIDIA. O pacote inclui componentes experimentais de malha para malha e dependências no CUDA 12 e CUDA 13, com a NCCL 2.30.7 validada para uso. A documentação da NVIDIA destaca o potencial de integração em estruturas como NeMo RL e vLLM, que anteriormente exploraram otimizações de transferência de pesos.
Ao abordar o crescente gargalo da sincronização de pesos em fluxos de trabalho de RL, o coletivo Reshard representa um avanço crítico para escalar grandes modelos de IA de forma eficiente.