Super VL Nemotron 3.5 da NVIDIA Melhora a Precisão Científica com Pós-Treino
A NVIDIA introduziu uma solução abrangente para avançar a pesquisa científica por meio de sua plataforma Nemotron for Science. Esta iniciativa integra o modelo Nemotron 3.5 Super VL, um sistema de IA multimodal, com conjuntos de dados e ferramentas específicas de domínio para melhorar a precisão e a eficiência em fluxos de trabalho científicos complexos. A plataforma aborda desafios como propagação de erros, latência e custos computacionais na pesquisa impulsionada por IA agentiva.
Principais Recursos do Nemotron for Science
O Nemotron for Science inclui o modelo Nemotron 3.5 Super VL, que é aberto e personalizável, e o Nemotron Litmus-Bench V2.0 , um conjunto de dados e benchmark de código aberto para avaliação de propriedades moleculares. A plataforma fornece precisão de nível de fronteira em benchmarks científicos e acelera o tempo para a solução em tarefas de codificação científica.
Um dos recursos mais destacados é a capacidade de realizar o pós-treino do modelo Nemotron 3.5 Super VL para domínios científicos específicos. A NVIDIA fornece uma receita prática para este processo, que envolve a construção de um ambiente personalizado de aprendizado por reforço (RL) usando o NeMo Gym e aplicando RL com o NVIDIA NeMo RL. Essa abordagem permite que os pesquisadores ajustem o modelo para tarefas como previsão de metabolismo de medicamentos, onde melhorias de precisão de 12% através do ajuste fino supervisionado (SFT) e um adicional de 17% através do pós-treino por RL foram demonstradas.
Fluxo de Trabalho e Ferramentas de Pós-Treino
O processo de pós-treino começa com dados experimentais formatados como pares de entrada e saída, como estruturas moleculares representadas por strings SMILES. Esses pares são usados para criar um ambiente de aprendizado por reforço com recompensas verificáveis (RLVR). O modelo prevê resultados, que são pontuados usando ferramentas como similaridade Tanimoto para comparar impressões digitais moleculares. Este sinal de recompensa denso elimina a necessidade de anotação humana.
O treinamento é realizado usando otimização de política relativa em grupo (GRPO) com adaptadores de baixa classificação (LoRA). A infraestrutura do ambiente, servidor de recompensas e trabalhadores de rollout são totalmente autossuficientes, permitindo que o pipeline generalize em diversos domínios científicos. A abordagem da NVIDIA garante que mesmo modelos altamente capacitados sintonizados para instruções possam alcançar melhorias significativas quando recebem feedback direcionado por RL.
Destilação opcional para desempenho aprimorado
Para cenários onde o modelo base requer capacidade adicional antes do treinamento por RL, a NVIDIA recomenda uma etapa de destilação. Isso envolve o uso de um modelo professor mais forte para gerar rastros de raciocínio de alta qualidade, que são então usados para ajustar o modelo estudante. Essa técnica de "início morno" acelera a convergência e eleva o piso de desempenho, tornando o treinamento subsequente por RL mais eficiente e eficaz.
No exemplo de metabolismo de medicamentos, os rastros de raciocínio do modelo professor guiaram o modelo estudante a prever estruturas de metabolitos com mais precisão, levando a ganhos significativos de precisão. O processo destaca a flexibilidade e adaptabilidade da plataforma Nemotron para tarefas científicas especializadas.
Implicações para a Pesquisa Científica
Ao combinar modelos avançados de IA, conjuntos de dados específicos de domínio e fluxos de trabalho de pós-treino robustos, a plataforma Nemotron for Science da NVIDIA permite que pesquisadores enfrentem desafios científicos complexos com maior precisão e eficiência. A capacidade da plataforma de se integrar perfeitamente em fluxos de trabalho de IA agentiva a posiciona como uma ferramenta crítica para acelerar descobertas em campos como química, biologia e além.