NVIDIA Nemotron 3.5 超级 VL 通过后训练增强科学准确性
NVIDIA推出了一种全面的解决方案,通过其Nemotron for Science平台推进科学研究。该计划将Nemotron 3.5超级VL模型,一个多模态AI系统,与特定领域的数据集和工具相结合,以提高复杂科学工作流程的准确性和效率。该平台应对诸如错误传播、延迟和计算成本等挑战,这些挑战在智能AI驱动的研究中是普遍存在的。
Nemotron for Science 的关键特性
Nemotron for Science包括Nemotron 3.5超级VL模型,该模型是开放且可定制的,还有Nemotron Litmus-Bench V2.0,这是一个用于评估分子特性的开源数据集和基准。该平台在科学基准测试中提供前沿级别的准确性,并加快科学编码任务的解决时间。
其突出特性之一是能够针对特定科学领域进行Nemotron 3.5超级VL模型的后训练。NVIDIA为此过程提供了一种实用的配方,该过程涉及使用NeMo Gym构建一个定制的强化学习(RL)环境,并使用NVIDIA NeMo RL进行RL应用。这种方法使研究人员能够微调模型,以处理诸如药物代谢预测等任务,在这些任务中,通过监督微调(SFT)提高12%的准确性,并通过RL后训练额外提高17%。
后训练工作流和工具
后训练过程始于将实验数据格式化为输入-输出对,例如用SMILES字符串表示的分子结构。这些对用于创建一个具有可验证奖励的强化学习(RLVR)环境。该模型预测结果,并使用像Tanimoto相似性这样的工具来比较分子指纹。该密集奖励信号消除了对人类注释的需求。
训练是使用具有低秩适配器(LoRA)的组相对策略优化(GRPO)进行的。环境基础设施、奖励服务器和推出工作者都是完全自包含的,允许该管道在科学领域中进行泛化。NVIDIA的方法确保即使是高度能力的指令调优模型,在获得针对性的RL反馈时也能取得有意义的改进。
可选蒸馏以增强性能
对于基础模型在RL训练之前需要额外能力的场景,NVIDIA建议进行蒸馏步骤。这涉及使用一个更强的教师模型生成高质量的推理轨迹,然后用于微调学生模型。这种“暖启动”技术加速了收敛过程,并提高了性能底线,使后续的RL训练更加高效有效。
在药物代谢的例子中,教师模型的推理轨迹指导学生模型更好地预测代谢产物结构,导致显著的准确性提高。该过程突显了Nemotron平台在特定科学任务中的灵活性和适应性。
对科学研究的影响
通过结合先进的AI模型、特定领域的数据集和强大的后训练工作流程,NVIDIA的Nemotron for Science平台使研究人员能够以更高的准确性和效率应对复杂的科学挑战。该平台与智能AI工作流的无缝集成使其成为加速化学、生物学等领域发现的重要工具。