NVIDIA Nemotron 3.5 Super VL Mejora la Precisión Científica con Post-entrenamiento
NVIDIA ha introducido una solución integral para avanzar en la investigación científica a través de su plataforma Nemotron for Science. Esta iniciativa integra el modelo Nemotron 3.5 Super VL, un sistema de IA multimodal, con conjuntos de datos y herramientas específicas del dominio para mejorar la precisión y eficiencia en flujos de trabajo científicos complejos. La plataforma aborda desafíos como la propagación de errores, la latencia y los costos computacionales en la investigación impulsada por IA agentiva.
Características Clave de Nemotron for Science
Nemotron for Science incluye el modelo Nemotron 3.5 Super VL, que es abierto y personalizable, y el Nemotron Litmus-Bench V2.0 , un conjunto de datos y referencia de código abierto para evaluar propiedades moleculares. La plataforma brinda una precisión a nivel de frontera en pruebas científicas y acelera el tiempo para la solución de tareas de codificación científica.
Una de las características más destacadas es la capacidad de post-entrenar el modelo Nemotron 3.5 Super VL para dominios científicos específicos. NVIDIA proporciona una receta práctica para este proceso, que implica construir un entorno de aprendizaje por refuerzo (RL) personalizado utilizando NeMo Gym y aplicar RL con NVIDIA NeMo RL. Este enfoque permite a los investigadores ajustar el modelo para tareas como la predicción de metabolismo de fármacos, donde se demostraron mejoras de 12% a través de ajuste fino supervisado (SFT) y un adicional de 17% a través del post-entrenamiento de RL.
Flujo de Trabajo y Herramientas de Post-entrenamiento
El proceso de post-entrenamiento comienza con datos experimentales formateados como pares de entrada-salida, como estructuras moleculares representadas por cadenas SMILES. Estos pares se utilizan para crear un entorno de aprendizaje por refuerzo con recompensas verificables (RLVR). El modelo predice resultados, que se puntúan usando herramientas como la similitud de Tanimoto para comparar huellas moleculares. Esta señal de recompensa densa elimina la necesidad de anotación humana.
El entrenamiento se realiza utilizando optimización de políticas relativas grupales (GRPO) con adaptadores de bajo rango (LoRA). La infraestructura del entorno, el servidor de recompensas y los trabajadores de implementación son completamente autosuficientes, lo que permite que la canalización se generalice a través de dominios científicos. El enfoque de NVIDIA asegura que incluso los modelos ajustados a instrucciones altamente capaces pueden lograr mejoras significativas cuando reciben retroalimentación dirigida de RL.
Destilación Opcional para Rendimiento Mejorado
Para los escenarios en los que el modelo base requiere capacidad adicional antes del entrenamiento de RL, NVIDIA recomienda un paso de destilación. Esto implica utilizar un modelo maestro más fuerte para generar trazas de razonamiento de alta calidad, que luego se utilizan para ajustar el modelo estudiante. Esta técnica de "inicio en caliente" acelera la convergencia y eleva el suelo de rendimiento, haciendo que el entrenamiento posterior de RL sea más eficiente y efectivo.
En el ejemplo de metabolismo de fármacos, las trazas de razonamiento del modelo maestro guiaron al modelo estudiante para predecir mejor las estructuras de metabolitos, lo que llevó a ganancias significativas en precisión. El proceso destaca la flexibilidad y adaptabilidad de la plataforma Nemotron para tareas científicas especializadas.
Implicaciones para la Investigación Científica
Al combinar modelos de IA avanzados, conjuntos de datos específicos del dominio y flujos de trabajo robustos de post-entrenamiento, la plataforma Nemotron for Science de NVIDIA permite a los investigadores abordar desafíos científicos complejos con mayor precisión y eficiencia. La capacidad de la plataforma para integrarse sin problemas en flujos de trabajo de IA agentiva la posiciona como una herramienta crítica para acelerar los descubrimientos en campos como la química, la biología y más allá.