NVIDIA Nemotron 3.5 Super VLがポストトレーニングで科学的精度を向上
NVIDIAは、Nemotron for Scienceプラットフォームを通じて科学研究を進展させるための包括的なソリューションを導入しました。この取り組みは、Nemotron 3.5 Super VLモデルというマルチモーダルAIシステムと、精度と効率を向上させるためのドメイン特化型データセットやツールを統合しています。プラットフォームは、エージェントAI駆動の研究におけるエラー伝播、レイテンシ、計算コストといった課題に対処します。
Nemotron for Scienceの主な機能
Nemotron for Scienceには、オープンでカスタマイズ可能なNemotron 3.5 Super VLモデルと、分子特性を評価するためのオープンソースデータセットおよびベンチマークであるNemotron Litmus-Bench V2.0が含まれています。プラットフォームは科学的ベンチマークでの最前線レベルの精度を提供し、科学的コーディングタスクの解決までの時間を短縮します。
際立った特徴の一つは、特定の科学ドメイン向けにNemotron 3.5 Super VLモデルをポストトレーニングする能力です。NVIDIAは、NeMo Gymを使用してカスタム強化学習(RL)環境を構築し、NVIDIA NeMo RLを使用してRLを適用するための実用的なレシピを提供しています。このアプローチにより、研究者は、精度向上のための12%を持つ薬物代謝予測のようなタスクにモデルを微調整することができます。ここでは、監視された微調整(SFT)を通じてと、さらに17%をRLポストトレーニングによってデモンストレーションしました。
ポストトレーニングのワークフローとツール
ポストトレーニングプロセスは、SMILES文字列で表現された分子構造などの入力-出力ペアとしてフォーマットされた実験データから始まります。これらのペアは、検証可能な報酬を持つ強化学習(RLVR)環境を作成するために使用されます。モデルは結果を予測し、分子フィンガープリントを比較するためにTanimoto類似性のようなツールを使用してスコアリングされます。この密な報酬信号は、人間の注釈の必要性を排除します。
トレーニングは、低ランクアダプター(LoRA)を使った群相対政策最適化(GRPO)を使用して行われます。環境のインフラストラクチャ、報酬サーバー、およびロールアウト作業者は完全に自己完結しており、パイプラインが科学ドメイン全体で一般化できるようにします。NVIDIAのアプローチは、能力の高いインストラクション調整モデルでも、ターゲットを絞ったRLフィードバックを受けることで意味のある改善を達成できることを保証します。
性能向上のためのオプションの蒸留
ベースモデルにRLトレーニング前に追加の能力が必要なシナリオに対して、NVIDIAは蒸留ステップを推奨します。これは、より強力な教師モデルを使用して高品質な推論トレースを生成し、次にそれを学生モデルの微調整に使用するというものです。この「ウォームスタート」技術により収束が加速され、パフォーマンスのフロアが引き上げられ、後続のRLトレーニングがより効率的かつ効果的になります。
薬物代謝の例では、教師モデルの推論トレースが学生モデルの代謝物構造の予測を改善し、重要な精度向上をもたらしました。このプロセスは、Nemotronプラットフォームが特化した科学的タスクに対して柔軟で適応可能であることを示しています。
科学研究への影響
高度なAIモデル、ドメイン特化型データセット、および堅牢なポストトレーニングワークフローを組み合わせることで、NVIDIAのNemotron for Scienceプラットフォームは研究者がより高い精度と効率で複雑な科学的課題に取り組むことを可能にします。このプラットフォームのエージェントAIワークフローへのシームレスな統合能力は、化学、生物学などの分野で発見を加速させるための重要なツールとして位置づけられています。