NVIDIA BioNeMo 推出支持 LoRA 微调的生物技术模型

NVIDIA 推出了其 BioNeMo Recipes，这是一套使用低秩适配（LoRA）微调亿参数生物基础模型的工具。通过利用 LoRA，研究人员可以用最少的计算资源将庞大的预训练模型（如 ESM2（蛋白质）和 Evo2（DNA））适应于特定任务。这一创新可能显著加速计算生物学的进展，使高性能 AI 模型在单个工作站 GPU 上也能使用。

生物基础模型相当于生命科学领域的瑞士军刀。这些模型经过 DNA、RNA 或蛋白质序列的大规模数据集预训练，能够捕捉生物学的统计“语言”。它们已被用于蛋白质结构预测、变异效应分析和功能注释等任务。然而，这些通常拥有数十亿参数的模型的微调，传统上需要昂贵的硬件和巨大的计算资源。LoRA 改变了这种局面。

LoRA 如何工作

LoRA 通过冻结原始模型的参数并引入小型、可训练的适配器矩阵，避免了传统微调所需的高资源消耗。这种方法将可训练的参数数量减少到完整模型的 1%，从而在单个 GPU 上实现高效微调，同时保持与完整微调相当的性能。NVIDIA 将 LoRA 集成到其 BioNeMo Recipes 中，通过基于 PyTorch 和 Hugging Face 等熟悉工具的现成工作流程，使这一过程更加易于使用。

例如，NVIDIA 使用 LoRA 对 ESM2-3B 蛋白质模型进行了次级结构预测任务的微调——为蛋白质序列中的氨基酸分配结构标签。通过 LoRA，该团队在不到一小时内使用 NVIDIA RTX 6000 GPU 实现了最先进的准确率（Q3 任务为 84.8%，Q8 任务为 74.3%）。

案例研究：使用 Evo2 进行 DNA 剪接位点分类

在另一个例子中，NVIDIA 将 LoRA 应用于 Evo2-1B 模型，以进行 DNA 剪接位点分类——这一任务对理解 RNA 剪接机制至关重要。通过 LoRA 微调，该模型的分类准确率提高到 96.6%，而仅训练分类头的基线准确率仅为 52.3%。同样，这一成果是在单个 GPU 上实现的，突出了这些工作流程的可及性。

对计算生物学的意义

在普通硬件上微调亿参数模型的能力，使得先进工具在计算生物学领域的使用更加民主化。除了蛋白质结构预测和 DNA 分析外，这些技术还可能加速药物发现、基因编辑和合成生物学等应用。例如，OpenFold Consortium 的最近扩展和 Zuckerberg Biohub 的 AI 驱动蛋白质模型，突显了生物技术领域对可适应、高性能 AI 系统的日益增长的需求。

然而，挑战仍然存在。正如最近的分析所指出的那样，将这些模型推广到分布外的生物场景（如预测病毒突变）需要在数据收集和验证方面进行进一步创新。NVIDIA 的 BioNeMo Recipes 是向前迈出的重要一步，但更广泛的生态系统必须继续解决可扩展性和准确性问题，以释放生物基础模型的全部潜力。

让生物学更加可编程

NVIDIA 的 BioNeMo Recipes 标志着生物学向更加可编程和可预测方向的转变，这与 OpenAI 的 GPT-Rosalind 和 IBM 的多模态生物医学模型等行业趋势一致。通过整合 LoRA、Transformer Engine 优化和序列打包技术，NVIDIA 实现了在单个 GPU 上微调大规模生物模型的实用性，同时不牺牲性能。对于计算生物学家来说，这是一场革命性的改变。

研究人员可以访问完整的 BioNeMo Recipes，并通过访问 NVIDIA 的官方 GitHub 仓库开始微调工作。