NVIDIA Dynamo EPD将多模态AI模型速度提升至7倍

NVIDIA为多模态AI模型服务引入了重要的优化技术，通过在开源NVIDIA Dynamo框架中实施的“编码-预填充-解码”（EPD）拆解技术，将视觉编码、预填充和解码阶段分离为独立可扩展的组件，实现了端到端响应时间最高提升7倍，以及在某些场景下最高提升5倍的首次令牌生成时间（TTFT）。

EPD拆解技术专为处理图像密集型提示和短至中等长度输出序列的多模态模型设计，通过将视觉编码器工作负载与计算密集型的大语言模型（LLM）预填充和解码阶段隔离，以优化性能。这种分离可以有效防止因资源争用导致的瓶颈，尤其是在视频或多图像输入等多媒体密集型请求中。

EPD拆解技术如何工作

EPD基于预填充-解码（PD）拆解的概念，将LLM推理分为两个阶段：预填充阶段处理输入，解码阶段生成输出令牌。通过增加第三个阶段——编码，EPD进一步将图像或视频等多模态输入的工作负载解耦。NVIDIA Dynamo利用这种方法改进批处理，降低内存使用，并在异构硬件环境中提高吞吐量。

例如，编码器工作单元可以运行在专门用于视觉编码任务的经济型GPU上，而高性能GPU负责预填充和解码阶段。这种灵活性使AI基础设施能够根据工作负载特性优化资源分配。NVIDIA实验室的测试显示，在图像密集型用例中，分离编码器工作负载可以在相同的延迟阈值下支持多达70%的更多流量。

性能提升与局限性

EPD的优势取决于工作负载的特性。多媒体密集型提示（如多图像或高分辨率输入）获得最显著的性能提升，因为视觉编码占用了大量的处理时间。在包含10张图像输入请求的测试中，与聚合服务相比，TTFT减少了58%，其中共置编码器设置表现最佳。

然而，在输出长度（OSL）主导总延迟的场景（如长文本生成）中，性能提升会减弱。对于媒体输入较少或OSL较高的工作负载，聚合服务或共置拓扑可能仍然更有效。硬件限制（如同构GPU集群）也可能限制拆解技术的优势。

行业背景与应用

EPD拆解技术与业界优化AI推理的广泛趋势保持一致。AWS和AMD也在大规模语言模型中探索了类似的拆解方法，反映出在多模态AI服务中解决硬件效率问题的迫切需求。NVIDIA的Dynamo实现为视频分析、内容审核和需要低延迟响应的交互式AI应用等场景提供了实用的解决方案。

这一概念最初在2024年的研究论文《“Efficiently Serving Large Multimodal Models Using EPD Disaggregation”》中提出，因其实现高达71%的TTFT减少和57%的成本效率提升潜力而受到关注。近期的进展（如NVIDIA NVFP4格式的精度优化）进一步提升了EPD在量化模型和混合媒体工作负载中的适用性。

未来前景

NVIDIA在EPD方面的进展凸显了其在AI基础设施创新领域保持领先的努力。随着多模态AI模型日益复杂，像EPD这样的技术可能会成为高效扩展部署的必需工具。Dynamo的开源可用性及其与NVIDIA推理传输库（NIXL）等工具的集成，为开发者提供了适应和优化AI技术栈以支持多种用例的路径。

对于希望实施EPD的团队，NVIDIA在其GitHub页面上提供了详细的基准测试指南。随着多模态AI的采用持续加速，像Dynamo这样的框架和EPD拆解这样的技术将在塑造AI基础设施的未来中发挥关键作用。