NVIDIA 探索稀疏注意力以实现高效的长上下文推理
NVIDIA 发布了一篇题为《共设计稀疏注意力以实现高效长上下文推理》的技术博客,概述了针对变换模型的稀疏注意力技术的进展。该博客解决了由长上下文工作负载带来的日益严重的计算挑战,例如处理代理任务、庞大的文档和大规模代码库,这些工作负载可以将上下文长度延伸到数十万的标记。在这些规模下,密集注意力——每个查询都关注每个键——的成本变得极其高昂,尤其是在计算和内存流量方面。
稀疏注意力:模型级解决方案
稀疏注意力被介绍为一种优化技术,它限制每个查询仅关注最相关的 \(k\) 个键,从而显著减少计算负担。虽然核心注意力与 \(k\) 成比例,但索引器组件仍然处理上下文中的所有 \(N\) 个键。NVIDIA 的博客强调,在 DeepSeek V3.2 模型中,索引器和 Top-k 选择在处理 128K 个标记时占据了 47% 的预填充层时间。
稀疏注意力过程分为三个阶段:索引器对所有键进行评分,Top-k 确定 \(k\) 个最高评分,核心注意力对这些选定的键和值应用软最大值。NVIDIA 的分析重点优化索引器设计以实现 GPU 效率,使用生产 FP8 内核评估各种参数,如查询头、键头、头部维度、压缩比和推测解码深度。
关键设计洞见与 GPU 优化
该博客提供了索引器设计的详细测量和指导,强调最大化 GPU 性能的配置:
- 大多数设计将 32 到 64 的查询头减少为通过 ReLU 和加权和生成的单一评分,头部维度为 128。
- 压缩比 (CR) 减少评分的键数,分析中使用 CR = 4。
- 块级选择,如将标记分组为 4 或 16 的块,可以通过启用批量键提取和跨查询重用来提高内存效率。
- 推测解码,在每一步草拟多个标记,增强了解码阶段的算术强度。
索引器作为批量矩阵乘法(matmul)与融合尾部操作进行,利用 NVIDIA Tensor 核心进行评分,并使用 CUDA 核心进行后处理。算术强度,这是一种计算效率的度量,与组大小 \(G\)(每个键头的查询头数)和推测草拟长度 \(D+1\) 成比例。省略交叉头部减少的设计,如 MiniMax 稀疏注意力 (MSA) 和 MoBA,由于较低的算术强度而失去效率。
实际影响与下一步
NVIDIA 的共设计方法整合了算法和硬件考虑,确保稀疏注意力技术与 GPU 架构保持一致。该博客鼓励开发者进一步探索优化措施,例如融合 Top-k 内核和分层索引,以提高生产环境中的性能。
有关更多技术细节,NVIDIA 建议查看其 TensorRT LLM 仓库和相关的 Guess-Verify-Refine Top-k 选择方法的研究。