AMD 的 TLX 内核提升 LLM 训练的 GEMM 性能

AMD 推出了其 Triton 低级语言扩展 (TLX) 的重要进展，在优化大型语言模型 (LLM) 训练的通用矩阵乘法 (GEMM) 方面实现了高达 1.8 倍的加速。通过将矩阵乘法和门控线性单元 (GLU) 激活等关键操作融合到一个内核中，AMD 的方法减少了长期困扰基于 Transformer 架构的内存瓶颈。

GEMM 是机器学习工作负载的核心，驱动着 Transformer 的前馈网络、注意力机制等。然而，这些操作通常是内存受限而非计算受限的，原因是存在冗余的数据传输。AMD 的 TLX 通过将矩阵操作和激活直接集成到共享内存中，解决了这个问题，每次传递最多减少 88 MB 的高带宽内存 (HBM) 流量。这项创新对于大规模训练尤其重要，因为这些节约会在多层和训练步骤中累积。

优化解析

现代 Transformer 在很大程度上依赖于 GLU 激活，这提高了模型质量但引入了内存效率问题。在未融合的实现中，矩阵乘法的中间数据会被写入 HBM，然后被重新加载以供后续操作使用。AMD 的 TLX 通过将操作融合为一个内核，绕过了这一问题，确保矩阵输出保留在寄存器中，大幅减少内存流量和内核启动次数。

优化过程经历了四个迭代内核版本，逐步解决了瓶颈：

• 版本 1：引入了基本的内核融合，相较于 PyTorch 的 torch.compile 基准实现了 1.2 倍的加速。
• 版本 2：消除了冗余的寄存器存储并实施了异步直接加载到本地数据存储 (LDS)，使吞吐量提高了 1.5 倍。
• 版本 3：深化了软件流水线，引入了持久调度，减少了启动开销，并进一步增加了计算/内存重叠。
• 版本 4：优化了尾部，多个步骤合并为一个融合的乘加操作，实现了 1.8 倍的加速，并超越了 AMD 自身独立的 rocBLAS GEMM 库。

这一方法展示了低级内存和计算控制的强大能力，使 GPU 能够花费更多时间进行算术运算，而不是等待内存传输。最终内核在 K = 256、512 和 1024 时分别实现了 357、502 和 619 TFLOPS，超越了 PyTorch 和 rocBLAS 的基准测试。

这对 AI 训练的重要性

AI 工作负载，特别是 LLM 训练，越来越受到带宽限制的影响，其中 GEMM 操作占据了运行时间的主导地位。NVIDIA 最近的 MLPerf 6.0 结果和对 Tensor Cores 的架构更新凸显了业界对最大化 GEMM 效率的关注。AMD 的 TLX 优化不仅迎头赶上，还为融合的 GEMM 尾部设立了新的标杆，使其 GPU 在 AI 训练领域更具竞争力。

这一进展的意义超出了技术性能。更快、更高效的 GEMM 内核降低了像 GPT 和 LLaMA 这样的模型训练成本，这些模型需要数千 GPU 小时。这可以降低小型公司的进入门槛，并加速 AI 驱动应用的创新。

未来机遇

尽管 AMD 的进展令人印象深刻，但进一步优化的路线图仍然充满潜力。潜在领域包括为 FP8 精度适配内核，这可能会在像 MI350X 这样的硬件上使吞吐量翻倍，以及将融合技术扩展到训练的反向传播阶段。非二次方格的分块以最小化浪费计算也是另一个可能带来增量收益的方向。

随着 AI 军备竞赛的升温，像 AMD 的 TLX 这样的优化对于保持竞争力至关重要。通过专注于减少内存瓶颈和最大化片上计算，AMD 正在确保其 GPU 在日益苛刻的 AI 训练工作负载中保持强劲的竞争力。