Ray Data 通过与 NVIDIA cuDF 集成增加原生 GPU 操作

Anyscale 宣布对其用于 AI 工作负载的可扩展数据处理库 Ray Data 进行重大更新，通过与 NVIDIA 合作集成原生 GPU 操作。根据公司最新的博客文章，利用 NVIDIA 的 cuDF 和 RapidsMPF，Ray Data 现在承诺在 GPU 加速的数据整理任务中提供高达 3 倍的整体拥有成本 (TCO) 改善和性能提升。

Ray Data 是 Ray 生态系统的一部分，专为处理 AI 项目日益增长的数据处理需求而设计，例如多模态数据处理和训练数据管道。在此更新之前，Ray Data 支持 GPU 调度，但缺乏直接在 GPU 上执行的原生功能。新的集成解决了这一限制，为计算密集型工作负载提供了更快速且更具成本效益的处理能力。

关键更新：cuDF 和 RapidsMPF

此次集成引入了两个关键功能：

• 支持 cuDF 批量格式：Ray Data 用户现在可以使用 NVIDIA 的 cuDF（一个具有类似 Pandas API 的 GPU 加速数据框架库）处理数据。这消除了手动格式转换的需要，并且相比 CPU 替代方案，操作速度提高了数个数量级。在基准测试中，通过 cuDF 进行的 GPU 加速数据哈希在 FineWeb 10BT 数据集上的速度比 CPU 基线快了高达 15 倍。
• 使用 RapidsMPF 的原生 GPU Shuffle：RapidsMPF 通过绕过 CPU 内存来促进高速数据混洗。这对诸如分组操作等任务特别有影响，这些任务通常是 AI 数据管道中的瓶颈。对于混洗密集型工作负载，GPU 解决方案相比基于 CPU 的方法显示出 3 倍的速度提升，但在较大规模 GPU 下由于通信开销，增益有所降低。

对 AI 工作负载的影响

这些更新面向需要在模型训练前进行大规模数据预处理的 AI 和机器学习管道。例如，在 Ray Data 上的模糊文档去重基准测试中，GPU 加速将端到端管道时间减少了 4 倍，同时在两节点集群上将整体拥有成本降低了 3.1 倍。这些收益归因于 GPU 在处理诸如 MinHash 签名生成和迭代连接组件检测等计算密集型任务时，比 CPU 更高效。

这些改进与 AI 基础设施的更广泛趋势保持一致，在这些趋势中，混合云和加速器的采用推动了对优化处理库的需求。Anyscale 在 2026 年 7 月宣布与 Nscale 的最新合作进一步表明了其致力于为下一代数据中心架构优化 Ray 的承诺。

Ray Data 的未来计划

虽然当前的更新标志着一个重要的进步，但 Anyscale 暗示将有进一步的改进。计划包括操作符融合以减少主机到设备的内存传输，从而为顺序任务解锁更高的性能。公司还计划将 GPU 原生混洗扩展到 Ray Data 的预处理器 API，使更多特征工程管道受益于 GPU 加速。

Ray Data 的原生 GPU 操作现在已在 Ray 2.58 的实验版本中提供，可以通过 pip install -U ray==2.58 安装。随着 AI 工作负载的规模和复杂性持续增长，这些进步使 Ray Data 成为可扩展、成本高效的数据管道的重要推动者。