NVIDIAがGPU用のSpark UDFを書き換えるためのAIエージェントのワークフローを概説

NVIDIAは、AIエージェントがApache Sparkのユーザー定義関数をGPUアクセラレーションコードに書き換えるのに役立つと述べており、このワークフローはSparkジョブのフォールバックオーバーヘッドを排除し一、報告された本番環境では22x高速化をもたらすと述べています。

証拠と背景

2026-10-13年に公開されたブログ記事で、NvidiaはApache Spark用のcuDFプラグインが、SparkがUDFに遭遇した際にCPU処理にフォールバックするのではなくGPU上で実行を保持することで分析ワークロードを加速できる方法を説明しました。同社は、UDFが不透明なカスタムロジックを導入し、Sparkの宣言型エンジンでは組み込みのSQLやDataFrame式のように並列化できないため、永続的なボトルネックであると述べました。

NVIDIAは、多くのUDFは三一方法で書き換えられると述べています。単純なロジックのためのSpark SQL式、より複雑な列処理のためのRapidsUDFインターフェースによるcuDFベースの実装、または最も複雑な場合にはJNIを通じて呼び出すカスタムCUDAカーネルとして。同社はこれらを複雑度の梯として位置づけ、SQLが最も低いオーバーヘッドを提供し、CUDAが最も制御力が高いとしました。

投稿では、セルシウスから華氏への変換を例として挙げ、まずScala UDFを示し、その後cuDFプラグインが透過的に加速できる直接SQLの書き換えを示しました。また、cuDFのColumnVectorとScalar演算を用いてGPU上でデータを並列処理するRapidsUDFの実装も示しました。

NVIDIAによると、リライトワークフローはコーディングエージェントが支援する四つのスキル、すなわちスキャフォールディングと設計、テスト、変換、ベンチマーク、最適化の支援を目的としています。投稿によると、これらのスキルはプロジェクトテンプレート、検証ルーチン、ビルド構成を提供し、エージェントはUDF自体に集中しつつ、テストやベンチマークでリライトが正しく性能があるかどうかを判断できるようにしています。

影響の証拠として、NVIDIAは大手消費者向けテクノロジー企業がこのワークフローを使って30以上のUDFを本番パイプラインで変換したと述べています。同社が引用したベンチマーク一、オペレーターの時間は274.55時間から12.78時間に減少し、600億行のワークロードを達成し、NVIDIAはこれを22xの高速化と表現しました。投稿では、問題のUDFが3,000以上のジョブに影響を与えたとも述べられています。

同社の主張は、最近のApache Sparkリリースの文脈で読むべきです。2026-07-14年にリリースされたApache Spark 4.2.0は、Python UDFに対してデフォルトでArrowシリアライズを使用していますが、Apache Sparkの公式ニュースページによると、Spark 4.1.3と3.5.9はそれぞれ2026-07-15と2026-07-16でリリースされました。これらのリリースはNVIDIAの投稿とは別であり、報告されたGPUベンチマークを検証するものではありません。

NVIDIAはApache SparkのcuDFスキルがGitHubで入手可能であり、さらなる技術的詳細については同社のドキュメントやData + AIサミットのセッションを読者に示すよう指示しました。この投稿ではパフォーマンス結果の独立した監査は提供されていません。