NVIDIA beschreibt den KI-Agenten-Workflow zur Umschreibung von Spark UDFs für GPUs
NVIDIA sagte, KI Agenten helfen können, benutzerdefinierte Funktionen von Apache Spark in GPU-beschleunigten Code umzuschreiben – ein Workflow, der laut Unternehmen Fallback-Overhead bei Spark-Jobs beseitigen und in eins gemeldeten Produktionsfall eine 22x Beschleunigung liefern kann.
Beweise und Kontext
In einem auf 2026-10-13 veröffentlichten Blogbeitrag beschrieb NVIDIA, wie sein cuDF-Plugin für Apache Spark Analyse-Workloads beschleunigen kann, indem es die Ausführung auf GPUs behält, anstatt auf CPU-Verarbeitung zurückzugreifen, wenn Spark auf UDFs trifft. Das Unternehmen sagte, UDFs seien ein persistierender Engpass, weil sie undurchsichtige benutzerdefinierte Logik einführen, die Sparks deklarative Engine nicht auf dieselbe Weise parallelisieren kann wie integrierte SQL- und DataFrame-Ausdrücke.
NVIDIA erklärte, dass viele UDFs auf eine drei Arten umgeschrieben werden können: als Spark-SQL-Ausdrücke für einfache Logik; als cuDF-basierte Implementierungen über die RapidsUDF-Oberfläche für komplexere Spaltenverarbeitung; oder für die komplexesten Fälle mit benutzerdefinierten CUDA-Kerneln, die über JNI aufgerufen werden. Das Unternehmen stellte diese als Komplexitätsleiter dar, wobei SQL den geringsten Overhead und CUDA die meiste Kontrolle bietet.
Der Beitrag verwendete eine Transformation von Celsius zu Fahrenheit als Beispiel, wobei zunächst ein Scala UDF und dann eine direkte SQL-Neuschreibung gezeigt wurde, die das cuDF-Plugin transparent beschleunigen konnte. Es wurde auch eine RapidsUDF-Implementierung gezeigt, die cuDF ColumnVector und Skalaroperationen verwendete, um Daten parallel auf der GPU zu verarbeiten.
NVIDIA erklärte, dass der Rewrite-Workflow so konzipiert ist, dass er von Agenten durch vier Fähigkeiten unterstützt wird: Gerüstbau und Design, Testen, Konvertierung, Benchmarking und Optimierung. Laut dem Beitrag liefern diese Fähigkeiten Projektvorlagen, Verifikationsroutinen und Build-Konfigurationen, sodass der Agent sich auf das UDF selbst konzentrieren kann, während Tests und Benchmarks bestimmen, ob das Rewrite korrekt und leistungsfähig ist.
Als Beweis für die Wirkung sagte NVIDIA, ein großes Verbrauchertechnologieunternehmen nutze den Workflow, um mehr als 30 UDFs in Produktionspipelines umzuwandeln. In eins vom Unternehmen genannten Benchmark sank die Bedienerzeit von 274.55 auf 12.78 Stunden über eine 600 Milliarde Reihen umfassende Arbeitslast, die NVIDIA als 22x Beschleunigung bezeichnete. Der Beitrag erwähnte außerdem, dass die betreffende UDF mehr als 3,000 Arbeitsplätze betrifft.
Die Behauptungen des Unternehmens sollten im Kontext der jüngsten Apache Spark-Veröffentlichungen gelesen werden. Apache Spark 4.2.0, veröffentlicht auf 2026-07-14, verwendet standardmäßig Arrow-Serialisierung für Python-UDFs, während Spark 4.1.3 und 3.5.9 laut den offiziellen Nachrichtenseiten von Apache Spark auf 2026-07-15 bzw. 2026-07-16 veröffentlicht wurden. Diese Veröffentlichungen sind getrennt von NVIDIAs Beitrag und überprüfen den gemeldeten GPU-Benchmark nicht.
NVIDIA erklärte, dass die cuDF-Fähigkeiten für Apache Spark auf GitHub verfügbar sind und verwies die Leser auf die Unternehmensdokumentation sowie eine Data + KI Summit-Sitzung für weitere technische Details. Der Beitrag lieferte keine unabhängige Überprüfung der Leistungsergebnisse.