NVIDIA описывает рабочий процесс ИИ-агента для переписывания UDF Spark для GPU
NVIDIA заявила, что ИИ агенты могут помочь переписать пользовательские функции Apache Spark в код, ускоренный GPU, рабочий процесс, который, по их словам, позволяет устранить запасные расходы в задачах Spark и, в один сообщенном производственном случае, обеспечить 22x ускорение.
Доказательства и контекст
В блоге, опубликованном 2026-10-13году, NVIDIA описала, как её плагин cuDF для Apache Spark может ускорять аналитические нагрузки, сохраняя выполнение на GPU, а не возвращаясь к процессорной обработке при встрече Spark с UDF. Компания заявила, что UDF являются постоянным узким местом, поскольку они вводят непрозрачную пользовательскую логику, которую декларативный движок Spark не может параллелизировать так же, как встроенные SQL и выражения DataFrame.
NVIDIA заявила, что многие UDF можно переписать один из трёх способов: как выражения Spark SQL для простой логики; как реализации на основе cuDF через интерфейс RapidsUDF для более сложной колонковой обработки; или, в самых сложных случаях, с помощью пользовательских ядр CUDA, вызываемых через JNI. Компания представила это как лестницу сложности, где SQL обеспечивает минимальные накладные расходы, а CUDA — наибольший контроль.
В посте в качестве примера использовалось преобразование из Цельсия в Фаренгейт, сначала показывая UDF Scala, а затем прямую переписку SQL, которую плагин cuDF мог бы прозрачно ускорить. Также была показана реализация RapidsUDF с использованием cuDF ColumnVector и скалярных операций для параллельной обработки данных на GPU.
NVIDIA заявила, что рабочий процесс переписки разработан так, чтобы его помогали программисты с помощью четырь навыков: каркасов и проектирование, тестирование, конверсия, бенчмаркинг и оптимизация. Согласно публикации, эти навыки обеспечивают шаблоны проектов, процедуры верификации и конфигурацию сборки, чтобы агент мог сосредоточиться на самом UDF, пока тесты и бенчмарки определяют, корректно ли переписывание и эффективно.
В качестве доказательства влияния NVIDIA сообщила, что крупная компания в сфере потребительских технологий использовала этот рабочий процесс для конвертации более 30 UDF в производственных конвейерах. В один бенчмарке, на который ссылалась компания, время работы оператора сократилось с 274.55 часов до 12.78 часов при нагрузке из 600миллиардов рядов, что NVIDIA описала как 22x ускорение. В посте также говорится, что рассматриваемый UDF затронул более 3,000 рабочих мест.
Заявления компании следует рассматривать в контексте недавних релизов Apache Spark. Apache Spark 4.2.0, выпущенный 2026-07-14, по умолчанию использует сериализацию Arrow для Python UDF, тогда как Spark 4.1.3 и 3.5.9 были выпущены на 2026-07-15 и 2026-07-16соответственно, согласно официальным новостным страницам Apache Spark. Эти релизы отделены от публикации NVIDIA и не подтверждают заявленный бенчмарк GPU.
NVIDIA сообщила, что навыки cuDF для Apache Spark доступны на GitHub, и направила читателей к документации компании и сессии саммита Data + ИИ для получения дополнительной технической информации. В посте не было проведено независимый аудит результатов производительности.