NVIDIA décrit le flux de travail des agents IA pour réécrire les UDF Spark pour les GPU

NVIDIA a indiqué que IA agents peuvent aider à réécrire les fonctions définies par l’utilisateur d’Apache Spark en code accéléré par GPU, un flux de travail que l’entreprise affirme pouvoir éliminer la surcharge dans les tâches Spark et, dans un cas de production rapporté, offrir une 22x accélération.

Preuves et contexte

Dans un article de blog publié le 2026-10-13, NVIDIA a décrit comment son plugin cuDF pour Apache Spark peut accélérer les charges de travail analytiques en maintenant l’exécution sur les GPU au lieu de recourir au traitement CPU lorsque Spark rencontre des UDF. L’entreprise a indiqué que les UDF sont un goulot d’étranglement persistant car ils introduisent une logique personnalisée opaque que le moteur déclaratif de Spark ne peut pas paralléliser de la même manière que les expressions SQL et DataFrame intégrées.

NVIDIA a indiqué que de nombreux UDF peuvent être réécrits de un trois manières : comme expressions SQL Spark pour une logique simple ; comme des implémentations basées sur cuDF via l’interface RapidsUDF pour un traitement en colonne plus complexe ; ou, dans les cas les plus complexes, avec des noyaux CUDA personnalisés invoqués via JNI. L’entreprise a présenté ces éléments comme une échelle de complexité, SQL offrant la surcharge la plus faible et CUDA le plus de contrôle.

Le post utilisait une transformation Celsius vers Fahrenheit comme exemple, montrant d’abord un UDF Scala puis une réécriture SQL directe que le plugin cuDF pouvait accélérer de manière transparente. Il montrait également une implémentation RapidsUDF utilisant cuDF ColumnVector et des opérations Scalar pour traiter les données en parallèle sur le GPU.

NVIDIA a indiqué que le flux de réécriture est conçu pour être assisté par des agents de codage grâce à quatre compétences : échafaudage et conception, test, conversion, benchmarking et optimisation. Selon le post, ces compétences fournissent des modèles de projets, des routines de vérification et des configurations de construction afin que l’agent puisse se concentrer sur l’UDF lui-même pendant que les tests et benchmarks déterminent si la réécriture est correcte et performante.

Pour montrer son impact, NVIDIA a indiqué qu’une grande entreprise technologique grand public utilisait ce flux de travail pour convertir plus de 30 UDF dans les pipelines de production. Dans un benchmark cité par l’entreprise, le temps d’opérateur est passé de 274.55 à 12.78 heures sur une charge de travail de 600 milliards de rangées, ce que NVIDIA a décrit comme une accélération 22x. Le post précisait également que l’UDF en question affectait plus de 3,000 emplois.

Les affirmations de la société doivent être lues dans le contexte des récentes sorties d’Apache Spark. Apache Spark 4.2.0, sorti le 2026-07-14, utilise par défaut la sérialisation Arrow pour les UDF Python, tandis que Spark 4.1.3 et 3.5.9 ont été publiés respectivement sur 2026-07-15 et 2026-07-16, selon les pages officielles d’actualités d’Apache Spark. Ces versions sont distinctes du post NVIDIA et ne vérifient pas le benchmark GPU rapporté.

NVIDIA a indiqué que les compétences cuDF pour Apache Spark sont disponibles sur GitHub, et a orienté les lecteurs vers la documentation de l’entreprise ainsi qu’une session Data + IA Summit pour plus de détails techniques. Le post ne fournissait pas d’audit indépendant des résultats de performance.