NVIDIA describe el flujo de trabajo de agentes de IA para reescribir los UDF de Spark para GPUs

NVIDIA afirmó que IA agentes pueden ayudar a reescribir funciones definidas por el usuario de Apache Spark en código acelerado por GPU, un flujo de trabajo que la compañía dice puede eliminar la sobrecarga en los trabajos de Spark y, en uno caso de producción reportado, ofrecer una 22x aceleración.

Evidencia y contexto

En una entrada de blog publicada en 2026-10-13, NVIDIA describió cómo su plugin cuDF para Apache Spark puede acelerar las cargas de trabajo analíticas manteniendo la ejecución en GPUs en lugar de recurrir al procesamiento de CPU cuando Spark se encuentra con UDFs. La compañía afirmó que las UDF son un cuello de botella persistente porque introducen una lógica personalizada opaca que el motor declarativo de Spark no puede paralelizar de la misma manera que las expresiones SQL y DataFrame integradas.

NVIDIA afirmó que muchos UDF pueden reescribirse de una de tres maneras: como expresiones SQL de Spark para lógica simple; como implementaciones basadas en cuDF a través de la interfaz RapidsUDF para un procesamiento columnar más complejo; o, en los casos más complejos, con núcleos CUDA personalizados invocados a través de JNI. La empresa enmarcó estos como una escalera de complejidad, con SQL ofreciendo la menor sobrecarga y CUDA el mayor control.

La publicación usó como ejemplo una transformación de Celsius a Fahrenheit, mostrando primero un UDF de Scala y luego una reescritura SQL directa que el plugin cuDF podía acelerar de forma transparente. También mostró una implementación de RapidsUDF usando operaciones cuDF ColumnVector y Scalar para procesar datos en paralelo en la GPU.

NVIDIA afirmó que el flujo de trabajo de reescritura está diseñado para ser asistido por agentes de codificación a través de cuatro habilidades: andamiaje y diseño, pruebas, conversión, benchmarking y optimización. Según la publicación, estas habilidades proporcionan plantillas de proyectos, rutinas de verificación y configuración de compilación para que el agente pueda centrarse en la propia UDF mientras las pruebas y benchmarks determinan si la reescritura es correcta y eficiente.

Como prueba del impacto, NVIDIA dijo que una importante empresa tecnológica de consumo utilizó el flujo de trabajo para convertir más de 30 UDF en las cadenas de producción. En uno benchmark citado por la empresa, el tiempo del operador cayó de 274.55 horas a 12.78 horas en una carga de trabajo de 600 mil millones de filas, lo que NVIDIA describió como una 22x aceleración. La publicación también señalaba que la UDF en cuestión afectaba a más de 3,000 empleos.

Las afirmaciones de la compañía deben interpretarse en el contexto de los recientes lanzamientos de Apache Spark. Apache Spark 4.2.0, lanzado el 2026-07-14, utiliza la serialización Arrow por defecto para los UDF de Python, mientras que Spark 4.1.3 y 3.5.9 se lanzaron en 2026-07-15 y 2026-07-16, respectivamente, según las páginas oficiales de noticias de Apache Spark. Esos lanzamientos son independientes de la publicación de NVIDIA y no verifican el benchmark de GPU reportado.

NVIDIA indicó que las habilidades cuDF para Apache Spark están disponibles en GitHub y remitió a los lectores a la documentación de la empresa y a una sesión Data + IA Summit para más detalles técnicos. La publicación no ofreció una auditoría independiente de los resultados de rendimiento.