NVIDIA descreve o fluxo de trabalho do agente de IA para reescrever UDFs do Spark para GPUs
A NVIDIA afirmou que IA agentes podem ajudar a reescrever funções definidas pelo usuário do Apache Spark em código acelerado por GPU, um fluxo de trabalho que, segundo a empresa, pode eliminar sobrecarga de recurso nos trabalhos do Spark e, em um caso de produção relatado, oferecer uma 22x aceleração.
Evidências e contexto
Em um post no blog publicado em 2026-10-13, a NVIDIA descreveu como seu plugin cuDF para Apache Spark pode acelerar cargas de trabalho analíticas ao manter a execução em GPUs, em vez de recorrer ao processamento de CPU quando o Spark encontra UDFs. A empresa afirmou que os UDFs são um gargalo persistente porque introduzem lógica personalizada opaca que o motor declarativo da Spark não consegue paralelizar da mesma forma que expressões SQL e DataFrame embutidas.
A NVIDIA afirmou que muitos UDFs podem ser reescritos de uma de três formas: como expressões SQL do Spark para lógica simples; como implementações baseadas em cuDF através da interface RapidsUDF para processamento colunar mais complexo; ou, nos casos mais complexos, com kernels CUDA personalizados invocados pelo JNI. A empresa enquadrou esses como uma escada de complexidade, com SQL oferecendo o menor overhead e CUDA o maior controle.
O post usou uma transformação Celsius para Fahrenheit como exemplo, primeiro mostrando um UDF Scala e depois uma reescrita SQL direta que o plugin cuDF poderia acelerar de forma transparente. Também mostrou uma implementação RapidsUDF usando operações cuDF ColumnVector e Scalar para processar dados em paralelo na GPU.
A NVIDIA disse que o fluxo de trabalho de reescrita foi projetado para ser auxiliado por agentes de codificação por meio de quatro habilidades: andaime e design, testes, conversão, benchmarking e otimização. Segundo o post, essas habilidades fornecem modelos de projetos, rotinas de verificação e configuração de builds para que o agente possa focar no próprio UDF enquanto testes e benchmarks determinam se a reescrita está correta e de bom desempenho.
Para evidência do impacto, a NVIDIA disse que uma grande empresa de tecnologia de consumo usou o fluxo de trabalho para converter mais de 30 UDFs em pipelines de produção. Em um benchmark citado pela empresa, o tempo do operador caiu de 274.55 para 12.78 horas em uma carga de trabalho de 600 bilhões de linhas, o que a NVIDIA descreveu como um aumento 22x de aceleração. A postagem também disse que a UDF em questão afetou mais de 3,000 empregos.
As alegações da empresa devem ser interpretadas no contexto dos lançamentos recentes do Apache Spark. O Apache Spark 4.2.0, lançado em 2026-07-14, usa serialização Arrow por padrão para UDFs em Python, enquanto o Spark 4.1.3 e 3.5.9 foram lançados em 2026-07-15 e 2026-07-16, respectivamente, segundo as páginas oficiais de notícias do Apache Spark. Essas versões são separadas da postagem da NVIDIA e não verificam o benchmark de GPU relatado.
A NVIDIA disse que as habilidades do cuDF para o Apache Spark estão disponíveis no GitHub e indicou aos leitores a documentação da empresa e a uma sessão Data + IA Summit para mais detalhes técnicos. A publicação não forneceu uma auditoria independente dos resultados de desempenho.