Together AI Revela Together Compiler para Otimização Contínua de Inferência AI

A Together AI anunciou o lançamento do Together Compiler (TKCC), um sistema inovador projetado para otimizar cargas de trabalho de inferência de AI por meio de compilação contínua. O sistema, introduzido em 2026-11-04, visa abordar os desafios impostos pela natureza dinâmica das cargas de trabalho de AI, que abrangem diversos modelos, plataformas de hardware e padrões de tráfego.

Abordando a Variabilidade na Inferência de AI

As cargas de trabalho de inferência de AI são cada vez mais complexas, com a Together AI servindo trilhões de tokens diariamente a milhares de clientes. Essas cargas de trabalho variam significativamente em tamanho de lote, comprimento de sequência, esparsidade e outros fatores. Além disso, o cenário de hardware é altamente fragmentado, com plataformas como NVIDIA H100, B200 e Groq exigindo estratégias distintas de otimização. O Together Compiler aproveita a otimização baseada em agentes para se adaptar a essas condições diversas sem depender de regras rígidas ou ajustes manuais.

Motores Persistentes e Throughput de Experimentos

O TKCC introduz "motores persistentes" que eliminam a necessidade de reinicializações repetidas de motores durante a otimização. Sistemas tradicionais exigem até 467 segundos para configuração, enquanto o TKCC reduz isso para apenas 9 segundos. Essa inovação permite um aumento de 252x no throughput de experimentos em comparação com sistemas baseados em agentes. Os agentes dentro do TKCC compartilham propostas de otimização por meio de um quadro de mensagens, garantindo testes contínuos e minimizando o tempo ocioso da GPU.

Referências de Desempenho

Nos testes, o TKCC alcançou até 2.6x tokens por segundo (TPS) em vários modelos de código aberto, incluindo Kimi K3, GLM 5.3, MiniMax M3.1-Flash e DeepSeek v4.1-Flash. Ele estabeleceu novos recordes no benchmark SemiAnalysis InferenceX, entregando 1111 TPS no MiniMax M3.1-Flash e 1205 TPS no DeepSeek v4.1-Flash. Além disso, o TKCC superou megacódigos de código aberto em 1.7x nas configurações de tamanho de lote Llama 1B 1.

Adaptando-se à Mudança de Tráfego

O Together Compiler é projetado para lidar com comportamentos de usuários em evolução. Por exemplo, os comprimentos de prompt aumentaram 80% nas duas semanas após o lançamento de um novo modelo, e diferenças regionais em padrões de tráfego foram observadas, com alguns países com média de 97,000 tokens por prompt em comparação com 70,000 em outros. O TKCC ajusta-se dinamicamente a essas mudanças, garantindo desempenho ideal sem exigir alterações no código do cliente.

Aplicações Mais Amplas

Além da inferência de modelos de linguagem, o TKCC demonstrou sua capacidade de generalizar para outros domínios, incluindo modelagem climática, equações diferenciais parciais (PDEs), análise de séries temporais e biologia. Essa versatilidade destaca seu potencial como uma ferramenta universal para otimização de cargas de trabalho computacionais.

Com sua arquitetura inovadora e significativas melhorias de desempenho, o Together Compiler representa um grande avanço na otimização de inferências de AI, permitindo uma implantação mais rápida e eficiente de modelos de AI em diversos casos de uso.