Together AI dévoile Together Compiler pour l'optimisation continue de l'inférence IA

Together AI a annoncé le lancement de Together Compiler (TKCC), un système révolutionnaire conçu pour optimiser les charges de travail d'inférence IA grâce à une compilation continue. Le système, présenté le 2026-11-04, vise à relever les défis posés par la nature dynamique des charges de travail IA, qui couvrent divers modèles, plateformes matérielles et schémas de trafic.

Aborder la variabilité dans l'inférence IA

Les charges de travail d'inférence IA deviennent de plus en plus complexes, Together AI traitant quotidiennement des billions de tokens pour des milliers de clients. Ces charges varient considérablement en taille de lot, longueur de séquence, rareté et autres facteurs. De plus, le paysage matériel est hautement fragmenté, avec des plateformes comme NVIDIA H100, B200 et Groq nécessitant des stratégies d'optimisation distinctes. Together Compiler exploite l'optimisation pilotée par des agents pour s'adapter à ces différentes conditions sans se fier à des règles statiques ou à un réglage manuel.

Moteurs persistants et débit d'expérimentation

TKCC introduit des "moteurs persistants" qui éliminent la nécessité de redémarrer plusieurs fois les moteurs durant l'optimisation. Les systèmes traditionnels nécessitent jusqu'à 467 secondes pour la configuration, tandis que TKCC réduit cela à seulement 9 secondes. Cette innovation permet une augmentation de 252x du débit d'expérimentation par rapport aux systèmes agéntiques de référence. Les agents au sein de TKCC partagent des propositions d'optimisation via un tableau d'affichage, garantissant des tests continus et minimisant le temps d'inactivité du GPU.

Benchmarks de performance

Lors des tests, TKCC a atteint jusqu'à 2.6x plus de tokens par seconde (TPS) sur plusieurs modèles open-source, y compris Kimi K3, GLM 5.3, MiniMax M3.1-Flash et DeepSeek v4.1-Flash. Il a établi de nouveaux records sur le benchmark SemiAnalysis InferenceX, délivrant 1111 TPS sur MiniMax M3.1-Flash et 1205 TPS sur DeepSeek v4.1-Flash. De plus, TKCC a surpassé les mégacœurs open-source de 1.7x dans les réglages de taille de lot Llama 1B 1.

Adapter à la dérive de trafic

Together Compiler est conçu pour gérer l'évolution du comportement de l'utilisateur. Par exemple, les longueurs des prompts ont augmenté de 80% dans les deux semaines suivant le lancement d'un nouveau modèle, et des différences régionales dans les schémas de trafic ont été observées, certains pays moyenne 97,000 tokens par prompt par rapport à 70,000 dans d'autres. TKCC s'ajuste dynamiquement à ces changements, garantissant des performances optimales sans nécessiter de modifications du code client.

Applications plus larges

Au-delà de l'inférence de modèle linguistique, TKCC a démontré sa capacité à se généraliser à d'autres domaines, y compris la modélisation météorologique, les équations différentielles partielles (EDP), l'analyse de séries temporelles et la biologie. Cette polyvalence souligne son potentiel en tant qu'outil universel pour optimiser les charges de travail computationnelles.

Grâce à son architecture innovante et à des améliorations de performance significatives, Together Compiler représente une avancée majeure dans l'optimisation de l'inférence IA, permettant un déploiement plus rapide et efficace des modèles IA dans divers cas d'utilisation.