Together AI Dévoile un Compilateur pour l'Optimisation Continue de l'Inférence AI

Together AI a introduit le Together Compiler (TKCC), un système conçu pour optimiser de manière dynamique et continue les charges de travail d'inférence AI. Annoncé le 2026-11-04, le compilateur exploite des agents à haut débit et une technologie de moteur persistant pour s'adapter à divers modèles, plateformes matérielles et schémas de trafic, réalisant des gains de performance significatifs dans plusieurs benchmarks.

Résolution des Charges de Travail d'Inférence AI Dynamiques

Les charges de travail d'inférence AI deviennent de plus en plus complexes, englobant des milliers de modèles, de plateformes matérielles et de formes de trafic. Together AI rapporte que son infrastructure sert quotidiennement des trillions de tokens à des milliers de clients, chacun ayant des exigences uniques comme la taille de lot, la longueur de séquence et la rareté de l’attention. Les méthodes d'optimisation manuelle traditionnelles se sont révélées insoutenables dans cet environnement.

TKCC s'attaque à ces défis en employant des agents pour réécrire le code GPU et optimiser les moteurs d'inférence. Contrairement aux systèmes traditionnels qui nécessitent de longs redémarrages de moteur pour chaque expérience, TKCC utilise des moteurs persistants capables de recharger à chaud les optimisations candidates. Cette approche minimise le temps d'inactivité du GPU et augmente le débit d'expérimentation par 252 fois par rapport aux systèmes d'agents de base.

Benchmarks de Performance et Réalisations

En moins de 24 heures, TKCC a réalisé des améliorations de débit de 1.3 à 3 fois sur plusieurs modèles open source, y compris Kimi K3, GLM 5.3, MiniMax M3.1-Flash et DeepSeek v4.1-Flash. Notamment, il a établi des records à la pointe de la technologie sur le benchmark InferenceX de SemiAnalysis pour la performance à faible latence, atteignant 1,111 tokens par seconde (TPS) sur MiniMax M3.1-Flash et 1,205 TPS sur DeepSeek v4.1-Flash. De plus, TKCC a surpassé les mégakernels open source par 1.7 fois dans le cadre de la taille de lot 1 de Llama 1B.

Le système se généralise également au-delà de l'inférence de modèles linguistiques, montrant une applicabilité dans des domaines tels que la modélisation météorologique, les équations différentielles partielles (PDE), l'analyse de séries chronologiques et la biologie. Together AI souligne la capacité du compilateur à s'adapter à l'évolution des comportements des utilisateurs, y compris les schémas de trafic régionaux, les nouvelles publications de modèles et les charges de travail soudaines.

Architecture Innovante et Stratégies d'Optimisation

L'architecture de TKCC intègre plusieurs innovations :

• Moteurs Persistants : Ces moteurs éliminent le besoin de processus de démarrage répétés, réduisant le temps total de configuration de 467 secondes à seulement 9 secondes.
• Optimisation à Deux Niveaux : Une combinaison de "moteurs rapides" pour une itération rapide et de "moteurs plus lents" pour des tests de haute fidélité équilibre le débit et la précision des mesures.
• Modèle de Coût Personnalisé : Ce modèle sélectionne des stratégies de parallélisme, telles que le parallélisme de tenseurs (TP) et le parallélisme d'experts (EP), en fonction des spécifications matérielles, des microbenchmarks et des données de trafic du monde réel.

Ces fonctionnalités permettent à TKCC d'optimiser les configurations dans le respect des exigences des accords de niveau de service (SLA) tout en tenant compte des propriétés de trafic dépendantes des données, telles que les longueurs de demande inégales et les déséquilibres d'experts MoE.

Impact Réel et Potentiel Futur

Phonic, un client de Together AI, a rapporté une réduction de près de 50% dans le temps médian jusqu'à la première parole pour son modèle Phonic-1 après une optimisation nocturne à l'aide de TKCC. Together AI indique que le compilateur est déjà opérationnel, servant des trillions de tokens quotidiennement sans nécessiter d'effort client supplémentaire.

En abordant les défis des charges de travail d'inférence dynamique avec une approche évolutive et adaptative, TKCC représente une avancée significative dans l'optimisation des systèmes AI. Sa capacité à fournir des optimisations rapides et de haute fidélité le positionne comme un outil critique pour les organisations opérant dans des environnements sensibles à la latence et intensifs en calcul.