Together AIがAI推論最適化のためのTogether Compilerを発表

Together AIは、AI推論ワークロードを連続的にコンパイルすることで最適化するために設計された画期的なシステムであるTogether Compiler (TKCC)の発表をしました。このシステムは2026-11-04に導入され、さまざまなモデル、ハードウェアプラットフォーム、およびトラフィックパターンを含むAIワークロードの動的特性によって引き起こされる課題に対処することを目的としています。

AI推論の変動性に対処

AI推論ワークロードはますます複雑化しており、Together AIは日々数兆トークンを数千の顧客に提供しています。これらのワークロードは、バッチサイズ、シーケンス長、スパース性などの要因によって大きく異なります。さらに、ハードウェア環境は非常に断片的で、NVIDIA H100、B200、およびGroqなどのプラットフォームは、異なる最適化戦略を必要とします。Together Compilerは、静的ルールや手動調整に依存せずに、これらの多様な条件に適応するためにエージェント駆動型最適化を活用します。

持続エンジンと実験スループット

TKCCは、最適化中にエンジンの再起動が必要なくなる「持続エンジン」を導入します。従来のシステムはセットアップに最大467秒を要しますが、TKCCではこの時間をわずか9秒に短縮します。この革新により、基準エージェントシステムと比較して、実験スループットが252x倍向上します。TKCC内のエージェントは、メッセージボードを介して最適化提案を共有し、継続的なテストを行い、GPUのアイドル時間を最小限に抑えます。

パフォーマンスベンチマーク

テストでは、TKCCはKimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flashなどのいくつかのオープンソースモデルにおいて、最大2.6xトークン/秒（TPS）を達成しました。MiniMax M3.1-Flashで1111 TPS、DeepSeek v4.1-Flashで1205 TPSを提供し、SemiAnalysis InferenceXベンチマークで新記録を樹立しました。此外、TKCCはLlama 1Bバッチサイズ1設定でオープンソースメガカーネルを1.7x上回りました。

トラフィックドリフトへの適応

Together Compilerは進化するユーザー行動の処理を目的としています。例えば、新しいモデルリリースから2週間以内にプロンプトの長さが80%増加し、地域によるトラフィックパターンの違いが観察され、一部の国ではプロンプトごとに平均97,000トークンであるのに対し、他の国では70,000トークンが観察されました。TKCCはこれらの変化に動的に調整し、顧客コードの変更を必要とせずに最適なパフォーマンスを確保します。

より広範なアプリケーション

言語モデル推論を超えて、TKCCは天気モデリング、偏微分方程式（PDE）、時系列分析、および生物学など、他の分野への一般化能力を示しています。この多様性は、計算ワークロードを最適化するための普遍的なツールとしての潜在能力を強調しています。

その革新的なアーキテクチャと大幅なパフォーマンス向上により、Together CompilerはAI推論最適化における重要な前進を表しており、さまざまな使用ケースにおけるAIモデルの迅速かつ効率的な展開を可能にします。