Together AI、本番推論に継続的コンパイルを導入

Together AIは2026年11月4日、ポリモーフィック推論を発表し、初の実装としてTogetherコンパイラーを導入した。このエージェント主導型システムは、モデル、トラフィック、ハードウェアの変化に応じて推論を継続的に再調整するもので、すでに同社の主要な本番環境向け推論ワークロードの多くと、一部の人気の高いサーバーレスエンドポイントで稼働している。

Together AIによると、Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flashを用いたテストで、コンパイラーは24時間未満で、最適化済みのオープンソースベースラインに対して毎秒トークン数を1.3倍から3倍に引き上げました。これらの結果は、今回の発表の中心となる主張を示しています。つまり、最適化はリリース時に手作業で調整して固定する一度きりの工程ではなく、デプロイ環境にひもづく継続的な探索プロセスになり得るということです。

モデル、トラフィック、ハードウェアの変化

ポリモーフィック推論とは、モデルのリリースの高速化、多様なアーキテクチャ、変化するトラフィックの形状やサービスレベル要件、そしてより頻繁なハードウェアの変更に適応するサービングインフラを指す、Together AI独自の呼称です。これに対し、静的なアプローチでは、固定されたエンジン構成を出発点とします。ある環境に合わせて調整した構成が、別の環境にも適しているとは限りません。特に、モデルの挙動やリクエストの分布が変化する場合はなおさらです。

同社が本番環境で観測した事例は、具体的な状況を示しています。Together AIによると、ある国の勤務時間帯にはプロンプトが約97,000トークンに達した一方、別の地域では70,000トークンでした。また、あるモデルのリリース後の2週間で、利用がエージェント型のワークロードへ移行したため、プロンプトの長さが80%増加しました。顧客の利用が急増すると、プロンプトの長さが2倍になり、キャッシュヒット率が低下することもあります。その結果、既存の構成を調整したときの条件が変わります。

今回の発表では、複数の処理を単一のカーネルに統合するメガカーネルを以前から重視してきたTogether AIの方針も見直されています。初期バージョンを本番環境に導入した後、同社は、処理の統合だけを普遍的な設計目標とすることはできないと結論づけました。Mixture-of-Expertsアーキテクチャや動的なワークロードには、異なる手法が必要となる場合があるためです。また、固定的またはランダムなトラフィックを想定して開発したカーネルは、データに応じたルーティングが有効な最適化手法を左右する本番トラフィックに対して、調整が適切でない可能性があります。

継続的コンパイルの仕組み

Together Compilerは、トラフィックの形状、モデル、ハードウェアを入力として受け取り、エージェントを使って推論エンジン向けの最適化候補を生成し、その性能を測定します。常駐型のエンジンはモデルを一度だけ読み込み、エンジン全体を再起動せずに候補となる順伝播処理をホットリロードします。並行して動作するエージェントは候補を生成し、掲示板を通じて情報を共有します。これにより、ほかのエージェントが推論したりツールを使用したりしている間も、実験を順番待ちの状態にできます。

2段階の測定により、実験数と現実性のバランスを取ります。高速エンジンはレイヤーの一部を読み込み、迅速な反復とばらつきの小さい計測を可能にします。一方、低速エンジンはより多くのレイヤーを読み込み、現実的なデータ分布でも候補が有効かどうかを検証します。別途用意されたコストモデルは、ハードウェア仕様、マイクロベンチマーク、測定済みの順伝播処理を組み合わせ、エージェントが候補の最適化に時間を費やす前に、並列化構成の探索範囲を絞り込みます。

技術論文によると、採用候補はサービングに使用できるようになる前に、KVキャッシュの汚染と出力品質に関する検証テストを受けます。最適化の予算を使い切り、最終的なソースコードをサービングエンジンへの統合に向けて準備する段階で、これらのチェックが実施されます。

発表記事に掲載された起動時間の比較では、現状の手順ではサービング開始まで467秒かかるのに対し、Together Compilerの構成では9.0秒でした。これらの数値は個々のリクエストのレイテンシではなく、最適化中のエンジン起動にかかる時間を示しています。また、ホットリロードがシステムの実験処理能力の要となる理由も説明しています。

評価範囲と顧客の利用

エンジンの比較では、論文は2026年10月30日時点の主要なオープン構成を使用し、エージェント型最適化の効果を切り分けるため、ベースラインの並列化戦略を固定しました。標準的な評価ワークロードに対する例外として明示されたのがTrainium2です。利用可能なHBM容量の範囲では実装が高い同時実行数にまだ対応していなかったため、Trainium2では合成マルチターンデータセットが使われました。

Together AIは、ベースラインとなるエージェント型の再帰的自己改善最適化システムに比べて実験処理能力が252倍高いことが、最適化の成果の一因だとしています。

論文によると、言語モデルの推論に加え、テスト対象となった気象、生物学、時系列、偏微分方程式の各モデルでも1.5倍から6.4倍の高速化を達成し、明記された評価ではビット単位で完全に一致する出力を維持しました。

エンドユーザーは、限定ベータを通じて早期アクセスを申請できます。Together AIは、専用エンドポイントの最適化をワンクリックで行えるようにする計画です。また、同社の研究ロードマップには、ドメイン、リクエスト、トークン、トラフィック負荷に応じて適応する投機的デコーディングに加え、多様なサーバーレストラフィックに対応するための、ワーカー間およびデプロイ構成間の動的ルーティングが含まれています。

今回の発表により、Together AIの推論スタックでは、あらゆる環境で最適なカーネルを追求するのではなく、デプロイ環境ごとに測定することが基本方針となった。顧客にとって当面の焦点は、限定ベータ版で、自社のモデル、トラフィック、ハードウェアでも報告された性能向上を再現し、同じ品質チェックを通過できるかどうかだ。Continuous Compilationは、まさにこうした環境ごとの差に対応するために設計されている。