Together AI、カスタムモデル向けサービス「Together Post-Training」を開始

Together AIは2026年10月19日、ユーザーが定義した強化学習と教師ありファインチューニングのループを通じてカスタムモデルを構築できるサービス、Together Post-Trainingを開始した。導入価格として、最初の6週間はB200の使用1 GPU時間あたり9ドルで提供する。

提供開始時のモデル、料金、早期アクセス

このサービスは、強化学習（RL）による環境報酬と、教師ありファインチューニング（SFT）による教師データの両方を用いて、カスタムモデルを構築できるよう設計されている。顧客はデータ、環境、エージェント用ハーネスなどを含むトレーニングループを定義し、ログ記録や外部ベンチマークなどの工程を追加できる。一方、Togetherはモデルの品質とトレーニング速度を高めるため、基盤となるシステムとインフラを共同で最適化する。Togetherによると、RLインフラがますます複雑化するなか、ポストトレーニングの恩恵を受けられる多くの企業が、インフラの負担から導入に踏み切れない、あるいは導入しても途中で行き詰まる状況を受けて、このサービスを開発した。

サービス開始時には、オープンウェイトモデルのMuse Spark Open、GLM 5.3、Kimi K3、Qwen 3.8-27Bを提供する。Togetherは、今後数週間で選択肢を拡充し、最先端の大規模言語モデル（LLM）と、効率的な小型モデルの両方をそろえる予定だと述べた。最初の6週間は、B200の使用1 GPU時間あたり9ドルの割引価格で提供する。

サービス開始に先立ち、Togetherはここ数カ月にわたり、選ばれた一部の組織に早期アクセスを提供していた。Collinear AIの研究者であるAdit Jain氏は、同社のポストトレーニング・ベータ版が2026年4月に始まって以来、自身のチームがTogetherと協力してきたと述べた。

専用モデルリソースとGPU分単位の課金

すべての実験は、Togetherが「モデルリソース」と呼ぶ環境で実行される。これは単一の顧客専用に割り当てられたGPUリソースで、優先利用を求める他のユーザーのリクエストと競合することはない。各モデルリソースには1つまたは複数のトレーニングセッションを設定でき、各セッションは同じベースモデルを用いる個別の実験に対応する。たとえば、1組のLoRAアダプターを使う実験がこれに当たる。Togetherによると、専用リソースの割り当てにより、大規模で知識集約型のタスクにモデルを適応させる際、LoRAにとどまらず、全重みを対象としたファインチューニングも実行できる。

各セッションには、順伝播と逆伝播、および重みの更新を担うTrainerインスタンスと、ポリシーに基づくロールアウトを実行するGeneratorインスタンスが含まれる。教師ありファインチューニングでは、コストを抑えるため、モデルリソースにGeneratorを1つも設定せずに開始できる。TrainerのパラメーターをいつGeneratorに送るかはユーザーが決定でき、両方のコンポーネントでGPU使用率を高めるための非同期RLにも対応している。これは、長時間にわたるエージェントのロールアウトで特に有効だ。

ユーザーはLoRAトレーニングを実行でき、同じGPU容量を複数のLoRAアダプターで共有することも、一部のモデルで全重みを対象とする実験を行うこともできる。このサービスは、クロスエントロピー、GRPO、CISPO、DPPOなどの標準的な損失関数に対応する。また、ユーザーがローカルで独自のトレーニング目的関数を計算し、その勾配をTrainerに送ることも可能だ。

ポストトレーニングのドキュメントによると、SDKの主なインターフェースは、課金単位となるモデルリソースを確保するcreateメソッドと、そこにトレーニングセッションを追加するcreate_sessionメソッドで構成される。その後、各ステップで、採点用の生成結果を作るsample_batch、損失を計算して勾配を逆伝播するforward_backward、重みを更新するoptim_step、Generatorのレプリカに新しい重みを反映するweights_syncを呼び出す。SFTとDPOでは生成結果をサンプリングしないため、sample_batchとweights_syncは省略される。

モデルリソースはGPU分単位で課金される。Togetherによると、実験の規模が大きくなると、トレーニング全体のコストはトークン単位の料金を下回るという。ドキュメントでは、同社の標準的なファインチューニングサービスとの違いも説明している。標準サービスは処理したトークン数に応じて課金され、実行中に制御できず、完了まで進むジョブとして動作する。一方、ポストトレーニングのユーザーは、各ステップの指標を確認し、学習率を変更したり、データを並べ替えたり、自分で定めた条件に基づいて実行を停止したりできる。

トレーニングの安定性とデプロイへの道筋

Togetherによると、このサービスは、トレーニングエンジンと推論エンジンの間でポリシーがずれる要因を数多く取り除く。同じ重みを使っていても、わずかな数値の不一致によってRLの実行性能が低下したり、破綻したりする場合があるためだ。そのため、Rollout Routing Replayなどの標準的な手法に加え、トレーニングの安定性に関する同社の研究から得られた最適化を活用している。同社によると、ロールアウトエンジンにはサービング基盤と同じ最適化が取り入れられており、複数ターンのエージェント向けのインテリジェントなキャッシュとルーティング、さらに並列処理とシーケンスパッキングの最適化によって、SFTとRLの両方のステップを高速化している。

トレーニング後の運用では、同社は現在、Dedicated Model Inferenceで複数のLoRAアダプターを使ったサービングに対応している。これにより、実験ごとに別々の本番デプロイを開始せず、1つのGPUデプロイ内でアダプターを切り替えられる。Togetherによると、複数のLoRAアダプターを用いたサンプリングからFP4精度のマージ済み推論に切り替えた後も、各トレーニングチェックポイントの品質はサービング時に維持される。

ドキュメントでは、トレーニング、評価、本番環境への展開というワークフローを紹介している。まず、凍結した1つのベースモデルを用いて複数のアダプターをトレーニングする。次に、候補となるアダプターを1つの複数LoRA対応デプロイに追加し、リクエストごとに異なるアダプター名を指定して比較する。最後に、最も優れたアダプターを独立したデプロイ上でマージモードにして展開する。GLM-5.3とKimi-K3では、FP4推論の前にアダプターの準備工程が必要となる。

オンボーディング、Tinkerからの移行、初期ユーザー

利用を開始するには、最新のTogether SDKとドキュメントが必要です。TogetherはGitHubのpost-training-cookbookリポジトリで、GSM8Kベンチマークを用いたGRPOトレーニング、カスタム損失関数として実装したDPO、同じモデルリソース内で複数のLoRAアダプターをトレーニングする方法を紹介するクックブックを公開しました。ドキュメントでは、このクックブックを、すぐに使えるループをまとめたPythonライブラリと説明しています。ノートブックでは、SDKの非同期呼び出しを使い、1つのモデルリソース上でGRPO、SFT、複数アダプターのトレーニングを順を追って解説しています。Tinker APIをすでに利用しているチーム向けには、インポート文を1行置き換える移行方法があり import together.post_training.tinker as tinker、移行ガイドで詳しく説明されています。

早期アクセスユーザーの1人であるDeelのデータサイエンス担当アソシエイトディレクター、Anthony Li氏は、このプラットフォームの制御性と柔軟性のおかげで、チームは数時間以内に実際のRL実験を開始でき、同じGPUリソースで最大5件のRL実験を同時に実行できたと述べました。Jack & Jillの創業エンジニアであるOliver Normand氏によると、同氏のチームは、採用担当者が面談したい候補者を予測するモデルを事後学習させました。この予測は、同社の採用エージェントJillが候補者を検索する際の中核的なステップです。また、オープンソースモデルを使ったオフライン評価で、クローズドソースモデルと同等の品質を達成しながら、推論コストを大幅に抑えました。同氏は、Togetherの顧客先常駐エンジニアが、チーム初の成果につながるスクリプトを作成したと述べています。

Collinear AIのJain氏は、セルフオンボーディングがスムーズで、本格的なエージェント型RLの実行を簡単に開始できたと述べました。Togetherの顧客先常駐エンジニアは、オープンモデルとエージェントハーネスの選定から、データやトレーニング環境の整備、評価、最適化したエンドポイントの公開まで、事後学習の全工程を通じて顧客と協働します。