LongCat-2.5、1.6兆パラメーターとネイティブ視覚トークンを搭載して登場

LongCatは2026年11月1日、長期的なエージェントタスク向けのネイティブなマルチモーダル混合エキスパートモデル「LongCat-2.5」を発表しました。総パラメーター数は1.6兆で、1トークンあたり約480億のパラメーターが活性化します。

LongCatによると、今回のリリースはLongCat-2.0を基盤とし、ネイティブな視覚理解とエージェント型コーディングを強化しています。学習には、より多くの長期的な軌跡と、大規模な長期強化学習が取り入れられており、複雑なコードベースの開発やプロジェクト全体のビルドに対応します。今回のリリースからLongCatのチャットインターフェースとAPIプラットフォームにアクセスできます。一方、GitHubとHugging Faceのボタンには「近日公開」と表示されています。

離散視覚トークンとエージェント学習

LongCat-2.5は視覚信号を複数レベルの離散トークンとして表現し、バックボーンが視覚入力とテキスト入力を統一されたトークンベースの形式で処理できるようにしています。この設計では、ネイティブ解像度での視覚トークン化、オフラインでの視覚前処理、バックボーンと共同で学習される視覚埋め込みを組み合わせています。また、Semantic-and-Aligned Encoderから得られるネイティブ解像度の特徴に残差ベクトル量子化を適用します。画像は離散トークン列として符号化され、視覚デトークナイザーによって再構成されます。

固定トークナイザーにより、視覚トークンIDを事前に計算してオフラインでキャッシュできるため、バックボーンはトークン化済みの系列を処理します。データのパッキングやシャッフルの段階で画像トークン数が分かるため、モダリティごとの負荷を予測でき、データ並列ランク間でその比率をおおむね均一に保てます。LongCatによると、平均で約30億のパラメーターが活性化する小規模なMoEを用いた予備検証では、t-SNE可視化において視覚埋め込みとテキスト埋め込みが入り交じっており、共通の意味空間内で統合されていることが示唆されました。

エージェント型コーディングタスク向けに、学習タスク、対話型環境、検証可能なテストを生成する合成パイプラインを構築しています。LongCatはGitHubのプルリクエストと関連するイシューを選別し、エージェントを使ってタスクに注釈を付け、環境を合成したうえで、失敗から成功（fail-to-pass）および成功から成功（pass-to-pass）のテストで検証します。実行時の成功率を基にラベルの付け直しやフィルタリングを行う一方、誤検知と見逃しの軌跡をオフラインで分析し、テストを修正・拡充します。実環境でエージェントが失敗した軌跡も、再現可能で検証可能な学習タスクに変換されます。

非同期の部分ロールアウトでは、バッチ全体の収集後に進行中の軌跡を中断して保存し、次のサンプリング段階で再開します。報酬ハッキングを抑えるため、LongCatはタスク環境のネットワークアクセスを無効にし、Gitの履歴とキャッシュファイルを削除したうえで、LLM判定器を使って軌跡に悪用がないか監査します。さらに、複数ターンのやり取りで推論が反復されたり、ツール呼び出しが繰り返されたりした場合には、追加のペナルティを適用します。

アクセラレーターでの学習とW4A4推論

長系列の学習は、中間学習と教師ありファインチューニングの両方で、デバイスあたりのメモリーが80 GB未満の国内AIアクセラレーター上で行われます。並列グループはスーパーノードのトポロジーに従い、パラメーターの全ギャザー、エキスパート間のトークンの全対全通信、KVの全ギャザーを、その高帯域幅インターコネクト内で完結させます。

デュアルシャードFSDPでは、モデルパラメーターのシャーディングを各スーパーノード内にとどめる一方、FP32のマスターウェイトとオプティマイザー状態をFSDPドメイン間でさらに分割します。LongCatは、長系列の教師ありファインチューニングタスクで、DDPベースラインと比べてデバイスあたりのスループットが86%向上したと報告しました。

LongCatによると、学習・推論スタックは、並列化の設定を分離しながら、トークンごとの対数確率をビット単位で完全に一致させ、性能への影響をほぼゼロに抑えています。両方のエンジンでバッチ不変カーネルと整合性の取れたフレームワークロジックを採用し、学習時のバックワード処理にも対応しています。

W4A4推論では、エキスパートの重みと活性値を4ビットに量子化し、対応する行列乗算をネイティブのINT4ユニット上で実行します。エキスパート間で共有する入力変換により、トークンの複製とディスパッチの前に量子化できるため、エキスパート間の通信と計算で同じINT4表現を再利用できます。LongCatは、評価したすべての下流タスクで、非量子化モデルと同等の精度を達成したと報告しました。

W8A8 INT8ベースラインと比較したオンラインのストレステストで、LongCatはプリフィルのスループットが43.3%、デコードのスループットが42.77%向上し、TTFTが15.91%、TPOTが19.72%低下したと報告しました。GMMカーネルはW8A8に対して平均1.73倍の高速化を達成しました。

報告された評価結果

LongCatは、LongCat-2.5とその前身モデルについて、以下のベンチマーク結果を報告しました。

視覚評価では、LongCatは3DCodeBenchのテキストから3Dへの変換で55.4、Vision2Webで78.6を報告しました。

特に指定がない限り、LongCat-2.5の評価では思考機能を有効にし、temperatureを1.0、top_pを0.95に設定した。Terminal Bench v2.1では、最大シーケンス長を512Kに設定したClaude Codeのハーネスを使用し、独立した3回の実行結果を平均した。DeepSWE v1.1ではmini-swe-agentを使用し、最大シーケンス長を1Mに設定して、こちらも3回の実行結果を平均した。

LongCatの全評価表に含まれる他のモデルについては、アスタリスク付きのスコアは公開された技術レポート、ブログ記事、または公式ベンチマークのリーダーボードに基づく。アスタリスクのないスコアは独自に実行した結果で、あくまで参考値として記載されている。

APIへのアクセスと料金

APIクイックスタートガイドには、OpenAI互換形式とAnthropic互換形式の両方でLongCat-2.5を利用できると記載されている。それぞれの基本エンドポイントは https://api.longcat.chat/openai および https://api.longcat.chat/anthropic、対応しているのは /v1/chat/completions および /v1/messages。1回のリクエストで利用できるコンテキストウィンドウは1Mトークン、最大出力長は128Kトークン。

LongCatの製品ページには、Claude Code、Codex、Hermesなどのエージェント用ハーネスとの互換性が記載されている。また、複雑なコードベースや、複数段階の推論とツール使用を伴うプロジェクト全体のビルドに加え、ビジュアルコーディング、クリエイティブデザイン、3Dタスクへの対応についても説明されている。

従量課金制の料金では、期間限定の割引価格として、100万トークンあたり、キャッシュされていない入力が0.30ドル、キャッシュされた入力が0.006ドル、出力が1.20ドルと記載されている。対応する人民元価格は2元、0.04元、8元。価格は変更される場合があり、APIプラットフォームに表示される価格と請求記録が正式な価格として扱われる。

GitHubとHugging Faceの提供開始が「近日公開」とされる一方、今回のリリースでは、チャットインターフェースとAPIが利用可能なアクセス手段として提示されている。