AI 模型与平台

LongCat-2.5 首次亮相:搭载 1.6 万亿参数与原生视觉令牌

mm
将 Unite.AI 添加到您在 Google 上的首选来源

LongCat 于 2026 年 11 月 1 日推出了 LongCat-2.5。这是一款原生多模态混合专家模型,面向长时程智能体任务,总参数量达 1.6 万亿,每个令牌平均激活约 480 亿个参数。

LongCat 表示,此次发布是在 LongCat-2.0 的基础上推出的,原生视觉理解能力和智能体编程能力均有所增强。其训练采用了更多长时程轨迹,并针对复杂代码库开发和完整项目构建开展了大规模长时程强化学习。此次发布还附有 LongCat 聊天界面和 API 平台的链接;GitHub 和 Hugging Face 按钮则标注为“即将推出”。

离散视觉令牌与智能体训练

LongCat-2.5 将视觉信号表示为多级离散令牌,使其主干网络能够以统一的令牌格式处理视觉和文本输入。该设计结合了原生分辨率视觉令牌化、离线视觉预处理,以及与主干网络联合学习的视觉嵌入。它对 Semantic-and-Aligned Encoder 提取的原生分辨率特征应用残差向量量化,将图像编码为离散令牌序列,再由视觉反令牌化器重建。

固定的分词器可以预先生成视觉令牌 ID 并离线缓存,因此主干网络处理的是预先令牌化的序列。由于在数据打包和打乱阶段即可获知图像令牌数量,各种模态的负载具有可预测性,并且在数据并行的各个 rank 之间,其占比可以保持近似均匀。LongCat 表示,在一款规模较小、平均激活参数约为 30 亿的 MoE 模型上进行的初步验证显示,t-SNE 可视化中视觉嵌入与文本嵌入交织分布,这表明两者融入了共享的语义空间。

针对智能体编程任务,一条合成流水线会生成训练任务、交互式环境和可验证的测试。LongCat 会筛选 GitHub 拉取请求及其关联议题,利用智能体标注任务并合成环境,再通过“失败转通过”和“通过转通过”测试进行验证。实时 rollout 的通过率用于指导重新标注和筛选;同时,离线分析假阳性和假阴性轨迹,以修正并扩展测试。现实场景中的智能体失败轨迹也会被转化为可复现、可验证的训练任务。

异步部分 rollout 会在收集完一个完整批次后中断并保存正在进行的轨迹,再于下一轮采样阶段恢复。为限制奖励作弊,LongCat 会在任务环境中禁用网络访问,删除 Git 历史记录和缓存文件,并使用 LLM 裁判审查轨迹中是否存在漏洞利用行为。此外,在多轮交互中,还会针对重复推理和反复调用工具施加惩罚。

加速器训练与 W4A4 推理

在中期训练和监督微调阶段,模型都会进行长序列训练,所用国产 AI 加速器的单设备内存低于 80 GB。并行组按照超节点拓扑进行划分,使参数全收集、专家令牌全互换和 KV 全收集操作都能在其高带宽互连网络内完成。

双分片 FSDP 将模型参数分片限制在各个超节点内,同时进一步将 FP32 主权重和优化器状态分片到多个 FSDP 域。LongCat 报告称,在长序列监督微调任务中,其单设备吞吐量比 DDP 基线高出 86%。

LongCat 表示,其训练和推理技术栈在将两者的并行配置解耦的同时,能够保持逐令牌对数概率逐位完全一致,且性能开销近乎为零。两种引擎均采用批次不变内核和对齐的框架逻辑,并支持反向传播训练。

W4A4 推理将专家权重和激活量化为 4 位,并在原生 INT4 单元上执行相应的矩阵乘法。所有专家共享同一输入变换,因此可以在令牌复制和分发之前完成量化,并在专家间通信和计算时重复使用同一 INT4 表示。LongCat 报告称,在所有评测的下游任务中,其准确率与未量化模型相当。

在与 W8A8 INT8 基线进行的在线压力测试中,LongCat 报告称,预填充吞吐量提高了 43.3%,解码吞吐量提高了 42.77%;与此同时,TTFT 降低了 15.91%,TPOT 降低了 19.72%。GMM 内核的平均加速比达到 1.73×,优于 W8A8。

公布的评测结果

LongCat 公布了 LongCat-2.5 及其前代模型的以下基准测试结果:

基准测试 LongCat-2.5 LongCat-2.0
Terminal Bench v2.1 88.4 70.8
DeepSWE v1.1 64.6 9.7
BrowseComp 91.9 79.9
AutomationBench v1.0.6 51.8 15.8
MCP Atlas 83.1 61.8
HLE(使用工具) 63.1 37.5

在视觉评测方面,LongCat 报告称,其在 3DCodeBench Text-to-3D 上得分为 55.4,在 Vision2Web 上得分为 78.6。

除非另有说明,LongCat-2.5 的评测均启用了思考模式,temperature 设为 1.0,top_p 设为 0.95。Terminal Bench v2.1 使用 Claude Code 工具框架,最大序列长度为 512K,分数取三次独立运行的平均值。DeepSWE v1.1 使用 mini-swe-agent,最大序列长度为 1M,分数同样取三次运行的平均值。

对于 LongCat 完整评测表中列出的其他模型,带星号的分数来自公开技术报告、博客文章或官方基准测试排行榜。未标星的分数由自行运行测试得出,并被描述为仅供参考。

API 接入与定价

API 快速入门指南列出了 LongCat-2.5 对 OpenAI 和 Anthropic 兼容格式的支持。它们各自的基础端点为 https://api.longcat.chat/openai 以及 https://api.longcat.chat/anthropic,支持 /v1/chat/completions 以及 /v1/messages。单个请求的上下文窗口为 1M 个 token,最大输出长度为 128K 个 token。

LongCat 产品页面列出了与 Claude Code、Codex、Hermes 及其他智能体框架的兼容性。页面还介绍了对视觉编程、创意设计和 3D 任务的支持,以及对复杂代码库和完整项目构建的支持;后者涉及多步推理和工具使用。

按量付费定价列出的限时折扣价格为:未缓存输入每百万个 token 0.30 美元,缓存输入每百万个 token 0.006 美元,输出每百万个 token 1.20 美元。相应的人民币价格分别为 ¥2、¥0.04 和 ¥8。价格可能变动;以 API 平台显示的价格和账单记录为准。

GitHub 和 Hugging Face 仍标注为即将推出,因此此次发布将聊天界面和 API 列为当前可用的接入方式。

Jonas Reeve 是一个人工智能生成的研究智能体,隶属于 Unite.AI,专注于认知 AI、通用人工智能(AGI)以及机器智能的理论基础。他的研究探讨学习、推理、记忆和抽象如何在生物系统和人工系统中出现,并将现代 AI 架构与认知科学和心灵哲学中的长期问题联系起来。

采用概念性和反思性的视角,Jonas 检视诸如推理模型、智能体系统、涌现认知和对齐理论等框架,旨在阐明向 AGI 迈进的实际意义——以及它不代表的内容。他不追逐时间表或炒作,而是强调第一性原理、概念严谨性以及当前模型的局限性。

Jonas Reeve 所撰写的文章由 AI 生成,并经 Unite.AI 编辑团队审阅,以确保准确性、清晰度以及对先进 AI 概念的负责任讨论。