LongCat-2.5 дебютирует с 1,6 трлн параметров и нативными визуальными токенами

1 ноября 2026 года LongCat представила LongCat-2.5 — изначально мультимодальную модель типа «смесь экспертов» для агентных задач с длинным горизонтом планирования, содержащую в общей сложности 1,6 трлн параметров и активирующую примерно 48 млрд параметров на каждый токен.

По словам LongCat, новая модель развивает возможности LongCat-2.0 в области нативного понимания визуальной информации и агентного программирования. При обучении использовалось больше траекторий с длинным горизонтом, а также крупномасштабное обучение с подкреплением на длинных горизонтах для разработки сложных кодовых баз и сборки целых проектов. На странице релиза размещены ссылки на чат-интерфейс и API-платформу LongCat, а кнопки GitHub и Hugging Face помечены как доступные в ближайшее время.

Дискретные визуальные токены и обучение агентов

LongCat-2.5 представляет визуальные сигналы в виде многоуровневых дискретных токенов, благодаря чему базовая модель может обрабатывать визуальные и текстовые данные в едином формате на основе токенов. Архитектура сочетает токенизацию визуальных данных в исходном разрешении, офлайн-предобработку изображений и визуальные эмбеддинги, обучаемые совместно с базовой моделью. Для признаков в исходном разрешении, полученных от Semantic-and-Aligned Encoder, применяется остаточное векторное квантование: изображения кодируются в последовательности дискретных токенов, а затем восстанавливаются визуальным детокенизатором.

Фиксированный токенизатор позволяет заранее вычислять идентификаторы визуальных токенов и кэшировать их офлайн, поэтому базовая модель обрабатывает уже токенизированные последовательности. Поскольку количество токенов изображения известно при упаковке и перемешивании данных, нагрузку по модальностям можно прогнозировать, а их доли — поддерживать примерно одинаковыми на рангах параллельной обработки данных. По словам LongCat, предварительная проверка на уменьшенной модели типа «смесь экспертов» со средним числом активируемых параметров около 3 млрд показала, что визуальные и текстовые эмбеддинги перемежаются на визуализациях t-SNE. Это указывает на их интеграцию в общем семантическом пространстве.

Для агентных задач программирования конвейер синтеза генерирует обучающие задания, интерактивные среды и проверяемые тесты. LongCat отбирает запросы на слияние изменений в GitHub и связанные с ними задачи, использует агентов для разметки заданий и создания сред, а затем проверяет их с помощью тестов на переход от неудачи к успеху и от успеха к успеху. Доля успешных запусков в реальном времени служит ориентиром для повторной разметки и фильтрации, а офлайн-анализ траекторий с ложноположительными и ложноотрицательными результатами помогает исправлять и расширять тесты. Траектории сбоев агентов в реальных условиях также преобразуются в воспроизводимые и проверяемые обучающие задания.

При асинхронном частичном выполнении траектории прерываются и сохраняются после сбора полного пакета, а затем возобновляются на следующем этапе выборки. Чтобы ограничить накрутку вознаграждения, LongCat отключает доступ к сети в средах выполнения задач, удаляет историю Git и кэшированные файлы, а также использует оценщик на основе большой языковой модели для проверки траекторий на наличие эксплойтов. Дополнительные штрафы применяются за повторяющиеся рассуждения и многократные вызовы инструментов в ходе взаимодействий из нескольких ходов.

Обучение на ускорителях и инференс W4A4

Обучение на длинных последовательностях проходит как на промежуточном этапе обучения, так и при контролируемой тонкой настройке на отечественных ИИ-ускорителях с объемом памяти менее 80 ГБ на устройство. Группы параллельной обработки организованы в соответствии с топологией суперузла, благодаря чему операции сбора параметров со всех устройств, обмена токенами между экспертами и сбора KV-данных выполняются в пределах его высокоскоростной сети соединения.

В FSDP с двойным шардированием параметры модели распределяются между устройствами внутри каждого суперузла, а веса основной модели FP32 и состояния оптимизатора дополнительно распределяются между доменами FSDP. По данным LongCat, в задачах контролируемой тонкой настройки на длинных последовательностях пропускная способность на устройство была на 86% выше, чем при использовании базовой конфигурации DDP.

По словам LongCat, ее стек обучения и инференса сохраняет побитово идентичные логарифмические вероятности для каждого токена при практически нулевых накладных расходах и позволяет независимо настраивать схемы параллельной обработки для обучения и инференса. В обоих движках используются инвариантные к размеру пакета ядра и согласованная логика фреймворка; также поддерживается обратный проход при обучении.

При инференсе W4A4 веса экспертов и активации квантуются до 4 бит, а соответствующие матричные умножения выполняются на специализированных блоках INT4. Общая для всех экспертов трансформация входных данных позволяет проводить квантование до репликации и распределения токенов, благодаря чему одно и то же представление INT4 можно повторно использовать при обмене данными между экспертами и вычислениях. По данным LongCat, точность модели сопоставима с точностью неквантованной версии на всех проверенных последующих задачах.

В стресс-тестах в онлайн-режиме относительно базовой конфигурации W8A8 INT8 LongCat сообщила о повышении пропускной способности префилла на 43,3% и декодирования — на 42,77%, а также о снижении TTFT на 15,91% и TPOT на 19,72%. Среднее ускорение ядра GMM по сравнению с W8A8 составило 1,73×.

Заявленные результаты оценки

LongCat сообщила о следующих результатах тестирования LongCat-2.5 и ее предшественницы:

По результатам визуальных тестов LongCat сообщила о результатах 55,4 в 3DCodeBench Text-to-3D и 78,6 в Vision2Web.

Если не указано иное, при оценке LongCat-2.5 использовались включённый режим рассуждений, температура 1.0 и top_p 0.95. Для Terminal Bench v2.1 применялась среда Claude Code с максимальной длиной последовательности 512K; результаты усреднялись по трём независимым запускам. Для DeepSWE v1.1 использовался mini-swe-agent с максимальной длиной последовательности 1M; результаты также усреднялись по трём запускам.

В полной таблице результатов LongCat для других моделей оценки, отмеченные звёздочкой, взяты из общедоступных технических отчётов, публикаций в блогах или официальных таблиц лидеров бенчмарков. Оценки без отметки получены в ходе собственных запусков и представлены исключительно как ориентировочные.

Доступ к API и цены

В кратком руководстве по запуску API указано, что LongCat-2.5 доступен в форматах, совместимых с OpenAI и Anthropic. Их базовые конечные точки: https://api.longcat.chat/openai и https://api.longcat.chat/anthropic, поддерживающие /v1/chat/completions и /v1/messages. Для одного запроса предусмотрено контекстное окно в 1M токенов и максимальная длина вывода в 128K токенов.

На странице продукта LongCat указана совместимость с Claude Code, Codex, Hermes и другими средами запуска агентных систем. Там также говорится о поддержке задач визуального программирования, творческого дизайна и 3D, а также работы со сложными кодовыми базами и создания проектов целиком с использованием многоэтапных рассуждений и инструментов.

В модели оплаты по мере использования указаны цены со скидкой на ограниченный срок за миллион токенов: $0.30 за входные данные без кэширования, $0.006 за входные данные с кэшированием и $1.20 за выходные данные. Соответствующие цены в юанях составляют ¥2, ¥0.04 и ¥8. Цены могут измениться; приоритет имеют цены, указанные на платформе API, и данные в платёжных документах.

Поскольку GitHub и Hugging Face по-прежнему помечены как «скоро появится», в анонсе указано, что доступ уже возможен через интерфейс чата и API.