LongCat-2.5 дебютує з 1,6 трлн параметрів і нативними візуальними токенами

1 листопада 2026 року LongCat представила LongCat-2.5 — нативно мультимодальну модель типу «суміш експертів» для агентних завдань із тривалим горизонтом планування, що має загалом 1,6 трлн параметрів і активує приблизно 48 млрд параметрів на кожен токен.

За словами LongCat, нова модель розвиває напрацювання LongCat-2.0, забезпечуючи краще нативне розуміння візуальної інформації та вищу ефективність в агентному програмуванні. Під час навчання використовуються більша кількість траєкторій із тривалим горизонтом і масштабне навчання з підкріпленням на таких траєкторіях — для розробки складних кодових баз і створення цілих проєктів. На сторінці релізу є посилання на чат-інтерфейс і API-платформу LongCat, а кнопки GitHub і Hugging Face позначені як такі, що з’являться незабаром.

Дискретні візуальні токени та навчання агентів

LongCat-2.5 подає візуальні сигнали як багаторівневі дискретні токени, завдяки чому її базова модель обробляє візуальні й текстові вхідні дані в єдиному форматі на основі токенів. Архітектура поєднує токенізацію зображень у нативній роздільній здатності, офлайнову попередню обробку візуальних даних і візуальні ембеддинги, які навчаються спільно з базовою моделлю. До ознак у нативній роздільній здатності, отриманих від семантичного енкодера з вирівнюванням, застосовується залишкова векторна квантизація; зображення кодуються в послідовності дискретних токенів, а відновлюються за допомогою візуального декодера токенів.

Фіксований токенізатор дає змогу заздалегідь обчислювати й кешувати ідентифікатори візуальних токенів офлайн, тож базова модель обробляє вже токенізовані послідовності. Оскільки кількість токенів зображень відома під час пакування та перемішування даних, навантаження за модальностями можна передбачити, а їхні частки — підтримувати приблизно однаковими між рангами паралельної обробки даних. За словами LongCat, попередня перевірка меншої моделі типу MoE із середнім числом активованих параметрів близько 3 млрд показала на візуалізаціях t-SNE переплетення візуальних і текстових ембеддингів, що свідчить про їх інтеграцію в спільному семантичному просторі.

Для агентних завдань із програмування конвеєр синтезу створює навчальні завдання, інтерактивні середовища та тести, результати яких можна перевірити. LongCat фільтрує запити на злиття змін і пов’язані з ними проблеми на GitHub, залучає агентів для анотування завдань і синтезу середовищ, а потім перевіряє їх за допомогою тестів типу fail-to-pass і pass-to-pass. Частка успішних проходжень під час поточного запуску спрямовує повторне анотування та фільтрування, а офлайновий аналіз траєкторій із хибнопозитивними й хибнонегативними результатами дає змогу виправляти та доповнювати тести. Траєкторії збоїв агентів у реальних умовах також перетворюються на відтворювані навчальні завдання з результатами, які можна перевірити.

Асинхронні часткові запуски переривають і зберігають траєкторії, виконання яких ще триває, після збору повного пакета, а потім поновлюють їх на наступному етапі вибірки. Щоб обмежити маніпуляції із системою винагород, LongCat вимикає мережевий доступ у середовищах завдань, видаляє історію Git і кешовані файли та використовує суддю на основі великої мовної моделі (LLM) для перевірки траєкторій на наявність експлойтів. Додаткові штрафи застосовуються за повторювані міркування та повторні виклики інструментів під час багатоетапної взаємодії.

Навчання на прискорювачах і інференс W4A4

Навчання на довгих послідовностях відбувається як на проміжному етапі навчання, так і під час контрольованого донавчання, на вітчизняних ШІ-прискорювачах із пам’яттю менш як 80 ГБ на пристрій. Групи паралельної обробки відповідають топології супернод, завдяки чому операції збирання всіх параметрів, обміну токенами між експертами за принципом «кожен із кожним» і збирання всіх KV-даних виконуються в межах її високошвидкісного з’єднання.

У Dual-shard FSDP розподіл параметрів моделі між пристроями обмежений межами кожної суперноди, а ваги головної копії у форматі FP32 та стани оптимізатора додатково розподіляються між доменами FSDP. LongCat повідомила, що в завданнях контрольованого донавчання на довгих послідовностях пропускна здатність на пристрій була на 86% вищою, ніж у базовій конфігурації DDP.

За словами LongCat, її стек для навчання та інференсу зберігає побітово однакові логарифмічні ймовірності для кожного токена за майже нульових накладних витрат на продуктивність, водночас даючи змогу налаштовувати конфігурації паралельної обробки незалежно одна від одної. Обидва рушії використовують ядра, інваріантні до розміру пакета, та узгоджену логіку фреймворку, а також підтримують зворотний прохід для навчання.

Під час інференсу W4A4 ваги експертів і активації квантуються до 4 бітів, а відповідні матричні множення виконуються на нативних блоках INT4. Спільне для всіх експертів перетворення вхідних даних дає змогу виконати квантування до копіювання та диспетчеризації токенів, завдяки чому одне й те саме подання INT4 можна повторно використовувати під час обміну даними між експертами та обчислень. LongCat повідомила, що на всіх оцінених подальших завданнях точність була порівнянною з неквантованою моделлю.

Під час онлайн-стрес-тестів порівняно з базовою конфігурацією W8A8 INT8 LongCat повідомила про зростання пропускної здатності попереднього заповнення на 43,3% і декодування — на 42,77%, а також про скорочення TTFT на 15,91% і TPOT на 19,72%. Ядро GMM забезпечило в середньому прискорення в 1,73 раза порівняно з W8A8.

Опубліковані результати оцінювання

LongCat повідомила про такі результати тестування LongCat-2.5 та її попередниці:

За результатами візуального оцінювання LongCat повідомила про 55,4 бала в тесті 3DCodeBench Text-to-3D і 78,6 бала у Vision2Web.

Якщо не зазначено інше, оцінювання LongCat-2.5 проводили з увімкненим режимом міркування, температурою 1.0 і значенням top_p 0.95. Для Terminal Bench v2.1 використовували середовище Claude Code з максимальною довжиною послідовності 512K; результат усереднили за трьома незалежними запусками. Для DeepSWE v1.1 використовували mini-swe-agent із максимальною довжиною послідовності 1M; результат також усереднили за трьома запусками.

Для інших моделей, включених до повної таблиці оцінювання LongCat, результати, позначені зірочкою, взято з відкритих технічних звітів, дописів у блогах або офіційних таблиць лідерів бенчмарків. Результати без позначок отримано під час власних запусків; їх названо лише орієнтовними.

Доступ до API та ціни

У короткому посібнику з початку роботи з API зазначено, що LongCat-2.5 доступна у форматах, сумісних з OpenAI та Anthropic. Відповідними базовими кінцевими точками є https://api.longcat.chat/openai і https://api.longcat.chat/anthropic, що підтримують /v1/chat/completions і /v1/messages. Одне звернення має контекстне вікно на 1M токенів і максимальну довжину вихідних даних 128K токенів.

На сторінці продукту LongCat зазначено сумісність із Claude Code, Codex, Hermes та іншими середовищами для агентів. Також описано підтримку візуального програмування, творчого дизайну й завдань із 3D, а також роботи зі складними кодовими базами та створення цілих проєктів із багатокроковим міркуванням і використанням інструментів.

У тарифах із оплатою за фактичне використання вказано знижені ціни на обмежений час за мільйон токенів: $0.30 за вхідні дані без кешування, $0.006 за вхідні дані з кешуванням і $1.20 за вихідні дані. Відповідні ціни в юанях становлять ¥2, ¥0.04 і ¥8. Ціни можуть змінюватися; визначальними вважаються ціни, наведені на платформі API, та дані в рахунках.

Оскільки GitHub і Hugging Face досі позначені як такі, що з’являться незабаром, у релізі чат-інтерфейс і API представлені як доступні способи роботи з моделлю.