LongCat-2.5 přichází s 1,6 bilionu parametrů a nativními vizuálními tokeny

LongCat představil 1. listopadu 2026 model LongCat-2.5, nativně multimodální model typu mixture of experts pro agentní úlohy s dlouhým horizontem, který má celkem 1,6 bilionu parametrů a na každý token aktivuje přibližně 48 miliard parametrů.

LongCat uvedl, že nová verze navazuje na LongCat-2.0 a přináší lepší nativní porozumění vizuálnímu obsahu a agentní programování. Její trénování zahrnuje více trajektorií s dlouhým horizontem a rozsáhlé posilované učení s dlouhým horizontem pro vývoj komplexních kódových základen a sestavování celých projektů. Odkazy u nové verze vedou na chatovací rozhraní a platformu API LongCat, zatímco tlačítka GitHub a Hugging Face jsou označena jako „Již brzy“.

Diskrétní vizuální tokeny a trénování agentů

LongCat-2.5 reprezentuje vizuální signály jako víceúrovňové diskrétní tokeny, což jeho základnímu modelu umožňuje zpracovávat vizuální a textové vstupy v jednotném formátu založeném na tokenech. Návrh kombinuje tokenizaci vizuálního obsahu v nativním rozlišení, offline předzpracování vizuálních dat a vizuální embeddingy naučené společně se základním modelem. Na příznaky v nativním rozlišení ze sémanticko-zarovnávacího kodéru aplikuje reziduální vektorovou kvantizaci; obrazy se přitom zakódují jako posloupnosti diskrétních tokenů a rekonstruují pomocí vizuálního detokenizéru.

Pevný tokenizer umožňuje předpočítat ID vizuálních tokenů a ukládat je do mezipaměti offline, takže základní model zpracovává předem tokenizované posloupnosti. Protože jsou počty obrazových tokenů známy už při balení a promíchávání dat, lze předvídat zatížení jednotlivých modalit a udržovat jejich podíly přibližně stejnoměrné napříč ranky datově paralelního zpracování. LongCat uvedl, že předběžná validace na menším modelu MoE s průměrně přibližně 3 miliardami aktivovaných parametrů ukázala ve vizualizacích t-SNE propletené vizuální a textové embeddingy, což naznačuje jejich integraci ve společném sémantickém prostoru.

Pro agentní programovací úlohy vytváří syntetizační pipeline trénovací úlohy, interaktivní prostředí a ověřitelné testy. LongCat filtruje pull requesty na GitHubu a související issues, využívá agenty k anotování úloh a syntéze prostředí a následně je ověřuje pomocí testů fail-to-pass a pass-to-pass. Míra úspěšnosti při živém spouštění řídí nové označování a filtrování, zatímco offline analýza falešně pozitivních a falešně negativních trajektorií testy opravuje a rozšiřuje. Skutečné trajektorie selhání agentů jsou také převáděny na reprodukovatelné a ověřitelné trénovací úlohy.

Asynchronní částečná spouštění přeruší a uloží právě probíhající trajektorie po shromáždění celé dávky a poté v nich pokračují během další fáze vzorkování. Aby se omezilo zneužívání odměnového mechanismu, LongCat v prostředích úloh zakazuje přístup k síti, odstraňuje historii Gitu a soubory v mezipaměti a pomocí hodnoticího modelu LLM kontroluje trajektorie, zda neobsahují exploity. Další penalizace se vztahují na opakující se uvažování a opakovaná volání nástrojů během vícekrokových interakcí.

Trénování na akcelerátorech a inference W4A4

Trénování s dlouhými sekvencemi probíhá jak v průběhu průběžného trénování, tak při supervidovaném dolaďování, a to na domácích AI akcelerátorech s méně než 80 GB paměti na zařízení. Skupiny pro paralelní zpracování odpovídají topologii superuzlu, takže operace all-gather parametrů, all-to-all tokenů expertů a all-gather KV zůstávají v rámci jeho vysokorychlostního propojení.

FSDP se dvěma úrovněmi shardování udržuje shardování parametrů modelu uvnitř každého superuzlu a zároveň dále rozděluje hlavní váhy FP32 a stavy optimalizátoru napříč doménami FSDP. LongCat uvedl, že při úlohách supervidovaného dolaďování s dlouhými sekvencemi dosáhl na každém zařízení o 86 % vyšší propustnosti než jeho výchozí konfigurace DDP.

LongCat uvedl, že jeho zásobník pro trénování a inferenci zachovává bitově totožné logaritmické pravděpodobnosti pro jednotlivé tokeny s téměř nulovou režijní zátěží, a přitom odděluje konfigurace paralelního zpracování pro trénování a inferenci. Oba enginy používají jádra invariantní vůči dávkám a sladěnou logiku frameworku a podporují zpětný průchod při trénování.

Inference W4A4 kvantizuje váhy expertů a aktivace na 4 bity a příslušná násobení matic provádí na nativních jednotkách INT4. Sdílená transformace vstupu napříč experty umožňuje kvantizaci před replikací a distribucí tokenů, takže lze stejné vyjádření INT4 znovu použít při komunikaci mezi experty i výpočtech. LongCat uvedl, že přesnost byla srovnatelná s nekvantizovaným modelem ve všech hodnocených navazujících úlohách.

V online zátěžových testech ve srovnání se základním modelem W8A8 INT8 LongCat vykázal o 43,3 % vyšší propustnost při předvyplňování a o 42,77 % vyšší propustnost při dekódování; současně se TTFT snížilo o 15,91 % a TPOT o 19,72 %. Jádro GMM dosáhlo v průměru 1,73× vyšší rychlosti než W8A8.

Uváděné výsledky hodnocení

LongCat uvedl následující výsledky benchmarků pro LongCat-2.5 a jeho předchůdce:

V rámci vizuálního hodnocení LongCat uvedl skóre 55,4 v benchmarku 3DCodeBench Text-to-3D a 78,6 v benchmarku Vision2Web.

Pokud není uvedeno jinak, vyhodnocení modelu LongCat-2.5 probíhala se zapnutým režimem uvažování, při teplotě 1.0 a hodnotě top_p 0.95. Test Terminal Bench v2.1 používal testovací prostředí Claude Code s maximální délkou sekvence 512K a jeho výsledky byly zprůměrovány ze tří nezávislých běhů. Test DeepSWE v1.1 používal mini-swe-agent s maximální délkou sekvence 1M a jeho výsledky byly rovněž zprůměrovány ze tří běhů.

U ostatních modelů zahrnutých do úplné evaluační tabulky LongCat pocházela skóre označená hvězdičkou z veřejných technických zpráv, blogových příspěvků nebo oficiálních žebříčků benchmarků. Skóre bez označení byla získána vlastním testováním a jsou uváděna pouze jako orientační.

Přístup k API a ceny

Průvodce rychlým začátkem s API uvádí LongCat-2.5 pro formáty kompatibilní s OpenAI i Anthropic. Jejich příslušné základní koncové body jsou https://api.longcat.chat/openai a https://api.longcat.chat/anthropic, které podporují /v1/chat/completions a /v1/messages. Jediný požadavek může využít kontextové okno o velikosti 1M tokenů a maximální délku výstupu 128K tokenů.

Stránka produktu LongCat uvádí kompatibilitu s Claude Code, Codex, Hermes a dalšími frameworky pro agenty. Popisuje také podporu vizuálního programování, kreativního návrhu a úloh ve 3D, stejně jako práci se složitými kódovými základnami a sestavování celých projektů, které zahrnují vícestupňové uvažování a používání nástrojů.

Ceny podle skutečného využití uvádějí časově omezené zvýhodněné sazby za milion tokenů: 0,30 $ za vstup bez mezipaměti, 0,006 $ za vstup z mezipaměti a 1,20 $ za výstup. Odpovídající sazby v jüanech činí 2 ¥, 0,04 ¥ a 8 ¥. Ceny se mohou měnit; za závazné se považují ceny zobrazené na platformě API a v záznamech o fakturaci.

GitHub a Hugging Face jsou stále označeny jako „Již brzy“, takže vydání uvádí jako dostupné způsoby přístupu své chatovací rozhraní a API.