LongCat-2.5 debuteert met 1,6 biljoen parameters en native visuele tokens

LongCat introduceerde op 1 november 2026 LongCat-2.5, een van nature multimodaal mixture-of-expertsmodel voor agentische taken met een lange horizon, met in totaal 1,6 biljoen parameters en gemiddeld ongeveer 48 miljard geactiveerde parameters per token.

LongCat zei dat deze release voortbouwt op LongCat-2.0, met een beter begrip van visuele informatie en sterkere agentische programmeervaardigheden. De training omvat meer trajecten met een lange horizon en grootschalige reinforcement learning over een lange horizon, gericht op de ontwikkeling van complexe codebases en het bouwen van volledige projecten. De release bevat links naar de chatinterface en het API-platform van LongCat; bij de knoppen voor GitHub en Hugging Face staat dat ze binnenkort beschikbaar zijn.

Discrete visuele tokens en training van agents

LongCat-2.5 geeft visuele signalen weer als discrete tokens op meerdere niveaus, zodat de backbone visuele en tekstuele invoer kan verwerken in één uniforme, op tokens gebaseerde indeling. Het ontwerp combineert visualisatie in de native resolutie, offline voorbewerking van visuele gegevens en visuele embeddings die samen met de backbone zijn geleerd. Het past residuele vectorquantisatie toe op kenmerken in de native resolutie van een Semantic-and-Aligned Encoder. Afbeeldingen worden daarbij gecodeerd als reeksen discrete tokens en vervolgens gereconstrueerd door een visuele detokenizer.

Met een vaste tokenizer kunnen ID’s van visuele tokens vooraf worden berekend en offline in de cache worden opgeslagen, zodat de backbone vooraf getokeniseerde reeksen verwerkt. Omdat het aantal tokens voor afbeeldingen bekend is tijdens het samenstellen en schudden van de data, zijn de belastingen per modaliteit voorspelbaar en kunnen de verhoudingen ervan bij de dataparallelle ranks ongeveer gelijk worden gehouden. LongCat zei dat voorlopige tests met een kleinere MoE, met gemiddeld ongeveer 3 miljard geactiveerde parameters, in t-SNE-visualisaties verweven visuele en tekstuele embeddings lieten zien. Dat wijst erop dat beide zijn geïntegreerd in een gedeelde semantische ruimte.

Voor agentische programmeertaken genereert een synthesepijplijn trainingstaken, interactieve omgevingen en verifieerbare tests. LongCat filtert pull requests op GitHub en de daaraan gekoppelde issues, zet agents in om taken te annoteren en omgevingen te synthetiseren, en valideert deze met fail-to-pass- en pass-to-pass-tests. De slagingspercentages van live roll-outs sturen het opnieuw labelen en filteren; offline analyse van trajecten met fout-positieven en fout-negatieven wordt gebruikt om de tests te corrigeren en uit te breiden. Ook trajecten waarin agents in de praktijk falen, worden omgezet in reproduceerbare, verifieerbare trainingstaken.

Asynchrone gedeeltelijke roll-outs onderbreken en bewaren lopende trajecten zodra een volledige batch is verzameld, waarna die trajecten tijdens de volgende samplingfase worden hervat. Om reward hacking tegen te gaan, schakelt LongCat netwerktoegang in taakomgevingen uit, verwijdert het de Git-geschiedenis en gecachte bestanden en laat het een LLM-beoordelaar trajecten controleren op exploits. Aanvullende strafpunten ontmoedigen repetitieve redeneringen en herhaalde toolaanroepen tijdens interacties met meerdere beurten.

Training op accelerators en W4A4-inferentie

Training met lange sequenties vindt zowel tijdens de mid-training als tijdens supervised fine-tuning plaats op binnenlandse AI-accelerators met minder dan 80 GB geheugen per apparaat. De parallelle groepen volgen de topologie van de supernode, zodat parameter-all-gather-, expert-token-all-to-all- en KV-all-gatherbewerkingen binnen de interconnect met hoge bandbreedte blijven.

Bij Dual-shard FSDP blijft het sharden van modelparameters beperkt tot elke supernode, terwijl FP32-mastergewichten en optimizerstatussen verder over FSDP-domeinen worden verdeeld. LongCat meldde dat de doorvoer per apparaat bij taken voor supervised fine-tuning met lange sequenties 86% hoger lag dan bij de DDP-baseline.

LongCat zei dat de trainings- en inferentiestack bit voor bit identieke log-waarschijnlijkheden per token behoudt, met vrijwel geen prestatieverlies, terwijl de configuraties voor parallelle verwerking van training en inferentie van elkaar worden losgekoppeld. Beide engines gebruiken batchinvariante kernels en op elkaar afgestemde frameworklogica, met ondersteuning voor backpropagation tijdens de training.

Bij W4A4-inferentie worden de gewichten en activaties van experts gekwantiseerd naar 4 bits en worden de bijbehorende matrixvermenigvuldigingen uitgevoerd op native INT4-eenheden. Een gedeelde invoertransformatie voor alle experts maakt kwantisatie vóór de replicatie en verzending van tokens mogelijk, zodat dezelfde INT4-weergave kan worden hergebruikt bij zowel de communicatie tussen experts als de berekeningen. LongCat meldde dat de nauwkeurigheid vergelijkbaar was met die van het niet-gekwantiseerde model voor alle geëvalueerde downstreamtaken.

Bij online stresstests ten opzichte van een W8A8 INT8-baseline meldde LongCat een 43,3% hogere prefill-doorvoer en een 42,77% hogere decode-doorvoer, naast dalingen van 15,91% in TTFT en 19,72% in TPOT. De GMM-kernel behaalde gemiddeld een versnelling van 1,73× ten opzichte van W8A8.

Gerapporteerde evaluatieresultaten

LongCat rapporteerde de volgende benchmarkresultaten voor LongCat-2.5 en zijn voorganger:

Voor visuele evaluaties rapporteerde LongCat een score van 55,4 op 3DCodeBench Text-to-3D en 78,6 op Vision2Web.

Tenzij anders aangegeven, zijn bij de evaluaties van LongCat-2.5 thinking ingeschakeld, een temperature van 1.0 en een top_p van 0.95 gebruikt. Voor Terminal Bench v2.1 is de Claude Code-harness gebruikt, met een maximale sequentielengte van 512K; de resultaten zijn gemiddeld over drie onafhankelijke runs. Voor DeepSWE v1.1 is mini-swe-agent gebruikt, met een maximale sequentielengte van 1M; ook de resultaten hiervan zijn gemiddeld over drie runs.

Voor andere modellen in de volledige evaluatietabel van LongCat waren scores met een sterretje afkomstig uit openbare technische rapporten, blogposts of officiële benchmarkranglijsten. Scores zonder markering waren gebaseerd op eigen tests en werden uitsluitend als indicatief beschreven.

API-toegang en prijzen

In de snelstartgids voor de API staat LongCat-2.5 vermeld voor zowel OpenAI- als Anthropic-compatibele indelingen. De bijbehorende basis-eindpunten zijn https://api.longcat.chat/openai en https://api.longcat.chat/anthropic, met ondersteuning voor /v1/chat/completions en /v1/messages. Eén aanvraag heeft een contextvenster van 1M tokens en een maximale uitvoerlengte van 128K tokens.

Op de productpagina van LongCat staat dat het compatibel is met Claude Code, Codex, Hermes en andere agentomgevingen. Ook wordt ondersteuning vermeld voor visueel programmeren, creatief ontwerp en 3D-taken, naast complexe codebases en het bouwen van volledige projecten waarbij meerstapsredeneringen en het gebruik van tools komen kijken.

Bij prijzen op basis van betalen naar gebruik staan tijdelijke kortingstarieven per miljoen tokens vermeld: $0.30 voor invoer zonder cache, $0.006 voor invoer uit de cache en $1.20 voor uitvoer. De overeenkomstige tarieven in yuan zijn ¥2, ¥0.04 en ¥8. Prijzen kunnen wijzigen; de prijzen die op het API-platform worden weergegeven en de factureringsgegevens gelden als leidend.

Hoewel GitHub en Hugging Face nog als binnenkort beschikbaar staan vermeld, presenteert de release de chatinterface en de API als de beschikbare manieren om toegang te krijgen.