LongCat-2.5 erscheint mit 1,6 Billionen Parametern und nativen visuellen Tokens

LongCat stellte am 1. November 2026 LongCat-2.5 vor, ein nativ multimodales Mixture-of-Experts-Modell für agentische Aufgaben mit langem Zeithorizont und insgesamt 1,6 Billionen Parametern, von denen pro Token etwa 48 Milliarden aktiviert werden.

LongCat zufolge baut die Veröffentlichung auf LongCat-2.0 auf und bietet ein stärkeres natives visuelles Verständnis sowie verbesserte Fähigkeiten im agentischen Programmieren. Das Training umfasst mehr Trajektorien mit langem Zeithorizont und bestärkendes Lernen in großem Maßstab über lange Zeithorizonte, um komplexe Codebasen zu entwickeln und vollständige Projekte zu erstellen. Die Veröffentlichung verweist auf die Chat-Oberfläche und die API-Plattform von LongCat; die Schaltflächen für GitHub und Hugging Face sind hingegen mit „Demnächst verfügbar“ gekennzeichnet.

Diskrete visuelle Tokens und Agententraining

LongCat-2.5 stellt visuelle Signale als diskrete Tokens auf mehreren Ebenen dar. Dadurch kann sein Basismodell visuelle und textuelle Eingaben in einem einheitlichen, Token-basierten Format verarbeiten. Das Design kombiniert die Tokenisierung visueller Inhalte in nativer Auflösung, die Offline-Vorverarbeitung visueller Daten und visuelle Einbettungen, die gemeinsam mit dem Basismodell gelernt werden. Dabei wird die Residual-Vector-Quantisierung auf Merkmale in nativer Auflösung angewendet, die von einem Semantic-and-Aligned-Encoder stammen. Bilder werden als Folgen diskreter Tokens kodiert und anschließend von einem visuellen Detokenizer rekonstruiert.

Ein festgelegter Tokenizer ermöglicht es, IDs visueller Tokens im Voraus zu berechnen und offline zwischenzuspeichern, sodass das Basismodell vorab tokenisierte Sequenzen verarbeitet. Da die Anzahl der Bild-Tokens beim Zusammenstellen und Mischen der Daten bekannt ist, lässt sich die Auslastung der Modalitäten vorhersagen und ihr Anteil über die Ränge der datenparallelen Verarbeitung hinweg annähernd gleichmäßig halten. LongCat zufolge zeigte eine vorläufige Validierung mit einem kleineren MoE-Modell, bei dem durchschnittlich etwa 3 Milliarden Parameter aktiviert waren, in t-SNE-Visualisierungen miteinander verwobene visuelle und textuelle Einbettungen. Dies deutet auf eine Integration in einem gemeinsamen semantischen Raum hin.

Für agentische Programmieraufgaben erzeugt eine Synthesepipeline Trainingsaufgaben, interaktive Umgebungen und überprüfbare Tests. LongCat filtert GitHub-Pull-Requests und verknüpfte Issues, lässt Agenten Aufgaben annotieren und Umgebungen synthetisieren und validiert diese mit Fail-to-Pass- und Pass-to-Pass-Tests. Die Erfolgsraten laufender Rollouts dienen als Grundlage für die erneute Kennzeichnung und Filterung. Eine Offline-Analyse von Trajektorien mit falsch positiven und falsch negativen Ergebnissen korrigiert und erweitert die Tests. Auch reale Fehlverläufe von Agenten werden in reproduzierbare, überprüfbare Trainingsaufgaben umgewandelt.

Bei asynchronen partiellen Rollouts werden laufende Trajektorien unterbrochen und gespeichert, sobald ein vollständiger Batch erfasst wurde. In der nächsten Sampling-Phase werden sie fortgesetzt. Um Reward Hacking einzudämmen, deaktiviert LongCat den Netzwerkzugriff in den Aufgaben-Umgebungen, entfernt den Git-Verlauf und zwischengespeicherte Dateien und lässt einen LLM-Richter die Trajektorien auf Exploits prüfen. Zusätzliche Strafwerte wirken sich bei Interaktionen über mehrere Gesprächsrunden hinweg gegen sich wiederholende Schlussfolgerungen und wiederholte Tool-Aufrufe aus.

Training auf Beschleunigern und W4A4-Inferenz

Das Training mit langen Sequenzen findet sowohl während des Mid-Trainings als auch beim überwachten Feinabstimmen auf inländischen KI-Beschleunigern mit weniger als 80 GB Speicher pro Gerät statt. Die Gruppen für die parallele Verarbeitung richten sich nach der Supernode-Topologie. Dadurch bleiben Parameter-All-Gather, Expert-Token-All-to-All und KV-All-Gather innerhalb ihres Hochgeschwindigkeits-Interconnects.

Bei Dual-Shard-FSDP wird die Aufteilung der Modellparameter auf den jeweiligen Supernode beschränkt, während FP32-Mastergewichte und Optimiererzustände zusätzlich über FSDP-Domänen hinweg aufgeteilt werden. LongCat zufolge war der Durchsatz pro Gerät bei überwachten Feinabstimmungsaufgaben mit langen Sequenzen 86 % höher als bei der DDP-Baseline.

LongCat zufolge bewahrt sein Trainings- und Inferenz-Stack bei nahezu vernachlässigbarem Leistungsaufwand bitweise identische Log-Wahrscheinlichkeiten pro Token und entkoppelt zugleich die Konfigurationen für die parallele Verarbeitung. Beide Engines verwenden batchinvariante Kernel und eine abgestimmte Framework-Logik; außerdem wird die Rückwärtsberechnung beim Training unterstützt.

Bei der W4A4-Inferenz werden Expertengewichte und Aktivierungen auf 4 Bit quantisiert; die entsprechenden Matrixmultiplikationen werden auf nativen INT4-Einheiten ausgeführt. Eine gemeinsame Eingangstransformation für alle Experten ermöglicht die Quantisierung vor der Token-Replikation und -Verteilung, sodass dieselbe INT4-Darstellung bei der Kommunikation zwischen den Experten und bei den Berechnungen wiederverwendet werden kann. LongCat zufolge erreichte das Modell bei allen ausgewerteten nachgelagerten Aufgaben eine mit dem nicht quantisierten Modell vergleichbare Genauigkeit.

In Online-Stresstests im Vergleich zu einer W8A8-INT8-Baseline meldete LongCat einen um 43,3 % höheren Prefill-Durchsatz und einen um 42,77 % höheren Decode-Durchsatz sowie eine Verringerung der TTFT um 15,91 % und der TPOT um 19,72 %. Der GMM-Kernel erzielte gegenüber W8A8 eine durchschnittliche Beschleunigung um den Faktor 1,73.

Gemeldete Evaluierungsergebnisse

LongCat meldete folgende Benchmark-Ergebnisse für LongCat-2.5 und seinen Vorgänger:

Für visuelle Evaluierungen meldete LongCat einen Wert von 55,4 bei 3DCodeBench Text-to-3D und 78,6 bei Vision2Web.

Sofern nicht anders angegeben, wurden bei den LongCat-2.5-Evaluierungen der Denkmodus aktiviert, eine Temperatur von 1.0 und ein top_p-Wert von 0.95 verwendet. Für Terminal Bench v2.1 kam das Claude-Code-Harness mit einer maximalen Sequenzlänge von 512K zum Einsatz; die Ergebnisse wurden über drei unabhängige Durchläufe gemittelt. DeepSWE v1.1 verwendete mini-swe-agent mit einer maximalen Sequenzlänge von 1M; auch hier wurden die Ergebnisse über drei Durchläufe gemittelt.

Bei anderen Modellen in LongCats vollständiger Evaluierungstabelle stammten mit einem Sternchen gekennzeichnete Ergebnisse aus öffentlichen technischen Berichten, Blogbeiträgen oder offiziellen Benchmark-Ranglisten. Nicht gekennzeichnete Ergebnisse wurden selbst ermittelt und lediglich als Richtwerte ausgewiesen.

API-Zugang und Preise

Der Schnellstartleitfaden für die API führt LongCat-2.5 sowohl für OpenAI- als auch für Anthropic-kompatible Formate auf. Die jeweiligen Basisendpunkte sind https://api.longcat.chat/openai und https://api.longcat.chat/anthropic, die Folgendes unterstützen /v1/chat/completions und /v1/messages. Eine einzelne Anfrage bietet ein Kontextfenster von 1M Token und eine maximale Ausgabelänge von 128K Token.

Auf der LongCat-Produktseite wird die Kompatibilität mit Claude Code, Codex, Hermes und anderen Agenten-Harnesses aufgeführt. Außerdem wird die Unterstützung visueller Programmierung, kreativer Gestaltung und von 3D-Aufgaben beschrieben – ebenso wie die Arbeit mit komplexen Codebasen und die Erstellung vollständiger Projekte, die mehrstufiges Schlussfolgern und den Einsatz von Tools erfordern.

Die nutzungsbasierte Preisgestaltung nennt zeitlich begrenzte Rabattpreise pro Million Token: 0,30 $ für nicht zwischengespeicherte Eingaben, 0,006 $ für zwischengespeicherte Eingaben und 1,20 $ für Ausgaben. Die entsprechenden Preise in Yuan betragen 2 ¥, 0,04 ¥ und 8 ¥. Die Preise können sich ändern; maßgeblich sind die auf der API-Plattform angezeigten Preise und die Abrechnungsunterlagen.

Da GitHub und Hugging Face weiterhin als in Kürze verfügbar gekennzeichnet sind, werden in der Veröffentlichung die Chat-Oberfläche und die API als derzeit verfügbare Zugangswege dargestellt.