LongCat-2.5 fait ses débuts avec 1,6 billion de paramètres et des jetons visuels natifs

Le 1er novembre 2026, LongCat a présenté LongCat-2.5, un modèle à mélange d’experts nativement multimodal destiné aux tâches agentiques de longue durée, doté de 1,6 billion de paramètres au total et d’environ 48 milliards de paramètres activés par jeton.

LongCat a déclaré que cette version s’appuie sur LongCat-2.0, avec une compréhension visuelle native plus poussée et de meilleures capacités de codage agentique. Son entraînement intègre davantage de trajectoires de longue durée et un apprentissage par renforcement à grande échelle sur de longues périodes, pour le développement de bases de code complexes et la compilation de projets complets. La version renvoie vers l’interface de discussion et la plateforme API de LongCat, tandis que les boutons GitHub et Hugging Face portent la mention « bientôt disponible ».

Jetons visuels discrets et entraînement des agents

LongCat-2.5 représente les signaux visuels sous forme de jetons discrets à plusieurs niveaux, ce qui permet à son réseau central de traiter les entrées visuelles et textuelles dans un format unifié fondé sur des jetons. Cette conception combine la tokenisation visuelle à résolution native, le prétraitement visuel hors ligne et des représentations vectorielles visuelles apprises conjointement avec le réseau central. Elle applique une quantification vectorielle résiduelle aux caractéristiques à résolution native issues d’un encodeur sémantique et aligné ; les images sont alors encodées en séquences de jetons discrets, puis reconstruites par un détokeniseur visuel.

Un tokenizer fixe permet de pré-calculer et de mettre en cache hors ligne les identifiants des jetons visuels, de sorte que le réseau central traite des séquences pré-tokenisées. Comme le nombre de jetons d’image est connu lors du regroupement et du mélange des données, la charge liée à chaque modalité est prévisible et leurs proportions peuvent être maintenues à peu près uniformes entre les rangs du parallélisme des données. LongCat a indiqué que des validations préliminaires menées sur un modèle MoE plus petit, avec environ 3 milliards de paramètres activés en moyenne, avaient révélé des représentations vectorielles visuelles et textuelles entremêlées dans les visualisations t-SNE, ce qui suggère leur intégration dans un espace sémantique partagé.

Pour les tâches de codage agentique, un pipeline de synthèse génère des tâches d’entraînement, des environnements interactifs et des tests vérifiables. LongCat filtre les demandes de fusion GitHub et les problèmes associés, fait appel à des agents pour annoter les tâches et synthétiser les environnements, puis les valide à l’aide de tests fail-to-pass et pass-to-pass. Les taux de réussite des exécutions en direct guident le réétiquetage et le filtrage, tandis que l’analyse hors ligne des trajectoires de faux positifs et de faux négatifs permet de corriger et d’enrichir les tests. Les trajectoires d’échec d’agents en conditions réelles sont également converties en tâches d’entraînement reproductibles et vérifiables.

Les exécutions partielles asynchrones interrompent et enregistrent les trajectoires en cours une fois qu’un lot complet a été collecté, puis les reprennent lors de la phase d’échantillonnage suivante. Pour limiter le piratage de la récompense, LongCat désactive l’accès au réseau dans les environnements de tâche, supprime l’historique Git et les fichiers mis en cache, et recourt à un évaluateur fondé sur un LLM pour auditer les trajectoires et y détecter les tentatives d’exploitation. Des pénalités supplémentaires ciblent les raisonnements répétitifs et les appels répétés aux outils au cours des interactions à plusieurs tours.

Entraînement sur accélérateurs et inférence W4A4

L’entraînement sur de longues séquences a lieu pendant la phase intermédiaire d’entraînement comme lors du réglage fin supervisé, sur des accélérateurs d’IA nationaux disposant de moins de 80 Go de mémoire par appareil. Les groupes de parallélisme suivent la topologie des supernœuds, ce qui permet de maintenir les opérations de rassemblement global des paramètres, de communication globale de tous à tous des jetons d’experts et de rassemblement global des clés et valeurs (KV) au sein de leur interconnexion à large bande passante.

Le FSDP à double partitionnement maintient le partitionnement des paramètres du modèle à l’intérieur de chaque supernœud, tout en répartissant davantage les poids maîtres FP32 et les états de l’optimiseur entre les domaines FSDP. LongCat a fait état d’un débit par appareil supérieur de 86 % à celui de sa référence DDP pour les tâches de réglage fin supervisé sur de longues séquences.

LongCat a déclaré que sa pile d’entraînement et d’inférence préserve des log-probabilités identiques bit à bit pour chaque jeton, avec une surcharge de performance quasi nulle, tout en dissociant les configurations de parallélisme des deux phases. Les deux moteurs utilisent des noyaux invariants par lot et une logique de framework alignée, avec prise en charge de la rétropropagation pendant l’entraînement.

L’inférence W4A4 quantifie sur 4 bits les poids et les activations des experts, puis exécute les multiplications matricielles correspondantes sur des unités INT4 natives. Une transformation d’entrée partagée entre les experts permet la quantification avant la réplication et la répartition des jetons, afin que la même représentation INT4 puisse être réutilisée lors de la communication et du calcul entre experts. LongCat a indiqué que la précision était comparable à celle du modèle non quantifié pour toutes les tâches en aval évaluées.

Lors de tests de résistance en ligne face à une référence W8A8 INT8, LongCat a fait état d’un débit de préremplissage supérieur de 43,3 % et d’un débit de décodage supérieur de 42,77 %, ainsi que de réductions de 15,91 % du TTFT et de 19,72 % du TPOT. Le noyau GMM a atteint une accélération moyenne de 1,73× par rapport à W8A8.

Résultats d’évaluation communiqués

LongCat a communiqué les résultats suivants aux tests de référence pour LongCat-2.5 et son prédécesseur :

Pour les évaluations visuelles, LongCat a communiqué des scores de 55,4 à 3DCodeBench Text-to-3D et de 78,6 à Vision2Web.

Sauf indication contraire, les évaluations de LongCat-2.5 ont été effectuées avec le mode de réflexion activé, une température de 1.0 et un top_p de 0.95. Terminal Bench v2.1 a utilisé le cadre d’exécution Claude Code, avec une longueur de séquence maximale de 512K, et les résultats correspondent à la moyenne de trois exécutions indépendantes. DeepSWE v1.1 a utilisé mini-swe-agent, avec une longueur de séquence maximale de 1M, et les résultats correspondent également à la moyenne de trois exécutions.

Pour les autres modèles figurant dans le tableau complet des évaluations de LongCat, les scores marqués d’un astérisque proviennent de rapports techniques publics, de billets de blogue ou de classements officiels de tests de référence. Les scores sans astérisque ont été obtenus lors de tests effectués en interne et sont présentés à titre indicatif uniquement.

Accès à l’API et tarification

Le guide de démarrage rapide de l’API répertorie LongCat-2.5 aux formats compatibles avec OpenAI et Anthropic. Leurs points de terminaison de base respectifs sont https://api.longcat.chat/openai et https://api.longcat.chat/anthropic, qui prennent en charge /v1/chat/completions et /v1/messages. Une requête unique dispose d’une fenêtre de contexte de 1M jetons et d’une longueur de sortie maximale de 128K jetons.

La page du produit LongCat indique une compatibilité avec Claude Code, Codex, Hermes et d’autres cadres d’exécution pour agents. Elle mentionne également la prise en charge du codage visuel, de la conception créative et des tâches 3D, ainsi que des bases de code complexes et de la création de projets complets faisant appel à un raisonnement en plusieurs étapes et à l’utilisation d’outils.

La tarification à l’usage indique des tarifs réduits temporaires par million de jetons : 0,30 $ pour les entrées non mises en cache, 0,006 $ pour les entrées mises en cache et 1,20 $ pour les sorties. Les tarifs correspondants en yuans sont de 2 ¥, 0,04 ¥ et 8 ¥. Les prix peuvent changer ; ceux affichés sur la plateforme API et dans les relevés de facturation font foi.

GitHub et Hugging Face étant toujours indiqués comme bientôt disponibles, la version présente l’interface de discussion et l’API comme les voies d’accès actuellement disponibles.