LongCat-2.5, 1.6T 매개변수와 네이티브 시각 토큰으로 공개

LongCat은 2026년 11월 1일, 총 1조 6천억 개의 매개변수와 토큰당 약 480억 개의 활성 매개변수를 갖춘 네이티브 멀티모달 전문가 혼합 모델 LongCat-2.5를 공개했다. 이 모델은 장기 에이전트 작업을 위해 설계됐다.

LongCat은 이번 모델이 LongCat-2.0을 바탕으로 네이티브 시각 이해와 에이전트형 코딩 기능을 강화했다고 밝혔다. 학습에는 장기 궤적을 더 많이 포함했으며, 복잡한 코드베이스 개발과 전체 프로젝트 빌드를 위해 대규모 장기 강화 학습을 적용했다. 이번 공개 자료에는 LongCat의 채팅 인터페이스와 API 플랫폼으로 연결되는 링크가 있으며, GitHub와 Hugging Face 버튼에는 ‘출시 예정’이라고 표시돼 있다.

이산 시각 토큰과 에이전트 학습

LongCat-2.5는 시각 신호를 여러 수준의 이산 토큰으로 표현해, 백본이 시각 및 텍스트 입력을 통합된 토큰 기반 형식으로 처리하도록 한다. 이 설계에는 네이티브 해상도 시각 토큰화, 오프라인 시각 전처리, 백본과 공동으로 학습한 시각 임베딩이 결합돼 있다. Semantic-and-Aligned Encoder의 네이티브 해상도 특징에 잔차 벡터 양자화를 적용하며, 이미지는 이산 토큰 시퀀스로 인코딩한 다음 시각 디토크나이저로 재구성한다.

고정 토크나이저를 사용하면 시각 토큰 ID를 미리 계산해 오프라인에 캐시할 수 있어, 백본은 사전 토큰화된 시퀀스를 처리한다. 데이터 패킹과 셔플링 단계에서 이미지 토큰 수를 알 수 있으므로 모달리티별 부하를 예측할 수 있고, 데이터 병렬 처리 랭크 간 모달리티 비율도 대략 균일하게 유지할 수 있다. LongCat은 평균 약 30억 개의 활성 매개변수를 갖춘 소규모 MoE에서 예비 검증을 진행한 결과, t-SNE 시각화에서 시각 임베딩과 텍스트 임베딩이 서로 얽혀 나타났으며, 이는 두 임베딩이 공통의 의미 공간에 통합됐음을 시사한다고 밝혔다.

에이전트형 코딩 작업을 위해 합성 파이프라인이 학습 작업, 상호작용 환경, 검증 가능한 테스트를 생성한다. LongCat은 GitHub 풀 리퀘스트와 연결된 이슈를 필터링하고, 에이전트를 활용해 작업에 주석을 달고 환경을 합성한 뒤, 실패에서 통과로 이어지는 테스트와 통과에서 통과로 이어지는 테스트로 이를 검증한다. 실제 롤아웃의 통과율은 재라벨링과 필터링에 반영되며, 오프라인에서 거짓 양성 및 거짓 음성 궤적을 분석해 테스트를 수정하고 확장한다. 실제 환경에서 발생한 에이전트 실패 궤적도 재현 가능하고 검증 가능한 학습 작업으로 변환한다.

비동기 부분 롤아웃은 전체 배치가 수집된 뒤 진행 중인 궤적을 중단해 저장하고, 다음 샘플링 단계에서 이를 재개한다. 보상 해킹을 막기 위해 LongCat은 작업 환경의 네트워크 접근을 차단하고, Git 기록과 캐시된 파일을 제거하며, LLM 심판을 사용해 궤적에 악용 사례가 있는지 점검한다. 여러 차례 대화하는 동안 반복적인 추론과 도구 호출이 이어지는 경우에도 추가 페널티를 적용한다.

가속기 학습과 W4A4 추론

장문 시퀀스 학습은 중간 학습과 지도 미세 조정 모두에서 디바이스당 메모리가 80GB 미만인 국내 AI 가속기를 사용해 이뤄진다. 병렬 그룹은 슈퍼노드 토폴로지를 따르며, 매개변수 전체 수집, 전문가 토큰 전체 대 전체 통신, KV 전체 수집 작업이 슈퍼노드의 고대역폭 상호 연결망 안에서 처리되도록 한다.

이중 샤드 FSDP는 모델 매개변수 샤딩을 각 슈퍼노드 내부에 유지하면서 FP32 마스터 가중치와 옵티마이저 상태를 FSDP 도메인 전체에 걸쳐 추가로 샤딩한다. LongCat은 장문 시퀀스 지도 미세 조정 작업에서 디바이스당 처리량이 DDP 기준선보다 86% 높았다고 보고했다.

LongCat은 학습 및 추론 스택이 병렬 처리 구성을 분리하면서 토큰별 로그 확률의 비트 단위 동일성을 거의 성능 저하 없이 유지한다고 밝혔다. 두 엔진은 배치 불변 커널과 정렬된 프레임워크 로직을 사용하며, 학습을 위한 역전파도 지원한다.

W4A4 추론은 전문가 가중치와 활성값을 4비트로 양자화하고, 이에 해당하는 행렬 곱셈을 네이티브 INT4 유닛에서 실행한다. 전문가 전체에 공통으로 적용되는 입력 변환을 통해 토큰 복제 및 분배 전에 양자화할 수 있으며, 이에 따라 전문가 간 통신과 연산 과정에서 동일한 INT4 표현을 재사용할 수 있다. LongCat은 평가한 모든 다운스트림 작업에서 양자화하지 않은 모델과 비슷한 정확도를 기록했다고 보고했다.

W8A8 INT8 기준 모델과 비교한 온라인 부하 테스트에서 LongCat은 프리필 처리량이 43.3%, 디코드 처리량이 42.77% 높았으며, TTFT는 15.91%, TPOT는 19.72% 감소했다고 보고했다. GMM 커널은 W8A8보다 평균 1.73배 빠른 속도를 기록했다.

공개된 평가 결과

LongCat은 LongCat-2.5와 이전 모델의 벤치마크 결과를 다음과 같이 공개했다.

시각 평가에서 LongCat은 3DCodeBench Text-to-3D에서 55.4점, Vision2Web에서 78.6점을 기록했다고 보고했다.

별도로 명시하지 않는 한, LongCat-2.5 평가는 사고 기능을 활성화하고 temperature를 1.0, top_p를 0.95로 설정해 진행했다. Terminal Bench v2.1은 최대 시퀀스 길이 512K로 Claude Code 하네스를 사용했으며, 독립적으로 세 차례 실행한 결과의 평균을 산출했다. DeepSWE v1.1은 최대 시퀀스 길이 1M으로 mini-swe-agent를 사용했으며, 마찬가지로 세 차례 실행한 결과의 평균을 산출했다.

LongCat의 전체 평가표에 포함된 다른 모델의 점수 중 별표가 표시된 점수는 공개 기술 보고서, 블로그 게시물 또는 공식 벤치마크 순위표에서 가져온 것이다. 별표가 없는 점수는 자체적으로 실행해 얻은 결과로, 참고용일 뿐이라고 설명되어 있다.

API 액세스 및 요금

API 빠른 시작 가이드에는 LongCat-2.5가 OpenAI 및 Anthropic 호환 형식 모두에서 제공된다고 나와 있다. 각각의 기본 엔드포인트는 https://api.longcat.chat/openai 그리고 https://api.longcat.chat/anthropic, 지원하며 /v1/chat/completions 그리고 /v1/messages. 단일 요청의 컨텍스트 창은 1M 토큰이며, 최대 출력 길이는 128K 토큰이다.

LongCat 제품 페이지에는 Claude Code, Codex, Hermes 및 기타 에이전트 하네스와의 호환성이 명시되어 있다. 또한 복잡한 코드베이스와 다단계 추론 및 도구 사용이 수반되는 전체 프로젝트 빌드뿐 아니라 시각적 코딩, 창의적 디자인, 3D 작업도 지원한다고 설명한다.

종량제 요금에는 토큰 100만 개당 기간 한정 할인 요금으로 캐시되지 않은 입력 $0.30, 캐시된 입력 $0.006, 출력 $1.20이 안내되어 있다. 이에 해당하는 위안화 요금은 ¥2, ¥0.04, ¥8이다. 요금은 변경될 수 있으며, API 플랫폼에 표시된 요금과 청구 기록이 공식 기준으로 간주된다.

GitHub와 Hugging Face는 아직 출시 예정으로 표시되어 있어, 이번 출시에서는 채팅 인터페이스와 API를 현재 이용할 수 있는 액세스 경로로 제시한다.