LongCat-2.5 ra mắt với 1,6 nghìn tỷ tham số và token thị giác gốc

Ngày 1 tháng 11 năm 2026, LongCat giới thiệu LongCat-2.5, một mô hình hỗn hợp chuyên gia đa phương thức nguyên bản dành cho các tác vụ tác tử dài hạn, với tổng cộng 1,6 nghìn tỷ tham số và khoảng 48 tỷ tham số được kích hoạt cho mỗi token.

LongCat cho biết phiên bản này phát triển dựa trên LongCat-2.0, với khả năng hiểu hình ảnh nguyên bản và lập trình tác tử được cải thiện. Quá trình huấn luyện bổ sung nhiều quỹ đạo dài hạn hơn và áp dụng học tăng cường dài hạn trên quy mô lớn, phục vụ việc phát triển các cơ sở mã phức tạp và xây dựng toàn bộ dự án. Bài giới thiệu phiên bản này có liên kết đến giao diện trò chuyện và nền tảng API của LongCat; các nút GitHub và Hugging Face được ghi chú là sẽ sớm ra mắt.

Token thị giác rời rạc và huấn luyện tác tử

LongCat-2.5 biểu diễn tín hiệu thị giác dưới dạng token rời rạc nhiều cấp, cho phép phần lõi xử lý đầu vào hình ảnh và văn bản theo một định dạng thống nhất dựa trên token. Thiết kế này kết hợp việc mã hóa token thị giác ở độ phân giải gốc, tiền xử lý hình ảnh ngoại tuyến và các embedding thị giác được học đồng thời với phần lõi. Mô hình áp dụng phương pháp lượng tử hóa vector dư cho các đặc trưng ở độ phân giải gốc từ Bộ mã hóa ngữ nghĩa và căn chỉnh; hình ảnh được mã hóa thành chuỗi token rời rạc rồi tái tạo bằng bộ giải mã token thị giác.

Một bộ mã hóa token cố định cho phép tính toán trước và lưu vào bộ nhớ đệm ngoại tuyến các ID token thị giác, nhờ đó phần lõi xử lý các chuỗi đã được mã hóa token. Vì số lượng token hình ảnh đã biết trong quá trình đóng gói và xáo trộn dữ liệu, tải theo phương thức có thể dự đoán được và tỷ lệ của chúng có thể được duy trì ở mức gần như đồng đều giữa các rank song song dữ liệu. LongCat cho biết kết quả xác thực sơ bộ trên một mô hình MoE nhỏ hơn, có trung bình khoảng 3 tỷ tham số được kích hoạt, cho thấy các embedding thị giác và văn bản đan xen trong các hình ảnh trực quan hóa t-SNE, gợi ý rằng chúng được tích hợp trong một không gian ngữ nghĩa chung.

Đối với các tác vụ lập trình bằng tác tử, một quy trình tổng hợp tạo ra các tác vụ huấn luyện, môi trường tương tác và bài kiểm thử có thể xác minh. LongCat lọc các yêu cầu kéo trên GitHub cùng những vấn đề được liên kết, sử dụng các tác tử để chú thích tác vụ và tổng hợp môi trường, rồi xác thực chúng bằng các bài kiểm thử chuyển từ thất bại sang đạt và từ đạt sang đạt. Tỷ lệ vượt qua trong các lần triển khai trực tiếp được dùng để định hướng việc gán nhãn lại và lọc dữ liệu, trong khi phân tích ngoại tuyến các quỹ đạo dương tính giả và âm tính giả giúp sửa đổi, mở rộng các bài kiểm thử. Các quỹ đạo thất bại của tác tử trong thực tế cũng được chuyển thành các tác vụ huấn luyện có thể tái tạo và xác minh.

Các lần triển khai một phần bất đồng bộ sẽ tạm dừng và lưu những quỹ đạo đang chạy sau khi thu thập đủ một lô, rồi tiếp tục chúng trong giai đoạn lấy mẫu tiếp theo. Để hạn chế việc khai thác phần thưởng, LongCat vô hiệu hóa quyền truy cập mạng trong môi trường tác vụ, xóa lịch sử Git và các tệp đã lưu vào bộ nhớ đệm, đồng thời dùng một mô hình ngôn ngữ lớn làm giám khảo để kiểm tra quỹ đạo nhằm phát hiện hành vi khai thác. Các hình phạt bổ sung nhằm xử lý lối suy luận lặp đi lặp lại và việc gọi công cụ nhiều lần trong các tương tác nhiều lượt.

Huấn luyện trên bộ tăng tốc và suy luận W4A4

Quá trình huấn luyện chuỗi dài diễn ra trong cả giai đoạn huấn luyện giữa kỳ lẫn tinh chỉnh có giám sát, trên các bộ tăng tốc AI trong nước có bộ nhớ dưới 80 GB mỗi thiết bị. Các nhóm song song tuân theo cấu trúc liên kết siêu nút, giữ cho các thao tác tập hợp tất cả tham số, trao đổi tất cả token giữa các chuyên gia và tập hợp tất cả KV diễn ra trong mạng liên kết băng thông cao của siêu nút.

FSDP hai phân vùng giữ việc phân mảnh tham số mô hình trong từng siêu nút, đồng thời tiếp tục phân mảnh các trọng số chính FP32 và trạng thái bộ tối ưu hóa trên các miền FSDP. LongCat cho biết thông lượng trên mỗi thiết bị cao hơn 86% so với cấu hình cơ sở DDP trong các tác vụ tinh chỉnh có giám sát trên chuỗi dài.

LongCat cho biết ngăn xếp huấn luyện và suy luận duy trì xác suất log theo từng token giống hệt nhau ở cấp độ bit, với mức hao hụt hiệu năng gần như bằng không, đồng thời tách biệt cấu hình song song của hai quy trình. Cả hai công cụ đều sử dụng các kernel bất biến theo lô và logic khung làm việc được căn chỉnh, đồng thời hỗ trợ lan truyền ngược trong huấn luyện.

Suy luận W4A4 lượng tử hóa trọng số và các giá trị kích hoạt của chuyên gia xuống còn 4 bit, rồi thực hiện các phép nhân ma trận tương ứng trên các đơn vị INT4 gốc. Một phép biến đổi đầu vào dùng chung cho các chuyên gia cho phép lượng tử hóa trước khi nhân bản và điều phối token, nhờ đó có thể tái sử dụng cùng một biểu diễn INT4 trong quá trình trao đổi và tính toán giữa các chuyên gia. LongCat cho biết độ chính xác trên tất cả tác vụ xuôi dòng được đánh giá tương đương với mô hình chưa lượng tử hóa.

Trong các bài kiểm tra tải trực tuyến so với cấu hình cơ sở W8A8 INT8, LongCat báo cáo thông lượng tiền điền tăng 43,3% và thông lượng giải mã tăng 42,77%, đồng thời TTFT giảm 15,91% và TPOT giảm 19,72%. Kernel GMM đạt mức tăng tốc trung bình 1,73× so với W8A8.

Kết quả đánh giá được công bố

LongCat công bố các kết quả điểm chuẩn sau đây cho LongCat-2.5 và phiên bản tiền nhiệm:

Trong các đánh giá thị giác, LongCat công bố điểm 55,4 trên 3DCodeBench Text-to-3D và 78,6 trên Vision2Web.

Trừ khi có quy định khác, các bài đánh giá LongCat-2.5 được thực hiện khi bật chế độ suy luận, với temperature là 1.0 và top_p là 0.95. Terminal Bench v2.1 sử dụng bộ khung Claude Code, với độ dài chuỗi tối đa là 512K, và kết quả là trung bình của ba lần chạy độc lập. DeepSWE v1.1 sử dụng mini-swe-agent, với độ dài chuỗi tối đa là 1M, và kết quả cũng là trung bình của ba lần chạy.

Đối với các mô hình khác có trong bảng đánh giá đầy đủ của LongCat, những điểm số được đánh dấu sao lấy từ các báo cáo kỹ thuật, bài đăng trên blog hoặc bảng xếp hạng benchmark chính thức được công khai. Các điểm số không có dấu sao là kết quả tự chạy và chỉ mang tính tham khảo.

Truy cập API và giá cả

Hướng dẫn bắt đầu nhanh với API liệt kê LongCat-2.5 cho cả định dạng tương thích với OpenAI và Anthropic. Các địa chỉ điểm cuối cơ sở tương ứng là https://api.longcat.chat/openai và https://api.longcat.chat/anthropic, hỗ trợ /v1/chat/completions và /v1/messages. Mỗi yêu cầu có cửa sổ ngữ cảnh 1M token và độ dài đầu ra tối đa là 128K token.

Trang sản phẩm LongCat liệt kê khả năng tương thích với Claude Code, Codex, Hermes và các bộ khung tác tử khác. Trang này cũng mô tả khả năng hỗ trợ lập trình trực quan, thiết kế sáng tạo và các tác vụ 3D, bên cạnh việc xử lý các cơ sở mã phức tạp và xây dựng toàn bộ dự án bằng cách lập luận nhiều bước và sử dụng công cụ.

Giá thanh toán theo mức sử dụng liệt kê mức giá ưu đãi trong thời gian giới hạn cho mỗi triệu token: 0,30 USD đối với đầu vào chưa lưu bộ nhớ đệm, 0,006 USD đối với đầu vào đã lưu bộ nhớ đệm và 1,20 USD đối với đầu ra. Mức giá tương ứng bằng nhân dân tệ là 2 ¥, 0,04 ¥ và 8 ¥. Giá có thể thay đổi; mức giá hiển thị trên nền tảng API và hồ sơ thanh toán được xem là căn cứ chính thức.

Dù GitHub và Hugging Face vẫn được đánh dấu là sắp ra mắt, bản phát hành hiện cung cấp giao diện trò chuyện và API làm các phương thức truy cập khả dụng.