LongCat-2.5 เปิดตัวพร้อมพารามิเตอร์ 1.6 ล้านล้านตัวและโทเค็นภาพแบบเนทีฟ

LongCat เปิดตัว LongCat-2.5 เมื่อวันที่ 1 พฤศจิกายน 2026 ซึ่งเป็นโมเดลแบบผสมผู้เชี่ยวชาญที่รองรับหลายสื่อโดยกำเนิด สำหรับงานที่เอเจนต์ต้องทำงานต่อเนื่องในระยะยาว โดยมีพารามิเตอร์รวม 1.6 ล้านล้านตัว และเปิดใช้งานประมาณ 48 พันล้านตัวต่อโทเค็น

LongCat ระบุว่าโมเดลรุ่นนี้ต่อยอดจาก LongCat-2.0 โดยมีความสามารถในการทำความเข้าใจภาพโดยกำเนิดและการเขียนโค้ดด้วยเอเจนต์ที่ดียิ่งขึ้น การฝึกโมเดลใช้เส้นทางการทำงานระยะยาวเพิ่มขึ้น รวมถึงการเรียนรู้แบบเสริมกำลังระยะยาวในวงกว้าง เพื่อรองรับการพัฒนาโค้ดเบสที่ซับซ้อนและการสร้างโปรเจ็กต์อย่างเต็มรูปแบบ ลิงก์ของรุ่นนี้นำไปยังอินเทอร์เฟซแชตและแพลตฟอร์ม API ของ LongCat ส่วนปุ่ม GitHub และ Hugging Face ระบุว่าจะเปิดให้ใช้งานเร็ว ๆ นี้

โทเค็นภาพแบบไม่ต่อเนื่องและการฝึกเอเจนต์

LongCat-2.5 แทนสัญญาณภาพด้วยโทเค็นแบบไม่ต่อเนื่องหลายระดับ ทำให้แกนหลักของโมเดลประมวลผลอินพุตภาพและข้อความในรูปแบบที่ใช้โทเค็นร่วมกันได้ การออกแบบนี้ผสานการแปลงภาพเป็นโทเค็นที่ความละเอียดดั้งเดิม การประมวลผลภาพล่วงหน้าแบบออฟไลน์ และการฝังภาพที่เรียนรู้ร่วมกับแกนหลักของโมเดล โดยใช้การควอนไทซ์เวกเตอร์แบบตกค้างกับคุณลักษณะที่ความละเอียดดั้งเดิมจาก Semantic-and-Aligned Encoder จากนั้นเข้ารหัสภาพเป็นลำดับโทเค็นแบบไม่ต่อเนื่องและสร้างภาพกลับขึ้นใหม่ด้วยตัวถอดรหัสโทเค็นภาพ

โทเคไนเซอร์แบบคงที่ช่วยให้คำนวณ ID ของโทเค็นภาพไว้ล่วงหน้าและแคชแบบออฟไลน์ได้ ทำให้แกนหลักของโมเดลประมวลผลลำดับที่แปลงเป็นโทเค็นไว้แล้ว เนื่องจากทราบจำนวนโทเค็นภาพระหว่างจัดชุดและสับเปลี่ยนข้อมูล จึงคาดการณ์ภาระงานของแต่ละโมดัลได้ และรักษาสัดส่วนให้ใกล้เคียงกันโดยประมาณระหว่างแรงก์ที่ประมวลผลข้อมูลแบบขนาน LongCat ระบุว่า การตรวจสอบเบื้องต้นกับ MoE รุ่นเล็กที่มีพารามิเตอร์เปิดใช้งานเฉลี่ยประมาณ 3 พันล้านตัว แสดงให้เห็นการฝังภาพและข้อความที่สอดประสานกันในภาพแสดงผล t-SNE ซึ่งบ่งชี้ว่าทั้งสองรูปแบบถูกรวมไว้ในปริภูมิความหมายเดียวกัน

สำหรับงานเขียนโค้ดด้วยเอเจนต์ กระบวนการสังเคราะห์จะสร้างโจทย์ฝึก สภาพแวดล้อมแบบโต้ตอบ และการทดสอบที่ตรวจสอบยืนยันได้ LongCat คัดกรองคำขอรวมโค้ด (pull request) บน GitHub และปัญหาที่เชื่อมโยงไว้ จากนั้นใช้เอเจนต์ใส่คำอธิบายประกอบให้โจทย์และสังเคราะห์สภาพแวดล้อม ก่อนตรวจสอบความถูกต้องด้วยการทดสอบแบบ fail-to-pass และ pass-to-pass อัตราการผ่านในการดำเนินงานจริงใช้เป็นแนวทางในการกำหนดป้ายกำกับใหม่และคัดกรองข้อมูล ขณะที่การวิเคราะห์เส้นทางการทำงานแบบออฟไลน์ที่ให้ผลบวกลวงและผลลบลวงจะช่วยแก้ไขและขยายชุดทดสอบ นอกจากนี้ ยังแปลงเส้นทางความล้มเหลวของเอเจนต์ในสถานการณ์จริงให้เป็นโจทย์ฝึกที่ทำซ้ำและตรวจสอบยืนยันได้

การดำเนินเส้นทางการทำงานบางส่วนแบบอะซิงโครนัสจะหยุดและบันทึกเส้นทางที่กำลังดำเนินอยู่เมื่อรวบรวมชุดข้อมูลครบชุดแล้ว จากนั้นจึงกลับมาทำต่อในช่วงสุ่มตัวอย่างครั้งถัดไป เพื่อลดการเอาเปรียบระบบรางวัล LongCat ปิดการเข้าถึงเครือข่ายในสภาพแวดล้อมของงาน ลบประวัติ Git และไฟล์แคช พร้อมใช้ผู้ประเมินที่เป็น LLM ตรวจสอบเส้นทางการทำงานเพื่อหาช่องโหว่ นอกจากนี้ ยังมีการหักคะแนนเพิ่มเติมสำหรับการให้เหตุผลซ้ำซากและการเรียกใช้เครื่องมือซ้ำระหว่างการโต้ตอบหลายรอบ

การฝึกบนตัวเร่งประมวลผลและการอนุมานแบบ W4A4

การฝึกลำดับยาวเกิดขึ้นทั้งในช่วงการฝึกขั้นกลางและการปรับแต่งแบบมีผู้ควบคุมดูแล โดยใช้ตัวเร่งประมวลผล AI ในประเทศที่มีหน่วยความจำน้อยกว่า 80 GB ต่ออุปกรณ์ กลุ่มการประมวลผลแบบขนานเป็นไปตามโครงสร้างโทโพโลยีของซูเปอร์โหนด ทำให้การรวบรวมพารามิเตอร์ทั้งหมด การส่งโทเค็นผู้เชี่ยวชาญทั้งหมดแบบ all-to-all และการรวบรวม KV ทั้งหมดเกิดขึ้นภายในโครงข่ายเชื่อมต่อแบนด์วิดท์สูงของซูเปอร์โหนด

FSDP แบบแบ่งชาร์ดสองชั้นเก็บการแบ่งชาร์ดพารามิเตอร์ของโมเดลไว้ภายในแต่ละซูเปอร์โหนด พร้อมแบ่งชาร์ดน้ำหนักหลัก FP32 และสถานะของตัวปรับแต่งเพิ่มเติมข้ามโดเมน FSDP LongCat รายงานว่า งานปรับแต่งแบบมีผู้ควบคุมดูแลสำหรับลำดับยาวมีปริมาณงานต่ออุปกรณ์สูงกว่าค่าฐาน DDP ของบริษัท 86%

LongCat ระบุว่า สแตกการฝึกและการอนุมานคงค่าความน่าจะเป็นลอการิทึมต่อโทเค็นให้เหมือนกันทุกบิต โดยมีประสิทธิภาพลดลงเกือบเป็นศูนย์ ขณะเดียวกันก็แยกการกำหนดค่าการประมวลผลแบบขนานของทั้งสองส่วนออกจากกัน เอนจินทั้งสองใช้เคอร์เนลที่ไม่แปรผันตามชุดข้อมูลและตรรกะของเฟรมเวิร์กที่สอดคล้องกัน พร้อมรองรับการคำนวณย้อนกลับสำหรับการฝึก

การอนุมานแบบ W4A4 ควอนไทซ์น้ำหนักและการกระตุ้นของผู้เชี่ยวชาญให้เหลือ 4 บิต และดำเนินการคูณเมทริกซ์ที่เกี่ยวข้องบนหน่วย INT4 โดยตรง การแปลงอินพุตร่วมกันระหว่างผู้เชี่ยวชาญช่วยให้ควอนไทซ์ได้ก่อนทำซ้ำและกระจายโทเค็น จึงนำรูปแบบ INT4 เดียวกันกลับมาใช้ได้ทั้งระหว่างการสื่อสารและการคำนวณของผู้เชี่ยวชาญ LongCat รายงานว่า ความแม่นยำใกล้เคียงกับโมเดลที่ไม่ผ่านการควอนไทซ์ในงานปลายทางทุกงานที่ประเมิน

ในการทดสอบภาวะรับภาระหนักแบบออนไลน์โดยเปรียบเทียบกับค่าฐาน W8A8 INT8 LongCat รายงานว่าปริมาณงานช่วง prefill สูงขึ้น 43.3% และปริมาณงานช่วง decode สูงขึ้น 42.77% พร้อมลด TTFT ลง 15.91% และ TPOT ลง 19.72% เคอร์เนล GMM ทำความเร็วได้เฉลี่ย 1.73× เมื่อเทียบกับ W8A8

ผลการประเมินที่รายงาน

LongCat รายงานผลการทดสอบมาตรฐานของ LongCat-2.5 และรุ่นก่อนหน้าดังนี้:

สำหรับการประเมินด้านภาพ LongCat รายงานคะแนน 55.4 ใน 3DCodeBench Text-to-3D และ 78.6 ใน Vision2Web

เว้นแต่จะระบุไว้เป็นอย่างอื่น การประเมิน LongCat-2.5 ใช้การเปิดใช้โหมดคิด อุณหภูมิ 1.0 และ top_p 0.95 ส่วน Terminal Bench v2.1 ใช้ชุดทดสอบ Claude Code โดยกำหนดความยาวลำดับสูงสุดไว้ที่ 512K และหาค่าเฉลี่ยจากการทดสอบอิสระ 3 รอบ ขณะที่ DeepSWE v1.1 ใช้ mini-swe-agent โดยกำหนดความยาวลำดับสูงสุดไว้ที่ 1M และหาค่าเฉลี่ยจากการทดสอบ 3 รอบเช่นกัน

สำหรับโมเดลอื่น ๆ ที่อยู่ในตารางผลการประเมินฉบับเต็มของ LongCat คะแนนที่มีเครื่องหมายดอกจันกำกับมาจากรายงานทางเทคนิค โพสต์บล็อก หรือกระดานจัดอันดับเกณฑ์มาตรฐานอย่างเป็นทางการ ส่วนคะแนนที่ไม่มีเครื่องหมายกำกับได้มาจากการทดสอบเอง และระบุว่าใช้เป็นข้อมูลบ่งชี้เท่านั้น

การเข้าถึง API และราคา

คู่มือเริ่มต้นใช้งาน API ระบุว่า LongCat-2.5 รองรับทั้งรูปแบบที่เข้ากันได้กับ OpenAI และ Anthropic โดยมีจุดเชื่อมต่อพื้นฐานตามลำดับดังนี้ https://api.longcat.chat/openai และ https://api.longcat.chat/anthropic, ซึ่งรองรับ /v1/chat/completions และ /v1/messagesคำขอหนึ่งรายการมีหน้าต่างบริบทขนาด 1M โทเค็น และสร้างผลลัพธ์ได้ยาวสูงสุด 128K โทเค็น

หน้าผลิตภัณฑ์ LongCat ระบุว่ารองรับการใช้งานร่วมกับ Claude Code, Codex, Hermes และชุดเครื่องมือเอเจนต์อื่น ๆ นอกจากนี้ยังกล่าวถึงการรองรับงานเขียนโค้ดด้วยภาพ งานออกแบบเชิงสร้างสรรค์ และงาน 3 มิติ ควบคู่ไปกับการทำงานกับฐานโค้ดที่ซับซ้อนและการสร้างโปรเจ็กต์เต็มรูปแบบ ซึ่งเกี่ยวข้องกับการให้เหตุผลหลายขั้นตอนและการใช้เครื่องมือ

ราคาตามการใช้งาน ระบุอัตราส่วนลดในช่วงเวลาจำกัดต่อโทเค็นหนึ่งล้านรายการไว้ที่ 0.30 ดอลลาร์สำหรับอินพุตที่ไม่อยู่ในแคช, 0.006 ดอลลาร์สำหรับอินพุตที่อยู่ในแคช และ 1.20 ดอลลาร์สำหรับเอาต์พุต อัตราในสกุลเงินหยวนที่สอดคล้องกันคือ 2 หยวน, 0.04 หยวน และ 8 หยวน ราคาอาจเปลี่ยนแปลงได้ โดยให้ยึดราคาที่แสดงบนแพลตฟอร์ม API และบันทึกการเรียกเก็บเงินเป็นหลัก

แม้ GitHub และ Hugging Face จะยังระบุว่าเร็ว ๆ นี้จึงจะเปิดให้ใช้งาน แต่ข่าวการเปิดตัวระบุว่าสามารถเข้าถึงได้ผ่านอินเทอร์เฟซแชตและ API