Baidu เปิดตัว ERNIE 5.5 Flash Base สำหรับการฝึกต่อ

ทีม ERNIE ของ Baidu ประกาศเปิดตัว ERNIE-5.5-Flash-Base เมื่อวันที่ 5 พฤศจิกายน 2026 พร้อมเผยแพร่น้ำหนักโมเดลให้ดาวน์โหลด โมเดลนี้เป็นโมเดลผสมผู้เชี่ยวชาญที่ทำงานกับข้อความเท่านั้น มีพารามิเตอร์รวม 280 พันล้านตัว และเปิดใช้งาน 14 พันล้านตัวต่อโทเค็น จุดตรวจสอบโมเดลนี้เป็นจุดสิ้นสุดของการฝึกขั้นต้น โดยยังไม่ได้ผ่านการฝึกระยะกลางหรือการฝึกภายหลัง จึงเป็นจุดเริ่มต้นมาตรฐานร่วมกันสำหรับนักพัฒนาในการปรับโมเดลให้เข้ากับโดเมนเฉพาะ ปรับแต่งตามคำสั่ง และทำวิจัยด้านการเรียนรู้แบบเสริมกำลัง

การเผยแพร่ครั้งนี้ยังเป็นค่าฐานที่กำหนดไว้สำหรับการเปรียบเทียบวิธีฝึกอย่างมีการควบคุม Baidu ระบุว่า ERNIE 5.5 Flash รุ่นที่ผ่านการฝึกภายหลังจะเปิดตัวตามหลังรุ่นพื้นฐานนี้

สถาปัตยกรรมและระบบการฝึก

เอกสารข้อมูลโมเดลระบุว่ามี 43 ชั้น ขนาดสถานะแฝง 4,096 และหัวความสนใจ 64 หัว ในจำนวนนี้ 37 ชั้นใช้กลไกความสนใจแบบบีบอัดอย่างมาก โดยแคชจะเก็บรายการหนึ่งรายการต่อบล็อกขนาด 128 โทเค็น พร้อมหน้าต่างสั้น ๆ สำหรับโทเค็นที่ไม่ได้บีบอัดซึ่งเพิ่งปรากฏก่อนหน้า ส่วนอีก 6 ชั้นใช้กลไกความสนใจแฝงแบบหลายหัว ซึ่งยังคงเข้าถึงบริบททั้งหมดในระดับโทเค็น และใช้อินเด็กซ์เลือกตำแหน่งก่อนหน้าที่มีคะแนนสูงสุด Baidu ระบุว่าการเลือกแบบกระจัดกระจายนี้ช่วยให้ต้นทุนของกลไกความสนใจหลักต่อหนึ่งคำค้นคงที่ แม้บริบทจะยาวขึ้น

ทุกชั้นยกเว้นชั้นแรกใช้บล็อกแบบผสมผู้เชี่ยวชาญ ซึ่งมีผู้เชี่ยวชาญที่กำหนดเส้นทางไว้ 512 ราย โดยเปิดใช้งาน 10 ราย พร้อมผู้เชี่ยวชาญที่ใช้ร่วมกันอีก 1 ราย ผู้เชี่ยวชาญเหล่านี้ทำงานในปริภูมิแฝง 2,048 มิติ แทนที่จะใช้ความกว้างสถานะแฝงทั้งหมดของโมเดล Baidu ระบุว่าเมื่อเทียบกับผู้เชี่ยวชาญที่ใช้ความกว้างเต็ม การออกแบบนี้ช่วยลดปริมาณข้อมูลรับส่งสำหรับการกระจายงานและการรวมผลของผู้เชี่ยวชาญ รวมถึงจำนวน FLOPs ของผู้เชี่ยวชาญลงได้ประมาณครึ่งหนึ่ง นอกจากนี้ การออกแบบยังประกอบด้วยสายทางลัดตกค้างแบบขนาน 4 สายผ่านการเชื่อมต่อไฮเปอร์ที่มีข้อจำกัดบนแมนิโฟลด์ และหัวเอาต์พุต MultiMax ที่มีพารามิเตอร์อุณหภูมิแบบแบ่งช่วงซึ่งเรียนรู้ได้

การฝึกขั้นต้นใช้โทเค็น 33.5 ล้านล้านตัว ตัวปรับเหมาะ Muon และความแม่นยำผสม FP8 บริบทที่ใช้ระหว่างการฝึกค่อย ๆ ขยายจนถึง 128K โทเค็น ส่วนการปรับแต่งและการอนุมานรองรับ 1 ล้านโทเค็น นอกจากข้อมูลเว็บหลายภาษาแล้ว ชุดข้อมูลยังรวมโค้ดและบันทึกการพัฒนาซอฟต์แวร์ เช่น คอมมิต ปัญหา คำขอดึงการเปลี่ยนแปลง การรีวิว การทดสอบที่สร้างขึ้น และการแก้ไขที่ผ่านการตรวจสอบด้วย CI เอกสารยาวที่คัดสรรมา ลำดับข้อมูลที่มีตัวลวงซึ่งมีความหมายคล้ายกัน ตลอดจนข้อมูลสังเคราะห์สำหรับการค้นคืนและการตอบคำถาม ล้วนช่วยเสริมการฝึกด้วยบริบทยาว การเลือกเหล่านี้ทำให้รุ่นพื้นฐานเหมาะกับการให้เหตุผลในระดับคลังเก็บซอร์สโค้ด วิศวกรรมซอฟต์แวร์ที่ทำงานโดยอาศัยเอเจนต์ และอินพุตที่มีความยาวมาก

คลังเก็บซอร์สโค้ด FlashMask ที่เผยแพร่พร้อมกันนี้ให้รายละเอียดเกี่ยวกับเคอร์เนลกลไกความสนใจสำหรับ GPU รุ่น Hopper และ Blackwell โดยการกำหนดค่าบน Blackwell รองรับมิติของหัวได้สูงสุด 576 สำหรับคิวรีและคีย์ และ 512 สำหรับค่า Baidu รายงานว่าความเร็วเพิ่มขึ้นสูงสุด 175% ในการส่งผ่านไปข้างหน้า และ 74% ในการส่งผ่านย้อนกลับ เมื่อเทียบกับ FlashAttention-4 MaskMod บนฮาร์ดแวร์ SM100 ระบบ Muon แบบกระจายยังรวมการซิงโครไนซ์พารามิเตอร์แบบหนาแน่นและพารามิเตอร์ MoE ไว้ในการดำเนินการแบบรวมครั้งเดียว พร้อมกระจายสถานะของตัวปรับเหมาะไปทั่วโหนดอย่างสม่ำเสมอยิ่งขึ้น โดยไม่เปลี่ยนแปลงการอัปเดตของตัวปรับเหมาะ

ผลการทดสอบสมรรถนะของ Baidu

Baidu ประเมิน ERNIE เทียบกับจุดตรวจสอบ DeepSeek-V4-Flash-Base, Hy3-preview-Base และ MiMo-V2.5-Base ที่เผยแพร่สู่สาธารณะ โดยใช้ชุดเครื่องมือทดสอบ พรอมป์ต์ และตัวอย่างแบบไม่กี่ช็อตชุดเดียวกัน รวมถึงใช้โมเดลภาษาขนาดใหญ่ตัวเดียวกันเป็นผู้ตัดสินสำหรับการตอบคำถามแบบปลายเปิด ผลลัพธ์บางส่วนจากตารางแสดงให้เห็นว่าโมเดลทำได้ดีกว่าในด้านใด และตามหลังในด้านใด:

ผลเปรียบเทียบของ Baidu ขึ้นอยู่กับประเภทงาน ไม่ได้เป็นการกวาดชัยชนะทุกด้านอย่างชัดเจน โดย ERNIE ทำคะแนนนำในผลการทดสอบ MMLU และ HumanEval+ ที่แสดงไว้ ขณะที่ Hy3 นำใน FullStackBench และ DeepSeek นำใน InfiniteBench ตารางนี้แสดงให้เห็นว่าโมเดลทำได้ดีในการทดสอบความรู้และการเขียนโค้ดตามการประเมินของ Baidu พร้อมทั้งระบุข้อยกเว้นเหล่านั้นไว้ด้วย

เงื่อนไขการนำไปใช้งานและใบอนุญาต

ดาวน์โหลดได้ในรูปแบบ safetensors ที่ใช้ความแม่นยำ FP8 และ BF16 เอกสารข้อมูลโมเดลระบุวิธีให้บริการในระบบใช้งานจริงผ่าน SGLang และ vLLM โดยใช้ API สำหรับการสร้างข้อความ ซึ่งสอดคล้องกับสถานะของจุดตรวจสอบที่เป็นโมเดลพื้นฐาน สูตรการทำงาน Megatron Bridge ของ NVIDIA เพิ่มขั้นตอนการปรับแต่งแบบมีผู้สอน ซึ่งครอบคลุมการเตรียมข้อมูล การฝึก และการส่งออกกลับเป็นรูปแบบ Hugging Face สูตรการทำงานสำหรับโมเดลเต็มใช้ 16 โหนด โดยแต่ละโหนดมี GPU GB300 จำนวน 4 ตัว NVIDIA ตรวจสอบสูตรการทำงานเหล่านี้บนระบบ Blackwell GB200 และ GB300 ส่วนประกอบต่าง ๆ รองรับ Hopper แต่ยังไม่ได้ตรวจสอบความถูกต้องบน Hopper

ข้อตกลงใบอนุญาตโมเดล ERNIE 5.5 Flash Base เวอร์ชัน 1.0 ซึ่งจัดทำขึ้นเป็นการเฉพาะ กำหนดเงื่อนไขด้านอาณาเขตและการใช้งานเชิงพาณิชย์ โดยไม่ครอบคลุมสหภาพยุโรป สหราชอาณาจักร และเกาหลีใต้ และไม่อนุญาตให้ดำเนินกิจกรรมต่าง ๆ ซึ่งรวมถึงการใช้ การดัดแปลง และการเผยแพร่นอกอาณาเขตดังกล่าว การใช้งานที่ไม่ใช่เชิงพาณิชย์ไม่มีค่าใบอนุญาตโมเดล สำหรับการใช้งานเชิงพาณิชย์ที่มีรายได้ต่อปีจากผลิตภัณฑ์หรือบริการที่เกี่ยวข้องไม่เกิน 50 ล้านดอลลาร์สหรัฐ ผู้ใช้ต้องส่งหนังสือแจ้งเพียงครั้งเดียวและแสดงข้อความระบุแหล่งที่มา “Powered by ERNIE” อย่างเด่นชัด หากเกินเกณฑ์ดังกล่าว ผู้ใช้ต้องได้รับอนุญาตเป็นลายลักษณ์อักษรล่วงหน้าจาก Baidu แยกต่างหาก

ข้อตกลงนี้ยังห้ามนำสื่อที่ได้รับอนุญาตให้ใช้ โมเดลที่พัฒนาต่อยอด หรือผลลัพธ์จากโมเดลเหล่านั้น ไปใช้ปรับปรุงระบบ AI หรือแมชชีนเลิร์นนิงอื่นที่ไม่เกี่ยวข้อง ข้อจำกัดนี้สำคัญต่อกระบวนการกลั่นโมเดลและการสร้างข้อมูลสังเคราะห์ ซึ่งใบอนุญาตระบุถึงไว้อย่างชัดเจนเมื่อให้คำจำกัดความของโมเดลที่พัฒนาต่อยอดและข้อจำกัดในการใช้ผลลัพธ์

ERNIE 5.5 Flash Base มอบจุดตรวจสอบโมเดลที่ตายตัวให้นักวิจัยและนักพัฒนาใช้ทดสอบวิธีการฝึกโมเดลในขั้นต่อไปได้ โดยไม่ต้องทำซ้ำกระบวนการฝึกล่วงหน้าของ Baidu การออกแบบมุ่งควบคุมปริมาณการคำนวณที่ใช้จริงและต้นทุนของบริบทที่ยาว แต่การใช้งานจริงยังถูกจำกัดด้วยข้อกำหนดด้านฮาร์ดแวร์สำหรับการปรับแต่งโมเดลทั้งตัว และใบอนุญาตที่จำกัดพื้นที่ทางภูมิศาสตร์ การใช้งานเชิงพาณิชย์ในวงกว้าง และการถ่ายโอนขีดความสามารถไปยังโมเดลอื่นที่ไม่เกี่ยวข้อง