โมเดลและแพลตฟอร์ม AI
ERNIE Evolve ของ Baidu ทำให้การวิจัย AI และการปรับแต่งประสิทธิภาพการอนุมานเป็นระบบอัตโนมัติ
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Baidu เปิดตัว ERNIE Evolve เมื่อวันที่ 9 พฤศจิกายน 2026 โดยรายงานผลที่ดีกว่าผลเปรียบเทียบสาธารณะในตัวชี้วัด 3 รายการของ NanoChat และ NanoGPT รวมถึงอัตราการประมวลผลที่สูงขึ้น 33.7% ในการทดสอบการอนุมานแบบกำหนดผลลัพธ์แน่นอนของ ERNIE-5.5-Flash หนึ่งรายการ ระบบวิจัยอัตโนมัตินี้จะเลือกแนวทางการวิจัย แก้ไขโค้ด AI และเก็บไว้เฉพาะการปรับปรุงที่ผ่านการประเมินและการตรวจสอบแยกจากกัน
ประกาศดังกล่าวยังครอบคลุมงานด้านวิศวกรรมการอนุมานที่กำลังดำเนินการสำหรับ ERNIE-5.5-Flash ซึ่งอยู่ระหว่างการพัฒนา บทบาทของระบบไม่ได้จำกัดอยู่แค่การเขียนโค้ด แต่ยังเลือกแนวทางการศึกษา ดำเนินการทดสอบ และใช้ทั้งความล้มเหลวและความสำเร็จเป็นแนวทางในการทำซ้ำครั้งต่อไป
วงจรการวิจัยที่มีการตรวจสอบอย่างเป็นอิสระ
เมื่อได้รับคลังเก็บโค้ด เป้าหมายการปรับแต่งประสิทธิภาพ และเกณฑ์การประเมิน ERNIE Evolve จะแก้ไขโค้ดและทดลองในสภาพแวดล้อมที่แยกเป็นอิสระ ผู้อำนวยการในวงรอบชั้นนอกจะเลือกแนวทางและเวอร์ชันเริ่มต้น โดยอาศัยคลังประสบการณ์จากการทดลองก่อนหน้าและฐานความรู้ที่รวบรวมงานวิจัย โค้ดโอเพนซอร์ส และความรู้เฉพาะด้านไว้ ช่องทางทำงานแบบขนานจะจัดเก็บแผนผังต้นไม้ของเวอร์ชันที่เป็นตัวเลือก ภายในแต่ละช่องทาง ตัวเลือกจะเลือกเวอร์ชันและสมมติฐาน ส่วนตัวดำเนินการจะลงมือปรับแก้ตามนั้น
การยอมรับผลลัพธ์ขึ้นอยู่กับตัวประเมินที่กำหนดไว้ตายตัวและผู้ตรวจสอบอีกคนหนึ่งซึ่งทำหน้าที่แยกต่างหาก ตัวประเมินทำงานอยู่นอกคลังเก็บโค้ด โดยเอเจนต์มองไม่เห็น จะไม่นับการแก้ไขที่อยู่นอกขอบเขต และกำหนดให้ผลดีขึ้นเกินระดับสัญญาณรบกวน ผู้ตรวจสอบจะตรวจว่าผลลัพธ์เป็นไปตามแนวทางการวิจัยหรือไม่ และตัดผลลัพธ์ที่อาศัยช่องโหว่ของการประเมินทิ้ง เวอร์ชันที่เบี่ยงเบนจากแนวทางจะไม่ได้รับเลือกเป็นเวอร์ชันที่ดีที่สุด
ผลการทดสอบมาตรฐานสาธารณะและโค้ดที่เผยแพร่
Baidu รายงานผลลัพธ์ต่อไปนี้เมื่อเทียบกับผลเปรียบเทียบสาธารณะที่ใช้ในการประเมิน:
| งานและเงื่อนไข | ตัวชี้วัด | ERNIE Evolve | ผลเปรียบเทียบสาธารณะ |
|---|---|---|---|
| NanoChat AutoResearch ฝึกเป็นเวลา 5 นาทีบน B200 หนึ่งตัว | บิตตรวจสอบความถูกต้องต่อไบต์ ยิ่งต่ำยิ่งดี | 0.8763 | ค่าเฉลี่ย 0.887791 จาก 10 ค่าเริ่มต้น |
| NanoGPT Speedrun Track 1 ใช้ GPU H100 จำนวน 8 ตัว | จำนวนวินาทีจนได้ค่าความสูญเสียจากการตรวจสอบความถูกต้องบน FineWeb ที่ 3.28 ยิ่งต่ำยิ่งดี | 38.92 วินาที จากการทดสอบ 18 รอบ | 39.9 วินาที |
| NanoGPT Speedrun Track 3 ใช้ข้อมูล ขนาดแบตช์ และสถาปัตยกรรมที่กำหนดไว้คงที่ | จำนวนขั้นตอนจนได้ค่าความสูญเสียจากการตรวจสอบความถูกต้องบน FineWeb ที่ 3.28 ยิ่งต่ำยิ่งดี | 2,590 ขั้นตอน จากการทดสอบ 8 รอบ | 2,690 ขั้นตอน จากการทดสอบ 8 รอบ |
| SOL-ExecBench มีโจทย์เคอร์เนล 235 ข้อ | คะแนนความเร็วเมื่อเทียบกับเพดานประสิทธิภาพเชิงทฤษฎีของ B200 โดยเฉลี่ย ยิ่งสูงยิ่งดี | 0.819 | คะแนนนำ 0.827 |
ในการทดสอบ NanoChat นั้น ERNIE Evolve เพิ่มแขนงการทำนายสองแขนงควบคู่กับโครงข่ายประสาทเทียม แขนงหนึ่งใช้สถิติ n-gram จากคลังข้อมูลฝึก ส่วนอีกแขนงดึงเอกสารที่ตรงกันมาใช้ทำนายจากข้อความต่อเนื่องในเอกสารเหล่านั้น เกตที่เรียนรู้ได้จะปรับสัดส่วนการผสมผสาน โดยพิจารณาประสิทธิภาพของแต่ละแขนงในตำแหน่งโทเคนก่อนหน้า
คลังผลลัพธ์เผยแพร่โค้ดฉบับสุดท้ายและบันทึกการวัดผล โดยฝังโค้ดที่ดำเนินการไว้ในแต่ละบันทึก หรือระบุรหัส SHA-256 ของโค้ดนั้น คลังนี้แสดงรายการไฟล์เคอร์เนล 7 รายการจาก SOL-ExecBench ซึ่งได้คะแนนตั้งแต่ 0.6669–0.9920 แต่ไม่มีการเผยแพร่นิยามงานและข้อมูลภาระงานของ NVIDIA ซ้ำ
ผลในแถวของ SOL-ExecBench ช่วยให้เห็นภาพรวมที่รอบด้านขึ้น กล่าวคือ ERNIE Evolve ไม่ได้เป็นผู้นำในทุกตัวชี้วัดที่แสดงไว้ แม้การเปรียบเทียบของ Baidu จะจัดให้ระบบนี้อยู่เหนือ Recursive และ Hyra-1.0 ในงานดังกล่าว
การปรับแต่งประสิทธิภาพการอนุมานสำหรับ ERNIE-5.5-Flash
Baidu นำ ERNIE Evolve มาใช้กับการอนุมานที่มีความหน่วงต่ำบน Kunlunxin P800 การเพิ่มอัตราการประมวลผลของการอนุมานแบบกำหนดผลลัพธ์แน่นอนบน GPU และการเพิ่มความเร็วในการถอดรหัสสำหรับคำขอเดียว โดยพื้นฐานประสิทธิภาพส่วนใหญ่ผ่านการปรับแต่งโดยวิศวกรมาก่อนแล้ว และการเปลี่ยนแปลงต้องผ่านการทดสอบโหลดและการตรวจสอบความถูกต้องเช่นเดียวกับงานที่วิศวกรส่งเข้ามา
Baidu รายงานว่า การวิจัย 4 รอบบน Kunlunxin P800 ทำให้ความเร็วในการสร้างเพิ่มขึ้นเป็น 623.6% ของค่าฐาน โดยผ่านการตรวจสอบความถูกต้อง ทั้งยังคงใช้โมเดลและการตั้งค่าการติดตั้งใช้งานเดิม รอบแรก ๆ ทำให้สามารถใช้ไฮเปอร์คอนเน็กชันแบบมีข้อจำกัดบนแมนิโฟลด์และการถอดรหัสแบบเก็งล่วงหน้าที่รวมการทำงานเข้าด้วยกัน จากนั้นจึงลดภาระในการจัดตารางงานและการซิงโครไนซ์ฝั่งโฮสต์ การแก้ไขการกระจายงานในรอบที่ 4 ทำให้เปิดใช้เส้นทางความหน่วงต่ำของ DeepEP ได้
สำหรับการฝึกแบบเสริมกำลัง งานที่ต้องให้ผลลัพธ์กำหนดแน่นอนกำหนดให้โทเคนที่สร้างขึ้นและค่าลอการิทึมความน่าจะเป็นต้องเหมือนกันทุกบิต ไม่ว่าองค์ประกอบของแบตช์จะเป็นแบบใด และต้องตรงกับผลที่คำนวณใหม่จากลำดับเต็ม โหมดกำหนดผลลัพธ์แน่นอนของ SGLang รองรับข้อกำหนดเหล่านี้ด้วยการกำหนดลำดับการลดค่า แต่ก็จำกัดการใช้ประโยชน์จาก GPU หลังทำงานราว 3 วัน Baidu รายงานว่างานนี้ยังลดเวลาเฉลี่ยต่อโทเคนที่ส่งออกลง 26% และลดเวลาจนได้โทเคนแรกลง 12% โดยยังคงให้ผลลัพธ์กำหนดแน่นอน การปรับปรุงรายรายการที่มากที่สุดเกิดจากการแทนที่การสุ่มแบบกำหนดผลลัพธ์แน่นอน ซึ่งเคยใช้เวลาประมาณ 14% ของเวลาที่ GPU ทำงานในแต่ละขั้นตอน ด้วยเคอร์เนล Triton ที่ประมวลผลส่วนย่อยของคลังคำศัพท์แบบขนาน
สำหรับการถอดรหัสบน GPU ในการประมวลผลคำขอเดียว Baidu รายงานว่าความเร็วเพิ่มขึ้น 14.9% เมื่อเทียบกับบริการที่วิศวกรปรับแต่งไว้แล้ว โดยความแม่นยำไม่เปลี่ยนแปลง งานวิจัย 3 ใน 7 แนวทางให้ผลลัพธ์ที่ดีขึ้น ได้แก่ การใช้คำสั่ง FP16 ที่มีอยู่ในฮาร์ดแวร์สำหรับการคูณเมทริกซ์ FP8 ที่มีแถวนำเข้าน้อยกว่า 8 แถว และการแทนที่การสแกนผู้เชี่ยวชาญแบบเรียงลำดับด้วยตัวจัดตารางส่วนผสมของผู้เชี่ยวชาญแบบสองระดับ
การทดสอบเหล่านี้ยังเผยให้เห็นข้อจำกัดที่เข้มงวดขึ้นเกี่ยวกับโมดูลและความเป็นแบบกำหนดแน่นอน สัญญาณรบกวนในการวัดที่มีขนาดใกล้เคียงกับผลลัพธ์ที่ดีขึ้นของแต่ละรายการ ตลอดจนสภาพแวดล้อมที่ครอบคลุมตั้งแต่เอนจินอนุมาน ไลบรารีเคอร์เนล ปลั๊กอินฮาร์ดแวร์ ไปจนถึงสคริปต์เริ่มต้นบริการ การเปลี่ยนแปลงที่มีประโยชน์บางอย่างให้ผลน้อยกว่าสัญญาณรบกวน ดังนั้นจึงต้องทดสอบผู้สมัครแต่ละรายการด้วยการทดสอบโหลดแบบครบวงจรเพื่อยืนยันคุณค่า แทนที่จะอาศัยการวัดเคอร์เนลแยกส่วน
Baidu วางแผนจะนำวงจรนี้ไปใช้ปรับปรุงระบบฝึกโมเดล จากนั้นจะใช้เมตริกด้านความสามารถของโมเดลเป็นแนวทางในการสร้างสมมติฐาน ออกแบบการทดลอง และตรวจสอบผลโดยอัตโนมัติ เป้าหมายระยะยาวของบริษัทคือให้ AI ระบุช่องว่างด้านความสามารถ ตลอดจนสร้างและปรับปรุงงานประเมินผล
บริษัทระบุว่า การพัฒนาตนเองแบบวนซ้ำต้องอยู่ภายใต้การควบคุมของมนุษย์และสามารถหยุดแทรกแซงได้ โดยมีขอบเขตที่ชัดเจนสำหรับเป้าหมาย สิทธิ์ และทรัพยากร พร้อมประเมินความปลอดภัยอย่างต่อเนื่องและมีมนุษย์กำกับดูแล การเปลี่ยนจากการใช้เมตริกทางวิศวกรรมที่กำหนดไว้ตายตัว มาให้ความสำคัญกับความสามารถของโมเดลและการออกแบบเกณฑ์มาตรฐาน ทำให้การควบคุมด้านการประเมินผลและการกำกับดูแลเหล่านี้เป็นปัจจัยสำคัญที่กำหนดว่าวงจรการวิจัยจะขยายขอบเขตได้มากเพียงใด
