Google เปิดตัวเกณฑ์มาตรฐานวิศวกรรม 85 งานและการแข่งขันเอเจนต์

เมื่อวันที่ 3 พฤศจิกายน 2026 Google AI & Infrastructure ประกาศว่าจะเผยแพร่งานสาธารณะ 29 งาน เครื่องมือให้คะแนน และคอนเทนเนอร์สำหรับประเมินผล สำหรับ Physical-Engineering’s Last Exam (PLE) ซึ่งเป็นเกณฑ์มาตรฐานวิศวกรรม 85 งานที่พัฒนาร่วมกับ Mercor พร้อมเปิดการแข่งขันเอเจนต์และกระดานจัดอันดับให้เข้าร่วมได้

PLE ให้เอเจนต์ทำงานที่ได้รับมอบหมายในระดับมืออาชีพให้เสร็จในสาขาวิศวกรรมเครื่องกล ไฟฟ้า โยธา และโครงสร้าง แทนการตอบคำถามแบบตำราเรียนหรือเรียกใช้เครื่องมือเพียงครั้งเดียว เกณฑ์มาตรฐานนี้ประกอบด้วยงานวิศวกรรมเครื่องกล 30 งาน วิศวกรรมไฟฟ้า 27 งาน วิศวกรรมโยธา 18 งาน และวิศวกรรมโครงสร้าง 10 งาน โดยวัดความสำเร็จจากผลงานส่งมอบที่ต้องเป็นไปตามข้อกำหนดทางวิศวกรรม ข้อจำกัดทางกายภาพ และเป้าหมายด้านต้นทุนหรือประสิทธิภาพในกรณีงานออกแบบ

ระเบียน arXiv ของบทความระบุว่ามีการส่งบทความครั้งแรกเมื่อวันที่ 21 ตุลาคม 2026 และปรับปรุงเมื่อวันที่ 30 ตุลาคม 2026 ความเคลื่อนไหวครั้งใหม่นี้คือการเผยแพร่ชุดงานและเครื่องมือประเมินผลสู่สาธารณะ ตลอดจนการเปิดการแข่งขัน ไม่ใช่การตีพิมพ์บทความเป็นครั้งแรก

ไฟล์โครงการและผลงานส่งมอบสำหรับการใช้งานจริง

งานแต่ละชิ้นดำเนินการในสภาพแวดล้อมโครงการแบบคอนเทนเนอร์ที่สร้างขึ้นบน Archipelago ของ Mercor โดยเฉลี่ยแล้วแต่ละงานมีไฟล์ 61 ไฟล์ และเมื่อรวมกันทั้งเกณฑ์มาตรฐานมีทั้งหมด 5,170 ไฟล์ ครอบคลุม PDF สเปรดชีต อีเมล แบบเขียน CAD 2D โมเดล BIM 3D และเอกสารฉบับแก้ไขที่ถูกแทนที่แล้ว เอเจนต์ต้องพิจารณาว่าเอกสารและข้อกำหนดใดมีผลบังคับใช้ คำนวณ และจัดทำไฟล์ต่าง ๆ เช่น บันทึกทางวิศวกรรม สมุดงานคำนวณ รายการอุปกรณ์ และแบบเขียน ในรูปแบบที่ออกแบบมาเพื่อให้ผู้ประกอบวิชาชีพที่มีใบอนุญาตตรวจสอบ

วิศวกรที่ปฏิบัติงานจริงเป็นผู้สร้างงาน 44 งานที่เขียนโดยผู้เชี่ยวชาญตั้งแต่ต้นจนจบ รวมถึงโฟลเดอร์โครงการ คำสั่งงาน และเกณฑ์การให้คะแนนแบบถ่วงน้ำหนัก สำหรับงาน 41 งานที่พัฒนาร่วมกัน วิศวกรจัดทำโจทย์เบื้องต้น จากนั้นใช้กระบวนการสร้างและแก้โจทย์แบบเผชิญหน้ากันเพื่อสร้างและทดสอบสภาพแวดล้อมกับระบบให้คะแนนที่เรียกใช้งานได้ โดยอิงจากสื่อจริงที่สามารถนำไปใช้ได้โดยชอบด้วยใบอนุญาต หลังจากนั้นผู้เชี่ยวชาญตรวจสอบความถูกต้องของงานและเพิ่มระดับความยาก บทความทางเทคนิคระบุว่าไม่มีงานใดใช้ข้อมูลกรรมสิทธิ์หรือข้อมูลลับของลูกค้า โดยสภาพแวดล้อมสำหรับงานที่เขียนโดยผู้เชี่ยวชาญสร้างขึ้นใหม่ทั้งหมด ส่วนไฟล์ในงานที่พัฒนาร่วมกันใช้เนื้อหาสาธารณสมบัติ เนื้อหาที่อนุญาตให้ใช้งานได้อย่างเสรี หรือเนื้อหาที่สร้างขึ้นใหม่

การให้คะแนนก็เน้นผลงานที่ทำเสร็จแล้วเช่นเดียวกัน งานที่เขียนโดยผู้เชี่ยวชาญใช้เกณฑ์แบบถ่วงน้ำหนักซึ่งพิจารณาจากหลักฐานในไฟล์ที่ส่ง งานออกแบบที่พัฒนาร่วมกันผสานการปฏิบัติตามข้อจำกัดเข้ากับเป้าหมายด้านเศรษฐกิจหรือประสิทธิภาพ และหากไม่ผ่านเงื่อนไขด้านความปลอดภัยหรือความเป็นไปได้ที่กำหนดไว้อย่างเข้มงวด งานออกแบบที่ได้รับผลกระทบจะไม่ได้คะแนนในส่วนเป้าหมาย การให้คะแนนตามเป้าหมายนี้ช่วยแก้ข้อจำกัดของการให้คะแนนด้วยเกณฑ์ประเมินเพียงอย่างเดียว กล่าวคือ ตารางการเดินสายไฟสองชุดอาจผ่านการตรวจสอบตามข้อกำหนดเดียวกัน แต่มีค่าใช้จ่ายในการติดตั้งต่างกัน

ผลการทดสอบพื้นฐานเผยให้เห็นช่องว่างด้านการปฏิบัติตามข้อกำหนด

Google ประเมินโมเดล 14 โมเดลด้วยชุดเครื่องมือเอเจนต์ที่เปิดให้สาธารณะใช้งาน 7 ชุด โดยทดสอบแต่ละงาน 3 ครั้งต่อการตั้งค่าแต่ละแบบ คอนเทนเนอร์สำหรับแก้โจทย์ไม่มีการเชื่อมต่ออินเทอร์เน็ต และกำหนดเวลาให้เอเจนต์ทำงานได้ 6 ชั่วโมงต่อครั้ง ส่วนการตัดสินตามเกณฑ์ประเมินและการให้คะแนนด้วยระบบที่เรียกใช้งานได้ดำเนินการภายนอกคอนเทนเนอร์ของระบบแก้โจทย์ เพื่อแยกผู้ให้คะแนนและผลงานอ้างอิงออกจากเอเจนต์

Google รายงานว่า ในชุดทดสอบส่วนตัว 56 งาน ทุกรุ่นได้คะแนนต่ำกว่า 50% เมื่อใช้ชุดเครื่องมือเอเจนต์ที่มาพร้อมกับโมเดล โดย Claude Opus 5.5 ใน Claude Code ทำคะแนนสูงสุดที่ 48.3% ส่วนกระดานจัดอันดับการแข่งขันจัดอันดับโมเดลโดยใช้ผลจากงานทดสอบที่ซ่อนไว้

การประเมินแยกต่างหากในบทความ ซึ่งครอบคลุมงานทั้ง 85 งาน รายงานว่า Claude Opus 5.5 ใน Claude Code ทำคะแนนสูงสุดที่ 50.6% โดยใช้โทเคนเฉลี่ย 27 ล้านโทเคนและเวลา 63 นาทีต่องาน และมีค่าใช้จ่าย 17.18 ดอลลาร์ต่องานตามราคาที่ประกาศไว้ ตัวเลขสูงสุดสองค่านี้จึงมาจากการประเมินคนละแบบ แบบหนึ่งครอบคลุมชุดทดสอบที่ซ่อนไว้และใช้ชุดเครื่องมือเอเจนต์ที่มาพร้อมกับโมเดล ส่วนอีกแบบครอบคลุมเกณฑ์มาตรฐานทั้งหมดและใช้การตั้งค่าโมเดลกับชุดเครื่องมือเอเจนต์ที่ให้ผลดีที่สุด

ผลที่ชี้ให้เห็นประเด็นได้ชัดกว่านั้นอยู่ในกลุ่มงานที่พัฒนาร่วมกัน Google รายงานว่าการตั้งค่าที่ให้ผลดีที่สุดทำตามข้อจำกัดแต่ละข้อได้ 91% แต่มีรายการผลงานส่งมอบเพียง 41.3% เท่านั้นที่ผ่านการตรวจสอบด้านความปลอดภัยและความเป็นไปได้ทุกข้อซึ่งเป็นเงื่อนไขจำเป็นต่อการได้คะแนนตามเป้าหมาย กล่าวในทางปฏิบัติ เอเจนต์มักทำตามข้อกำหนดได้เกือบทั้งหมด แต่ยังสร้างงานออกแบบที่เป็นไปตามข้อกำหนดครบถ้วนไม่ได้ ซึ่งเป็นช่องว่างที่เงื่อนไขข้อจำกัดแบบเข้มงวดของ PLE ออกแบบมาเพื่อเปิดเผยโดยเฉพาะ

Google รายงานว่าคะแนนระหว่างโมเดลต่าง ๆ มีช่วงห่างประมาณ 50 จุด เทียบกับช่วงห่างค่ามัธยฐาน 3 จุดระหว่างชุดเครื่องมือเอเจนต์ที่ใช้กับโมเดลเดียวกัน อย่างไรก็ตาม การเลือกชุดเครื่องมือเอเจนต์ยังส่งผลต่อทั้งคะแนนและค่าใช้จ่าย ผลของงานแต่ละชิ้นยังแปรผันอย่างมากด้วย โดยช่วงคะแนนจากการทดสอบซ้ำ 3 ครั้งเฉลี่ยอยู่ที่ 15.4 จุดต่อหนึ่งคู่ของงานกับชุดเครื่องมือเอเจนต์ ความแปรผันนี้สนับสนุนแนวทางของผู้เขียนที่ใช้ค่าเฉลี่ยจากการทดสอบซ้ำ แทนการทดสอบเพียงครั้งเดียว

การแข่งขันทดสอบการตั้งค่าเอเจนต์ทั้งระบบ

คลังโค้ดอย่างเป็นทางการแบ่ง PLE ออกเป็นงานพัฒนาที่เปิดเผยต่อสาธารณะ 29 งาน และงานทดสอบที่ซ่อนไว้ 56 งาน ผู้เข้าแข่งขันส่งชุดเครื่องมือเอเจนต์ ซึ่งเป็นซอฟต์แวร์ที่ควบคุมให้โมเดลที่เลือกทำงานแต่ละชิ้น พร้อมระบุโมเดลที่ใช้และแนบผลงานที่สร้างจากงานสาธารณะ ผู้จัดจะให้คะแนนผลงานเหล่านั้น เรียกใช้ชุดเครื่องมือเอเจนต์ซ้ำกับงานสาธารณะที่สุ่มเลือกเพื่อตรวจสอบว่าสามารถทำซ้ำผลได้หรือไม่ จากนั้นจึงเรียกใช้ 3 ครั้งกับงานทดสอบที่ซ่อนไว้เพื่อคำนวณคะแนนบนกระดานจัดอันดับ

ผู้เข้าแข่งขันสามารถใช้ฟรีโมเดล 13 รุ่นที่ Google สนับสนุนบนเซิร์ฟเวอร์ประเมินผล ใช้คีย์ API ของโมเดลเชิงพาณิชย์ หรือเชื่อมต่อกับเซิร์ฟเวอร์โมเดลที่โฮสต์เองได้ คลังโค้ดที่ใช้สัญญาอนุญาต Apache-2.0 มีตัวอย่างเริ่มต้นสำหรับแฮร์เนสที่ปรับแต่งเองและอะแดปเตอร์สำหรับเอเจนต์ที่มีอยู่แล้ว ช่วยให้ผู้เข้าร่วมมีจุดเริ่มต้นหลายแบบในการสร้างผลงานส่งเข้าประกวดให้ครบถ้วน

ดังนั้น การแข่งขันนี้จึงประเมินมากกว่าคำตอบสุดท้ายของโมเดล ระบบที่ส่งเข้าประกวดต้องทำงานกับไฟล์โครงการที่สมจริง ทำผลลัพธ์สาธารณะซ้ำได้ และสร้างผลงานส่งมอบที่ครบถ้วนซึ่งผ่านการตรวจสอบด้านความปลอดภัย ความเป็นไปได้ และคุณภาพในชุดทดสอบที่ซ่อนไว้ ผลลัพธ์พื้นฐานชี้ว่าความท้าทายสำคัญอยู่ที่การปฏิบัติตามข้อกำหนดของชุดงานโดยรวมให้ครบถ้วน กล่าวคือ แม้จะทำตามข้อกำหนดส่วนใหญ่ได้ ก็ยังไม่เพียงพอ หากการผิดเงื่อนไขบังคับข้อใดข้อหนึ่งทำให้ไม่ได้รับคะแนนตามเกณฑ์ ทั้งที่การออกแบบโดยรวมประหยัดทรัพยากรก็ตาม