OpenAI เปิดตัว BioBasicsBench เพื่อทดสอบเอเจนต์ AI ด้วยข้อมูลจากการทดลองในห้องปฏิบัติการ

OpenAI เปิดตัว BioBasicsBench เมื่อวันที่ 6 พฤศจิกายน 2026 ซึ่งเป็นชุดทดสอบมาตรฐาน 100 งานที่พัฒนาร่วมกับ Ligo บริษัทออกแบบเอนไซม์ เพื่อทดสอบว่าเอเจนต์ AI สามารถตีความหลักฐานดิบจากการทดลองในห้องปฏิบัติการทั่วไปได้หรือไม่

OpenAI รายงานผลเป็นคะแนนรางวัลเฉลี่ย ซึ่งเป็นคะแนนเฉลี่ยของงานที่แสดงเป็นเปอร์เซ็นต์ของคะแนนเต็มที่ทำได้ ในการตั้งค่าความพยายามในการให้เหตุผลระดับ xhigh ซึ่งเป็นระดับสูงสุดที่รายงานสำหรับทั้ง 7 โมเดลที่ทดสอบ GPT-6 Astra ทำคะแนนได้ 66.7% โดยมีช่วงความเชื่อมั่น 95% อยู่ที่ 60.3–73.1% ขณะที่ GPT-5.6 Sol ได้คะแนน 43.8% โดยมีช่วงความเชื่อมั่นอยู่ที่ 37.6–50.0% Astra ใช้โทเคนเอาต์พุตเฉลี่ย 4,704 โทเคนต่องาน เทียบกับ Sol ซึ่งใช้ 9,099 โทเคน

พัฒนาจากหลักฐานการทดลองทั่วไป

BioBasicsBench มุ่งแก้ข้อจำกัดที่ OpenAI ระบุไว้ในการประเมินซึ่งใช้แผนภูมิและภาพที่คัดเลือกมาสำหรับงานวิจัยทางวิทยาศาสตร์ เพราะงานในห้องปฏิบัติการประจำวันยังเกี่ยวข้องกับการทดลองที่ล้มเหลว ภาพที่ตีความได้กำกวม ข้อสังเกตที่ขัดแย้งกัน และการแก้ปัญหาเฉพาะหน้า งานทดสอบให้เอเจนต์ตีความข้อมูลการทดลอง ตรวจหาข้อผิดพลาด และพิจารณาว่าหลักฐานไม่เพียงพอที่จะรองรับข้อสรุปหรือไม่ งานเหล่านี้ครอบคลุมวิธีการศึกษาโปรตีน การถ่ายภาพและไซโตเมทรี การหาปริมาณและการทดสอบ วิธีการศึกษากรดนิวคลีอิก และการโคลนโมเลกุล

นักวิทยาศาสตร์สร้างงานทดสอบจากการทดลองของตนเองและเขียนเกณฑ์การให้คะแนน ข้อมูลนำเข้าประกอบด้วยภาพเจลและบล็อต เพลตโคโลนี ชุดภาพจากกล้องจุลทรรศน์ ข้อมูลลำดับพันธุกรรม ไฟล์ส่งออกจากเครื่องอ่านเพลต ภาพถ่ายจากโต๊ะปฏิบัติการ และวิดีโอแสดงขั้นตอนการทดลอง งานแต่ละชิ้นอาจรวมหลักฐานหลายประเภทและเอกสารอ้างอิงประกอบ เช่น แผนภูมิแถบมาตรฐานและแผนที่พลาสมิด เอเจนต์ส่งข้อสรุป การวัด หรือคำแนะนำในรูปแบบที่มีโครงสร้าง ส่วนเกณฑ์การให้คะแนนจะให้คะแนนองค์ประกอบต่าง ๆ ซึ่งรวมถึงผลลัพธ์เชิงตัวเลข เหตุผลสนับสนุน และการตระหนักว่าหลักฐานยังไม่เพียงพอ

งานแต่ละชิ้นได้รับการตรวจสอบภายในโดยนักวิทยาศาสตร์ของ Ligo ที่ไม่ได้เป็นผู้เขียนงานนั้น ตรวจสอบภายนอกโดยนักวิทยาศาสตร์ด้านการทดลองในห้องปฏิบัติการที่มีวุฒิปริญญาเอก และตรวจสอบภายในขั้นสุดท้าย โดยพิจารณาคำสั่ง หลักฐาน เกณฑ์การให้คะแนน บันทึกของผู้เขียน และผลการทำงานของโมเดลที่ผ่านการให้คะแนน การประเมินครอบคลุมการตั้งค่าโมเดลและความพยายามในการให้เหตุผล 37 รูปแบบ โดยให้ทดลองทำแต่ละงาน 5 ครั้งต่อการตั้งค่า รวมเป็นผลลัพธ์ 18,500 รายการ คำนวณช่วงความเชื่อมั่นด้วยการสุ่มตัวอย่างงานทั้งชิ้นซ้ำ โดยคงผลการทดลองทั้ง 5 ครั้งของแต่ละงานไว้ด้วยกัน

ตัวอย่างที่แสดงให้เห็นพัฒนาการของ Astra

ในงานวิเคราะห์ภาพเซลล์ GPT-5.6 Sol จัดประเภทเซลล์ว่าเป็นเซลล์ตายโดยอาศัยสัญญาณจากสีย้อม ส่วน Astra สังเกตว่าช่วงการตรวจจับที่ซ้อนทับกันอาจทำให้สีย้อมตัวที่สองรบกวนสัญญาณได้ จึงเสนอให้ใช้การควบคุมที่ช่วยแยกสัญญาณออกจากกัน ในงานโคลนดีเอ็นเอ Sol สรุปผลจากการไม่พบโคโลนีบนเพลตควบคุมเชิงลบ ขณะที่ Astra สังเกตว่าเพลตติดป้ายระบุว่าใช้คานามัยซิน แทนแอมพิซิลลินที่ใช้ในการทดลอง จึงปฏิเสธที่จะใช้เพลตดังกล่าวเป็นตัวควบคุมที่เชื่อถือได้

อีกงานหนึ่งแสดงให้เห็นเซลล์ที่เคลื่อนเข้าและออกจากระยะโฟกัส Sol พยายามหาคำอธิบายทางชีววิทยาว่าเหตุใดเซลล์จึงดูเหมือนหายไป ขณะที่ Astra ระบุได้ว่าเป็นภาพชุด z-stack ซึ่งประกอบด้วยภาพหลายภาพที่ถ่ายจากระดับความลึกต่างกัน OpenAI มองว่าตัวอย่างเหล่านี้แสดงให้เห็นถึงการจัดการข้อมูลหลายรูปแบบที่ดีขึ้น การใช้บริบทของการทดลอง และการรับรู้ว่าข้อมูลสามารถหรือไม่สามารถใช้ยืนยันอะไรได้บ้าง อีกทั้งยังบ่งชี้ว่าความสามารถด้านข้อมูลหลายรูปแบบที่มีอยู่ในตัวโมเดลอาจมีความสำคัญต่อการวิเคราะห์งานในห้องปฏิบัติการทั่วไป

จุดที่ชุดทดสอบเผยให้เห็นความผิดพลาด

OpenAI เตือนว่าคะแนนที่สูงขึ้นยังไม่ได้หมายความว่าโมเดลมีวิจารณญาณในการทำงานห้องปฏิบัติการที่เชื่อถือได้ ในงานโคโลนี PCR Astra เลือกหลุม 4, 6, 7 และ 8 โดยตั้งสมมติฐานว่าผลิตภัณฑ์ PCR ที่มีขนาดใหญ่กว่าบ่งชี้ว่าการโคลนสำเร็จ แต่การตีความอ้างอิงเลือกหลุม 5, 9 และ 10 ความผิดพลาดนี้จะทำให้เกิดการทำให้พลาสมิดผิดชนิดบริสุทธิ์

ตัวอย่างอื่นแสดงให้เห็นว่าข้อสังเกตที่ถูกต้องอาจไม่ส่งผลต่อคำตอบสุดท้าย Astra สรุปกว้าง ๆ ว่าแวคิวโอล ซึ่งเป็นช่องภายในเซลล์ โดยทั่วไปมีสีเข้มกว่าส่วนอื่นของเซลล์โดยรอบ ทั้งที่ในภาพเดียวกันมีแวคิวโอลสีอ่อนกว่า การเปลี่ยนระยะโฟกัสอาจทำให้ความแตกต่างของความเข้มกลับด้านได้ และข้อสังเกตขั้นกลางของ Astra เองก็ระบุว่าความแตกต่างดังกล่าวเปลี่ยนไปตามโฟกัส ในงานนับโคโลนี OpenAI รายงานว่า Astra แยกโคโลนีที่อยู่ชิดกันไม่ออก พลาดโคโลนีที่มองเห็นได้ และทำเครื่องหมายบริเวณวุ้นที่ไม่มีโคโลนี ส่งผลให้นับเกินจากค่ามาตรฐานอ้างอิงประมาณ 12% เมื่อกำหนดปริมาตรที่หยอดลงบนเพลตและอัตราการเจือจางไว้คงที่ การนับเกินเช่นนี้ทำให้ค่าประสิทธิภาพการนำดีเอ็นเอเข้าสู่เซลล์ที่ประเมินได้สูงเกินจริงในสัดส่วนเดียวกัน

OpenAI ระบุว่า การติดตามพัฒนาการของความสามารถเหล่านี้จะช่วยประกอบการประเมินผลกระทบด้านความปลอดภัยทางชีวภาพและความมั่นคงทางชีวภาพด้วย

ดังนั้น เกณฑ์ในทางปฏิบัติจึงสูงกว่าการทำคะแนนรวมให้ดีขึ้น เอเจนต์ต้องนำข้อสังเกตที่ถูกต้องไปสู่ข้อสรุป ตรวจสอบตัวควบคุม และงดสรุปในกรณีที่หลักฐานไม่รองรับ BioBasicsBench กำหนดให้ข้อกำหนดเหล่านี้เป็นเป้าหมายในการพัฒนา และตัวอย่างความผิดพลาดที่แจกแจงไว้แสดงให้เห็นว่า การพัฒนาไปสู่การช่วยงานในห้องปฏิบัติการยังขึ้นอยู่กับการลดช่องว่างระหว่างการสังเกตหลักฐานกับการตัดสินใจทดลองอย่างรอบคอบ