AI ในฐานะนักวิจัย: วิจัยฉบับแรกที่ได้รับการทบทวนโดยผู้ทรงคุณวุฒิ โดยไม่มีการเขียนโดยมนุษย์

ปัญญาประดิษฐ์ได้ข้ามขอบเขตที่สำคัญอีกขั้หนึ่งซึ่งท้าทายความเข้าใจของเราเกี่ยวกับสิ่งที่เครื่องจักรสามารถทำได้ด้วยตนเอง สำหรับครั้งแรกในประวัติศาสตร์วิทยาศาสตร์ ระบบปัญญาประดิษฐ์ได้เขียนวิจัยฉบับสมบูรณ์ที่ผ่านการทบทวนโดยผู้ทรงคุณวุฒิที่การประชุมวิชาการโดยไม่มีการช่วยเหลือจากมนุษย์ในกระบวนการเขียน สิ่งนี้อาจเป็นการเปลี่ยนแปลงพื้นฐานใน cáchที่การวิจัยทางวิทยาศาสตร์อาจดำเนินการในอนาคต

ความสำเร็จที่มีประวัติ

เอกสารที่ผลิตโดย The AI Scientist-v2 ผ่านกระบวนการทบทวนโดยผู้ทรงคุณวุฒิที่การประชุมวิชาการระดับนานาชาติ ซึ่งเป็นหนึ่งในเวทีที่มีชื่อเสียงที่สุดในด้านการเรียนรู้ของเครื่อง การวิจัยนี้ได้รับการส่งไปยัง ICLR 2025 ซึ่งเป็นหนึ่งในเวทีที่มีชื่อเสียงที่สุดในด้านการเรียนรู้ของเครื่อง ระบบปัญญาประดิษฐ์นี้เป็นรุ่นที่ได้รับการปรับปรุงจาก AI Scientist เดิม ซึ่งเรียกว่า The AI Scientist-v2

เอกสารที่ได้รับการยอมรับ ซึ่งมีชื่อเรื่องว่า “Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization” ได้รับคะแนนจากผู้ทบทวนที่น่าประทับใจ จากเอกสารทั้งสามฉบับที่ส่งไปทบทวน หนึ่งฉบับได้รับคะแนนที่ทำให้ได้รับการยอมรับ สิ่งนี้เป็นการก้าวหน้าที่สำคัญ เนื่องจากปัญญาประดิษฐ์สามารถเข้าร่วมในกระบวนการค้นพบทางวิทยาศาสตร์พื้นฐานที่เป็นของมนุษย์เป็นเวลาหลายศตวรรษ

ทีมวิจัยจาก Sakana AI ที่ทำงานร่วมกับผู้ร่วมงานจาก University of British Columbia และ University of Oxford ได้ดำเนินการทดลองนี้ และได้รับการอนุมัติจากคณะกรรมการทบทวนสถาบัน และทำงานโดยตรงกับคณะกรรมการจัดงาน ICLR เพื่อให้แน่ใจว่าทดลองนี้ดำเนินไปตามระเบียบวิธีการวิจัยที่เหมาะสม

วิธีการทำงานของ The AI Scientist-v2

The AI Scientist-v2 ได้ประสบความสำเร็จเนื่องจากความก้าวหน้าหลายประการที่สำคัญเหนือรุ่นก่อนหน้า ไม่เหมือนกับรุ่นก่อนหน้า AI Scientist-v2 สามารถกำจัดความจำเป็นในการเขียนโค้ดโดยมนุษย์ สามารถทำงานในหลายโดเมนของการเรียนรู้ของเครื่อง และใช้วิธีการค้นหาต้นไม้เพื่อสำรวจหลายเส้นทางการวิจัยพร้อมกัน

ระบบนี้ทำงานผ่านกระบวนการที่ครอบคลุมทั้งหมด ซึ่งสะท้อนถึงวิธีการทำงานของนักวิจัยมนุษย์ ระบบเริ่มต้นด้วยการกำหนดสมมติฐานทางวิทยาศาสตร์ตามโดเมนการวิจัยที่ได้รับมอบหมาย จากนั้น ระบบจะออกแบบการทดลองเพื่อทดสอบสมมติฐานเหล่านี้ เขียนโค้ดที่จำเป็นในการดำเนินการทดลอง และดำเนินการทดลองโดยอัตโนมัติ

สิ่งที่ทำให้ระบบนี้เป็นระบบที่ทันสมัยคือการใช้วิธีการค้นหาต้นไม้แบบมีเจตนา (agentic tree search methodology) วิธีการนี้ทำให้ปัญญาประดิษฐ์สามารถสำรวจหลายทิศทางการวิจัยพร้อมกัน เช่นเดียวกับที่นักวิจัยมนุษย์อาจพิจารณาวิธีการแก้ปัญหาหลายวิธี สิ่งนี้เกี่ยวข้องกับการดำเนินการทดลองผ่านการค้นหาต้นไม้แบบมีเจตนา การวิเคราะห์ผลลัพธ์ และการสร้างร่างเอกสาร ผู้จัดการทดลองอิสระจะประสานงานกระบวนการทั้งหมดเพื่อให้แน่ใจว่าการวิจัยยังคงมุ่งเน้นและให้ผลผลิต

ระบบยังรวมถึงส่วนประกอบผู้ทบทวน AI ที่ได้รับการปรับปรุง ซึ่งใช้ แบบจำลองภาษาและภาพ เพื่อให้คำแนะนำเกี่ยวกับเนื้อหาและนำเสนอภาพของการค้นพบการวิจัย สิ่งนี้สร้างกระบวนการปรับปรุงอย่างต่อเนื่องโดยที่ปัญญาประดิษฐ์สามารถปรับปรุงงานของตนเองตามคำแนะนำ เช่นเดียวกับที่นักวิจัยมนุษย์ปรับปรุงร่างเอกสารตามคำแนะนำจากเพื่อนร่วมงาน

สิ่งที่ทำให้การวิจัยนี้พิเศษ

เอกสารที่ได้รับการยอมรับนี้มุ่งเน้นไปที่ปัญหาที่ท้าทายในการเรียนรู้ของเครื่องเรียกว่า การเรียนรู้เชิงประกอบ (compositional generalization) ซึ่งหมายถึงความสามารถของเครือข่ายประสาทเทียมในการเข้าใจและใช้แนวคิดที่เรียนรู้ในสถานการณ์ใหม่ที่ไม่เคยเห็นมาก่อน ระบบ AI Scientist-v2 ตรวจสอบวิธีการปรับให้เหมาะสมใหม่ที่อาจปรับปรุงความสามารถนี้

นอกจากนี้ เอกสารนี้ยังรายงานผลลัพธ์เชิงลบ ปัญญาประดิษฐ์พบว่าแนวทางบางอย่างที่ตนเองคิดว่าจะปรับปรุงประสิทธิภาพของเครือข่ายประสาทเทียมจริงแล้วสร้างอุปสรรคที่ไม่คาดคิด ในด้านวิทยาศาสตร์ ผลลัพธ์เชิงลบมีคุณค่าเนื่องจากป้องกันไม่ให้นักวิจัยคนอื่นติดตามเส้นทางที่ไม่มีประสิทธิภาพ และช่วยให้เราเข้าใจสิ่งที่ไม่ทำงาน

การวิจัยนี้ดำเนินไปตามมาตรฐานวิทยาศาสตร์ที่เข้มงวดตลอดกระบวนการ ระบบ AI Scientist-v2 ดำเนินการทดลองหลายครั้งเพื่อให้แน่ใจถึงความถูกต้องทางสถิติ สร้างภาพแสดงผลที่ชัดเจน และอ้างอิงงานก่อนหน้าที่เกี่ยวข้องอย่างเหมาะสม ระบบจัดรูปแบบเอกสารทั้งหมดตามมาตรฐานวิชาการ และเขียนการอภิปรายเกี่ยวกับวิธีการและผลลัพธ์อย่างครอบคลุม

นักวิจัยมนุษย์ที่ดูแลโครงการได้ทำการทบทวนที่ครอบคลุมของเอกสารที่สร้างโดย AI ทั้งสามฉบับ พวกเขาพบว่าเอกสารที่ได้รับการยอมรับนั้นมีคุณภาพตามมาตรฐานการประชุม แต่มีปัญหาเทคนิคบางอย่างที่จะป้องกันไม่ให้ได้รับการยอมรับในเส้นทางการประชุมหลัก การประเมินอย่างซื่อสัตย์นี้แสดงให้เห็นถึงข้อจำกัดในปัจจุบันในขณะเดียวกันก็ยอมรับการก้าวหน้าที่สำคัญที่ได้ทำ

ความสามารถทางเทคนิคและการปรับปรุง

ระบบ AI Scientist-v2 แสดงให้เห็นถึงความสามารถทางเทคนิคที่น่าประทับใจหลายประการที่ทำให้แตกต่างจากระบบการวิจัยอัตโนมัติก่อนหน้า ระบบสามารถทำงานในหลายโดเมนของการเรียนรู้ของเครื่องโดยไม่ต้องใช้เทมเพลตโค้ดที่เขียนโดยมนุษย์ ความยืดหยุ่นนี้หมายความว่าระบบสามารถปรับตัวเข้ากับพื้นที่การวิจัยใหม่ๆ และสร้างแนวทางการทดลองดั้งเดิมแทนที่จะปฏิบัติตามรูปแบบที่กำหนดไว้ล่วงหน้า

วิธีการค้นหาต้นไม้แบบมีเจตนาเป็นนวัตกรรมที่สำคัญในการทำให้การวิจัยอัตโนมัติ มากกว่าการตาม đuổiทิศทางการวิจัยเพียงทางเดียว ระบบสามารถรักษาสมมติฐานหลายอย่างพร้อมกันและจัดสรรทรัพยากรการคำนวณตามศักยภาพที่แสดงโดยแต่ละทิศทาง สิ่งนี้สะท้อนถึงวิธีการทำงานของนักวิจัยมนุษย์ที่มีประสบการณ์ ซึ่งมักจะรักษาหลายเส้นทางการวิจัยในขณะที่มุ่งเน้นไปที่เส้นทางที่มีแนวโน้มมากที่สุด

การปรับปรุงที่สำคัญอีกประการหนึ่งคือการรวมแบบจำลองภาษาและภาพเพื่อทบทวนและปรับปรุงองค์ประกอบภาพของเอกสารการวิจัย การแสดงภาพและตัวเลขทางวิทยาศาสตร์มีความสำคัญอย่างยิ่งในการสื่อสารผลการวิจัยอย่างมีประสิทธิภาพ ปัญญาประดิษฐ์สามารถประเมินและปรับปรุงการแสดงภาพข้อมูลของตนเองได้อย่างต่อเนื่อง

ระบบยังแสดงให้เห็นถึงความเข้าใจในข้อกำหนดการเขียนวิทยาศาสตร์ ระบบจัดโครงสร้างเอกสารด้วยส่วนต่างๆ ที่เหมาะสม รักษาคำศัพท์ที่สอดคล้องกันทั่วทั้งเอกสาร และสร้างการไหล逻จیکیระหว่างส่วนต่างๆ ของเรื่องราวการวิจัย ระบบแสดงให้เห็นถึงความเข้าใจใน cáchนำเสนอวิธีการ อภิปรายข้อจำกัด และให้เหตุผลผลลัพธ์ภายในบริบทของวรรณกรรมที่มีอยู่

ข้อจำกัดและความท้าทายในปัจจุบัน

尽管ความสำเร็จที่สำคัญนี้ ระบบการวิจัยที่สร้างโดย AI ยังคงมีข้อจำกัดที่สำคัญ บริษัทระบุว่าไม่มีงานวิจัยที่สร้างโดย AI ที่ผ่านมาตรฐานการเผยแพร่ในระดับ ICLR การส่งงานวิจัยที่ดีที่สุด สิ่งนี้บ่งชี้ว่าในขณะที่ AI สามารถผลิตการวิจัยที่มีคุณภาพตามมาตรฐานการประชุม แต่การเข้าถึงระดับการเผยแพร่ทางวิทยาศาสตร์ที่สูงสุดยังคงเป็นความท้าทาย

อัตราการยอมรับให้ข้อมูลที่สำคัญในการประเมินความสำเร็จนี้ เอกสารได้รับการยอมรับในเส้นทางการประชุม ซึ่งมีมาตรฐานที่เข้มงวดกว่าการประชุมหลัก (60-70% อัตราการยอมรับ เทียบกับ 20-30% อัตราการยอมรับในเส้นทางการประชุมหลัก) แม้ว่าสิ่งนี้จะไม่ลดความสำคัญของความสำเร็จ แต่ก็ชี้ให้เห็นว่าการผลิตการวิจัยที่แท้จริงนั้นยังคงอยู่นอกเหนือความสามารถของ AI ในปัจจุบัน

ระบบ AI Scientist-v2 ยังแสดงให้เห็นถึงจุดอ่อนบางประการซึ่งผู้ทบทวนที่เป็นมนุษย์พบระหว่างกระบวนการทบทวน ระบบมีข้อผิดพลาดในการอ้างอิง โดยให้เครดิตผลการวิจัยกับคนเขียนหรือการเผยแพร่ที่ไม่ถูกต้อง และยังต้องดิ้นรนในการออกแบบการทดลองบางประการซึ่งผู้เชี่ยวชาญมนุษย์อาจเข้าใกล้ในทางที่แตกต่าง

สิ่งที่สำคัญที่สุดอาจเป็นการที่การวิจัยที่สร้างโดย AI มุ่งเน้นไปที่การปรับปรุงที่เพิ่มขึ้นมากกว่าการค้นพบแนวคิดใหม่ ระบบดูเหมือนจะสามารถดำเนินการสอบสวนที่ครอบคลุมภายในกรอบการวิจัยที่กำหนดมากกว่าการเสนอแนวทางใหม่ๆ ในการคิดเกี่ยวกับปัญหาทางวิทยาศาสตร์

เส้นทางในอนาคต

การรับเลือกการวิจัยที่สร้างโดย AI เป็นจุดเริ่มต้นของยุคใหม่ในการวิจัยทางวิทยาศาสตร์ เมื่อโมเดลพื้นฐานยังคงปรับปรุง เราสามารถคาดหวังว่า The AI Scientist และระบบที่คล้ายกันจะผลิตการวิจัยที่ซับซ้อนมากขึ้นซึ่งเข้าใกล้หรืออาจเกินความสามารถของมนุษย์ในหลายโดเมน

ทีมวิจัยคาดว่าเวอร์ชันในอนาคตจะสามารถผลิตเอกสารที่มีคุณภาพเพียงพอที่จะถูกยอมรับในงานประชุมและวารสารชั้นนำ การพัฒนาที่สมเหตุสมผลชี้ให้เห็นว่าระบบ AI อาจมีส่วนร่วมในการค้นพบเชิง 혁신ในหลายสาขา ตั้งแต่การแพทย์ไปจนถึงฟิสิกส์และเคมี

การพัฒนานี้ยังทำให้เกิดคำถามที่สำคัญเกี่ยวกับจริยธรรมการวิจัยและมาตรฐานการเผยแพร่ ชุมชนวิทยาศาสตร์จะต้องสร้างบรรทัดฐานใหม่สำหรับการจัดการการวิจัยที่สร้างโดย AI รวมถึงเมื่อและวิธีการเปิดเผยการมีส่วนร่วมของ AI และวิธีการประเมินงานดังกล่าวข้างๆ การวิจัยที่สร้างโดยมนุษย์

ความโปร่งใส่ที่แสดงโดยทีมวิจัยในการทดลองนี้ให้แบบจำลองที่มีคุณค่าสำหรับการประเมินการวิจัย AI ในอนาคต โดยการทำงานอย่างเปิดเผยกับคณะกรรมการจัดงานประชุมและทำให้การทำงานของ AI ต้องผ่านมาตรฐานเดียวกับการวิจัยของมนุษย์ พวกเขาตั้งหลักเกณฑ์ที่สำคัญสำหรับการพัฒนาความสามารถการวิจัยอัตโนมัติอย่างมีความรับผิดชอบ

สรุป

การยอมรับเอกสารที่เขียนโดย AI ที่การประชุมวิชาการชั้นนำเป็นการก้าวหน้าที่สำคัญในความสามารถของ AI สิ่งนี้แสดงให้เห็นถึงแนวโน้มที่ระบบ AI จะกลายเป็นผู้ร่วมให้ข้อมูลที่สำคัญในการค้นพบทางวิทยาศาสตร์ ความท้าทายที่เหลืออยู่ไม่เพียงแต่การพัฒนเทคโนโลยีเท่านั้น แต่ยังรวมถึงการกำหนดกรอบทางจริยธรรมและวิชาการที่จะควบคุมแนวหน้าใหม่นี้ของการวิจัยด้วย