ห้องปฏิบัติการเอเย่นต์: ทีมวิจัยเสมือนจริงโดย AMD และ Johns Hopkins

ในขณะที่ทุกคนกำลังพูดถึง เอเย่นต์ AI และการทำงานอัตโนมัติ AMD และ Johns Hopkins University ได้ทำงานร่วมกันเพื่อปรับปรุงวิธีการทำงานร่วมกันระหว่างมนุษย์และ AI ในการวิจัย Their new open-source framework, Agent Laboratory, เป็นการสร้างใหม่ของวิธีการวิจัยทางวิทยาศาสตร์ที่สามารถเร่งความเร็วได้โดยการทำงานร่วมกันระหว่างมนุษย์และ AI

หลังจากดูกรอบการทำงาน AI หลายตัว Agent Laboratory โดดเด่นด้วยแนวทางปฏิบัติของมัน แทนที่จะพยายามแทนที่นักวิจัยมนุษย์ (เช่นเดียวกับโซลูชันหลายตัวที่มีอยู่) มันเน้นไปที่การเพิ่มความสามารถของนักวิจัยโดยการรับมือกับด้านที่ใช้เวลานานของการวิจัยในขณะที่ให้คนอยู่ในตำแหน่งผู้ควบคุม

นวัตกรรมหลักอยู่ที่นี่คือเรื่องง่ายแต่มีพลัง: แทนที่จะพยายามทำการวิจัยอัตโนมัติเต็มรูปแบบ (ซึ่งมักจะนำไปสู่ผลลัพธ์ที่น่าสงสัย) Agent Laboratory สร้างห้องปฏิบัติการเสมือนจริงที่มีเอเย่นต์ AI หลายตัวทำงานร่วมกัน โดยแต่ละตัวจัดการด้านต่างๆ ของกระบวนการวิจัยในขณะที่ยังคงเชื่อมโยงกับการชี้นำของมนุษย์

การแยกย่อยห้องปฏิบัติการเสมือนจริง

คิดถึง Agent Laboratory เป็นทีมวิจัยที่ทำงานร่วมกันอย่างดี แต่มีเอเย่นต์ AI เล่นบทบาทที่แตกต่างกัน เช่นเดียวกับห้องปฏิบัติการจริง แต่ละตัวมีหน้าที่และความเชี่ยวชาญเฉพาะตัว:

• เอเย่นต์ PhD จัดการการตรวจสอบเอกสารและวางแผนการวิจัย
• เอเย่นต์ Postdoc ช่วยปรับปรุงแนวทางปฏิบัติทางทดลอง
• เอเย่นต์ ML Engineer จัดการการนำไปใช้ทางเทคนิค
• เอเย่นต์ Professor ประเมินและให้คะแนนผลลัพธ์ของการวิจัย

สิ่งที่ทำให้ระบบนี้น่าสนใจเป็นพิเศษคือกระบวนการทำงานของมัน ไม่เหมือนกับเครื่องมือ AI ทั่วไปที่ทำงานแยกจากกัน Agent Laboratory สร้างสภาพแวดล้อมที่เอเย่นต์เหล่านี้ทำงานร่วมกันและสร้างผลงานจากกัน

กระบวนการทำงานตามลำดับการวิจัยที่เป็นธรรมชาติ:

1. การตรวจสอบเอกสาร: เอเย่นต์ PhD ตรวจสอบเอกสารทางวิชาการโดยใช้ arXiv API รวมและจัดระเบียบการวิจัยที่เกี่ยวข้อง
2. การวางแผน: เอเย่นต์ PhD และ Postdoc ร่วมกันวางแผนการวิจัยที่มีรายละเอียด
3. การนำไปใช้: เอเย่นต์ ML Engineer เขียนและทดสอบโค้ด
4. การวิเคราะห์และการสร้างเอกสาร: ทีมงานร่วมกันในการตีความผลลัพธ์และสร้างรายงานที่ครอบคลุม

แต่นี่คือจุดที่มันกลายเป็นเรื่องจริง: แฟร์มเวิร์กนี้มีความยืดหยุ่นในการคำนวณ ซึ่งหมายความว่านักวิจัยสามารถจัดสรรทรัพยากรตามความสามารถในการเข้าถึงพลังการคำนวณและข้อจำกัดด้านงบประมาณ ทำให้เป็นเครื่องมือที่ออกแบบมาสำหรับสภาพแวดล้อมการวิจัยในโลกแห่งความเป็นจริง

Schmidgall et al.

ปัจจัยมนุษย์: ที่ไหน AI พบความเชี่ยวชาญ

ในขณะที่ Agent Laboratory มีความสามารถในการทำงานอัตโนมัติที่น่าประทับใจ จริงๆ แล้วมันเกิดขึ้นใน “โหมดร่วม” ที่พวกเขาเรียกว่า ในการตั้งค่านี้ นักวิจัยสามารถให้คำติชมที่แต่ละขั้นตอนของกระบวนการ ทำให้เกิดการทำงานร่วมกันอย่างแท้จริงระหว่างความเชี่ยวชาญของมนุษย์และการช่วยเหลือของ AI

ข้อมูลคำติชมในโหมดนี้เปิดเผยข้อมูลที่น่าสนใจ ในโหมดอัตโนมัติ เอกสารที่ Agent Laboratory สร้างได้รับคะแนนเฉลี่ย 3.8/10 ในการประเมินของมนุษย์ แต่เมื่อนักวิจัยเข้าร่วมในโหมดร่วม คะแนนเหล่านั้นเพิ่มขึ้นเป็น 4.38/10 สิ่งที่น่าสนใจคือที่ไหนที่การปรับปรุงเหล่านี้ปรากฏขึ้น – เอกสารได้รับคะแนนสูงกว่าอย่างมีนัยสำคัญในด้านความชัดเจน (+0.23) และการนำเสนอ (+0.33)

แต่นี่คือความเป็นจริง: แม้ว่าจะมีการมีส่วนร่วมของมนุษย์ เอกสารเหล่านี้ยังคงได้รับคะแนนต่ำกว่าเอกสารที่ยอมรับโดยเฉลี่ยของ NeurIPS (ซึ่งอยู่ที่ 5.85) ประมาณ 1.45 คะแนน นี่ไม่ใช่ความล้มเหลว แต่เป็นเรื่องที่สำคัญที่เรียนรู้ว่า AI และความเชี่ยวชาญของมนุษย์ต้องเสริมกัน

การประเมินเปิดเผยสิ่งอื่นที่น่าสนใจ: ผู้ตรวจสอบ AI ให้คะแนนเอกสารสูงกว่าผู้ตรวจสอบมนุษย์ประมาณ 2.3 คะแนน ช่องว่างนี้เน้นย้ำถึงความสำคัญของการดูแลของมนุษย์ในกระบวนการประเมิน

Schmidgall et al.

การแยกย่อยตัวเลข

สิ่งที่สำคัญจริงๆ ในสภาพแวดล้อมการวิจัยคือต้นทุนและประสิทธิภาพ วิธีการเปรียบเทียบแบบจำลองของ Agent Laboratory เปิดเผยผลประโยชน์ที่น่าประทับใจในด้านนี้

GPT-4o เป็นแชมปี้ยนด้านความเร็ว โดยเสร็จสิ้นกระบวนการทำงานทั้งหมดในเวลาเพียง 1,165.4 วินาที – นี่คือ 3.2 เท่าเร็วกว่า o1-mini และ 5.3 เท่าเร็วกว่า o1-preview แต่สิ่งที่สำคัญกว่านั้นคือมันใช้เงินเพียง $2.33 ต่อเอกสาร เมื่อเทียบกับวิธีการวิจัยอัตโนมัติก่อนหน้านี้ที่มีต้นทุนประมาณ $15 เรากำลังมองหาการลดต้นทุน 84%

เมื่อดูตัวเลขการทำงานของแบบจำลอง:

• o1-preview ได้รับคะแนนสูงสุดในด้านความมีประโยชน์และความชัดเจน
• o1-mini ได้รับคะแนนสูงสุดในด้านคุณภาพการทดลอง
• GPT-4o ล้าหลังในเมตริก แต่นำหน้าในด้านความคุ้มค่า

ผลกระทบในโลกแห่งความเป็นจริงนั้นสำคัญ

นักวิจัยสามารถเลือกวิธีการทำงานตามความต้องการเฉพาะของตน:

• ต้องการการสร้างต้นแบบอย่างรวดเร็ว? GPT-4o เสนอความเร็วและความคุ้มค่า
• ให้ความสำคัญกับคุณภาพการทดลอง? o1-mini อาจเป็นตัวเลือกที่ดีที่สุด
• ต้องการผลลัพธ์ที่มีการนำเสนอที่ดีที่สุด? o1-preview แสดงถึงความหวัง

ความยืดหยุ่นนี้หมายความว่าทีมวิจัยสามารถปรับแฟร์มเวิร์กให้เหมาะสมกับทรัพยากรและความต้องการของตนเอง แทนที่จะถูกบังคับให้ใช้วิธีการที่มีขนาดเดียวสำหรับทุกคน

บทใหม่ในด้านการวิจัย

หลังจากดูความสามารถและผลลัพธ์ของ Agent Laboratory ฉันเชื่อว่าเรากำลังมองเห็นการเปลี่ยนแปลงที่สำคัญในด้านการวิจัย แต่ไม่ใช่เรื่องราวของการแทนที่ที่มักจะครอบงำหัวข้อข่าว – มันเป็นสิ่งที่ซับซ้อนและทรงพลังมากกว่านั้น

ในขณะที่เอกสารของ Agent Laboratory ยังไม่ถึงมาตรฐานการประชุมสูงสุด แต่มันกำลังสร้างพาราได้มใหม่สำหรับการเร่งการวิจัย คิดถึงมันเป็นทีมผู้ช่วยวิจัย AI ที่ไม่เคยหลับใหล แต่ละคนเชี่ยวชาญในด้านต่างๆ ของกระบวนการทางวิทยาศาสตร์

ผลกระทบต่อนักวิจัยนั้นลึกซึ้ง:

• เวลาที่ใช้ในการตรวจสอบเอกสารและเขียนโค้ดพื้นฐานสามารถถูกนำไปใช้ในการสร้างแนวคิดสร้างสรรค์
• ความคิดการวิจัยที่อาจถูกเก็บไว้เนื่องจากข้อจำกัดด้านทรัพยากรสามารถกลายเป็นเรื่องที่เป็นไปได้
• ความสามารถในการสร้างต้นแบบและทดสอบสมมติฐานอย่างรวดเร็วอาจนำไปสู่การค้นพบอย่างรวดเร็ว

ข้อจำกัดในปัจจุบัน เช่น ช่องว่างระหว่างคะแนนการตรวจสอบ AI และการตรวจสอบของมนุษย์ เป็นโอกาส ในแต่ละครั้งของระบบเหล่านี้จะนำเราใกล้เคียงกับการทำงานร่วมกันระหว่างมนุษย์และ AI ที่ซับซ้อนมากขึ้น

เมื่อมองไปข้างหน้า ฉันเห็นสามการพัฒนาที่สำคัญที่สามารถเปลี่ยนแปลงการค้นพบทางวิทยาศาสตร์:

1. รูปแบบการทำงานร่วมกันระหว่างมนุษย์และ AI ที่ซับซ้อนมากขึ้นจะเกิดขึ้นเมื่อนักวิจัยเรียนรู้ที่จะใช้เครื่องมือเหล่านี้อย่างมีประสิทธิภาพ
2. การประหยัดต้นทุนและเวลาอาจทำให้การวิจัยเป็นประชาธิปไตย ทำให้ห้องปฏิบัติการและสถาบันที่เล็กกว่าสามารถดำเนินโครงการที่มีความทะเยอทะยานมากขึ้น
3. ความสามารถในการสร้างต้นแบบอย่างรวดเร็วอาจนำไปสู่แนวทางปฏิบัติในการวิจัยที่หลากหลายมากขึ้น

กุญแจสำคัญในการเพิ่มศักยภาพนี้คือการเข้าใจว่า Agent Laboratory และแฟร์มเวิร์กที่คล้ายกันเป็นเครื่องมือสำหรับการเพิ่มประสิทธิภาพ ไม่ใช่การทำงานอัตโนมัติ อนาคตของการวิจัยไม่ใช่เรื่องของการเลือกระหว่างความเชี่ยวชาญของมนุษย์และความสามารถของ AI – แต่เป็นเรื่องของการค้นหาวิธีการทำงานร่วมกันระหว่างทั้งสองอย่างอย่างสร้างสรรค์