โมเดลและแพลตฟอร์ม AI

EUREKA: การออกแบบรางวัลระดับมนุษย์ด้วยโค้ดที่โมเดลภาษาขนาดใหญ่สร้างขึ้น

Kunal Kejriwal
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญEUREKA ใช้แบบจำลองภาษาขนาดใหญ่ (LLMs)…
ดูเพิ่มเติม
  • EUREKA ใช้แบบจำลองภาษาขนาดใหญ่ (LLMs) ในการสร้างรหัสรางวัลที่ทำงานได้ดีกว่าฟังก์ชันที่มนุษย์ออกแบบ สำหรับงานควบคุมหุ่นยนต์
  • กรอบงานนี้ใช้การค้นหาเชิงวิวัฒนาการและการกระตุ้นโดยใช้สภาพแวดล้อมเป็นบริบท เพื่อปรับปรุงฟังก์ชันรางวัลอย่างต่อเนื่องโดยไม่ต้องออกแบบด้วยมือ
  • EUREKA นำเสนอวิธีการเรียนรู้ในบริบทแบบไร้เกรเดียนต์สำหรับ RLHF ช่วยให้สามารถสร้างรางวัลที่สอดคล้องกับมนุษย์ได้จากข้อเสนอแนะ

ด้วยความก้าวหน้าของโมเดลภาษาขนาดใหญ่ในช่วงไม่กี่ปีที่ผ่านมา จึงไม่น่าแปลกใจที่เฟรมเวิร์กเหล่านี้มีความสามารถในการวางแผนเชิงกลยุทธ์สำหรับการตัดสินใจระดับสูงแบบลำดับ อย่างไรก็ตาม นักพัฒนายังคงพบว่ามีความท้าทายในการใช้ศักยภาพของเฟรมเวิร์กเหล่านี้ให้เต็มที่สำหรับการเรียนรู้ทักษะที่ซับซ้อนหรือการสร้างคำสั่งทางภาษา แม้จะมีประสิทธิภาพ แต่โมเดลภาษาขนาดใหญ่ในปัจจุบันต้องการความเชี่ยวชาญด้านโดเมนและวิชาสาระที่สำคัญในการเรียนรู้ทักษะหรือสร้างคำสั่งทางภาษา ทำให้เกิดช่องว่างระหว่างประสิทธิภาพและความสามารถระดับมนุษย์

เพื่อแก้ไขช่องว่างนี้ นักพัฒนาจาก Nvidia (NVDA ), CalTech, UPenn และอื่นๆ ได้แนะนำ EUREKA ซึ่งเป็นอัลกอริทึมการออกแบบระดับมนุษย์ที่ใช้โมเดลภาษาขนาดใหญ่ EUREKA มีเป้าหมายในการใช้ความสามารถของโมเดลภาษาขนาดใหญ่ รวมถึงการเขียนโค้ด การปรับปรุงในบริบท และการสร้างเนื้อหาโดยไม่ต้องมีตัวอย่างล่วงหน้า (zero-shot) เพื่อทำการเพิ่มประสิทธิภาพของโค้ดรางวัลอย่างไม่เคยเห็นมาก่อน โค้ดรางวัลเหล่านี้เมื่อรวมกับการเรียนรู้แบบเสริมกำลังสามารถช่วยให้เฟรมเวิร์กเหล่านี้เรียนรู้ทักษะที่ซับซ้อนหรือทำการควบคุมการเคลื่อนไหวได้

ในบทความนี้ เราจะสำรวจเฟรมเวิร์ก EUREKA จากมุมมองของการพัฒนา โดยสำรวจโครงสร้าง การทำงาน และผลลัพธ์ที่ได้รับในการสร้างฟังก์ชันรางวัล ซึ่งตามที่นักพัฒนาอ้างว่าสามารถทำได้ดีกว่าฟังก์ชันรางวัลที่สร้างโดยมนุษย์ เรายังจะสำรวจว่าเฟรมเวิร์ก EUREKA เปิดทางให้กับแนวทางใหม่ในการเรียนรู้แบบเสริมกำลังโดยใช้ข้อมูลย้อนกลับจากมนุษย์ (RLHF) โดยการเปิดใช้งานการเรียนรู้แบบไม่มีเกรเดียนต์ในบริบท มาเริ่มกันเลย

EUREKA : การแนะนำ

ปัจจุบัน เฟรมเวิร์กโมเดลภาษาขนาดใหญ่ชั้นนำ เช่น GPT-3 และ GPT-4 ทำหน้าที่เป็นตัววางแผนเชิงความหมายสำหรับการตัดสินใจระดับสูงแบบต่อเนื่องได้ดี แต่นักพัฒนายังคงต้องปรับปรุงการเรียนรู้งานควบคุมการเคลื่อนไหวระดับล่าง เช่น การหมุนปากกา การเรียนรู้แบบเสริมกำลังกำลังสามารถสร้างผลลัพธ์ที่ดีในงานที่ต้องใช้ความคล่องแคล่วและงานอื่นๆ ได้ หากมนุษย์ออกแบบฟังก์ชันรางวัลอย่างระมัดระวังเพื่อส่งสัญญาณให้เกิดพฤติกรรมที่ต้องการ งานจริงที่ให้รางวัลแบบเบาบางเรียนรู้ได้ยาก การปรับรูปแบบรางวัลจึงช่วยส่งสัญญาณการเรียนรู้ทีละขั้น อย่างไรก็ตาม ฟังก์ชันรางวัลออกแบบได้ยาก และการออกแบบที่ไม่เหมาะสมอาจทำให้เกิดพฤติกรรมที่ไม่ตั้งใจ

เพื่อแก้ไขความท้าทายเหล่านี้และเพิ่มประสิทธิภาพของโทเค็นรางวัล เฟรมเวิร์ก EUREKA หรือ Evolution-driven Universal Reward Kit for Agents มีเป้าหมายในการทำสิ่งต่อไปนี้

  1. การบรรลุประสิทธิภาพระดับมนุษย์ในการออกแบบฟังก์ชันรางวัล
  2. การแก้ปัญหาการควบคุมการเคลื่อนไหวโดยไม่ต้องใช้วิศวกรรมรางวัลด้วยตนเอง
  3. การสร้างฟังก์ชันรางวัลที่สอดคล้องกับมนุษย์และมีประสิทธิภาพมากกว่าโดยการแนะนำแนวทางใหม่ในการเรียนรู้แบบไม่มีเกรเดียนต์ในบริบท

มีสามตัวเลือกการออกแบบอัลกอริทึมที่นักพัฒนามีไว้เพื่อเพิ่มความสามารถทั่วไปของ EUREKA ได้แก่ การค้นหาเชิงวิวัฒนาการ สภาพแวดล้อมเป็นบริบท และการสะท้อนรางวัล โดยเริ่มจากให้ซอร์สโค้ดของสภาพแวดล้อมเป็นบริบทเพื่อสร้างฟังก์ชันรางวัลที่รันได้โดยไม่ต้องมีตัวอย่าง จากนั้นใช้การค้นหาเชิงวิวัฒนาการเสนอผู้สมัครหลายตัวในแต่ละรอบและปรับปรุงตัวที่มีแนวโน้มดีที่สุด ขั้นสุดท้ายใช้การสะท้อนรางวัลผ่านข้อความสรุปคุณภาพจากสถิติการฝึกนโยบาย เพื่อแก้ไขรางวัลอย่างอัตโนมัติและตรงจุด รูปต่อไปสรุปกระบวนการนี้

EUREKA : โครงสร้างแบบจำลองและสถานการณ์ปัญหา

วัตถุประสงค์หลักของการสร้างรางวัลคือการคืนฟังก์ชันรางวัลที่ถูกต้องหรือแก้ไขแล้วสำหรับฟังก์ชันรางวัลที่แท้จริง ซึ่งอาจมีความท้าทายเมื่อใช้การเพิ่มประสิทธิภาพโดยตรง เช่น รางวัลที่มีความเบาบาง

นักออกแบบสามารถเข้าถึงฟังก์ชันรางวัลที่แท้จริงได้เพียงผ่านการสอบถามเท่านั้น ซึ่งเป็นเหตุผลที่เฟรมเวิร์ก EUREKA เลือกการสร้างรางวัล ซึ่งเป็นการตั้งค่าการสังเคราะห์โปรแกรมตาม RDP หรือปัญหารางวัลการออกแบบ

ปัญหารางวัลการออกแบบหรือ RDP คือทูเพิลที่ประกอบด้วยโมเดลโลกที่มีพื้นที่สถานะ พื้นที่ฟังก์ชันรางวัล ฟังก์ชันการเปลี่ยนแปลง และพื้นที่การกระทำ อัลกอริทึมการเรียนรู้จะเพิ่มประสิทธิภาพรางวัลโดยการสร้างนโยบายที่นำไปสู่กระบวนการมาร์คอฟ (MDP ตามคำย่อในต้นฉบับ) และให้ค่าประเมินแบบสเกลาร์ของนโยบาย โดยเข้าถึงได้ผ่านการสอบถามนโยบาย เป้าหมายคือสร้างฟังก์ชันรางวัลที่ทำให้นโยบายได้คะแนนความเหมาะสมสูงที่สุด ใน EUREKA องค์ประกอบของปัญหาการออกแบบรางวัลถูกกำหนดด้วยโค้ด และเมื่อได้รับข้อความอธิบายงาน ระบบต้องสร้างโค้ดฟังก์ชันรางวัลเพื่อเพิ่มคะแนนดังกล่าว อัลกอริทึมประกอบด้วยการเสนอและปรับปรุงรางวัลซ้ำๆ การใช้สภาพแวดล้อมเป็นบริบท และการสะท้อนรางวัลเพื่อปรับปรุงรายละเอียด รหัสเทียมแสดงในรูปถัดไป

สภาพแวดล้อมเป็นบริบท

ปัจจุบัน เฟรมเวิร์กโมเดลภาษาขนาดใหญ่ต้องการข้อมูลจำเพาะของสภาพแวดล้อมเป็นข้อมูลเข้าเพื่อออกแบบรางวัล ในขณะที่เฟรมเวิร์ก EUREKA เสนอแนะให้ใช้โค้ดสภาพแวดล้อมดั้งเดิมเป็นบริบทโดยตรงโดยไม่รวมโค้ดรางวัล ทำให้ LLM ใช้โมเดลโลกเป็นบริบทได้ วิธีนี้มีข้อดีสองประการ ประการแรก โมเดลสำหรับเขียนโค้ดได้รับการฝึกด้วยภาษาอย่าง C, C++, Python และ Java จึงสร้างโค้ดได้ดีเมื่อใช้ไวยากรณ์และรูปแบบที่คุ้นเคย ประการที่สอง ซอร์สโค้ดเปิดเผยความหมายของสภาพแวดล้อมและตัวแปรที่เหมาะสำหรับสร้างรางวัลตามงาน EUREKA จึงขอให้ LLM ส่งกลับโค้ด Python ที่รันได้โดยตรง โดยใช้เพียงคำแนะนำเรื่องรูปแบบและหลักการออกแบบรางวัลทั่วไป

การค้นหาเชิงวิวัฒนาการ

การรวมการค้นหาเชิงวิวัฒนาการในเฟรมเวิร์ก EUREKA มีจุดมุ่งหมายเพื่อนำเสนอทางออกตามธรรมชาติสำหรับปัญหาคำตอบที่ยังไม่เหมาะสมและข้อผิดพลาดขณะรัน ในแต่ละรอบระบบสร้างผลลัพธ์หลายตัวจาก LLM หากผลลัพธ์เหล่านี้เป็นอิสระและมีการแจกแจงเหมือนกัน (i.i.d.) การเพิ่มจำนวนตัวอย่างจะลดโอกาสที่ตัวเลือกทั้งหมดมีข้อผิดพลาดลงแบบเอ็กซ์โพเนนเชียล

ในขั้นตอนต่อไป เฟรมเวิร์ก EUREKA ใช้ฟังก์ชันรางวัลที่สามารถใช้งานได้จากอีเทอร์เรชั่นก่อนหน้าเพื่อทำการเปลี่ยนแปลงรางวัลในบริบท และจากนั้นเสนอฟังก์ชันรางวัลใหม่ที่ดีขึ้นตามคำติชมทางข้อความ เมื่อใช้ร่วมกับการปรับปรุงในบริบทและความสามารถในการทำตามคำสั่งของโมเดลภาษาขนาดใหญ่ ระบบสามารถระบุตัวดำเนินการกลายพันธุ์เป็นข้อความ และใช้สรุปการฝึกนโยบายเพื่อแก้ไขโค้ดรางวัลเดิม

การสะท้อนรางวัล

เพื่อให้การเปลี่ยนแปลงรางวัลในบริบทมีประสิทธิภาพ จึงจำเป็นต้องประเมินคุณภาพของรางวัลที่สร้างขึ้นและแสดงเป็นข้อความ และเฟรมเวิร์ก EUREKA จัดการกับสิ่งนี้โดยใช้กลยุทธ์ให้ค่าประเมินรางวัลเป็นตัวเลข อย่างไรก็ตาม คะแนนความเหมาะสมโดยรวมไม่ได้บอกว่าส่วนใดมีส่วนทำให้สำเร็จ และไม่อธิบายว่าทำไมรางวัลจึงได้ผลหรือไม่ได้ผล ระบบจึงใช้ข้อมูลย้อนกลับอัตโนมัติสรุปพลวัตการฝึกนโยบายเป็นข้อความ และให้ฟังก์ชันรางวัลแสดงองค์ประกอบแยกกัน เพื่อบันทึกค่าสเกลาร์ของแต่ละองค์ประกอบที่จุดตรวจสอบตลอดการฝึก

แม้ว่ากระบวนการฟังก์ชันรางวัลของเฟรมเวิร์ก EUREKA จะง่ายต่อการสร้าง แต่ก็มีความสำคัญเพราะประสิทธิผลของฟังก์ชันรางวัลขึ้นอยู่กับอัลกอริทึมการเรียนรู้แบบเสริมกำลังกำลังที่เลือกใช้ และการเปลี่ยนไฮเปอร์พารามิเตอร์อาจทำให้รางวัลเดิมได้ผลต่างกันแม้ใช้ตัวเพิ่มประสิทธิภาพตัวเดียวกัน การสะท้อนรางวัลจึงช่วยให้ระบบแก้ไขได้อย่างตรงจุดและสร้างรางวัลที่ทำงานร่วมกับอัลกอริทึมได้ดีขึ้น

การฝึกอบรมและวิธีเปรียบเทียบพื้นฐาน

มีส่วนประกอบการฝึกอบรมหลักสองส่วนของเฟรมเวิร์ก EUREKA ได้แก่ การเรียนรู้นโยบาย และ การประเมินรางวัล

การเรียนรู้นโยบาย

ฟังก์ชันรางวัลสุดท้ายสำหรับแต่ละงานจะถูกเพิ่มประสิทธิภาพโดยใช้อัลกอริทึมการเรียนรู้แบบเสริมกำลังที่เหมือนกันโดยใช้เซตไฮเปอร์พารามิเตอร์ที่ปรับให้เหมาะสมเพื่อให้รางวัลที่ออกแบบโดยมนุษย์ทำงานได้ดี

การประเมินรางวัล

เนื่องจากระดับและความหมายเชิงวิชาสาระของเมตริกงานแตกต่างกันสำหรับงานแต่ละงาน เฟรมเวิร์ก EUREKA จึงรายงานคะแนนที่ปรับตามมาตรฐานของมนุษย์ ซึ่งเป็นเมตริกที่ให้มาตรฐานทั่วไปสำหรับเฟรมเวิร์กในการเปรียบเทียบกับรางวัลที่สร้างโดยผู้เชี่ยวชาญมนุษย์ตามมาตรฐานที่แท้จริง

ต่อไป มีวิธีเปรียบเทียบพื้นฐานหลักสามฐาน ได้แก่ L2R, มนุษย์ และ เบาบาง

L2R

L2R คือวิธีใช้พรอมป์ต์กับโมเดลภาษาขนาดใหญ่แบบสองขั้นตอนเพื่อสร้างรางวัลตามเทมเพลต ขั้นแรก LLM เติมเทมเพลตภาษาธรรมชาติสำหรับสภาพแวดล้อมและงาน จากนั้น LLM อีกตัวแปลงคำอธิบายการเคลื่อนไหวเป็นโค้ดฟังก์ชันรางวัลโดยเรียกชุดฟังก์ชันพื้นฐานของ API รางวัลที่มนุษย์เขียนไว้

มนุษย์

วิธีเปรียบเทียบพื้นฐานของมนุษย์คือฟังก์ชันรางวัลดั้งเดิมที่เขียนโดยนักวิจัยการเรียนรู้แบบเสริมกำลัง ซึ่งแสดงถึงผลลัพธ์ของวิศวกรรมรางวัลของมนุษย์

เบาบาง

วิธีเปรียบเทียบพื้นฐานที่เบาบางคล้ายกับฟังก์ชันฟิตเนส และใช้ในการประเมินคุณภาพของรางวัลที่เฟรมเวิร์กสร้าง

ผลลัพธ์และผลการดำเนินงาน

เพื่อวิเคราะห์ประสิทธิภาพของเฟรมเวิร์ก EUREKA เราจะประเมินมันตามพารามิเตอร์ต่างๆ รวมถึง ประสิทธิภาพเทียบกับรางวัลของมนุษย์ การปรับปรุงผลลัพธ์ตามเวลา การสร้างรางวัลใหม่ การเปิดใช้งานการปรับปรุงแบบมุ่งเป้า และ การทำงานร่วมกับข้อมูลย้อนกลับจากมนุษย์

EUREKA มีประสิทธิภาพเหนือกว่ารางวัลของมนุษย์

รูปด้านล่างแสดงผลลัพธ์รวมจากเบนช์มาร์กต่างๆ และสามารถสังเกตได้อย่างชัดเจนว่าเฟรมเวิร์ก EUREKA มีประสิทธิภาพเหนือกว่าหรือเทียบเท่ากับรางวัลระดับมนุษย์ในการทำงาน Dexterity และ Issac ส่วนวิธี L2R ทำได้ใกล้เคียงกันในงานมิติต่ำ แต่มีช่องว่างมากในงานมิติสูง

การปรับปรุงอย่างต่อเนื่องตามเวลา

หนึ่งในจุดเด่นหลักของเฟรมเวิร์ก EUREKA คือความสามารถในการปรับปรุงและเพิ่มประสิทธิภาพอย่างต่อเนื่องตามเวลา

สามารถสังเกตได้อย่างชัดเจนว่าเฟรมเวิร์กสร้างรางวัลที่ดีขึ้นตามเวลาและปรับปรุงประสิทธิภาพของตนเองจนเหนือกว่ารางวัลของมนุษย์

การสร้างรางวัลใหม่

ความใหม่ของรางวัลของเฟรมเวิร์ก EUREKA สามารถประเมินได้โดยการคำนวณสัมประสิทธิ์สหสัมพันธ์ระหว่างรางวัลของมนุษย์และรางวัลของ EUREKA ในทุกงาน Issac จากนั้นนำสหสัมพันธ์ไปเทียบกับคะแนนที่ปรับมาตรฐานโดยอิงผลของมนุษย์ในแผนภาพกระจาย แต่ละจุดแทนรางวัลของงานหนึ่ง ผลแสดงว่าระบบมักสร้างรางวัลที่สัมพันธ์กับรางวัลของมนุษย์เพียงเล็กน้อย แต่ให้ผลดีกว่า

การเปิดใช้งานการปรับปรุงแบบมุ่งเป้า

เพื่อประเมินความสำคัญของการเพิ่มการสะท้อนรางวัลในข้อมูลย้อนกลับ ผู้พัฒนาได้ประเมินการลบส่วนหนึ่งออก ซึ่งเป็นเฟรมเวิร์ก EUREKA ที่ไม่มีการสะท้อนรางวัล โดยข้อมูลย้อนกลับเหลือเพียงค่าที่บันทึก ณ จุดตรวจสอบ เมื่อทดสอบกับงาน Issac คะแนนเฉลี่ยที่ปรับมาตรฐานลดลงประมาณ 29%

การทำงานร่วมกับข้อมูลย้อนกลับจากมนุษย์

เพื่อรวมข้อมูลเข้าไปอย่างกว้างขวางเพื่อสร้างฟังก์ชันรางวัลที่สอดคล้องกับมนุษย์และมีประสิทธิภาพมากกว่า เฟรมเวิร์ก EUREKA นำเสนอแนวทางใหม่ในการเรียนรู้แบบไม่มีเกรเดียนต์ในบริบทสำหรับการเรียนรู้แบบเสริมกำลังกำลังจากข้อมูลย้อนกลับของมนุษย์ โดยพบข้อสังเกตสำคัญสองประการ

  1. EUREKA สามารถใช้ประโยชน์และปรับปรุงต่อจากฟังก์ชันรางวัลที่มนุษย์สร้าง
  2. การใช้ข้อมูลย้อนกลับของมนุษย์ในการสะท้อนรางวัลช่วยให้เกิดพฤติกรรมที่สอดคล้องกับมนุษย์

รูปด้านบนแสดงให้เห็นว่าเฟรมเวิร์ก EUREKA มีการปรับปรุงประสิทธิภาพและประสิทธิผลอย่างมีนัยสำคัญเมื่อเริ่มต้นด้วยรางวัลที่ออกแบบโดยมนุษย์ ไม่ว่ารางวัลตั้งต้นมีคุณภาพเพียงใด ซึ่งชี้ว่าคุณภาพของรางวัลตั้งต้นไม่ได้ส่งผลมากต่อความสามารถในการปรับปรุงรางวัลในบริบทของระบบ

รูปด้านบนแสดงให้เห็นว่าเฟรมเวิร์ก EUREKA สามารถสร้างนโยบายที่สอดคล้องกับมนุษย์ได้และสามารถปรับเปลี่ยนรางวัลโดยการรวมข้อมูลย้อนกลับจากมนุษย์

ความคิดสุดท้าย

ในบทความนี้ เราได้พูดถึง EUREKA ซึ่งเป็นอัลกอริทึมการออกแบบระดับมนุษย์ที่ใช้โมเดลภาษาขนาดใหญ่ ซึ่งพยายามใช้ความสามารถของโมเดลภาษาขนาดใหญ่ รวมถึงการเขียนโค้ด การปรับปรุงในบริบท และการสร้างเนื้อหาโดยไม่ต้องมีตัวอย่างล่วงหน้า (zero-shot) เพื่อเพิ่มประสิทธิภาพของโค้ดรางวัลอย่างที่ไม่เคยมีมาก่อน โค้ดรางวัลร่วมกับการเรียนรู้แบบเสริมกำลังกำลังช่วยเรียนรู้ทักษะซับซ้อนและงานควบคุมการเคลื่อนไหวได้ ระบบสร้างรางวัลระดับมนุษย์ได้ในงานหลากหลายโดยไม่ต้องให้มนุษย์แทรกแซงหรือออกแบบพรอมป์ต์เฉพาะงาน และจุดแข็งคือการเรียนรู้งานซับซ้อนผ่านหลักสูตรที่ค่อยๆ เพิ่มความยาก

โดยรวมแล้ว ประสิทธิภาพและความสามารถที่สำคัญของเฟรมเวิร์ก EUREKA บ่งชี้ถึงศักยภาพของการผสมผสานอัลกอริทึมเชิงวิวัฒนาการกับโมเดลภาษาขนาดใหญ่ ซึ่งอาจนำไปสู่แนวทางที่มีประสิทธิภาพและทั่วไปในการออกแบบรางวัล และข้อคิดเห็นนี้อาจใช้ได้กับปัญหาการค้นหาที่เปิดกว้างอื่นๆ

Kunal Kejriwal เป็นวิศวกรแบ็กเอนด์ที่เชี่ยวชาญด้าน Python, PostgreSQL, Redis และโครงสร้างพื้นฐานคลาวด์บน GCP และ AWS. ด้วยประสบการณ์สามปีในการสร้างและขยายระบบที่ใช้งานจริง เขาเขียนเกี่ยวกับโครงสร้างพื้นฐาน AI, ระบบแบบกระจาย, และสถาปัตยกรรมที่อยู่เบื้องหลังการนำเวิร์กโหลดแมชชีนเลิร์นนิงไปใช้งาน