ในปี 2018 เป็นครั้งแรกที่แนวคิดเรื่อง การเรียนรู้แบบเสริมกำลัง ในบริบทของแบบจำลองโลกของเครือข่ายประสาทเทียมถูกนำเสนอ และไม่นานหลังจากนั้นหลักการพื้นฐานนี้ถูกนำไปใช้กับแบบจำลองโลก รูปแบบที่โดดเด่นที่ใช้การเรียนรู้แบบเสริมกำลัง ได้แก่ แฟรมเวิร์ก Dreamer ซึ่งนำการเรียนรู้แบบเสริมกำลังจากพื้นที่ 潜ในของแบบจำลองพื้นที่สภาพแวดล้อมที่เกิดซ้ำ DreamerV2 ได้แสดงให้เห็นว่าการใช้ 潜ในแบบไม่ต่อเนื่องอาจส่งผลให้ข้อผิดพลาดที่ลดลง และแฟรมเวิร์ก DreamerV3 สามารถบรรลุผลการทำงานที่คล้ายกับมนุษย์ในการทำงานหลายอย่างทั่วโดเมนต่างๆ โดยใช้ไฮเปอร์พารามิเตอร์ที่ตายตัว

นอกจากนี้ยังสามารถวาดเส้นขนานระหว่างโมเดลการสร้างภาพและการสร้างแบบจำลองโลก โดยแสดงให้เห็นว่าการค้นพบในโมเดลการมองเห็นเชิงสร้างสรรค์สามารถนำไปใช้กับการสร้างแบบจำลองโลกได้ ตั้งแต่นั้นมาเมื่อการใช้ทรานส์ฟอร์เมอร์ใน การประมวลผลภาษา自然 ได้รับความนิยม แฟรมเวิร์ก DALL-E และ VQGAN ได้ปรากฏขึ้น แฟรมเวิร์กเหล่านี้ใช้การเข้ารหัสอัตโนมัติที่ไม่ต่อเนื่องเพื่อแปลงภาพเป็นโทเค็นแบบไม่ต่อเนื่อง และสามารถสร้างโมเดลการสร้างภาพข้อความที่มีประสิทธิภาพและใช้งานง่ายโดยใช้ความสามารถในการสร้างแบบจำลองลำดับของทรานส์ฟอร์เมอร์ที่สืบต่อๆ กัน ในเวลาเดียวกัน โมเดลการกระจายตัวได้รับความนิยม และปัจจุบันโมเดลการกระจายตัวได้สร้างตัวเองขึ้นมาเป็นรูปแบบที่โดดเด่นสำหรับการสร้างภาพความละเอียดสูง

แบบจำลองโลกเป็นวิธีการที่มีแนวโน้มในการฝึกหัดตัวแทนการเรียนรู้แบบเสริมกำลังอย่างปลอดภัยและมีประสิทธิภาพ โดยทั่วไปแล้ว แบบจำลองเหล่านี้ใช้ลำดับของตัวแปร 潜ในแบบไม่ต่อเนื่องเพื่อจำลองพลวัตของสภาพแวดล้อม อย่างไรก็ตาม การบีบอัดนี้อาจละเลยรายละเอียดที่สำคัญสำหรับการเรียนรู้แบบเสริมกำลัง ในเวลาเดียวกัน โมเดลการกระจายตัวได้รับความนิยมในการสร้างภาพ โดยท้าทายวิธีการแบบดั้งเดิมที่ใช้ 潜ในแบบไม่ต่อเนื่อง โดยได้รับแรงบันดาลใจจากความเปลี่ยนแปลงนี้ ในบทความนี้ เราจะพูดถึง DIAMOND (การกระจายตัวเป็นแบบจำลองของสภาพแวดล้อม) ตัวแทนการเรียนรู้แบบเสริมกำลังที่ฝึกอบรมภายในแบบจำลองโลกการกระจายตัว เราจะสำรวจตัวเลือกการออกแบบที่จำเป็นในการทำให้การกระจายตัวเหมาะสมสำหรับการสร้างแบบจำลองโลก และแสดงให้เห็นว่ารายละเอียดที่ดีขึ้นจะนำไปสู่การทำงานของตัวแทนที่ดีขึ้น

DIAMOND : การกระจายตัวเป็นแบบจำลองของสภาพแวดล้อม

แบบจำลองโลกหรือแบบจำลองสร้างสภาพแวดล้อมกำลังเกิดขึ้นเป็นหนึ่งในส่วนประกอบที่สำคัญที่สุดสำหรับตัวแทนการสร้างสรรค์ในการวางแผนและให้เหตุผลเกี่ยวกับสภาพแวดล้อมของพวกเขา แม้ว่าการใช้การเรียนรู้แบบเสริมกำลังจะได้รับความสำเร็จอย่างมากในช่วงไม่กี่ปีที่ผ่านมา แต่แบบจำลองที่ใช้การเรียนรู้แบบเสริมกำลังเป็นที่รู้จักในเรื่องของการไม่มีประสิทธิภาพในการตัวอย่าง ซึ่งจำกัดการใช้งานจริงของพวกมันอย่างมาก ในทางกลับกัน แบบจำลองโลกได้แสดงให้เห็นถึงความสามารถในการฝึกอบรมตัวแทนการเรียนรู้แบบเสริมกำลังอย่างมีประสิทธิภาพทั่วสภาพแวดล้อมที่หลากหลาย โดยมีประสิทธิภาพในการตัวอย่างที่ดีขึ้นอย่างมาก ซึ่งช่วยให้แบบจำลองสามารถเรียนรู้จากประสบการณ์จริงได้ แฟรมเวิร์กการสร้างแบบจำลองโลกที่เพิ่งออกมาใหม่ๆ มักจะสร้างแบบจำลองพลวัตของสภาพแวดล้อมเป็นลำดับของตัวแปร 潜ในแบบไม่ต่อเนื่อง โดยมีการแบ่งพื้นที่ 潜ในเพื่อหลีกเลี่ยงข้อผิดพลาดที่สะสมในช่วงเวลาที่ยาวนาน แม้ว่าวิธีการนี้อาจให้ผลลัพธ์ที่สำคัญ แต่ก็เกี่ยวข้องกับการสูญเสียข้อมูล ซึ่งนำไปสู่การเสียคุณภาพของการสร้างและความทั่วไป

นอกจากนี้ ในช่วงไม่กี่ปีที่ผ่านมา โมเดลการกระจายตัวได้ปรากฏขึ้นเป็นวิธีการที่โดดเด่นสำหรับการสร้างภาพความละเอียดสูง เนื่องจากโมเดลที่สร้างขึ้นจากโมเดลการกระจายตัวได้เรียนรู้ที่จะย้อนกลับกระบวนการทำให้เสื่อมสภาพ และสามารถแข่งขันกับวิธีการที่มีการตั้งค่าแบบดั้งเดิมที่สร้างแบบจำลองโทเค็นแบบไม่ต่อเนื่องได้ โมเดลการกระจายตัวเป็นที่รู้จักในเรื่องของความสามารถในการมีเงื่อนไขและสร้างแบบจำลองการกระจายตัวที่ซับซ้อนหลายโหมดโดยไม่มีการล่มสลายของโหมด

โดยสร้างขึ้นจากคุณลักษณะเหล่านี้ DIAMOND (การกระจายตัวเป็นแบบจำลองของสภาพแวดล้อม) เป็นตัวแทนการเรียนรู้แบบเสริมกำลังที่ฝึกอบรมภายในแบบจำลองโลกการกระจายตัว แฟรมเวิร์ก DIAMOND ตัดสินใจในการออกแบบอย่างรอบคอบเพื่อให้แน่ใจว่าแบบจำลองโลกการกระจายตัวของมันจะยังคงมีประสิทธิภาพและเสถียรในช่วงเวลาที่ยาวนาน แฟรมเวิร์กนี้ให้การวิเคราะห์คุณภาพเพื่อแสดงให้เห็นถึงความสำคัญของตัวเลือกการออกแบบเหล่านี้ DIAMOND ตั้งมาตรฐานใหม่ด้วยคะแนนเฉลี่ยของมนุษย์ที่ปรับขนาดเป็น 1.46 ในการทดสอบ Atari 100k ที่มีการแข่งขัน ซึ่งเป็นคะแนนสูงสุดสำหรับตัวแทนที่ฝึกอบรมภายในแบบจำลองโลก

DIAMOND : วิธีการและสถาปัตยกรรม

ที่แก่นกลาง โมเดลการกระจายตัวเป็นชั้นของโมเดลสร้างสรรค์ที่สร้างตัวอย่างโดยการย้อนกลับกระบวนการทำให้เสื่อมสภาพ และได้รับแรงบันดาลใจอย่างหนักจากเทอร์โมไดนามิกส์ที่ไม่อยู่ในสมดุล โมเดล DIAMOND พิจารณากระบวนการกระจายตัวที่มีดัชนีตามตัวแปรเวลาแบบต่อเนื่อง โดยมีการกระจายตัวที่สอดคล้องกันและเงื่อนไขขอบเขตที่มีการกระจายตัวที่ไม่มีโครงสร้างและสามารถคำนวณได้

เพื่อให้ได้แบบจำลองสร้างสรรค์ที่สามารถสร้างแบบจำลองจากเสียงสู่ข้อมูล แฟรมเวิร์ก DIAMOND ต้องย้อนกลับกระบวนการนี้ โดยกระบวนการย้อนกลับนี้ก็เป็นกระบวนการกระจายตัวที่ทำงานย้อนกลับในเวลา นอกจากนี้ ในจุดใดจุดหนึ่งในช่วงเวลา ไม่ใช่เรื่องง่ายที่จะประมาณค่าฟังก์ชันคะแนน เนื่องจากแฟรมเวิร์ก DIAMOND ไม่สามารถเข้าถึงฟังก์ชันคะแนนจริงได้ และแบบจำลองนี้สามารถ克服อุปสรรคนี้ได้โดยการนำวัตถุประสงค์ในการจับคู่คะแนนมาใช้ วิธีการนี้ช่วยให้แบบจำลองสามารถฝึกอบรมแบบจำลองคะแนนได้โดยไม่ต้องรู้ฟังก์ชันคะแนนพื้นฐาน

DIAMOND: การทดลองและผลลัพธ์

สำหรับการประเมินที่ครอบคลุม แฟรมเวิร์ก DIAMOND เลือกการทดสอบ Atari 100k ซึ่งประกอบด้วยเกม 26 เกมที่ออกแบบมาเพื่อทดสอบความสามารถของตัวแทนในหลายๆ ด้าน ในแต่ละเกม ตัวแทนจะถูกจำกัดให้ใช้การกระทำ 100,000 ครั้งในการเรียนรู้เกมก่อนการประเมิน

ผลลัพธ์แสดงให้เห็นว่า DIAMOND ทำได้ดีเยี่ยมทั่วกระดาน โดยเอาชนะผู้เล่นมนุษย์ใน 11 เกมและบรรลุคะแนนเฉลี่ยของมนุษย์ที่ปรับขนาดเป็น 1.46 ซึ่งเป็นคะแนนสูงสุดสำหรับตัวแทนที่ฝึกอบรมภายในแบบจำลองโลก

นอกจากนี้ DIAMOND ยังแสดงให้เห็นถึงความสามารถในการสร้างแบบจำลองรายละเอียดที่สำคัญได้ดีขึ้น ซึ่งเป็นสิ่งสำคัญสำหรับการเรียนรู้แบบเสริมกำลัง

สรุป

ในบทความนี้ เราได้พูดถึง DIAMOND ตัวแทนการเรียนรู้แบบเสริมกำลังที่ฝึกอบรมภายในแบบจำลองโลกการกระจายตัว แฟรมเวิร์ก DIAMOND ตัดสินใจในการออกแบบอย่างรอบคอบเพื่อให้แน่ใจว่าแบบจำลองโลกการกระจายตัวของมันจะยังคงมีประสิทธิภาพและเสถียรในช่วงเวลาที่ยาวนาน DIAMOND ตั้งมาตรฐานใหม่ด้วยคะแนนเฉลี่ยของมนุษย์ที่ปรับขนาดเป็น 1.46 ในการทดสอบ Atari 100k ที่มีการแข่งขัน ซึ่งเป็นคะแนนสูงสุดสำหรับตัวแทนที่ฝึกอบรมภายในแบบจำลองโลก