AI ต้องใช้ความพยายามมากในการเรียนรู้ Minecraft ผ่านการเรียนรู้โดยการลอกเลียนแบบ

ในช่วงหลายเดือนที่ผ่านมา Microsoft (MSFT ) และบริษัทอื่นๆ ที่ทำการวิจัยเกี่ยวกับการเรียนรู้ของเครื่องจักรได้ท้าทายทีมนักพัฒนา AI ให้สร้างระบบ AI ที่สามารถเล่น Minecraft และค้นหาวงแหวนเพชรภายในเกมได้ ตามรายงานของ BBC แม้ว่าแพลตฟอร์ม AI จะสามารถเอาชนะหมากรุกและโกะได้ แต่ก็ยังต้องพยายามมากในการเรียนรู้任务ใน Minecraft

การแข่งขัน MineRL ของ Microsoft มีจุดมุ่งหมายเพื่อฝึกอบรม AI ผ่านวิธีการเรียนรู้โดยการลอกเลียนแบบ การเรียนรู้โดยการลอกเลียนแบบเป็นวิธีการที่ AI เรียนรู้จากการสังเกตการณ์ โดยให้ AI เรียนรู้การกระทำโดยการดูผู้คนกระทำการเหล่านั้น และเรียนรู้จากการกระทำเหล่านั้น การเรียนรู้โดยการลอกเลียนแบบมีค่าใช้จ่ายในการคำนวณที่ต่ำกว่าและเป็นวิธีการที่มีประสิทธิภาพมากกว่าการเรียนรู้โดยการเสริมแรง

การเรียนรู้โดยการเสริมแรง thườngต้องการคอมพิวเตอร์ที่มีพลังมากและต้องใช้เวลาหลายชั่วโมงหรือหลายวันในการฝึกอบรมเพื่อให้ได้ผลลัพธ์ที่ดี ในทางกลับกัน AI ที่ฝึกอบรมโดยวิธีการเรียนรู้โดยการลอกเลียนแบบสามารถฝึกอบรมได้เร็วขึ้น เนื่องจาก AI มีฐานความรู้ที่จะทำงานได้แล้วจากผู้ดำเนินการคนก่อนหน้านี้

การเรียนรู้โดยการลอกเลียนแบบมีการใช้งานจริงในการฝึกอบรม AI ในสถานการณ์ที่ AI ไม่สามารถสำรวจได้จนกว่าจะค้นหาการกระทำที่ถูกต้อง เช่น การฝึกอบรมรถยนต์ไร้คนขับ ซึ่งรถยนต์ไม่สามารถเดินได้จนกว่าจะเรียนรู้พฤติกรรมที่ต้องการ การใช้ข้อมูลจากผู้ดำเนินการคนในการฝึกอบรมรถยนต์อาจช่วยให้กระบวนการนี้เร็วขึ้นและปลอดภัยขึ้น

การค้นหาวงแหวนเพชรใน Minecraft ต้องใช้หลายขั้นตอน เช่น ตัดไม้เพื่อทำเครื่องมือ สำรวจถ้ำที่มีเพชร และค้นหาวงแหวนเพชรจริงๆ ในถ้ำ แม้ว่า任务นี้จะซับซ้อน แต่ผู้เล่นที่คุ้นเคยกับเกมควรจะสามารถค้นหาวงแหวนเพชรได้ภายในเวลาประมาณ 20 นาที

มี AI ตัวแทนมากกว่า 660 ตัวที่ถูกส่งเข้าแข่งขัน แต่ไม่มี AI ตัวใดสามารถค้นหาวงแหวนเพชรได้ ข้อมูลที่ใช้ในการฝึกอบรม AI คือชุดข้อมูลที่มีเฟรมการเล่นเกมมากกว่า 60 ล้านเฟรมที่รวบรวมจากผู้เล่นหลายคน ที่ตั้งของเพชรจะถูกสุ่มเมื่อเกมเริ่มต้นใหม่ ดังนั้น AI จึงไม่สามารถค้นหาวงแหวนเพชรได้โดยการดูที่ที่ผู้เล่นคนอื่นพบเพชร

แม้ว่าไม่มี AI ตัวใดสามารถค้นหาวงแหวนเพชรได้ แต่ทีมจัดการแข่งขันก็ยังพอใจกับผลลัพธ์ของการแข่งขัน และมีการเรียนรู้มากมายจากการทดลองนี้ การวิจัยที่ทีม AI ทำสามารถช่วยให้พัฒนาสาขา AI และค้นหาวิธีการที่เป็นทางเลือกแทนการเรียนรู้โดยการเสริมแรง

การเรียนรู้โดยการเสริมแรงมักจะให้ผลลัพธ์ที่ดีกว่าการเรียนรู้โดยการลอกเลียนแบบ โดยมีผลลัพธ์ที่น่าประทับใจ เช่น AlphaGo ของ DeepMind อย่างไรก็ตาม การเรียนรู้โดยการเสริมแรงต้องการทรัพยากรการคำนวณที่มาก และจำกัดการใช้งานโดยองค์กรที่ไม่สามารถจ่ายค่าใช้จ่ายในการประมวลผลได้

วิลเลียม กัสส์ นักศึกษาระดับ 박사จากมหาวิทยาลัยคาร์เนกีเมลลอน และเป็นหัวหน้าทีมจัดการแข่งขัน ได้อธิบายกับ BBC ว่าการแข่งขัน MineRL มีจุดมุ่งหมายเพื่อค้นหาวิธีการที่เป็นทางเลือกแทนการเรียนรู้โดยการเสริมแรงที่ต้องการทรัพยากรการคำนวณที่มาก กัสส์กล่าวว่า

“…การโยนการประมวลผลที่มากเกินไปเข้าไปในปัญหาไม่ใช่วิธีที่ถูกต้องสำหรับเราในการพัฒนาสาขานี้… มันทำงานโดยตรงต่อต้านการทำให้การเข้าถึงระบบการเรียนรู้โดยการเสริมแรงเป็นประชาธิปไตย และทำให้ความสามารถในการฝึกอบรมตัวแทนในสภาพแวดล้อมที่ซับซ้อนเป็นขององค์กรที่มีทรัพยากรการประมวลผลที่มาก”