Meta Learning คืออะไร?

Meta Learning คืออะไร?

หนึ่งในสาขาการวิจัยด้านการเรียนรู้ของเครื่องที่เติบโตเร็วที่สุดคือสาขา การเรียนรู้เมตา. เมตาเลิร์นนิงในบริบทของแมชชีนเลิร์นนิงคือการใช้อัลกอริทึมแมชชีนเลิร์นนิงเพื่อช่วยในการฝึกอบรมและเพิ่มประสิทธิภาพของโมเดลแมชชีนเลิร์นนิงอื่นๆ เนื่องจากการเรียนรู้เมตากำลังเป็นที่นิยมมากขึ้นเรื่อย ๆ และมีการพัฒนาเทคนิคการเรียนรู้เมตามากขึ้น การทำความเข้าใจว่าเมตาเลิร์นนิงคืออะไรและเข้าใจวิธีการต่าง ๆ ที่สามารถนำไปใช้ได้จะเป็นประโยชน์ ลองตรวจสอบแนวคิดเบื้องหลังการเรียนรู้เมตา ประเภทของเมตาเลิร์นนิงเช่นเดียวกับบางวิธีที่สามารถใช้เมตาเลิร์นนิงได้

คำว่า meta-learning ได้รับการบัญญัติโดย Donald Maudsley เพื่ออธิบายกระบวนการที่ผู้คนเริ่มกำหนดรูปแบบสิ่งที่พวกเขาเรียนรู้ โดยกลายเป็น "การควบคุมนิสัยการรับรู้ การสอบถาม การเรียนรู้ และการเติบโตที่ฝังลึกอยู่ภายใน" มากขึ้นเรื่อยๆ ต่อมา นักวิทยาศาสตร์ด้านการรับรู้และนักจิตวิทยาจะอธิบายเมตาเลิร์นนิงว่าเป็น "การเรียนรู้วิธีการเรียนรู้"

สำหรับเมตาเลิร์นนิงเวอร์ชันแมชชีนเลิร์นนิง แนวคิดทั่วไปของ "การเรียนรู้วิธีการเรียนรู้" ถูกนำไปใช้กับระบบ AI ในความหมายของ AI การเรียนรู้เมตาเป็นความสามารถของเครื่องจักรที่ชาญฉลาดเทียมเพื่อเรียนรู้วิธีดำเนินงานที่ซับซ้อนต่างๆ โดยใช้หลักการที่ใช้ในการเรียนรู้งานหนึ่งและนำไปใช้กับงานอื่นๆ โดยทั่วไปแล้ว ระบบ AI จะต้องได้รับการฝึกฝนเพื่อให้งานสำเร็จผ่านการควบคุมงานย่อยขนาดเล็กจำนวนมาก การฝึกอบรมนี้อาจใช้เวลานาน และเจ้าหน้าที่ AI ไม่สามารถถ่ายโอนความรู้ที่ได้เรียนรู้ระหว่างงานหนึ่งไปยังอีกงานหนึ่งได้อย่างง่ายดาย การสร้างโมเดลและเทคนิคเมตาเลิร์นนิงสามารถช่วยให้ AI เรียนรู้ที่จะสรุปวิธีการเรียนรู้และรับทักษะใหม่ๆ ได้เร็วขึ้น

ประเภทของเมตาเลิร์นนิง

เครื่องมือเพิ่มประสิทธิภาพ Meta-Learning

การเรียนรู้เมตามักใช้เพื่อเพิ่มประสิทธิภาพการทำงานของโครงข่ายประสาทเทียมที่มีอยู่แล้ว วิธีการเรียนรู้เมตาของ Optimizer มักจะทำงานโดยการปรับแต่งไฮเปอร์พารามิเตอร์ของโครงข่ายประสาทเทียมที่แตกต่างกัน เพื่อปรับปรุงประสิทธิภาพของโครงข่ายประสาทพื้นฐาน ผลลัพธ์คือเครือข่ายเป้าหมายควรทำงานได้ดีขึ้นในการปฏิบัติงานที่ได้รับการฝึกอบรม ตัวอย่างหนึ่งของเครื่องมือเพิ่มประสิทธิภาพการเรียนรู้ด้วยเมตาคือการใช้เครือข่ายเพื่อปรับปรุง การไล่ระดับสี ผล.

การเรียนรู้เมตาไม่กี่ช็อต

แนวทางการเรียนรู้แบบ meta-learning เพียงไม่กี่ช็อตเป็นวิธีการที่โครงข่ายประสาทเทียมเชิงลึกได้รับการออกแบบมา ซึ่งสามารถสรุปจากชุดข้อมูลการฝึกอบรมไปยังชุดข้อมูลที่มองไม่เห็นได้ ตัวอย่างของการจำแนกประเภทแบบช็อตจะคล้ายกับงานการจำแนกประเภทปกติ แต่ตัวอย่างข้อมูลจะเป็นชุดข้อมูลทั้งหมดแทน แบบจำลองได้รับการฝึกอบรมเกี่ยวกับงานการเรียนรู้/ชุดข้อมูลต่างๆ มากมาย จากนั้นจึงได้รับการปรับให้เหมาะสมเพื่อประสิทธิภาพสูงสุดของงานการฝึกอบรมจำนวนมากและข้อมูลที่มองไม่เห็น ในแนวทางนี้ ตัวอย่างการฝึกอบรมเดียวจะแบ่งออกเป็นหลายชั้นเรียน ซึ่งหมายความว่าแต่ละตัวอย่างการฝึกอบรม/ชุดข้อมูลอาจประกอบด้วย 4 คลาส รวมเป็น 4 ช็อต ในกรณีนี้ งานฝึกอบรมทั้งหมดสามารถอธิบายเป็นงานจำแนกประเภท 2 ชั้น XNUMX นัด

ในการเรียนรู้แบบไม่กี่ภาพ แนวคิดก็คือตัวอย่างการฝึกอบรมแต่ละรายการนั้นเรียบง่ายและเครือข่ายสามารถเรียนรู้ที่จะระบุวัตถุหลังจากเห็นภาพเพียงไม่กี่ภาพ สิ่งนี้เหมือนกับการที่เด็กเรียนรู้ที่จะแยกแยะวัตถุหลังจากเห็นภาพเพียงสองสามภาพ วิธีการนี้ถูกนำมาใช้เพื่อสร้างเทคนิคต่างๆ เช่น แบบจำลองกำเนิดภาพแบบ one-shot และโครงข่ายประสาทเทียมเสริมหน่วยความจำ

เมตริก Meta-การเรียนรู้

เมตาเลิร์นนิงตามเมตริกคือการใช้โครงข่ายประสาทเทียมเพื่อพิจารณาว่าเมตริกนั้นถูกใช้อย่างมีประสิทธิภาพหรือไม่ และเครือข่ายหรือเครือข่ายนั้นชนกับเมตริกเป้าหมายหรือไม่ เมตาเลิร์นนิงแบบเมตริกนั้นคล้ายกับการเรียนรู้แบบไม่กี่ช็อตตรงที่มีการใช้ตัวอย่างเพียงเล็กน้อยในการฝึกอบรมเครือข่ายและให้เครือข่ายเรียนรู้พื้นที่เมตริก มีการใช้เมตริกเดียวกันในโดเมนต่างๆ และหากเครือข่ายแตกต่างจากเมตริกก็จะถือว่าล้มเหลว

การเรียนรู้แบบเมตาแบบเกิดซ้ำ

เมตาเลิร์นนิงแบบจำลองที่เกิดซ้ำคือการประยุกต์ใช้เทคนิคเมตาเลิร์นนิงกับโครงข่ายประสาทเทียมที่เกิดซ้ำและเครือข่ายหน่วยความจำระยะสั้นระยะยาวที่คล้ายกัน เทคนิคนี้ดำเนินการโดยการฝึกโมเดล RNN/LSTM เพื่อเรียนรู้ชุดข้อมูลตามลำดับ จากนั้นใช้โมเดลที่ได้รับการฝึกนี้เป็นพื้นฐานสำหรับผู้เรียนรายอื่น ผู้เรียนเมตาใช้อัลกอริธึมการปรับให้เหมาะสมเฉพาะที่ใช้ในการฝึกโมเดลเริ่มต้น การกำหนดพารามิเตอร์ที่สืบทอดมาของเมตาเลิร์นเนอร์ช่วยให้สามารถเริ่มต้นและบรรจบกันได้อย่างรวดเร็ว แต่ยังคงสามารถอัปเดตสำหรับสถานการณ์ใหม่ได้

เมตาเลิร์นนิงทำงานอย่างไร

วิธีที่แน่นอนในการดำเนินการเมตาเลิร์นนิงนั้นแตกต่างกันไปขึ้นอยู่กับรุ่นและลักษณะของงานที่ทำอยู่ อย่างไรก็ตาม โดยทั่วไป งานเมตา-เลิร์นนิง เกี่ยวข้องกับการคัดลอกพารามิเตอร์ ของเครือข่ายแรกเป็นพารามิเตอร์ของเครือข่ายที่สอง/เครื่องมือเพิ่มประสิทธิภาพ

มีสองขั้นตอนการฝึกอบรมในการเรียนรู้เมตาดาต้า โมเดลเมตาเลิร์นนิงมักได้รับการฝึกอบรมหลังจากผ่านการฝึกอบรมหลายขั้นตอนเกี่ยวกับโมเดลพื้นฐานแล้ว หลังจากขั้นตอนการไปข้างหน้า ย้อนกลับ และการปรับให้เหมาะสมที่ฝึกโมเดลพื้นฐาน การฝึกส่งต่อจะดำเนินการสำหรับโมเดลการปรับให้เหมาะสม ตัวอย่างเช่น หลังจากสามหรือสี่ขั้นตอนของการฝึกอบรมเกี่ยวกับโมเดลพื้นฐานแล้ว การคำนวณการสูญเสียเมตา (meta-loss) หลังจากคำนวณการสูญเสียเมตาแล้ว การไล่ระดับสีจะถูกคำนวณสำหรับพารามิเตอร์เมตาแต่ละตัว หลังจากเหตุการณ์นี้เกิดขึ้น เมตาพารามิเตอร์ในเครื่องมือเพิ่มประสิทธิภาพจะได้รับการอัปเดต

ความเป็นไปได้อย่างหนึ่งในการคำนวณการสูญเสียเมตาคือการทำ Forward Training Pass ของโมเดลเริ่มต้นให้เสร็จสิ้น จากนั้นจึงรวมการสูญเสียที่คำนวณไว้แล้ว เครื่องมือเพิ่มประสิทธิภาพเมตาสามารถเป็นเมตาเลิร์นนิงอื่นได้ แม้ว่า ณ จุดหนึ่งจะต้องใช้เครื่องมือเพิ่มประสิทธิภาพแบบแยกเช่น ADAM หรือ SGD

โมเดลการเรียนรู้เชิงลึกจำนวนมากสามารถมีพารามิเตอร์ได้หลายแสนหรือหลายล้านตัว การสร้าง meta-learner ที่มีชุดพารามิเตอร์ใหม่ทั้งหมดจะมีค่าใช้จ่ายสูงในการคำนวณ และด้วยเหตุนี้ โดยทั่วไปจะใช้กลยุทธ์ที่เรียกว่าการแบ่งปันพิกัด การแบ่งปันพิกัดเกี่ยวข้องกับวิศวกรรม meta-learner/optimizer เพื่อให้เรียนรู้พารามิเตอร์เดียวจากโมเดลฐาน จากนั้นจึงทำการโคลนพารามิเตอร์นั้นแทนพารามิเตอร์อื่นๆ ทั้งหมด ผลลัพธ์คือพารามิเตอร์ที่เครื่องมือเพิ่มประสิทธิภาพมีอยู่นั้นไม่ได้ขึ้นอยู่กับพารามิเตอร์ของโมเดล