เมต้าเลิร์นนิงคืออะไร?

เมต้าเลิร์นนิงคืออะไร?

หนึ่งในพื้นที่วิจัยที่เติบโตเร็วที่สุดในด้านการเรียนรู้ของเครื่องจักรคือพื้นที่ของ เมต้าเลิร์นนิง เมต้าเลิร์นนิงในบริบทของการเรียนรู้ของเครื่องจักร คือ การใช้แอลกอริธึมการเรียนรู้ของเครื่องจักรเพื่อช่วยในการฝึกอบรมและปรับให้เหมาะสมของโมเดลการเรียนรู้ของเครื่องจักรอื่น ๆ เมื่อเมต้าเลิร์นนิงกำลังได้รับความนิยมมากขึ้นและเทคนิคเมต้าเลิร์นนิงใหม่ ๆ กำลังถูกพัฒนา จะเป็นประโยชน์ที่จะมีความเข้าใจเกี่ยวกับเมต้าเลิร์นนิงและวิธีการใช้งานที่หลากหลาย มาทำความเข้าใจกับแนวคิดเบื้องหลังของเมต้าเลิร์นนิง ประเภทของเมต้าเลิร์นนิง และวิธีการใช้งานเมต้าเลิร์นนิง

คำว่า “เมต้าเลิร์นนิง” ถูกสร้างขึ้นโดย Donald Maudsley เพื่ออธิบายกระบวนการที่ผู้คนเริ่มกำหนดสิ่งที่พวกเขาเรียนรู้ และกลายเป็น “ผู้ควบคุมที่เพิ่มขึ้นของนิสัยการรับรู้ การสืบค้น การเรียนรู้ และการเติบโตที่พวกเขาได้ทำไว้” ต่อมานักวิทยาศาสตร์แห่งความเข้าใจและนักจิตวิทยาได้อธิบายเมต้าเลิร์นนิงว่าเป็น “การเรียนรู้วิธีการเรียนรู้”

สำหรับเวอร์ชันการเรียนรู้ของเครื่องจักรของเมต้าเลิร์นนิง แนวคิดทั่วไปของ “การเรียนรู้วิธีการเรียนรู้” ถูกนำไปใช้กับระบบ AI ระบบ AI ทั่วไปต้องได้รับการฝึกอบรมเพื่อทำภารกิจผ่านการทำภารกิจย่อย ๆ จำนวนมาก การฝึกอบรมนี้อาจใช้เวลานาน และตัวแทน AI ไม่สามารถถ่ายทอดความรู้ที่ได้รับจากภารกิจหนึ่งไปยังภารกิจอื่นได้ง่าย dàng การสร้างโมเดลและเทคนิคเมต้าเลิร์นนิงสามารถช่วยให้ AI เรียนรู้วิธีการเรียนรู้ที่ดีขึ้นและเรียนรู้ทักษะใหม่ ๆ ได้เร็วขึ้น

ประเภทของเมต้าเลิร์นนิง

เมต้าเลิร์นนิงสำหรับออปติมายเซอร์

เมต้าเลิร์นนิงมักถูกใช้เพื่อปรับปรุงประสิทธิภาพของโครงข่ายประสาทเทียมที่มีอยู่แล้ว วิธีการเมต้าเลิร์นนิงสำหรับออปติมายเซอร์มักจะทำงานโดยการปรับพารามิเตอร์ของโครงข่ายประสาทเทียมอื่นเพื่อปรับปรุงประสิทธิภาพของโครงข่ายประสาทเทียมหลัก ผลลัพธ์คือโครงข่ายประสาทเทียมที่เป้าหมายควรจะทำงานได้ดีขึ้นในการทำภารกิจที่ได้รับการฝึกอบรม ตัวอย่างหนึ่งของเมต้าเลิร์นนิงสำหรับออปติมายเซอร์คือการใช้โครงข่ายประสาทเทียมเพื่อปรับปรุงผลลัพธ์ของ การลื่นไถลของเกรเดียนต์

เมต้าเลิร์นนิงสำหรับการเรียนรู้จากตัวอย่างน้อย

แนวทางเมต้าเลิร์นนิงสำหรับการเรียนรู้จากตัวอย่างน้อยคือการออกแบบโครงข่ายประสาทเทียมลึกที่สามารถทั่วไปจากชุดข้อมูลฝึกอบรมไปยังชุดข้อมูลที่ไม่เคยเห็นมาก่อน ตัวอย่างหนึ่งของการเรียนรู้จากตัวอย่างน้อยคือการเรียนรู้แบบจำลองที่คล้ายกับการจำแนกประเภทปกติ แต่แทนที่จะเป็นตัวอย่างข้อมูล โมเดลจะถูกฝึกอบรมบนหลายภารกิจ/ชุดข้อมูล และจากนั้นจะถูกปรับให้เหมาะสมสำหรับการทำงานสูงสุดบนหลายภารกิจและชุดข้อมูลที่ไม่เคยเห็นมาก่อน ในแนวทางนี้ ตัวอย่างการฝึกอบรมแต่ละตัวอย่างจะถูกแบ่งออกเป็นหลายคลาส ซึ่งหมายความว่าตัวอย่างการฝึกอบรม/ชุดข้อมูลแต่ละตัวอย่างอาจประกอบด้วยสองคลาสสำหรับการจำแนกประเภท 4-คลาส 2-คลาส

ในการเรียนรู้จากตัวอย่างน้อย แนวคิดคือตัวอย่างการฝึกอบรมแต่ละตัวอย่างมีขนาดเล็ก และโครงข่ายประสาทเทียมสามารถเรียนรู้เพื่อระบุวัตถุหลังจากเห็นเพียงไม่กี่รูปภาพเท่านั้น ซึ่งคล้ายกับวิธีที่เด็กเรียนรู้เพื่อแยกแยะวัตถุหลังจากเห็นเพียงไม่กี่รูปภาพเท่านั้น แนวทางนี้ได้ถูกนำมาใช้ในการสร้างเทคนิค เช่น โมเดลสร้างแบบจำลองหนึ่งครั้งและโครงข่ายประสาทเทียมที่เพิ่มหน่วยความจำ

เมต้าเลิร์นนิงสำหรับการเรียนรู้จากเมตริก

เมต้าเลิร์นนิงแบบเมตริกคือการใช้โครงข่ายประสาทเทียมเพื่อกำหนดว่าเมตริกที่ใช้ในการเรียนรู้นั้นมีประสิทธิภาพหรือไม่ และโครงข่ายประสาทเทียมหรือไม่ โมเดลเมตริกเมต้าเลิร์นนิงคล้ายกับการเรียนรู้จากตัวอย่างน้อยในแง่ที่โครงข่ายประสาทเทียมจะถูกฝึกอบรมด้วยตัวอย่างเพียงไม่กี่ตัวอย่าง และโครงข่ายประสาทเทียมจะเรียนรู้พื้นที่เมตริก หากโครงข่ายประสาทเทียมเบี่ยงเบนไปจากเมตริกที่กำหนด จะถือว่าโครงข่ายประสาทเทียมล้มเหลว

เมต้าเลิร์นนิงแบบโมเดลเรียกซ้ำ

เมต้าเลิร์นนิงแบบโมเดลเรียกซ้ำคือการนำเทคนิคเมต้าเลิร์นนิงไปใช้กับโครงข่ายประสาทเทียมแบบเรียกซ้ำและโครงข่ายประสาทเทียมแบบความจำระยะยาวแบบยาว เทคนิคนี้ทำงานโดยการฝึกอบรมโมเดล RNN/LSTM เพื่อเรียนรู้ชุดข้อมูลแบบลำดับ และจากนั้นใช้โมเดลที่ฝึกอบรมแล้วเป็นพื้นฐานสำหรับการเรียนรู้อื่น โมเดลเมต้าเลิร์นนิงจะรับอัลกอริทึมการปรับให้เหมาะสมที่ใช้ในการฝึกอบรมโมเดลแรก พารามิเตอร์ที่ได้รับจากโมเดลเมต้าเลิร์นนิงช่วยให้สามารถเริ่มต้นและ hội tụได้อย่างรวดเร็ว แต่ยังคงสามารถอัปเดตสำหรับสถานการณ์ใหม่ ๆ

เมต้าเลิร์นนิงทำงานอย่างไร?

วิธีการที่แน่นอนของเมต้าเลิร์นนิงจะแตกต่างกันไปตามโมเดลและลักษณะของภารกิจที่มอบหมาย อย่างไรก็ตาม โดยทั่วไปแล้ว เมต้าเลิร์นนิงจะเกี่ยวข้องกับการ คัดลอกพารามิเตอร์ของโมเดลแรก ไปยังพารามิเตอร์ของโมเดลที่สอง/ออปติมายเซอร์

มีกระบวนการฝึกอบรมสองขั้นตอนในเมต้าเลิร์นนิง โมเดลเมต้าเลิร์นนิงมักจะถูกฝึกอบรมหลังจากที่โมเดลฐานได้รับการฝึกอบรมหลายขั้นตอนแล้ว หลังจากขั้นตอนการฝึกอบรมไปข้างหน้า ข้างหลัง และการปรับให้เหมาะสมที่ฝึกอบรมโมเดลฐานแล้ว การฝึกอบรมไปข้างหน้าจะถูกดำเนินการสำหรับโมเดลการปรับให้เหมาะสม ตัวอย่างเช่น หลังจากสามหรือสี่ขั้นตอนการฝึกอบรมของโมเดลฐาน การสูญเสียเมต้าจะถูกคำนวณ หลังจากที่การสูญเสียเมต้าถูกคำนวณแล้ว อนุพันธ์ของแต่ละพารามิเตอร์เมต้าจะถูกคำนวณ หลังจากที่อนุพันธ์ถูกคำนวณแล้ว พารามิเตอร์เมต้าในออปติมายเซอร์จะถูกอัปเดต

หนึ่งในวิธีการคำนวณการสูญเสียเมต้าคือการเสร็จสิ้นการฝึกอบรมไปข้างหน้าของโมเดลแรกและจากนั้นรวมการสูญเสียที่คำนวณไว้แล้ว ออปติมายเซอร์เมต้าอาจเป็นออปติมายเซอร์เมต้าเลิร์นนิงอีกตัวหนึ่ง แต่ใน某จุด ออปติมายเซอร์ที่ไม่ต่อเนื่อง เช่น ADAM หรือ SGD จะต้องถูกใช้

โมเดลการเรียนรู้ลึกหลายแบบสามารถมีพารามิเตอร์หลายแสนหรือหลายล้านพารามิเตอร์ การสร้างโมเดลเมต้าเลิร์นนิงที่มีชุดพารามิเตอร์ใหม่ทั้งหมดจะใช้เวลาคอมพิวเตอร์มาก และด้วยเหตุนี้ เทคนิคที่เรียกว่าการแบ่งพารามิเตอร์จึงถูกใช้โดยทั่วไป การแบ่งพารามิเตอร์เกี่ยวข้องกับการออกแบบโมเดลเมต้าเลิร์นนิง/ออปติมายเซอร์ให้เรียนรู้พารามิเตอร์เดียวจากโมเดลฐานและจากนั้นเพียงแค่คัดลอกพารามิเตอร์นั้นแทนที่จะเป็นพารามิเตอร์อื่น ๆ ทั้งหมด ผลลัพธ์คือพารามิเตอร์ที่ออปติมายเซอร์เป็นเจ้าของไม่ขึ้นอยู่กับพารามิเตอร์ของโมเดล