การเรียนรู้แบบไม่กี่ช็อตคืออะไร

การเรียนรู้แบบไม่กี่ช็อตหมายถึงอัลกอริธึมและเทคนิคต่างๆ ที่ใช้ในการพัฒนาแบบจำลอง AI โดยใช้ข้อมูลการฝึกอบรมจำนวนน้อยมาก การเรียนรู้ไม่กี่ครั้งจะพยายามให้โมเดล AI จดจำและจัดประเภทข้อมูลใหม่หลังจากสัมผัสกับอินสแตนซ์การฝึกอบรมเพียงไม่กี่รายการ การฝึกแบบไม่กี่ช็อตนั้นแตกต่างกับวิธีดั้งเดิมของโมเดลการเรียนรู้ของเครื่องฝึก ซึ่งโดยทั่วไปแล้วจะใช้ข้อมูลการฝึกจำนวนมาก การเรียนรู้แบบไม่กี่ช็อตคือ ใช้เป็นหลักในการมองเห็นคอมพิวเตอร์

เพื่อพัฒนาสัญชาตญาณที่ดีขึ้นสำหรับการเรียนรู้แบบไม่กี่ช็อต เรามาตรวจสอบแนวคิดนี้โดยละเอียดยิ่งขึ้น เราจะตรวจสอบแรงจูงใจและแนวคิดเบื้องหลังการเรียนรู้แบบไม่กี่ช็อต สำรวจการเรียนรู้แบบไม่กี่ช็อตประเภทต่างๆ และครอบคลุมบางรูปแบบที่ใช้ในการเรียนรู้แบบไม่กี่ช็อตในระดับสูง สุดท้าย เราจะตรวจสอบบางแอปพลิเคชันสำหรับการเรียนรู้แบบไม่กี่ช็อต

Few-Shot Learning คืออะไร?

“Few-shot Learning” อธิบายการฝึกโมเดลแมชชีนเลิร์นนิง ด้วยข้อมูลจำนวนน้อยที่สุด โดยทั่วไป โมเดลแมชชีนเลิร์นนิงจะได้รับการฝึกอบรมเกี่ยวกับข้อมูลปริมาณมาก ยิ่งมากยิ่งดี อย่างไรก็ตาม การเรียนรู้แบบไม่กี่ช็อตเป็นแนวคิดการเรียนรู้ของเครื่องที่สำคัญด้วยเหตุผลหลายประการ

เหตุผลหนึ่งในการใช้การเรียนรู้แบบช็อตช็อตคือสามารถลดจำนวนข้อมูลที่จำเป็นในการฝึกโมเดลแมชชีนเลิร์นนิงได้อย่างมาก ซึ่งช่วยลดเวลาที่ต้องใช้ในการติดป้ายชุดข้อมูลขนาดใหญ่ ในทำนองเดียวกัน การเรียนรู้แบบไม่กี่ภาพช่วยลดความจำเป็นในการเพิ่มคุณสมบัติเฉพาะสำหรับงานต่างๆ เมื่อใช้ชุดข้อมูลทั่วไปเพื่อสร้างตัวอย่างที่แตกต่างกัน การเรียนรู้เพียงไม่กี่ช็อตสามารถทำให้โมเดลมีประสิทธิภาพมากขึ้นและสามารถจดจำอ็อบเจกต์โดยใช้ข้อมูลน้อยลง สร้างโมเดลทั่วไปมากขึ้น ซึ่งตรงข้ามกับโมเดลที่มีความเชี่ยวชาญสูงซึ่งเป็นบรรทัดฐาน

การเรียนรู้แบบไม่กี่ช็อตมักใช้ในสาขาคอมพิวเตอร์วิทัศน์ เนื่องจากธรรมชาติของปัญหาคอมพิวเตอร์วิทัศน์จำเป็นต้องมีข้อมูลปริมาณมากหรือต้องใช้แบบจำลองที่ยืดหยุ่น

หมวดหมู่ย่อย

การเรียนรู้แบบ “ไม่กี่ช็อต” แท้จริงแล้วเป็นเพียงการเรียนรู้รูปแบบหนึ่งโดยใช้ตัวอย่างการฝึกอบรมน้อยมาก เนื่องจากคุณใช้ตัวอย่างการฝึกอบรม "บางส่วน" จึงมีหมวดหมู่ย่อยของการเรียนรู้แบบไม่กี่ช็อตที่เกี่ยวข้องกับการฝึกอบรมด้วยข้อมูลจำนวนน้อยที่สุด การเรียนรู้แบบ “ถ่ายครั้งเดียว” เป็นการฝึกแบบจำลองอีกประเภทหนึ่งที่เกี่ยวข้องกับการสอนแบบจำลองให้รู้จักวัตถุหลังจากเห็นเพียงภาพเดียวของวัตถุนั้น กลวิธีทั่วไปที่ใช้ในการเรียนรู้แบบยิงครั้งเดียวและการเรียนรู้แบบยิงไม่กี่ครั้งจะเหมือนกัน โปรดทราบว่าคำว่า "ไม่กี่ช็อต" การเรียนรู้อาจใช้เป็นคำศัพท์หลักเพื่ออธิบายสถานการณ์ใด ๆ ที่แบบจำลองได้รับการฝึกอบรมโดยมีข้อมูลน้อยมาก

แนวทางการเรียนรู้เพียงไม่กี่ช็อต

แนวทางการเรียนรู้แบบไม่กี่ช็อตส่วนใหญ่สามารถจัดเป็นหนึ่งในสามประเภท: แนวทางระดับข้อมูล แนวทางระดับพารามิเตอร์ และแนวทางตามเมตริก

แนวทางระดับข้อมูล

แนวทางระดับข้อมูลเพื่อการเรียนรู้แบบไม่กี่ช็อตนั้นง่ายมากในแนวคิด ในการฝึกโมเดลเมื่อคุณไม่มีข้อมูลการฝึกเพียงพอ คุณสามารถรับข้อมูลการฝึกเพิ่มเติมได้ มีเทคนิคต่างๆ มากมายที่นักวิทยาศาสตร์ข้อมูลสามารถใช้เพื่อเพิ่มจำนวนข้อมูลการฝึกอบรมที่มี

ข้อมูลการฝึกอบรมที่คล้ายกันสามารถสำรองข้อมูลเป้าหมายที่แน่นอนที่คุณกำลังฝึกอบรมตัวแยกประเภท ตัวอย่างเช่น หากคุณกำลังฝึกตัวแยกประเภทให้รู้จักสุนัขบางประเภท แต่ไม่มีภาพจำนวนมากของสายพันธุ์เฉพาะที่คุณพยายามจำแนก คุณอาจรวมภาพสุนัขจำนวนมากซึ่งจะช่วยให้ตัวแยกประเภทระบุลักษณะทั่วไปที่ประกอบกันเป็นสุนัข .

การเพิ่มข้อมูลสามารถสร้างข้อมูลการฝึกอบรมเพิ่มเติมสำหรับตัวแยกประเภท โดยทั่วไปเกี่ยวข้องกับการใช้การแปลงกับข้อมูลการฝึกอบรมที่มีอยู่ เช่น การหมุนภาพที่มีอยู่ เพื่อให้ตัวแยกประเภทตรวจสอบภาพจากมุมต่างๆ นอกจากนี้ยังสามารถใช้ GAN เพื่อสร้างตัวอย่างการฝึกอบรมใหม่ตามสิ่งที่เรียนรู้จากตัวอย่างข้อมูลการฝึกอบรมจริงไม่กี่รายการที่คุณมี

แนวทางระดับพารามิเตอร์

การเรียนรู้เมตาดาต้า

วิธีการระดับพารามิเตอร์วิธีหนึ่งสำหรับการเรียนรู้แบบไม่กี่ช็อตนั้นเกี่ยวข้องกับการใช้เทคนิคที่เรียกว่า “การเรียนรู้เมตา". การเรียนรู้เมตาดาต้าเกี่ยวข้องกับ การสอนแบบจำลองวิธีการเรียนรู้ คุณลักษณะใดที่มีความสำคัญในงานแมชชีนเลิร์นนิง สิ่งนี้สามารถทำได้โดยการสร้างวิธีการควบคุมวิธีการสำรวจพื้นที่พารามิเตอร์ของแบบจำลอง

Meta-learning ใช้โมเดลที่แตกต่างกัน XNUMX แบบ ได้แก่ โมเดลครูและโมเดลนักเรียน แบบ “ครู” กับแบบ “ศิษย์” โมเดลครูจะเรียนรู้วิธีสรุปสเปซพารามิเตอร์ ในขณะที่อัลกอริทึมของนักเรียนจะเรียนรู้วิธีจดจำและจำแนกรายการจริงในชุดข้อมูล ในอีกทางหนึ่ง โมเดลครูจะเรียนรู้วิธีปรับโมเดลให้เหมาะสม ในขณะที่โมเดลนักเรียนจะเรียนรู้วิธีจัดประเภท ผลลัพธ์ของโมเดลครูจะใช้ในการฝึกโมเดลนักเรียน โดยแสดงโมเดลนักเรียนว่าจะต่อรองพื้นที่พารามิเตอร์ขนาดใหญ่ที่เป็นผลจากข้อมูลการฝึกน้อยเกินไปได้อย่างไร ดังนั้น "เมตา" ในการเรียนรู้เมตาดาต้า

ปัญหาหลักอย่างหนึ่งของโมเดลการเรียนรู้แบบไม่กี่ช็อตคือโมเดลเหล่านี้สามารถใส่ข้อมูลการฝึกอบรมมากเกินไปได้อย่างง่ายดาย เนื่องจากโมเดลเหล่านี้มักมีช่องว่างในมิติสูง การจำกัดพื้นที่พารามิเตอร์ของโมเดลช่วยแก้ปัญหานี้ได้ และในขณะที่สามารถทำได้โดยใช้เทคนิคการทำให้เป็นมาตรฐานและเลือกฟังก์ชันการสูญเสียที่เหมาะสม การใช้อัลกอริทึมของครูสามารถปรับปรุงประสิทธิภาพของโมเดลไม่กี่ช็อตได้อย่างมาก

โมเดลตัวแยกประเภทการเรียนรู้ไม่กี่ช็อต (โมเดลสำหรับนักเรียน) จะพยายามสรุปตามข้อมูลการฝึกอบรมจำนวนเล็กน้อยที่มีให้ และความแม่นยำของโมเดลสามารถปรับปรุงได้ด้วยโมเดลครูเพื่อควบคุมผ่านช่องว่างพารามิเตอร์มิติสูง สถาปัตยกรรมทั่วไปนี้เรียกว่า meta-learner แบบ "ไล่ระดับสี"

กระบวนการทั้งหมดของการฝึกอบรมผู้เรียนรู้เมตาตามการไล่ระดับสีมีดังนี้:

1. สร้างโมเดลฐานการเรียนรู้ (ครู)
2. ฝึกโมเดลฐานการเรียนรู้ในชุดสนับสนุน
3. ให้ผู้เรียนรู้พื้นฐานส่งคืนการคาดคะเนสำหรับชุดข้อความค้นหา
4. ฝึกฝนผู้เรียนรู้เมตา (นักเรียน) เกี่ยวกับการสูญเสียที่เกิดจากข้อผิดพลาดในการจำแนกประเภท

การเปลี่ยนแปลงในการเรียนรู้เมตาดาต้า

การเรียนรู้เมตาดาต้าแบบไม่เชื่อเรื่องพระเจ้า เป็นวิธีที่ใช้เสริมเทคนิคการเรียนรู้เมตาตามการไล่ระดับสีขั้นพื้นฐานที่เรากล่าวถึงข้างต้น

ดังที่เรากล่าวไว้ข้างต้น meta-learner ที่ใช้การไล่ระดับสีจะใช้ประสบการณ์ก่อนหน้านี้ที่ได้รับจากแบบจำลองของครู เพื่อปรับจูนตัวเอง และ ให้คำทำนายที่แม่นยำยิ่งขึ้น สำหรับข้อมูลการฝึกอบรมจำนวนเล็กน้อย อย่างไรก็ตาม การเริ่มต้นด้วยพารามิเตอร์ที่เริ่มต้นแบบสุ่มหมายความว่าโมเดลยังสามารถใช้ข้อมูลได้มากเกินไป เพื่อหลีกเลี่ยงปัญหานี้ เมตา-เลิร์นนิงแบบ "ผู้ไม่เชื่อเรื่องพระเจ้า" จะถูกสร้างขึ้นโดยการจำกัดอิทธิพลของแบบจำลอง/แบบจำลองฐานของครู แทนที่จะฝึกแบบจำลองของนักเรียนโดยตรงเกี่ยวกับการสูญเสียสำหรับการคาดการณ์โดยแบบจำลองของครู แบบจำลองของนักเรียนจะได้รับการฝึกอบรมเกี่ยวกับการสูญเสียสำหรับการคาดการณ์ของตนเอง

สำหรับทุกตอนของการฝึกอบรม meta-learner แบบไม่เชื่อเรื่องพระเจ้า:

1. มีการสร้างสำเนาของโมเดล meta-learner ปัจจุบัน
2. สำเนาได้รับการฝึกอบรมโดยได้รับความช่วยเหลือจากโมเดลพื้นฐาน/โมเดลครู
3. สำเนาส่งคืนการคาดคะเนสำหรับข้อมูลการฝึกอบรม
4. การสูญเสียการคำนวณจะใช้ในการปรับปรุง meta-learner

เมตริกการเรียนรู้

แนวทางการเรียนรู้เมตริกเพื่อออกแบบโมเดลการเรียนรู้แบบไม่กี่ช็อต มักจะเกี่ยวข้องกับ การใช้มาตรวัดระยะทางพื้นฐาน เพื่อทำการเปรียบเทียบระหว่างตัวอย่างในชุดข้อมูล อัลกอริธึมการเรียนรู้เมตริก เช่น ระยะทางโคไซน์ ใช้ในการจำแนกตัวอย่างแบบสอบถามตามความคล้ายคลึงกับตัวอย่างที่สนับสนุน สำหรับตัวจำแนกภาพ หมายถึงการจำแนกภาพตามความคล้ายคลึงของลักษณะผิวเผินเท่านั้น หลังจากเลือกชุดรูปภาพสนับสนุนและแปลงเป็นเวกเตอร์ฝังแล้ว จะทำเช่นเดียวกันกับชุดคิวรี จากนั้นจึงเปรียบเทียบค่าของเวกเตอร์ทั้งสอง โดยตัวแยกประเภทจะเลือกคลาสที่มีค่าใกล้เคียงกับชุดคิวรีแบบเวกเตอร์ .

โซลูชันตามเมตริกขั้นสูงคือ “เครือข่ายต้นแบบ". จุดข้อมูลคลัสเตอร์ของเครือข่ายต้นแบบรวมโมเดลการจัดกลุ่มเข้ากับการจำแนกตามเมตริกที่อธิบายไว้ข้างต้น เช่นเดียวกับการทำคลัสเตอร์ K-mean centroids สำหรับคลัสเตอร์จะถูกคำนวณสำหรับคลาสในชุดสนับสนุนและชุดคำสั่ง เมตริกระยะทางแบบยุคลิดจะถูกนำไปใช้เพื่อกำหนดความแตกต่างระหว่างชุดคิวรีและเซนทรอยด์ของชุดสนับสนุน โดยกำหนดชุดคิวรีให้กับคลาสชุดสนับสนุนใดก็ตามที่อยู่ใกล้กว่า

วิธีการเรียนรู้แบบไม่กี่ช็อตอื่นๆ ส่วนใหญ่เป็นเพียงรูปแบบต่างๆ ของเทคนิคหลักที่กล่าวถึงข้างต้น

แอปพลิเคชั่นสำหรับการเรียนรู้ไม่กี่ช็อต

การเรียนรู้แบบไม่กี่ขั้นตอนมีการใช้งานในสาขาย่อยต่างๆ มากมายของวิทยาศาสตร์ข้อมูล เช่น คอมพิวเตอร์วิทัศน์ การประมวลผลภาษาธรรมชาติ หุ่นยนต์ การดูแลสุขภาพ และการประมวลผลสัญญาณ

แอปพลิเคชันสำหรับการเรียนรู้แบบไม่กี่ภาพในพื้นที่การมองเห็นของคอมพิวเตอร์รวมถึงการรู้จำอักขระที่มีประสิทธิภาพ การจำแนกภาพ การจดจำวัตถุ การติดตามวัตถุ การทำนายการเคลื่อนไหว และการแปลการกระทำ แอปพลิเคชันการประมวลผลภาษาธรรมชาติสำหรับการเรียนรู้แบบไม่กี่ช็อต ได้แก่ การแปล การเติมประโยค การจำแนกเจตนาของผู้ใช้ การวิเคราะห์ความรู้สึก และการจัดประเภทข้อความหลายป้ายกำกับ การเรียนรู้เพียงไม่กี่ช็อตสามารถนำมาใช้ในสาขาวิทยาการหุ่นยนต์เพื่อช่วยให้หุ่นยนต์เรียนรู้เกี่ยวกับงานจากการสาธิตเพียงไม่กี่ครั้ง ทำให้หุ่นยนต์เรียนรู้วิธีการดำเนินการ เคลื่อนย้าย และสำรวจโลกรอบตัว การค้นพบยาไม่กี่ช็อตเป็นพื้นที่ที่เกิดขึ้นใหม่ของการดูแลสุขภาพของ AI ประการสุดท้าย การเรียนรู้แบบไม่กี่ช็อตมีแอปพลิเคชันสำหรับการประมวลผลสัญญาณเสียง ซึ่งเป็นกระบวนการวิเคราะห์ข้อมูลเสียง การปล่อยให้ระบบ AI โคลนเสียงตามตัวอย่างผู้ใช้เพียงไม่กี่คนหรือการแปลงเสียงจากผู้ใช้คนหนึ่งไปยังอีกคนหนึ่ง