SEER: การพัฒนาสำคัญในแบบจำลองการเรียนรู้ด้วยตนเองของการมองเห็นของคอมพิวเตอร์

ในช่วงสิบปีที่ผ่านมา Artificial Intelligence (AI) และ Machine Learning (ML) ได้แสดงความก้าวหน้าที่น่าประทับใจในปัจจุบัน AI และ ML มีความแม่นยำ มีประสิทธิภาพ และมีความสามารถมากกว่าที่เคยเป็นมา โมเดล AI และ ML ในปัจจุบันสามารถจดจำวัตถุในภาพหรือไฟล์วิดีโอได้อย่างแม่นยำและราบรื่น นอกจากนี้ยังสามารถสร้างข้อความและเสียงที่เทียบเท่ากับมนุษย์ได้

โมเดล AI และ ML ในปัจจุบันพึ่งพาการฝึกอบรมบนชุดข้อมูลที่มีฉลากซึ่งสอนให้พวกมันสามารถตีความข้อความหรือจดจำวัตถุในภาพหรือวิดีโอได้

尽管 AI และ ML มีความสามารถ แต่ก็ไม่สมบูรณ์แบบ นักวิทยาศาสตร์กำลังทำงานเพื่อสร้างโมเดลที่สามารถเรียนรู้จากข้อมูลที่ให้มาโดยไม่จำเป็นต้องใช้ข้อมูลที่มีฉลากหรือแอนโนเตต นี่คือแนวทางที่เรียกว่า การเรียนรู้ด้วยตนเอง ซึ่งเป็นวิธีที่มีประสิทธิภาพในการสร้างโมเดล ML และ AI ที่มี “ความเข้าใจทั่วไป” หรือความรู้พื้นฐานในการแก้ปัญหาที่超出了ความสามารถของ AI ในปัจจุบัน

การเรียนรู้ด้วยตนเองได้แสดงผลลัพธ์ที่ดีใน Natural Language Processing โดยทำให้นักพัฒนาสามารถฝึกโมเดลขนาดใหญ่ที่สามารถทำงานกับข้อมูลจำนวนมาก และนำไปสู่การก้าวหน้าในหลายๆ ด้าน เช่น การอนุมานภาษาธรรมชาติ การแปลภาษา และการตอบคำถาม

โมเดล SEER ของ Facebook (META ) AI มุ่งหวังที่จะเพิ่มความสามารถของการเรียนรู้ด้วยตนเองในด้านการมองเห็นของคอมพิวเตอร์ SEER หรือ SElf SupERvised คือโมเดลการเรียนรู้ด้วยตนเองที่มีมากกว่า 1 พันล้านพารามิเตอร์ และสามารถค้นหาพATTERN หรือเรียนรู้จากกลุ่มภาพที่สุ่มเลือกจากอินเทอร์เน็ตโดยไม่ต้องใช้ข้อมูลที่มีฉลากหรือแอนโนเตต

ความจำเป็นของการเรียนรู้ด้วยตนเองในด้านการมองเห็นของคอมพิวเตอร์

ข้อมูลแอนโนเตตหรือข้อมูลที่มีฉลากเป็นขั้นตอนก่อนการประมวลผลในด้านการเรียนรู้ของเครื่องและ AI ขั้นตอนแอนโนเตตข้อมูลระบุว่าข้อมูลดิบ เช่น ภาพหรือวิดีโอ และเพิ่มฉลากบนข้อมูลเพื่อระบุบริบทของข้อมูลให้กับโมเดล

หนึ่งในอุปสรรคที่ใหญ่ที่สุดและท้าทายที่นักพัฒนาต้องเผชิญเมื่อทำงานกับโมเดลการมองเห็นของคอมพิวเตอร์คือการหาข้อมูลที่มีคุณภาพสูงและแอนโนเตตอย่างต่อเนื่อง โมเดลการมองเห็นของคอมพิวเตอร์ในปัจจุบันพึ่งพาข้อมูลที่มีฉลากหรือแอนโนเตตเพื่อเรียนรู้รูปแบบที่ทำให้พวกมันสามารถจดจำวัตถุในภาพได้

การแอนโนเตตข้อมูลและการใช้ข้อมูลที่มีฉลากในโมเดลการมองเห็นของคอมพิวเตอร์นำไปสู่ความท้าทายต่อไปนี้

การจัดการคุณภาพของชุดข้อมูลที่สอดคล้องกัน

ความท้าทายที่ยิ่งใหญ่ที่สุดสำหรับนักพัฒนาคือการเข้าถึงชุดข้อมูลที่มีคุณภาพสูงอย่างต่อเนื่อง เนื่องจากชุดข้อมูลที่มีคุณภาพสูงและมีฉลากที่ชัดเจนจะส่งผลให้โมเดลมีการเรียนรู้และแม่นยำมากขึ้น

การจัดการกำลังคน

การแอนโนเตตข้อมูลมักจะมีปัญหาในการจัดการกำลังคน เนื่องจากต้องใช้คนจำนวนมากในการประมวลผลและแอนโนเตตข้อมูลจำนวนมากที่ไม่มีการแอนโนเตตหรือไม่มีการจัดระเบียบ ขณะเดียวกันก็ต้องรักษาคุณภาพและปริมาณข้อมูลให้เหมาะสม

ข้อจำกัดทางการเงิน

ความท้าทายที่ใหญ่ที่สุดคือข้อจำกัดทางการเงินที่เกี่ยวข้องกับการแอนโนเตตข้อมูล ซึ่งมักจะเป็นส่วนสำคัญของต้นทุนโครงการโดยรวม

ดังที่เห็นได้ การแอนโนเตตข้อมูลเป็นอุปสรรคสำคัญในการพัฒนาโมเดลการมองเห็นของคอมพิวเตอร์ที่ซับซ้อน โดยเฉพาะอย่างยิ่งเมื่อพัฒนาโมเดลที่ต้องใช้ข้อมูลฝึกอบรมจำนวนมาก

ด้วยเหตุนี้ อุตสาหกรรมการมองเห็นของคอมพิวเตอร์จึงต้องการการเรียนรู้ด้วยตนเองเพื่อพัฒนาโมเดลที่ซับซ้อนและสามารถแก้ปัญหาที่超出了ความสามารถของโมเดลในปัจจุบัน

SEER หรือ SElf-supERvised Model: การแนะนำ

แนวโน้มล่าสุดในอุตสาหกรรม AI และ ML บ่งชี้ว่าวิธีการฝึกอบรมแบบกึ่ง监督 การฝึกอบรมแบบอ่อน และการเรียนรู้ด้วยตนเองสามารถปรับปรุงประสิทธิภาพของโมเดลการเรียนรู้ลึกสำหรับงานที่จะทำในอนาคตได้อย่างมาก

มีสองปัจจัยหลักที่มีส่วนช่วยอย่างมากต่อการเพิ่มประสิทธิภาพของโมเดลการเรียนรู้ลึกเหล่านี้

การฝึกอบรมบนชุดข้อมูลขนาดใหญ่

การฝึกอบรมบนชุดข้อมูลขนาดใหญ่โดยทั่วไปจะให้ผลลัพธ์ที่ดีกว่า เนื่องจากช่วยให้โมเดลได้รับประสบการณ์จากข้อมูลหลากหลาย ชุดข้อมูลขนาดใหญ่ช่วยให้โมเดลเข้าใจรูปแบบในข้อมูลได้ดีขึ้น และส่งผลให้โมเดลทำงานได้ดีขึ้นในสถานการณ์จริง

โมเดลที่ทำงานได้ดีที่สุด เช่น โมเดล GPT-3 และ Wav2vec 2.0 ถูกฝึกอบรมบนชุดข้อมูลขนาดใหญ่ โมเดล GPT-3 ใช้ชุดข้อมูลฝึกอบรมที่มีมากกว่า 300 พันล้านคำ ในขณะที่โมเดล Wav2vec 2.0 สำหรับการรับรู้เสียงใช้ชุดข้อมูลที่มีมากกว่า 53,000 ชั่วโมงของคะแนนเสียง

โมเดลที่มีขนาดใหญ่

โมเดลที่มีพารามิเตอร์จำนวนมากมักจะให้ผลลัพธ์ที่แม่นยำ เนื่องจากพารามิเตอร์จำนวนมากช่วยให้โมเดลสามารถมุ่งเน้นไปที่วัตถุในข้อมูลที่จำเป็นเท่านั้น และไม่ส่งผลกระทบต่อการรบกวนหรือเสียงรบกวนในข้อมูล

นักพัฒนามีการพยายามฝึกอบรมโมเดลการเรียนรู้ด้วยตนเองบนชุดข้อมูลที่ไม่มีการแอนโนเตตหรือไม่มีการจัดระเบียบ แต่ด้วยชุดข้อมูลขนาดเล็กที่มีเพียงไม่กี่ล้านภาพ

โมเดล SEER เป็นเฟรมเวิร์กการเรียนรู้ลึกที่มุ่งหมายเพื่อจดจำภาพที่มีอยู่บนอินเทอร์เน็ตโดยไม่พึ่งพาชุดข้อมูลที่มีการแอนโนเตตหรือจัดระเบียบ

เป้าหมายสูงสุดของโมเดล SEER คือการช่วยพัฒนาแนวทางในการฝึกอบรมที่ใช้ข้อมูลที่ไม่มีการแอนโนเตตเพื่อให้ได้ผลลัพธ์ที่ดีที่สุดในการเรียนรู้แบบถ่ายโอน นอกจากนี้ โมเดล SEER ยังมุ่งหมายที่จะสร้างระบบที่สามารถเรียนรู้จากกระแสข้อมูลที่ไม่มีที่สิ้นสุดได้อย่างต่อเนื่องด้วยตนเอง

SEER Framework และ RegNet: สิ่งที่เชื่อมโยง

เพื่อวิเคราะห์โมเดล SEER จะมุ่งเน้นไปที่สถาปัตยกรรม RegNet ที่มีพารามิเตอร์มากกว่า 700 ล้านพารามิเตอร์ ซึ่งสอดคล้องกับเป้าหมายของ SEER ในการเรียนรู้ด้วยตนเองบนข้อมูลที่ไม่มีการแอนโนเตต

SEER Framework: งานก่อนหน้าจากพื้นที่ต่างๆ

เฟรมเวิร์ก SEER มุ่งหวังที่จะสำรวจขอบเขตของการฝึกอบรมโมเดลขนาดใหญ่ในข้อมูลที่ไม่มีการแอนโนเตตหรือไม่มีการจัดระเบียบโดยใช้การเรียนรู้ด้วยตนเอง และโมเดลนี้ได้รับแรงบันดาลใจจากงานก่อนหน้าในด้านนี้

การฝึกอบรมแบบไม่มีการกำกับของลักษณะการมองเห็น

การเรียนรู้ด้วยตนเองได้ถูกนำไปใช้ในด้านการมองเห็นของคอมพิวเตอร์เป็นเวลานานแล้ว โดยใช้วิธีการต่างๆ เช่น การเข้ารหัสอัตโนมัติ การแบ่งแยกระดับอินสแตนซ์ หรือการคลัสเตอริ่ง ในช่วงไม่นานมานี้ วิธีการที่ใช้การเรียนรู้แบบสังเขปได้แสดงให้เห็นว่าการฝึกอบรมแบบไม่มีการกำกับสามารถทำงานได้ดีกว่าการฝึกอบรมแบบมีการกำกับ

การเรียนรู้ลักษณะการมองเห็นในระดับใหญ่

โมเดลก่อนหน้านี้ได้รับประโยชน์จากการฝึกอบรมบนชุดข้อมูลขนาดใหญ่ที่มีการแอนโนเตตแบบอ่อน การฝึกอบรมแบบมีการกำกับ และการฝึกอบรมแบบกึ่ง监督บนล้านภาพที่มีการจัดระเบียบ

การปรับขนาดสถาปัตยกรรมสำหรับการจดจำภาพ

โดยทั่วไป โมเดลจะทำงานได้ดีขึ้นเมื่อฝึกอบรมบนชุดข้อมูลขนาดใหญ่และใช้สถาปัตยกรรมที่มีขนาดใหญ่ขึ้น

SEER: วิธีการและองค์ประกอบที่ใช้

เฟรมเวิร์ก SEER ใช้วิธีการและองค์ประกอบต่างๆ เพื่อฝึกอบรมโมเดลให้เรียนรู้การแสดงภาพ

การฝึกอบรมแบบไม่มีการกำกับด้วย SwAV

เฟรมเวิร์ก SEER ถูกฝึกอบรมด้วย SwAV ซึ่งเป็นวิธีการเรียนรู้ด้วยตนเองแบบออนไลน์

SwAV เป็นวิธีการคลัสเตอริ่งแบบออนไลน์ที่ใช้ในการฝึกอบรมโครงข่ายการถ่ายทอดโดยไม่ต้องมีการแอนโนเตต

RegNetY: ครอบครัวโมเดลที่มีประสิทธิภาพในการปรับขนาด

การปรับขนาดความจุของโมเดลและข้อมูลต้องการสถาปัตยกรรมที่มีประสิทธิภาพไม่เพียงแต่ในด้านหน่วยความจำ แต่ยังรวมถึงเวลาทำงานและรันไทม์

การปรับให้เหมาะสมและการฝึกอบรมในระดับใหญ่

โมเดล SEER เสนอการปรับเปลี่ยนหลายอย่างเพื่อฝึกอบรมวิธีการแบบไม่มีการกำกับให้เหมาะสมและปรับให้เข้ากับการฝึกอบรมในระดับใหญ่

ตารางการเรียนรู้อัตรา

โมเดล SEER ตรวจสอบความเป็นไปได้ของการใช้ตารางการเรียนรู้อัตราสองแบบ: ตารางการเรียนรู้อัตราแบบโคไซน์ และ ตารางการเรียนรู้อัตราแบบคงที่

การลดการบริโภคหน่วยความจำต่อ GPU

โมเดล SEER มุ่งหวังที่จะลดการบริโภคหน่วยความจำต่อ GPU โดยใช้การผสมผสานความแม่นยำและการเช็คพอยต์แบบเกรเดียนต์

การเพิ่มความเร็วในการฝึกอบรม

การใช้การผสมผสานความแม่นยำเพื่อการลดการบริโภคหน่วยความจำมีประโยชน์เสริมในการเพิ่มความเร็วในการฝึกอบรม

การฝึกอบรมข้อมูลในระดับใหญ่

โมเดล SEER ใช้ข้อมูลมากกว่า 1 พันล้านภาพในการฝึกอบรม และพิจารณาใช้โหลดเดอร์ข้อมูลที่ตัวอย่างภาพสุ่มโดยตรงจากอินเทอร์เน็ตและ Instagram

การนำไปใช้ของโมเดล SEER

โมเดล SEER ถูกฝึกอบรมบน RegNetY 256GF โดยใช้ SwAV โดยใช้ภาพ 6 ภาพต่อภาพ โดยมีความละเอียด 2×224 + 4×96

ผลลัพธ์ของเฟรมเวิร์ก SEER

คุณภาพของลักษณะที่สร้างขึ้นโดยการฝึกอบรมแบบไม่มีการกำกับถูกศึกษาและวิเคราะห์บนเบンチมาร์กและงานที่จะทำต่างๆ

การปรับให้เหมาะสมของโมเดลที่ฝึกอบรมไว้ขนาดใหญ่

การปรับให้เหมาะสมของโมเดลที่ฝึกอบรมไว้ขนาดใหญ่จะวัดคุณภาพของโมเดลที่ฝึกอบรมไว้บน ImageNet สำหรับการจำแนกประเภทวัตถุ

การกำหนดค่าการทดลอง

โมเดลจะฝึกอบรม 6 สถาปัตยกรรม RegNet โดยมีความจุแตกต่างกัน โดยใช้ SwAV บนภาพสาธารณะมากกว่า 1 พันล้านภาพจาก Instagram

การเปรียบเทียบกับวิธีการฝึกอบรมแบบไม่มีการกำกับอื่นๆ

ตารางต่อไปนี้เปรียบเทียบโมเดลที่ใหญ่ที่สุดของ RegNetY-256GF กับโมเดลที่ฝึกอบรมไว้แบบไม่มีการกำกับอื่นๆ

ผลกระทบของความจุของโมเดล

ความจุของโมเดลมีผลกระทบอย่างมากต่อประสิทธิภาพของการฝึกอบรม และตารางต่อไปนี้เปรียบเทียบผลกระทบนี้เมื่อฝึกอบรมจากต้น

การเรียนรู้ในระดับต่ำ

การเรียนรู้ในระดับต่ำหมายถึงการประเมินประสิทธิภาพของโมเดล SEER ในสถานการณ์ที่มีการเข้าถึงข้อมูลและฉลากที่จำกัด

การกำหนดค่าการทดลอง

เฟรมเวิร์ก SEER ใช้สองชุดข้อมูลสำหรับการเรียนรู้ในระดับต่ำ ได้แก่ Places205 และ ImageNet

ผลลัพธ์บนชุดข้อมูล Places205

ตารางต่อไปนี้แสดงผลกระทบของการฝึกอบรมโมเดลบนชุดข้อมูล Places205

ผลลัพธ์บน ImageNet

ตารางต่อไปนี้เปรียบเทียบวิธีการของโมเดล SEER กับวิธีการฝึกอบรมแบบไม่มีการกำกับและแบบกึ่ง监督บน ImageNet

ผลกระทบของความจุของโมเดล

ตารางต่อไปนี้แสดงผลกระทบของความจุของโมเดลต่อการเรียนรู้ในระดับต่ำที่ 1%, 10% และ 100% ของชุดข้อมูล ImageNet

การถ่ายโอนไปยังเบンチมาร์กอื่นๆ

เพื่อประเมินโมเดล SEER เพิ่มเติมและวิเคราะห์ประสิทธิภาพของมัน ลักษณะที่ฝึกอบรมไว้จะถูกถ่ายโอนไปยังงานที่จะทำต่างๆ

การประเมินเชิงเส้นของการจำแนกประเภทภาพ

ตารางต่อไปนี้เปรียบเทียบลักษณะที่ฝึกอบรมไว้ของโมเดล SEER กับลักษณะที่ฝึกอบรมไว้ของ RegNetY-128GF บน ImageNet

การตรวจจับและแบ่งส่วน

รูปต่อไปนี้เปรียบเทียบลักษณะที่ฝึกอบรมไว้ของโมเดล SEER บนการตรวจจับและแบ่งส่วน

การเปรียบเทียบกับการฝึกอบรมแบบไม่มีการกำกับอ่อน

ส่วนใหญ่ของภาพที่มีอยู่บนอินเทอร์เน็ตมีคำอธิบายหรือข้อความที่สามารถใช้ประโยชน์ได้ในการฝึกอบรม แต่การฝึกอบรมโดยใช้ข้อมูลที่มีการแอนโนเตตแบบอ่อนต้องใช้การกรองภาพและข้อมูลที่มีการแอนโนเตต

การวิเคราะห์ผลกระทบ

การวิเคราะห์ผลกระทบถูกทำเพื่อประเมินผลกระทบของส่วนประกอบเฉพาะต่อประสิทธิภาพโดยรวมของโมเดล

ผลกระทบของสถาปัตยกรรมของโมเดล

สถาปัตยกรรมของโมเดลมีผลกระทบอย่างมากต่อประสิทธิภาพของโมเดล โดยเฉพาะอย่างยิ่งเมื่อปรับขนาดหรือเปลี่ยนแปลงข้อมูลที่ใช้ในการฝึกอบรม

การปรับขนาดของข้อมูลที่ใช้ในการฝึกอบรม

การฝึกอบรมบนชุดข้อมูลขนาดใหญ่จะช่วยให้โมเดลเรียนรู้ลักษณะที่ดีขึ้นและมีประสิทธิภาพมากขึ้น

การเพิ่มจำนวนภาพที่ไม่ซ้ำกัน

การเพิ่มจำนวนภาพที่ไม่ซ้ำกันจะช่วยให้โมเดลเรียนรู้ลักษณะที่ดีขึ้นและมีประสิทธิภาพมากขึ้น

พารามิเตอร์เพิ่มเติม

การเพิ่มพารามิเตอร์จะช่วยให้โมเดลเรียนรู้ลักษณะที่ดีขึ้นและมีประสิทธิภาพมากขึ้น

การมองเห็นของคอมพิวเตอร์แบบไม่มีการกำกับในโลกแห่งความเป็นจริง

จนถึงตอนนี้ เราได้พูดถึงวิธีการทำงานของการเรียนรู้ด้วยตนเองและโมเดล SEER ในด้านการมองเห็นของคอมพิวเตอร์ในทฤษฎี ตอนนี้ มาทำความเข้าใจว่าการมองเห็นของคอมพิวเตอร์แบบไม่มีการกำกับทำงานในสถานการณ์จริงและทำไม SEER จึงเป็นอนาคตของการมองเห็นของคอมพิวเตอร์แบบไม่มีการกำกับ

สรุป: อนาคตของการเรียนรู้ด้วยตนเอง

การเรียนรู้ด้วยตนเองเป็นหัวข้อที่ถูกพูดถึงมากในอุตสาหกรรม AI และ ML เนื่องจากช่วยให้โมเดล AI สามารถเรียนรู้ข้อมูลโดยตรงจากข้อมูลจำนวนมากที่มีอยู่บนอินเทอร์เน็ตโดยไม่ต้องใช้ข้อมูลที่มีการแอนโนเตตหรือจัดระเบียบอย่างระมัดระวัง

การเรียนรู้ด้วยตนเองเป็นแนวคิดที่สำคัญสำหรับอนาคตของ AI และ ML เนื่องจากมีศักยภาพในการช่วยให้นักพัฒนาสามารถสร้างโมเดล AI ที่สามารถปรับตัวเข้ากับสถานการณ์จริงได้ดีขึ้นและมีหลายกรณีการใช้งานมากกว่าเพียงแค่จุดประสงค์เดียว และ SEER เป็นก้าวสำคัญในการนำการเรียนรู้ด้วยตนเองไปใช้ในด้านการมองเห็นของคอมพิวเตอร์

โมเดล SEER เป็นก้าวแรกในการเปลี่ยนแปลงอุตสาหกรรมการมองเห็นของคอมพิวเตอร์และลดการพึ่งพาชุดข้อมูลที่มีการแอนโนเตต โมเดล SEER มุ่งหวังที่จะกำจัดความจำเป็นในการแอนโนเตตชุดข้อมูล ซึ่งจะช่วยให้นักพัฒนาสามารถทำงานกับข้อมูลที่หลากหลายและจำนวนมาก

การกำจัดการแอนโนเตตของมนุษย์จะช่วยให้นักพัฒนาสามารถพัฒนาและใช้งานโมเดลได้เร็วขึ้น ซึ่งจะช่วยให้พวกเขาสามารถตอบสนองต่อสถานการณ์ที่เปลี่ยนแปลงอย่างรวดเร็วได้เร็วขึ้นและมีความแม่นยำมากขึ้น