อะไรคือการเรียนรู้แบบถ่ายโอน

อะไรคือการเรียนรู้แบบถ่ายโอน

เมื่อฝึกอบรมโมเดลการเรียนรู้ของเครื่องจักร การฝึกอบรมโมเดลอาจใช้เวลานาน การสร้างโครงสร้างโมเดลจาก零 การฝึกอบรมโมเดล และการปรับแต่งโมเดลเป็นกระบวนการที่ใช้เวลาและความพยายามอย่างมาก วิธีที่มีประสิทธิภาพมากกว่าในการฝึกอบรมโมเดลการเรียนรู้ของเครื่องจักรคือการใช้โครงสร้างที่ได้ถูกกำหนดไว้แล้ว โดยมีน้ำหนักที่ได้ถูกคำนวณไว้แล้ว สิ่งนี้คือความคิดหลักที่อยู่เบื้องหลัง การเรียนรู้แบบถ่ายโอน โดยการนำโมเดลที่เคยใช้แล้วมาใช้ใหม่สำหรับงานใหม่

ก่อนที่จะเจาะลึกวิธีการใช้การเรียนรู้แบบถ่ายโอน ลองใช้เวลาสักครู่เพื่อทำความเข้าใจว่าทำไมการเรียนรู้แบบถ่ายโอนจึงเป็นเทคนิคที่มีประสิทธิภาพและเป็นประโยชน์

การแก้ปัญหา Deep Learning

เมื่อคุณพยายามแก้ปัญหา Deep Learning เช่น การสร้างตัวจำแนกภาพ คุณจะต้องสร้างโครงสร้างโมเดลและฝึกอบรมโมเดลบนข้อมูลของคุณ การฝึกอบรมตัวจำแนกภาพเกี่ยวข้องกับการปรับเปลี่ยนน้ำหนักของเครือข่าย ซึ่งเป็นกระบวนการที่อาจใช้เวลาหลายชั่วโมงหรือหลายวัน ขึ้นอยู่กับความซับซ้อนของโมเดลและขนาดของชุดข้อมูล เวลาในการฝึกอบรมจะเพิ่มขึ้นตามขนาดของชุดข้อมูลและความซับซ้อนของโครงสร้างโมเดล

หากโมเดลไม่สามารถให้ความแม่นยำที่ต้องการสำหรับงาน คุณอาจต้องปรับแต่งโมเดลและฝึกอบรมใหม่ ซึ่งหมายถึงเวลาฝึกอบรมเพิ่มเติมจนกว่าจะพบโครงสร้างโมเดลที่เหมาะสม ระยะการฝึกอบรม และการแบ่งชุดข้อมูล เมื่อพิจารณาว่ามีตัวแปรหลายตัวที่ต้องสอดคล้องกันเพื่อให้ตัวจำแนกภาพมีประโยชน์ จึงไม่น่าแปลกใจที่วิศวกรการเรียนรู้ของเครื่องจักรกำลังมองหาวิธีการฝึกอบรมและใช้โมเดลที่ง่ายขึ้นและเป็นไปได้มากขึ้น ด้วยเหตุนี้เทคนิคการเรียนรู้แบบถ่ายโอนจึงถูกสร้างขึ้น

หลังจากออกแบบและทดสอบโมเดลแล้ว หากโมเดลแสดงให้เห็นว่ามีประโยชน์ โมเดลสามารถถูกบันทึกและนำกลับมาใช้ใหม่สำหรับปัญหาที่คล้ายคลึงกัน

ประเภทของการเรียนรู้แบบถ่ายโอน

โดยทั่วไป มีสองประเภทหลักของ การเรียนรู้แบบถ่ายโอน คือ การพัฒนาโมเดลจาก零และการใช้โมเดลที่ได้รับการฝึกอบรมไว้แล้ว

เมื่อคุณพัฒนาโมเดลจาก零 คุณจะต้องสร้างโครงสร้างโมเดลที่สามารถตีความข้อมูลฝึกอบรมของคุณและดึงรูปแบบออกมาจากข้อมูลนั้น หลังจากที่โมเดลถูกฝึกอบรมครั้งแรก คุณอาจต้องทำการปรับเปลี่ยนเพื่อให้ได้ประสิทธิภาพที่ดีที่สุดจากโมเดล คุณสามารถบันทึกโครงสร้างโมเดลและใช้เป็นจุดเริ่มต้นสำหรับโมเดลที่จะใช้สำหรับงานที่คล้ายคลึงกัน

ในกรณีที่สอง ซึ่งเป็นการใช้โมเดลที่ได้รับการฝึกอบรมไว้แล้ว คุณเพียงแค่ต้องเลือกโมเดลที่ได้รับการฝึกอบรมไว้แล้วให้ใช้ หลายมหาวิทยาลัยและทีมวิจัยจะเผยแพร่สเปคของโมเดลให้ใช้โดยทั่วไป โครงสร้างของโมเดลสามารถดาวน์โหลดพร้อมกับน้ำหนักได้

เมื่อทำการเรียนรู้แบบถ่ายโอน โครงสร้างโมเดลทั้งหมดและน้ำหนักสามารถใช้สำหรับงานที่ต้องการ หรือเพียงบางส่วนของโมเดลเท่านั้นที่จะถูกนำมาใช้ การใช้เพียงบางส่วนของโมเดลที่ได้รับการฝึกอบรมไว้แล้วและฝึกอบรมส่วนที่เหลือของโมเดลเรียกว่าการปรับแต่ง

การปรับแต่งเครือข่าย

การปรับแต่งเครือข่ายหมายถึงกระบวนการฝึกอบรมบางส่วนของชั้นในเครือข่าย หากชุดข้อมูลใหม่คล้ายกับชุดข้อมูลที่ใช้ในการฝึกอบรมโมเดลเดิม น้ำหนักหลายตัวสามารถนำมาใช้ได้

จำนวนชั้นในเครือข่ายที่ควรปลดล็อกและฝึกอบรมใหม่ควรเพิ่มขึ้นตามขนาดของชุดข้อมูลใหม่ หากชุดข้อมูลที่ใช้ฝึกอบรมมีขนาดเล็ก จะเป็นการดีที่จะเก็บชั้นใหญ่ส่วนใหญ่ไว้และฝึกอบรมเพียงชั้นสุดท้ายบางส่วนเพื่อป้องกันไม่ให้เครือข่ายเกิดการ overfitting ในทางกลับกัน ชั้นสุดท้ายของเครือข่ายที่ได้รับการฝึกอบรมไว้แล้วสามารถถูกลบออกและชั้นใหม่จะถูกเพิ่มเข้ามาและฝึกอบรม ในทางกลับกัน หากชุดข้อมูลมีขนาดใหญ่กว่าชุดข้อมูลเดิม โครงสร้างเครือข่ายทั้งหมดควรได้รับการฝึกอบรมใหม่ เพื่อใช้เครือข่ายเป็น ตัว추출คุณลักษณะแบบคงที่ ส่วนใหญ่ของเครือข่ายสามารถใช้เพื่อ 추출คุณลักษณะและเพียงชั้นสุดท้ายของเครือข่ายเท่านั้นที่จะถูกปลดล็อกและฝึกอบรม

เมื่อคุณกำลังปรับแต่งเครือข่าย โปรดจำไว้ว่าชั้นแรกของ ConvNet มีข้อมูลที่แสดงถึงคุณลักษณะทั่วไปของภาพ เช่น ขอบและสี ในทางกลับกัน ชั้นหลังของ ConvNet มีรายละเอียดที่เฉพาะเจาะจงมากขึ้นสำหรับคลาสที่มีอยู่ในชุดข้อมูลที่โมเดลถูกฝึกอบรมไว้ หากคุณกำลังฝึกอบรมโมเดลบนชุดข้อมูลที่แตกต่างจากชุดข้อมูลเดิม คุณอาจต้องการใช้ชั้นแรกของโมเดลเพื่อ 추출คุณลักษณะและฝึกอบรมส่วนที่เหลือของโมเดล

ตัวอย่างการเรียนรู้แบบถ่ายโอน

การประยุกต์ใช้การเรียนรู้แบบถ่ายโอนที่พบบ่อยที่สุดอาจเป็น那些ที่ใช้ข้อมูลภาพเป็นข้อมูลเข้า ซึ่งมักเป็นงานทำนายหรือการจำแนกประเภท วิธีที่ Convolutional Neural Networks ตีความข้อมูลภาพนั้นเหมาะสมสำหรับการนำส่วนของโมเดลมาใช้ใหม่ เนื่องจากชั้นการฟิลเตอร์หลายชั้นมักจะแยกคุณลักษณะที่คล้ายคลึงกัน ตัวอย่างหนึ่งของปัญหาในการเรียนรู้แบบถ่ายโอนที่พบบ่อยคืองาน ImageNet 1000 ซึ่งเป็นชุดข้อมูลขนาดใหญ่ที่มี 1000 คลาสของวัตถุ บริษัทที่พัฒนาโมเดลที่ให้ผลลัพธ์ที่ดีบนชุดข้อมูลนี้มักจะเผยแพร่โมเดลของตนภายใต้ใบอนุญาตที่อนุญาตให้ผู้อื่นนำไปใช้ใหม่ บางส่วนของโมเดลที่ได้จากการกระบวนการนี้รวมถึง Microsoft ResNet model, Google Inception Model และกลุ่ม Oxford VGG Model