การเรียนรู้ทั้งมวลคืออะไร?

หนึ่งในเทคนิคการเรียนรู้ของเครื่องที่ทรงพลังที่สุดคือการเรียนรู้ทั้งมวล ทั้งมวล การเรียนรู้ คือการใช้โมเดลแมชชีนเลิร์นนิงหลายตัวเพื่อปรับปรุงความน่าเชื่อถือและความแม่นยำของการคาดคะเน แต่การใช้โมเดลแมชชีนเลิร์นนิงหลายตัวนำไปสู่การคาดการณ์ที่แม่นยำยิ่งขึ้นได้อย่างไร เทคนิคแบบใดที่ใช้ในการสร้างแบบจำลองการเรียนรู้ทั้งมวล? เราจะสำรวจคำตอบสำหรับคำถามเหล่านี้ โดยดูที่เหตุผลเบื้องหลังการใช้แบบจำลองทั้งมวลและวิธีหลักในการสร้างแบบจำลองทั้งมวล

การเรียนรู้ทั้งมวลคืออะไร?

พูดง่ายๆ ก็คือ การเรียนรู้ทั้งมวลคือกระบวนการของการฝึกอบรมโมเดลการเรียนรู้ของเครื่องหลาย ๆ แบบและรวมผลลัพธ์เข้าด้วยกัน แบบจำลองต่างๆ ใช้เป็นฐานในการสร้างแบบจำลองการคาดการณ์ที่ดีที่สุด การรวมโมเดลแมชชีนเลิร์นนิงแต่ละชุดที่หลากหลายสามารถปรับปรุงความเสถียรของโมเดลโดยรวม ซึ่งนำไปสู่การคาดการณ์ที่แม่นยำยิ่งขึ้น โมเดลการเรียนรู้ทั้งมวลมักมีความน่าเชื่อถือมากกว่าโมเดลเดี่ยว และด้วยเหตุนี้ โมเดลเหล่านี้จึงมักได้อันดับหนึ่งในการแข่งขันแมชชีนเลิร์นนิงหลายรายการ

มีเทคนิคต่างๆ มากมายที่วิศวกรสามารถใช้เพื่อสร้างโมเดลการเรียนรู้ทั้งมวล เทคนิคการเรียนรู้ทั้งมวลอย่างง่ายรวมถึงสิ่งต่าง ๆ เช่น การหาค่าเฉลี่ยผลลัพธ์ของแบบจำลองต่าง ๆ ในขณะที่ยังมีวิธีการและอัลกอริทึมที่ซับซ้อนมากขึ้นที่พัฒนาขึ้นโดยเฉพาะเพื่อรวมการคาดคะเนของผู้เรียนพื้นฐาน / โมเดลจำนวนมากเข้าด้วยกัน

ทำไมต้องใช้วิธีการฝึกอบรมทั้งมวล?

โมเดลแมชชีนเลิร์นนิงอาจแตกต่างกันด้วยเหตุผลหลายประการ โมเดลแมชชีนเลิร์นนิงที่แตกต่างกันอาจทำงานในตัวอย่างข้อมูลประชากรที่แตกต่างกัน อาจใช้เทคนิคการสร้างโมเดลที่แตกต่างกัน และอาจใช้สมมติฐานที่แตกต่างกัน

ลองนึกภาพว่าคุณกำลังเล่นเกมเรื่องไม่สำคัญกับคนกลุ่มใหญ่ หากคุณอยู่ในทีมคนเดียว จะต้องมีบางหัวข้อที่คุณมีความรู้และหลายหัวข้อที่คุณไม่มีความรู้ ตอนนี้สมมติว่าคุณกำลังเล่นในทีมกับคนอื่น เช่นเดียวกับคุณ พวกเขาจะมีความรู้บางอย่างเกี่ยวกับความพิเศษของตนเองและไม่มีความรู้ในหัวข้ออื่นๆ แต่เมื่อรวมความรู้ของคุณเข้าด้วยกัน คุณจะเดาได้แม่นยำมากขึ้นสำหรับฟิลด์ต่างๆ มากขึ้น และจำนวนหัวข้อที่ทีมของคุณขาดความรู้เกี่ยวกับการย่อขนาด นี่เป็นหลักการเดียวกับที่สนับสนุนการเรียนรู้ทั้งมวล โดยผสมผสานการคาดคะเนของสมาชิกในทีมที่แตกต่างกัน (รุ่นแต่ละรุ่น) เพื่อปรับปรุงความแม่นยำและลดข้อผิดพลาดให้เหลือน้อยที่สุด

นักสถิติได้พิสูจน์แล้ว เมื่อผู้คนจำนวนมากถูกขอให้เดาคำตอบที่ถูกต้องสำหรับคำถามที่กำหนดด้วยคำตอบที่เป็นไปได้หลากหลาย คำตอบทั้งหมดของพวกเขาจะสร้างการแจกแจงความน่าจะเป็น คนที่รู้คำตอบที่ถูกต้องอย่างแท้จริงจะเลือกคำตอบที่ถูกต้องด้วยความมั่นใจ ในขณะที่คนที่เลือกคำตอบผิดจะกระจายการเดาของพวกเขาไปทั่วขอบเขตของคำตอบที่อาจจะผิด ย้อนกลับไปที่ตัวอย่างเกมทายปัญหา หากคุณและเพื่อนอีกสองคนรู้ว่าคำตอบที่ถูกต้องคือ A คุณทั้งสามคนจะโหวต A ในขณะที่อีกสามคนในทีมของคุณที่ไม่รู้คำตอบนั้นน่าจะตอบผิด เดาว่า B, C, D หรือ E ผลลัพธ์คือ A มีสามคะแนน และคำตอบอื่นๆ น่าจะมีคะแนนโหวตสูงสุดเพียงหนึ่งหรือสองคะแนน

ทุกรุ่นมีข้อผิดพลาดจำนวนหนึ่ง ข้อผิดพลาดสำหรับรุ่นหนึ่งจะแตกต่างจากข้อผิดพลาดที่เกิดจากรุ่นอื่น เนื่องจากตัวรุ่นนั้นแตกต่างกันด้วยเหตุผลที่อธิบายไว้ข้างต้น เมื่อตรวจสอบข้อผิดพลาดทั้งหมดแล้ว ข้อผิดพลาดจะไม่รวมอยู่ในคำตอบใดคำตอบหนึ่ง แต่จะกระจายอยู่รอบๆ การคาดเดาที่ไม่ถูกต้องจะกระจายไปทั่วคำตอบที่ผิดที่เป็นไปได้ทั้งหมด และตัดกันเอง ในขณะเดียวกัน การคาดเดาที่ถูกต้องจากแบบจำลองต่างๆ จะถูกจัดกลุ่มตามคำตอบที่ถูกต้องและเป็นจริง เมื่อใช้วิธีการฝึกอบรมทั้งมวล คำตอบที่ถูกต้องสามารถพบได้ด้วยความน่าเชื่อถือที่มากขึ้น.

วิธีการฝึกวงดนตรีอย่างง่าย

วิธีการฝึกอบรมทั้งมวลอย่างง่ายโดยทั่วไปจะเกี่ยวข้องกับแอปพลิเคชัน เทคนิคการสรุปทางสถิติเช่น การกำหนดโหมด ค่าเฉลี่ย หรือค่าเฉลี่ยถ่วงน้ำหนักของชุดการคาดการณ์

โหมดหมายถึงองค์ประกอบที่เกิดขึ้นบ่อยที่สุดภายในชุดตัวเลข เพื่อให้ได้โหมดนี้ โมเดลการเรียนรู้แต่ละรายการจะส่งคืนการคาดคะเน และการคาดคะเนเหล่านี้จะถือเป็นการโหวตสำหรับการคาดคะเนขั้นสุดท้าย การหาค่าเฉลี่ยของการคาดคะเนทำได้ง่าย ๆ โดยการคำนวณค่าเฉลี่ยเลขคณิตของการคาดคะเน โดยปัดเศษให้เป็นจำนวนเต็มที่ใกล้เคียงที่สุด สุดท้าย ค่าเฉลี่ยถ่วงน้ำหนักสามารถคำนวณได้โดยการกำหนดน้ำหนักที่แตกต่างกันให้กับโมเดลที่ใช้ในการสร้างการคาดการณ์ โดยน้ำหนักจะแสดงถึงความสำคัญที่รับรู้ของโมเดลนั้น การแสดงตัวเลขของการคาดคะเนระดับจะถูกคูณควบคู่ไปกับน้ำหนักตั้งแต่ 0 ถึง 1.0 จากนั้นการคาดคะเนที่มีการถ่วงน้ำหนักแต่ละรายการจะรวมกันและผลลัพธ์จะถูกปัดเศษเป็นจำนวนเต็มที่ใกล้ที่สุด

วิธีการฝึกอบรมขั้นสูงทั้งมวล

มีสามเทคนิคการฝึกอบรมวงดนตรีขั้นสูงหลัก ซึ่งแต่ละเทคนิคออกแบบมาเพื่อจัดการกับปัญหาการเรียนรู้ของเครื่องประเภทใดประเภทหนึ่งโดยเฉพาะ เทคนิค "การห่อ" ใช้เพื่อลดความแปรปรวนของการคาดคะเนของแบบจำลอง โดยความแปรปรวนหมายถึงผลลัพธ์ของการคาดคะเนที่แตกต่างกันมากน้อยเพียงใดเมื่ออิงตามการสังเกตเดียวกัน เทคนิค "เพิ่มพลัง" ใช้เพื่อต่อสู้กับอคติของโมเดล ในที่สุด, “ซ้อน” ใช้เพื่อปรับปรุงการคาดการณ์โดยทั่วไป

โดยทั่วไปแล้ววิธีการเรียนรู้ทั้งมวลสามารถแบ่งออกได้เป็นสองกลุ่ม: วิธีตามลำดับและวิธีการทั้งมวลแบบคู่ขนาน

เมธอด Sequential ensemble ได้รับชื่อเป็น “sequential” เนื่องจากผู้เรียนพื้นฐาน/แบบจำลองถูกสร้างขึ้นตามลำดับ ในกรณีของวิธีการตามลำดับ แนวคิดที่สำคัญคือการพึ่งพาอาศัยกันระหว่างผู้เรียนพื้นฐานจะถูกใช้ประโยชน์เพื่อให้ได้รับการคาดคะเนที่แม่นยำยิ่งขึ้น ตัวอย่างที่ติดฉลากไม่ถูกต้องมีการปรับน้ำหนักในขณะที่ตัวอย่างที่ติดฉลากถูกต้องจะรักษาน้ำหนักเท่าเดิม ทุกครั้งที่มีการสร้างผู้เรียนใหม่ น้ำหนักจะเปลี่ยนแปลงและความแม่นยำ (หวังว่าจะ) ดีขึ้น

ตรงกันข้ามกับแบบจำลองทั้งมวลตามลำดับ วิธีการทั้งมวลแบบคู่ขนานจะสร้างผู้เรียนพื้นฐานในแบบคู่ขนาน เมื่อดำเนินการเรียนรู้แบบกลุ่มคู่ขนาน แนวคิดคือการใช้ประโยชน์จากข้อเท็จจริงที่ว่าผู้เรียนพื้นฐานมีความเป็นอิสระ เนื่องจากอัตราข้อผิดพลาดทั่วไปสามารถลดลงได้โดยการคาดคะเนของผู้เรียนแต่ละคนโดยเฉลี่ย

วิธีการฝึกทั้งมวลสามารถเป็นแบบเดียวกันหรือแบบต่างกันในธรรมชาติ วิธีการเรียนรู้แบบทั้งมวลส่วนใหญ่เป็นแบบเดียวกัน หมายความว่าใช้โมเดล/อัลกอริทึมฐานการเรียนรู้ประเภทเดียว ในทางตรงกันข้าม วงดนตรีที่ต่างกันจะใช้อัลกอริทึมการเรียนรู้ที่แตกต่างกัน ทำให้ผู้เรียนมีความหลากหลายและแตกต่างกันไปเพื่อให้แน่ใจว่ามีความแม่นยำสูงสุด

ตัวอย่างของอัลกอริทึมการเรียนรู้ทั้งมวล

การแสดงภาพของการเพิ่มทั้งมวล รูปภาพ: ศิรากร ผ่าน Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

ตัวอย่างของวิธีการทั้งมวลตามลำดับ ได้แก่ เอด้าบูสต์, XGBoostและ การส่งเสริมต้นไม้ไล่ระดับ. ทั้งหมดนี้เป็นโมเดลที่ส่งเสริม สำหรับรูปแบบการส่งเสริมเหล่านี้ เป้าหมายคือการเปลี่ยนผู้เรียนที่อ่อนแอและด้อยประสิทธิภาพให้กลายเป็นผู้เรียนที่มีพลังมากขึ้น โมเดลอย่าง AdaBoost และ XGBoost เริ่มต้นด้วยผู้เรียนที่อ่อนแอจำนวนมากซึ่งทำงานได้ดีกว่าการคาดเดาแบบสุ่มเล็กน้อย ในขณะที่การฝึกอบรมดำเนินต่อไป น้ำหนักจะถูกนำไปใช้กับข้อมูลและปรับ ตัวอย่างที่ผู้เรียนจำแนกอย่างไม่ถูกต้องในการฝึกรอบก่อนหน้านี้จะมีน้ำหนักมากกว่า หลังจากกระบวนการนี้ทำซ้ำตามจำนวนรอบการฝึกอบรมที่ต้องการ การคาดคะเนจะรวมเข้าด้วยกันโดยใช้ผลรวมถ่วงน้ำหนัก (สำหรับงานถดถอย) และการลงคะแนนเสียง (สำหรับงานจำแนกประเภท)

กระบวนการเรียนรู้การบรรจุถุง รูปภาพ: SeattleDataGuy ผ่าน Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

ตัวอย่างของรูปแบบชุดคู่ขนานคือ ป่าสุ่ม ลักษณนามและ Random Forests เป็นตัวอย่างของเทคนิคการบรรจุถุง คำว่า "การบรรจุถุง" มาจาก "การรวมบูตสแตรป" ตัวอย่างนำมาจากชุดข้อมูลทั้งหมดโดยใช้เทคนิคการสุ่มตัวอย่างที่เรียกว่า "การสุ่มตัวอย่างแบบบูต" ซึ่งผู้เรียนพื้นฐานใช้ในการคาดคะเน สำหรับงานจำแนกประเภท ผลลัพธ์ของโมเดลพื้นฐานจะถูกรวมเข้าด้วยกันโดยใช้การลงคะแนนเสียง ในขณะที่พวกมันจะถูกเฉลี่ยเข้าด้วยกันสำหรับงานการถดถอย Random Forests ใช้แผนผังการตัดสินใจแต่ละรายการเป็นฐานการเรียนรู้ และต้นไม้แต่ละต้นในชุดข้อมูลจะถูกสร้างขึ้นโดยใช้ตัวอย่างที่แตกต่างจากชุดข้อมูล ชุดย่อยของคุณลักษณะแบบสุ่มยังใช้เพื่อสร้างแผนผัง นำไปสู่แผนผังการตัดสินใจแต่ละรายการที่มีการสุ่มตัวอย่างสูง ซึ่งรวมเข้าด้วยกันเพื่อให้การคาดการณ์ที่เชื่อถือได้

การแสดงภาพของการซ้อนทั้งมวล รูปภาพ: Supun Setunga ผ่าน Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

ในแง่ของเทคนิคการซ้อนทั้งมวล แบบจำลองการถดถอยหรือการจำแนกหลายรายการจะรวมกันผ่านเมตาโมเดลในระดับที่สูงขึ้น โมเดลพื้นฐานระดับล่างกำลังฝึกโดยการป้อนชุดข้อมูลทั้งหมด ผลลัพธ์ของโมเดลพื้นฐานจะถูกใช้เป็นคุณสมบัติในการฝึกโมเดลเมตา แบบจำลองชุดซ้อนกันมักมีลักษณะต่างกัน