อะไรคือการเรียนรู้แบบアンサンブル?

เทคนิคการเรียนรู้ของเครื่องจักรที่ทรงพลังที่สุดเทคนิคหนึ่งคือการเรียนรู้แบบアンサンブル การเรียนรู้แบบ アンサンブル คือการใช้แบบจำลองการเรียนรู้ของเครื่องจักรหลายแบบเพื่อเพิ่มความน่าเชื่อถือและความแม่นยำของการทำนาย แต่การเรียนรู้แบบアンサンブルทำงานอย่างไร และเทคนิคใดที่ใช้ในการสร้างแบบจำลองการเรียนรู้แบบアンサンブル เราจะสำรวจคำตอบเหล่านี้โดยมองไปที่เหตุผลเบื้องหลังการใช้แบบจำลองアンサンブルและวิธีการสร้างแบบจำลองเหล่านั้น

อะไรคือการเรียนรู้แบบアンサンブル?

การเรียนรู้แบบアンサンブルเป็นกระบวนการฝึกแบบจำลองการเรียนรู้ของเครื่องจักรหลายแบบและรวมผลลัพธ์ของพวกมันเข้าด้วยกัน แบบจำลองที่แตกต่างกันใช้เป็นฐานในการสร้างแบบจำลองทำนายที่เหมาะสมที่สุด การรวมแบบจำลองการเรียนรู้ของเครื่องจักรที่หลากหลายเข้าด้วยกันสามารถปรับปรุงความเสถียรของแบบจำลองโดยรวมได้ ซึ่งนำไปสู่การทำนายที่แม่นยำยิ่งขึ้น แบบจำลองการเรียนรู้แบบアンサンบลมักจะน่าเชื่อถือมากกว่าแบบจำลองเดี่ยว และด้วยเหตุนี้จึงได้รับการจัดอันดับสูงสุดในการแข่งขันการเรียนรู้ของเครื่องจักรหลายรายการ
มีเทคนิคต่างๆ มากมายที่วิศวกรสามารถใช้เพื่อสร้างแบบจำลองการเรียนรู้แบบアンサンブル เทคนิคการเรียนรู้แบบアンサンบลที่เรียบง่ายรวมถึงสิ่งต่างๆ เช่น การเฉลี่ยผลลัพธ์ของแบบจำลองที่แตกต่างกัน ในขณะที่มีวิธีการที่ซับซ้อนกว่าและขั้นตอนวิธีที่พัฒนาขึ้นเพื่อรวมการทำนายของแบบจำลองฐานหลายแบบเข้าด้วยกัน

ทำไมต้องใช้เทคนิคการฝึกแบบアンサンブル?

แบบจำลองการเรียนรู้ของเครื่องจักรสามารถแตกต่างกันเนื่องจากหลายปัจจัย แบบจำลองการเรียนรู้ของเครื่องจักรที่แตกต่างกันอาจดำเนินการบนชุดตัวอย่างประชากรที่แตกต่างกัน เทคนิคการสร้างแบบจำลองที่แตกต่างกันอาจถูกนำมาใช้ และสมมติฐานที่แตกต่างกันอาจถูกนำมาใช้

ลองนึกภาพว่าคุณกำลังเล่นเกมทีวีทริเวียพร้อมกับกลุ่มคนจำนวนมาก หากคุณอยู่ในทีมเดียว มีแนวโน้มว่าจะมีหัวข้อบางอย่างที่คุณมีความรู้และหัวข้ออื่นๆ ที่คุณไม่มีความรู้ ตอนนี้สมมติว่าคุณกำลังเล่นในทีมกับคนอื่นๆ เช่นเดียวกับคุณ พวกเขาจะมีความรู้เกี่ยวกับพิเศษของตนเองและไม่มีความรู้เกี่ยวกับหัวข้ออื่นๆ แต่เมื่อรวมความรู้ของคุณเข้าด้วยกัน คุณจะมีการเดาที่แม่นยำยิ่งขึ้นสำหรับหลายๆ สนาม และจำนวนหัวข้อที่ทีมของคุณไม่มีความรู้จะลดลง นี่คือหลักการเดียวกับที่อยู่ภายใต้การเรียนรู้แบบアンサนบล โดยการรวมการทำนายของแบบจำลองเดี่ยว (แบบจำลองเดี่ยว) เพื่อปรับปรุงความแม่นยำและลดข้อผิดพลาด

นักสถิติได้พิสูจน์แล้ว ว่าเมื่อมีการถามกลุ่มคนให้เดาคำตอบที่ถูกต้องสำหรับคำถามที่มีคำตอบที่เป็นไปได้หลายคำตอบ การตอบของพวกเขาจะสร้างการกระจายความน่าจะเป็น คนที่รู้คำตอบที่ถูกต้องจะเลือกคำตอบที่ถูกต้องด้วยความมั่นใจ ในขณะที่คนที่เลือกคำตอบที่ไม่ถูกต้องจะกระจายการเดาของพวกเขาไปทั่วช่วงของคำตอบที่ไม่ถูกต้องที่เป็นไปได้ กลับไปที่ตัวอย่างเกมทีวีทริเวีย หากคุณและเพื่อนสองคนของคุณรู้ว่าคำตอบที่ถูกต้องคือ เอ ทั้งสามคนจะลงคะแนนเสียงให้เอ ในขณะที่คนสามคนในทีมของคุณที่ไม่รู้คำตอบจะเดาเบ, ซี, ดี, หรืออี โดยมีเพียงหนึ่งหรือสองเสียงเท่านั้น

ทุกแบบจำลองมีข้อผิดพลาดบางอย่าง ข้อผิดพลาดของแบบจำลองหนึ่งจะแตกต่างจากข้อผิดพลาดที่สร้างโดยแบบจำลองอื่น เนื่องจากแบบจำลองเหล่านั้นแตกต่างกันเนื่องจากเหตุผลที่อธิบายไว้ข้างต้น เมื่อตรวจสอบข้อผิดพลาดทั้งหมด พวกมันจะไม่รวมกันรอบคำตอบหนึ่งหรืออีกคำตอบหนึ่ง แต่จะกระจายไปรอบๆ ทั้งหมด การเดาที่ไม่ถูกต้องจะกระจายไปทั่วคำตอบที่ไม่ถูกต้องที่เป็นไปได้ทั้งหมด ทำให้การเดาที่ถูกต้องจากแบบจำลองต่างๆ รวมกันรอบคำตอบที่ถูกต้อง เมื่อใช้เทคนิคการฝึกแบบアンサンブル คำตอบที่ถูกต้องสามารถพบได้ด้วยความน่าเชื่อถือที่สูงกว่า

เทคนิคการฝึกแบบアンサンブルที่เรียบง่าย

เทคนิคการฝึกแบบアンサนบลที่เรียบง่ายมักจะเกี่ยวข้องกับการใช้เทคนิคสรุปทางสถิติ เช่น การกำหนดโหมด ค่าเฉลี่ย หรือค่าเฉลี่ยถ่วงน้ำหนักของชุดการทำนาย
โหมดหมายถึงองค์ประกอบที่เกิดขึ้นบ่อยที่สุดในชุดตัวเลข ในการหาค่าโหมด แบบจำลองการเรียนรู้ของเครื่องจักรแต่ละแบบจะส่งผลลัพธ์ของตนซึ่งถือเป็นการลงคะแนนเสียงสำหรับการทำนายสุดท้าย การหาค่าเฉลี่ยของการทำนายจะทำได้โดยการคำนวณค่าเฉลี่ยของการทำนายและปัดเศษให้เป็นจำนวนเต็มที่ใกล้ที่สุด สุดท้าย ค่าเฉลี่ยถ่วงน้ำหนักสามารถคำนวณได้โดยการกำหนดน้ำหนักที่แตกต่างกันให้กับแบบจำลองที่ใช้ในการทำนาย โดยที่น้ำหนักแสดงถึงความสำคัญที่รับรู้ของแบบจำลองนั้น ค่าแทนจำแนกประเภทการทำนายจะถูกคูณด้วยน้ำหนักตั้งแต่ 0 ถึง 1.0 การทำนายที่ถูกน้ำหนักจะถูกบวกเข้าด้วยกัน และผลลัพธ์จะปัดเศษให้เป็นจำนวนเต็มที่ใกล้ที่สุด

เทคนิคการฝึกแบบアンサンブルขั้นสูง

มีเทคนิคการฝึกแบบアンサนบลขั้นสูงสามแบบหลักๆ แต่ละแบบได้รับการออกแบบมาเพื่อจัดการกับปัญหาการเรียนรู้ของเครื่องจักรที่เฉพาะเจาะจง เทคนิค “แบกกิ้ง” ใช้เพื่อลดความแปรปรวนของการทำนายแบบจำลอง โดยที่ความแปรปรวนหมายถึงว่าการทำนายแตกต่างกันแค่ไหนเมื่อสร้างจากการสังเกตที่เหมือนกัน เทคนิค “การเพิ่มประสิทธิภาพ” ใช้เพื่อต่อสู้กับความเอนเอียงของแบบจำลอง สุดท้าย “การวางซ้อนกัน” ใช้เพื่อปรับปรุงการทำนายโดยทั่วไป

วิธีการเรียนรู้แบบアンサนบลสามารถแบ่งออกเป็นสองประเภทหลักๆ ได้แก่ วิธีการเรียงลำดับและวิธีการเรียงขนาน

วิธีการเรียงลำดับได้รับการตั้งชื่อตาม “ลำดับ” เนื่องจากแบบจำลองฐานถูกสร้างขึ้นตามลำดับ ในกรณีของวิธีการเรียงลำดับ ความคิดหลักคือการใช้ความสัมพันธ์ระหว่างแบบจำลองฐานเพื่อให้ได้การทำนายที่แม่นยำยิ่งขึ้น ตัวอย่างที่ถูกมองข้ามจะมีน้ำหนักที่ปรับเปลี่ยน ในขณะที่ตัวอย่างที่มีฉลากที่ถูกต้องจะรักษาน้ำหนักเดิมไว้ ทุกครั้งที่มีการสร้างแบบจำลองใหม่ น้ำหนักจะเปลี่ยนแปลงและความแม่นยำ (หวังว่า) จะดีขึ้น

ในทางตรงกันข้ามกับแบบจำลองアンサนบลแบบเรียงลำดับ แบบจำลองアンサนบลแบบเรียงขนานจะสร้างแบบจำลองฐานในแบบขนาน เมื่อใช้แบบจำลองアンサนบลแบบเรียงขนาน ความคิดหลักคือการเอาเปรียบความเป็นอิสระของแบบจำลองฐาน เนื่องจากอัตราความผิดพลาดโดยทั่วไปสามารถลดลงได้โดยการเฉลี่ยการทำนายของแบบจำลองเดี่ยว

เทคนิคการฝึกแบบアンサนบลสามารถเป็นแบบโฮโมจีเนียส (homogeneous) หรือเฮเทอโรจีเนียส (heterogeneous) ได้ เทคนิคการเรียนรู้แบบアンサนบลส่วนใหญ่เป็นแบบโฮโมจีเนียส ซึ่งหมายความว่าพวกมันใช้แบบจำลองการเรียนรู้ของเครื่องจักรฐานเดียวกันหรืออัลกอริทึม ในทางตรงกันข้าม แบบจำลองアンサนบลที่เป็นแบบเฮเทอโรจีเนียสใช้แบบจำลองการเรียนรู้หรืออัลกอริทึมที่แตกต่างกัน

ตัวอย่างของแบบจำลองการเรียนรู้แบบアンサンブル

การแสดงภาพของการเพิ่มประสิทธิภาพแบบアンサนบล Photo: Sirakorn via Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

ตัวอย่างของแบบจำลองアンサนบลแบบเรียงลำดับ ได้แก่ AdaBoost, XGBoost และ การเพิ่มประสิทธิภาพด้วยต้นไม้ นี่คือแบบจำลองการเพิ่มประสิทธิภาพทั้งหมด โดยมีเป้าหมายในการเปลี่ยนแบบจำลองที่อ่อนแอและทำงานไม่ดีให้กลายเป็นแบบจำลองที่ทรงพลังยิ่งขึ้น แบบจำลองการเพิ่มประสิทธิภาพ เช่น AdaBoost และ XGBoost เริ่มต้นด้วยแบบจำลองที่อ่อนแอหลายแบบที่ทำงานเพียงเล็กน้อยเหนือการเดาแบบสุ่ม เมื่อการฝึกดำเนินต่อไป น้ำหนักจะถูกใช้กับข้อมูลและปรับเปลี่ยน ตัวอย่างที่ถูกจำแนกอย่างไม่ถูกต้องโดยแบบจำลองในรอบการฝึกก่อนหน้านี้จะได้รับน้ำหนักที่สูงขึ้น หลังจากที่กระบวนการนี้ทำซ้ำสำหรับจำนวนรอบการฝึกที่ต้องการ การทำนายจะถูกผสมเข้าด้วยกันผ่านผลรวมถ่วงน้ำหนัก (สำหรับงานการถดถอย) และการลงคะแนนเสียงถ่วงน้ำหนัก (สำหรับงานการจำแนกประเภท)

กระบวนการเรียนรู้แบกกิ้ง Photo: SeattleDataGuy via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

ตัวอย่างของแบบจำลองアンサนบลแบบเรียงขนานคือ ป่าแบบสุ่ม และป่าแบบสุ่มยังเป็นตัวอย่างของเทคนิคแบกกิ้งด้วย เทคนิค “แบกกิ้ง” มาจาก “การรวมแบบสุ่ม” ตัวอย่างจะถูกดึงมาจากชุดข้อมูลทั้งหมดโดยใช้เทคนิคการวาดตัวอย่างที่เรียกว่า “การวาดตัวอย่างแบบสุ่ม” ตัวอย่างเหล่านี้จะถูกใช้โดยแบบจำลองฐานเพื่อทำการทำนาย สำหรับงานการจำแนกประเภท การทำนายของแบบจำลองฐานจะถูกผสมผสานโดยใช้การลงคะแนนเสียง ในขณะที่การทำนายจะถูกเฉลี่ยสำหรับงานการถดถอย ป่าแบบสุ่มใช้ต้นไม้การตัดสินใจเดี่ยวเป็นแบบจำลองฐาน และแต่ละต้นในアンサンบลจะถูกสร้างขึ้นโดยใช้ตัวอย่างที่แตกต่างกันจากชุดข้อมูล นอกจากนี้ยังใช้ชุดค่าลักษณะที่สุ่มขึ้นมาเพื่อสร้างต้นไม้ ส่งผลให้ต้นไม้การตัดสินใจเดี่ยวที่สุ่มขึ้นมาและรวมกันเพื่อให้ได้การทำนายที่น่าเชื่อถือ

การแสดงภาพของการวางซ้อนกันแบบアンサนบล Photo: Supun Setunga via Wikimedia Commons, CC BY S.A 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

ในแง่ของเทคนิคการวางซ้อนกันแบบアンサนบล แบบจำลองการถดถอยหรือการจำแนกประเภทหลายแบบจะถูกผสมผสานเข้าด้วยกันผ่านแบบจำลองระดับสูงหรือแบบจำลองเมต้า แบบจำลองฐานระดับต่ำจะถูกฝึกโดยการให้อาหารชุดข้อมูลทั้งหมด การทำนายของแบบจำลองฐานจะถูกใช้เป็นคุณลักษณะในการฝึกแบบจำลองเมต้า แบบจำลองアンサนบลแบบการวางซ้อนกันบ่อยครั้งมีลักษณะที่เป็นแบบเฮเทอโรจีเนียส