Що таке ансамблеве навчання?

Одним із найпотужніших методів машинного навчання є ансамблеве навчання. Ансамбль вивчення це використання багатьох моделей машинного навчання для підвищення надійності та точності прогнозів. Але як використання кількох моделей машинного навчання призводить до більш точних прогнозів? Які техніки використовуються для створення ансамблевих моделей навчання? Ми дослідимо відповідь на ці запитання, поглянемо на обґрунтування використання моделей ансамблю та основні способи створення моделей ансамблю.

Що таке ансамблеве навчання?

Простіше кажучи, ансамблеве навчання — це процес навчання кількох моделей машинного навчання та поєднання їх результатів. Різні моделі використовуються як основа для створення однієї оптимальної прогнозної моделі. Поєднання різноманітного набору індивідуальних моделей машинного навчання може підвищити стабільність загальної моделі, що призведе до більш точних прогнозів. Ансамблеві моделі навчання часто надійніші, ніж окремі моделі, і, як наслідок, вони часто посідають перші місця в багатьох змаганнях з машинного навчання.

Існують різні методи, які інженер може використати для створення моделі навчання ансамблю. Прості методи ансамблевого навчання включають такі речі, як усереднення результатів різних моделей, тоді як існують також більш складні методи та алгоритми, розроблені спеціально для поєднання прогнозів багатьох базових учнів/моделей.

Навіщо використовувати методи навчання в ансамблі?

Моделі машинного навчання можуть відрізнятися одна від одної з різних причин. Різні моделі машинного навчання можуть працювати з різними вибірками даних сукупності, можуть використовуватися різні методи моделювання та різні гіпотези.

Уявіть, що ви граєте в дрібниці з великою групою людей. Якщо ви працюєте в одній команді, обов’язково є теми, про які ви знаєте, і багато тем, про які ви не знаєте. Тепер припустімо, що ви граєте в команді з іншими людьми. Як і ви, вони матимуть певні знання щодо власних спеціальностей і не знатимуть інших тем. Проте, коли ваші знання об’єднані, ви маєте точніші припущення для більшої кількості полів, а кількість тем, про які ваша команда не знає, зменшується. Це той самий принцип, який лежить в основі ансамблевого навчання, поєднуючи передбачення різних членів команди (окремих моделей) для підвищення точності та мінімізації помилок.

Статистики довели що коли натовп людей просять вгадати правильну відповідь на дане запитання з діапазоном можливих відповідей, усі їхні відповіді утворюють розподіл ймовірностей. Люди, які справді знають правильну відповідь, впевнено виберуть правильну відповідь, тоді як люди, які виберуть неправильні відповіді, розподілять свої припущення між можливими неправильними відповідями. Повертаючись до прикладу дрібниць, якщо ви та ваші друзі знаєте, що правильна відповідь А, ви всі троє проголосуєте за А, тоді як троє інших людей у ​​вашій команді, які не знають відповіді, ймовірно, проголосують неправильно. вгадайте B, C, D або E. У результаті A має три голоси, а інші відповіді, ймовірно, матимуть лише один або максимум два голоси.

Усі моделі мають певну похибку. Помилки однієї моделі відрізнятимуться від помилок іншої моделі, оскільки самі моделі відрізняються з описаних вище причин. Коли перевіряються всі помилки, вони не будуть згруповані навколо однієї чи іншої відповіді, вони будуть розкидані. Неправильні припущення по суті розподіляються між усіма можливими неправильними відповідями, скасовуючи одна одну. Тим часом правильні припущення з різних моделей будуть згруповані навколо правдивої, правильної відповіді. При використанні ансамблевих методів навчання правильну відповідь можна знайти з більшою надійністю.

Прості методи тренування в ансамблі

Прості методи тренування в ансамблі зазвичай включають лише застосування методика статистичного зведенняs, наприклад, визначення моди, середнього або середнього зваженого набору прогнозів.

Режим відноситься до елемента, який найчастіше зустрічається в наборі чисел. Щоб отримати режим, окремі моделі навчання повертають свої прогнози, і ці прогнози вважаються голосами щодо остаточного прогнозу. Визначення середнього значення прогнозів виконується просто шляхом обчислення середнього арифметичного прогнозів, округленого до найближчого цілого числа. Нарешті, зважене середнє значення можна обчислити шляхом призначення різних ваг моделям, які використовуються для створення прогнозів, причому ваги представляють сприйняту важливість цієї моделі. Числове представлення передбачення класу множиться на вагу від 0 до 1.0, потім окремі зважені прогнози підсумовуються, а результат округлюється до найближчого цілого числа.

Поглиблені методи ансамблевого навчання

Існує три основні вдосконалені техніки ансамблевого навчання, кожна з яких призначена для вирішення конкретного типу проблеми машинного навчання. Техніка «мішків». використовуються для зменшення дисперсії прогнозів моделі, причому дисперсія стосується того, наскільки різняться результати прогнозів, засновані на тому самому спостереженні. Методи «підсилення». використовуються для боротьби з упередженістю моделей. нарешті, «укладання» використовується для покращення прогнозів у цілому.

Самі ансамблеві методи навчання загалом можна розділити на одну з двох різних груп: послідовні методи та паралельні ансамблеві методи.

Методи послідовного ансамблю отримали назву «послідовний», оскільки базові учні/моделі генеруються послідовно. У випадку послідовних методів основна ідея полягає в тому, що залежність між базовими учнями використовується для отримання більш точних прогнозів. Неправильно позначені приклади мають свої ваги, тоді як правильно позначені приклади зберігають ті самі ваги. Щоразу, коли створюється новий учень, ваги змінюються, а точність (сподіваємось) покращується.

На відміну від моделей послідовного ансамблю, методи паралельного ансамблю створюють базових учнів паралельно. При виконанні паралельного ансамблевого навчання ідея полягає в тому, щоб використати той факт, що базові учні мають незалежність, оскільки загальний рівень помилок можна зменшити шляхом усереднення прогнозів окремих учнів.

Ансамблеві методи навчання можуть бути як однорідними, так і гетерогенними. Більшість методів ансамблевого навчання є однорідними, тобто вони використовують один тип базової моделі/алгоритму навчання. Навпаки, гетерогенні ансамблі використовують різні алгоритми навчання, урізноманітнюючи та варіюючи учнів, щоб забезпечити якомога високу точність.

Приклади алгоритмів ансамблевого навчання

Візуалізація посилення ансамблю. Фото: Sirakorn через Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Приклади методів послідовного ансамблю включають AdaBoost, XGBoost та Посилення дерева градієнта. Це всі моделі підвищення. Для цих моделей стимулювання мета полягає в тому, щоб перетворити слабких, погано успішних учнів на сильніших учнів. Такі моделі, як AdaBoost і XGBoost, починаються з багатьох слабких учнів, які працюють трохи краще, ніж випадкове вгадування. Під час навчання до даних застосовуються та коригуються ваги. Прикладам, які були неправильно класифіковані учнями на попередніх етапах навчання, надається більша вага. Після того, як цей процес повторюється протягом бажаної кількості тренувальних раундів, прогнози об’єднуються за допомогою зваженої суми (для завдань регресії) і зваженого голосування (для завдань класифікації).

Процес навчання мішка. Фото: SeattleDataGuy через Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Прикладом моделі паралельного ансамблю є a Випадковий ліс класифікатор, а випадкові ліси також є прикладом техніки пакетування. Термін «пакетування» походить від «завантажувальної агрегації». Зразки беруться із загального набору даних за допомогою методики вибірки, відомої як «початкова вибірка», яка використовується базовими учнями для прогнозування. Для завдань класифікації результати базових моделей агрегуються за допомогою голосування, тоді як для завдань регресії вони усереднюються разом. Випадкові ліси використовують окремі дерева рішень як базові дослідники, і кожне дерево в ансамблі будується з використанням різних зразків із набору даних. Для створення дерева також використовується випадкова підмножина ознак. Це призводить до рандомізованих окремих дерев рішень, які об’єднуються разом, щоб забезпечити надійні прогнози.

Візуалізація укладання ансамблю. Фото: Супун Сетунга через Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

З точки зору методів сумісного ансамблю, моделі множинної регресії або класифікації об’єднуються разом за допомогою вищого рівня, метамоделі. Базові моделі нижчого рівня навчаються, завантажуючи весь набір даних. Потім результати базових моделей використовуються як функції для навчання метамоделі. Моделі укладання ансамблю часто неоднорідні за своєю природою.