Что такое ансамблевое обучение?

Одним из самых мощных методов машинного обучения является ансамблевое обучение. Ансамбль изучение заключается в использовании нескольких моделей машинного обучения для повышения надежности и точности прогнозов. Но как использование нескольких моделей машинного обучения приводит к более точным прогнозам? Какие методы используются для создания ансамблевых моделей обучения? Мы рассмотрим ответы на эти вопросы, взглянув на обоснование использования ансамблевых моделей и основные способы создания ансамблевых моделей.

Что такое ансамблевое обучение?

Проще говоря, ансамблевое обучение — это процесс обучения нескольких моделей машинного обучения и объединения их результатов. Различные модели используются в качестве основы для создания одной оптимальной прогностической модели. Объединение разнообразного набора отдельных моделей машинного обучения может повысить стабильность модели в целом, что приведет к более точным прогнозам. Модели ансамблевого обучения часто более надежны, чем отдельные модели, и в результате они часто занимают первые места во многих соревнованиях по машинному обучению.

Существуют различные методы, которые инженер может использовать для создания ансамблевой модели обучения. Простые методы ансамблевого обучения включают в себя такие вещи, как усреднение результатов различных моделей, в то время как существуют также более сложные методы и алгоритмы, разработанные специально для объединения прогнозов многих базовых обучающихся/моделей вместе.

Зачем использовать ансамблевые методы обучения?

Модели машинного обучения могут отличаться друг от друга по разным причинам. Различные модели машинного обучения могут работать с разными выборками данных о населении, могут использоваться разные методы моделирования и могут использоваться разные гипотезы.

Представьте, что вы играете в викторину с большой группой людей. Если вы работаете в команде в одиночку, обязательно должны быть некоторые темы, о которых вы знаете, и многие темы, о которых вы не знаете. Теперь предположим, что вы играете в команде с другими людьми. Как и вы, они будут иметь некоторые знания по своим специальностям и не будут знать других тем. Тем не менее, когда ваши знания объединяются, у вас есть более точные предположения для большего количества областей, и количество тем, о которых вашей команде не хватает знаний, сокращается. Это тот же принцип, который лежит в основе ансамблевого обучения, объединяющего прогнозы разных членов команды (индивидуальные модели) для повышения точности и минимизации ошибок.

Статистики доказали что, когда толпу людей просят угадать правильный ответ на заданный вопрос с диапазоном возможных ответов, все их ответы образуют распределение вероятностей. Люди, которые действительно знают правильный ответ, с уверенностью выберут правильный ответ, в то время как люди, выбравшие неправильные ответы, распределит свои предположения по диапазону возможных неправильных ответов. Возвращаясь к примеру с викториной, если вы и двое ваших друзей знаете, что правильный ответ — А, вы все трое проголосуете А, а трое других членов вашей команды, которые не знают ответа, скорее всего, проголосуют неправильно. предположите B, C, D или E. В результате A имеет три голоса, а другие ответы, вероятно, будут иметь только один или максимум два голоса.

Все модели имеют некоторую погрешность. Ошибки для одной модели будут отличаться от ошибок, производимых другой моделью, поскольку сами модели различны по причинам, описанным выше. Когда все ошибки будут проверены, они не будут сгруппированы вокруг того или иного ответа, а будут разбросаны вокруг. Неверные предположения по существу распределяются по всем возможным неправильным ответам, компенсируя друг друга. Между тем, правильные предположения из разных моделей будут сгруппированы вокруг истинного, правильного ответа. При использовании ансамблевых методов обучения правильный ответ можно найти с большей достоверностью.

Простые методы обучения ансамблю

Простые ансамблевые методы обучения обычно просто включают в себя применение метод статистического обобщенияs, такие как определение режима, среднего или средневзвешенного набора прогнозов.

Мода относится к наиболее часто встречающемуся элементу в наборе чисел. Чтобы получить режим, отдельные модели обучения возвращают свои прогнозы, и эти прогнозы считаются голосами в отношении окончательного прогноза. Определение среднего значения прогнозов выполняется просто путем вычисления среднего арифметического прогнозов, округленного до ближайшего целого числа. Наконец, средневзвешенное значение может быть рассчитано путем присвоения различных весов моделям, используемым для создания прогнозов, причем веса представляют воспринимаемую важность этой модели. Числовое представление прогноза класса умножается на вес от 0 до 1.0, затем отдельные взвешенные прогнозы суммируются, и результат округляется до ближайшего целого числа.

Продвинутые методы обучения ансамблю

Существует три основных метода расширенного ансамблевого обучения, каждый из которых предназначен для решения определенного типа задач машинного обучения. Техника «бэгинга» используются для уменьшения дисперсии прогнозов модели, при этом дисперсия относится к тому, насколько различаются результаты прогнозов, основанных на одном и том же наблюдении. Техники «усиления» используются для борьбы с предвзятостью моделей. Окончательно, «укладка» используется для улучшения прогнозов в целом.

Сами методы ансамблевого обучения обычно можно разделить на две группы: последовательные методы и параллельные ансамблевые методы.

Последовательные ансамблевые методы получили название «последовательные», потому что базовые обучающиеся/модели генерируются последовательно. В случае последовательных методов основная идея заключается в том, что зависимость между базовыми учениками используется для получения более точных прогнозов. Веса примеров с неправильной маркировкой корректируются, в то время как примеры с правильной маркировкой сохраняют тот же вес. Каждый раз, когда создается новый ученик, веса меняются, а точность (надеюсь) улучшается.

В отличие от моделей последовательного ансамбля, методы параллельного ансамбля генерируют базовых учеников параллельно. При выполнении параллельного ансамблевого обучения идея состоит в том, чтобы использовать тот факт, что базовые учащиеся обладают независимостью, поскольку общий уровень ошибок может быть уменьшен за счет усреднения прогнозов отдельных учащихся.

Ансамблевые методы обучения могут носить как гомогенный, так и гетерогенный характер. Большинство методов ансамблевого обучения являются однородными, что означает, что они используют один тип базовой модели/алгоритма обучения. Напротив, гетерогенные ансамбли используют разные алгоритмы обучения, диверсифицируя и варьируя учеников, чтобы обеспечить максимально возможную точность.

Примеры ансамблевых алгоритмов обучения

Визуализация усиления ансамбля. Фото: Сиракорн через Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Примеры методов последовательного ансамбля включают АдаБуст, XGBoostкачества Повышение градиентного дерева. Это все бустинговые модели. Для этих моделей повышения цель состоит в том, чтобы превратить слабых, неэффективных учеников в более сильных учеников. Такие модели, как AdaBoost и XGBoost, начинаются со многих слабых учеников, которые работают чуть лучше, чем случайное угадывание. По мере продолжения обучения к данным применяются веса и корректируются. Случаи, которые были неправильно классифицированы учащимися в более ранних раундах обучения, получают больший вес. После того, как этот процесс повторяется для желаемого количества раундов обучения, прогнозы объединяются либо с помощью взвешенной суммы (для задач регрессии), либо с помощью взвешенного голосования (для задач классификации).

Процесс обучения мешкованию. Фото: SeattleDataGuy через Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Примером модели параллельного ансамбля является Случайный Лес классификатор, а Random Forests также являются примером техники мешков. Термин «бэггинг» происходит от «начальной агрегации». Выборки берутся из общего набора данных с использованием метода выборки, известного как «самостоятельная выборка», который используется базовыми учащимися для прогнозирования. Для задач классификации выходные данные базовых моделей агрегируются с помощью голосования, а для задач регрессии они усредняются. Random Forests использует отдельные деревья решений в качестве базовых обучающих программ, и каждое дерево в ансамбле строится с использованием разных выборок из набора данных. Случайное подмножество признаков также используется для создания дерева. Это приводит к сильно рандомизированным деревьям решений, которые объединяются вместе для обеспечения надежных прогнозов.

Визуализация укладки ансамбля. Фото: Supun Setunga через Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

С точки зрения методов наложения ансамбля множественные регрессионные или классификационные модели объединяются вместе с помощью метамодели более высокого уровня. Базовые модели нижнего уровня тренируются, получая весь набор данных. Затем выходные данные базовых моделей используются в качестве признаков для обучения метамодели. Модели стекинговых ансамблей часто бывают неоднородными по своей природе.