Генеративные и дискриминационные модели машинного обучения

Некоторые модели машинного обучения относятся либо к «генеративным», либо к «дискриминативным» категориям моделей. Но что такое разница между эти две категории моделей? Что означает, что модель может быть дискриминационной или генеративной?

Короткий ответ заключается в том, что генеративные модели включают в себя распределение набора данных, возвращая вероятность для данного примера. Генеративные модели часто используются для предсказания того, что произойдет дальше в последовательности. Между тем, дискриминационные модели используются либо для классификации, либо для регрессии, и они возвращают прогноз. на основе условного вероятность. Давайте более подробно рассмотрим различия между генеративными и дискриминативными моделями, чтобы мы могли по-настоящему понять, что разделяет два типа моделей и когда следует использовать каждый тип.

Генеративные и дискриминационные модели

Существует множество способов классификации модели машинного обучения. Модель может быть классифицирована как принадлежащая к различным категориям, таким как: генеративные модели, дискриминационные модели, параметрические модели, непараметрические модели, модели на основе дерева, модели без дерева.

В этой статье основное внимание будет уделено различиям между генеративными и дискриминативными моделями. Мы начнем с определения как генеративной, так и дискриминативной моделей, а затем рассмотрим несколько примеров каждого типа модели.

Генеративные Модели

Генеративные модели те, которые сосредоточены на распределении классов в наборе данных. Алгоритмы машинного обучения обычно моделируют распределение точек данных. Генеративные модели основаны на поиске совместной вероятности. Создание точек, в которых одновременно существуют заданный входной объект и желаемый результат/метка.

Генеративные модели обычно используются для оценки вероятностей и правдоподобия, моделирования точек данных и различения классов на основе этих вероятностей. Поскольку модель изучает распределение вероятностей для набора данных, она может ссылаться на это распределение вероятностей для создания новых экземпляров данных. Генеративные модели часто полагаются на Теорема Байеса найти совместную вероятность, найдя p(x,y). По сути, генеративные модели моделируют, как были сгенерированы данные, и отвечают на следующий вопрос:

«Какова вероятность того, что этот класс или другой класс сгенерировал эту точку данных/экземпляр?»

Примеры генеративных моделей машинного обучения включают линейный дискриминантный анализ (LDA), скрытые марковские модели и байесовские сети, такие как наивный байесовский анализ.

Дискриминационные модели

В то время как генеративные модели узнают о распределении набора данных, дискриминационные модели узнать о границе между классами в наборе данных. Целью дискриминационных моделей является выявление граница решения между классами, чтобы применять надежные метки классов к экземплярам данных. Дискриминативные модели разделяют классы в наборе данных, используя условную вероятность, не делая никаких предположений об отдельных точках данных.

Дискриминативные модели призваны ответить на следующий вопрос:

«На какой стороне границы решения находится этот экземпляр?»

Примеры дискриминативных моделей в машинном обучении включают машины опорных векторов, логистическую регрессию, деревья решений и случайные леса.

Различия между генеративным и дискриминационным

Вот краткий обзор основных различий между генеративной и дискриминационной моделями.

Генеративные модели:

• Генеративные модели нацелены на то, чтобы зафиксировать фактическое распределение классов в наборе данных.
• Генеративные модели предсказывают совместное распределение вероятностей – p(x,y) – с использованием теоремы Байеса.
• Генеративные модели требуют больших вычислительных ресурсов по сравнению с дискриминационными моделями.
• Генеративные модели полезны для задач машинного обучения без учителя.
• На генеративные модели влияет наличие выбросов больше, чем на дискриминационные модели.

Дискриминационные модели:

• Дискриминативные модели моделируют границу принятия решений для классов наборов данных.
• Дискриминативные модели изучают условную вероятность – p(y|x).
• Дискриминативные модели менее затратны в вычислительном отношении по сравнению с генеративными моделями.
• Дискриминативные модели полезны для задач контролируемого машинного обучения.
• Преимущество дискриминационных моделей в том, что они более устойчивы к выбросам, в отличие от генеративных моделей.
• Дискриминативные модели более устойчивы к выбросам по сравнению с генеративными моделями.

Теперь мы кратко рассмотрим несколько различных примеров моделей генеративного и дискриминационного машинного обучения.

Примеры генеративных моделей

Линейный Дискриминантный Анализ (LDA)

модели LDA функция путем оценки дисперсии и среднего значения данных для каждого класса в наборе данных. После вычисления среднего значения и дисперсии для каждого класса можно делать прогнозы, оценивая вероятность того, что данный набор входных данных принадлежит данному классу.

Скрытые марковские модели

Марковские цепи можно представить себе как графики с вероятностями, которые показывают, насколько вероятно, что мы перейдем из одной точки в цепочке, «состояния», в другое состояние. Цепи Маркова используются для определения вероятности перехода из состояния j в состояние i, которое можно обозначить как p(i,j). Это как раз упомянутая выше совместная вероятность. В скрытой модели Маркова используется невидимая, ненаблюдаемая цепь Маркова. Входные данные передаются модели, а вероятности для текущего состояния и состояния, непосредственно предшествующего ему, используются для расчета наиболее вероятного результата.

Байесовские сети

Байесовские сети являются типом вероятностной графической модели. Они представляют собой условные зависимости между переменными, представленные направленным ациклическим графом. В байесовской сети каждое ребро графа представляет собой условную зависимость, а каждый узел соответствует уникальной переменной. Условная независимость уникальных взаимосвязей на графике может использоваться для определения совместного распределения переменных и вычисления совместной вероятности. Другими словами, байесовская сеть захватывает подмножество независимых отношений в конкретном совместном распределении вероятностей.

После создания и правильного определения байесовской сети с известными случайными величинами, условными отношениями и распределениями вероятностей ее можно использовать для оценки вероятности событий или результатов.

Одним из наиболее часто используемых типов байесовских сетей является наивная байесовская модель. Наивная байесовская модель решает задачу расчета вероятности для наборов данных со многими параметрами/переменными, рассматривая все признаки как независимые друг от друга.

Примеры дискриминационных моделей

Поддержка векторных машин

Поддерживающие векторные машины работают, рисуя границу решения между точками данных, находя границу решения, которая лучше всего разделяет различные классы в наборе данных. Алгоритм SVM рисует либо линии, либо гиперплоскости, разделяющие точки, для двумерных и трехмерных пространств соответственно. SVM пытается найти линию/гиперплоскость, которая лучше всего разделяет классы, пытаясь максимизировать запас или расстояние между линией/гиперплоскостью и ближайшими точками. Модели SVM также можно использовать для наборов данных, которые не являются линейно разделимыми, используя «трюк ядра» для определения нелинейных границ решений.

Логистическая регрессия

Логистическая регрессия — это алгоритм, использующий логит-функцию (логарифм шансов) для определения вероятности того, что ввод находится в одном из двух состояний. Сигмовидная функция используется для «сжатия» вероятности до 0 или 1, истинной или ложной. Предполагается, что вероятности выше 0.50 относятся к классу 1, а вероятности 0.49 или ниже считаются равными 0. По этой причине логистическая регрессия обычно используется в задачах бинарной классификации. Однако логистическую регрессию можно применять к проблемам с несколькими классами, используя подход «один против всех», создавая модель бинарной классификации для каждого класса и определяя вероятность того, что пример является целевым классом или другим классом в наборе данных.

Древо решений

A Древо решений Модель функционирует, разбивая набор данных на все более и более мелкие части, и как только подмножества не могут быть разделены дальше, результатом является дерево с узлами и листьями. В узлах дерева решений принимаются решения о точках данных с использованием различных критериев фильтрации. Листья в дереве решений — это точки данных, которые были классифицированы. Алгоритмы дерева решений могут обрабатывать как числовые, так и категориальные данные, а разделение дерева основано на определенных переменных/функциях.

Случайные леса

A модель случайного леса в основном это просто набор деревьев решений, где прогнозы отдельных деревьев усредняются, чтобы прийти к окончательному решению. Алгоритм случайного леса случайным образом выбирает наблюдения и признаки, строя отдельные деревья на основе этих выборок.

В этой учебной статье будет показано, как создать коробочную диаграмму в Matplotlib. Блочные диаграммы используются для визуализации сводной статистики набора данных, отображая атрибуты распределения, такие как диапазон и распределение данных.