生成式与判别式机器学习模型

一些机器学习模型属于“生成式”或“判别式”模型类别。然而，这两种模型类别之间有什么区别？什么是生成式或判别式模型的含义？

简而言之，生成式模型是那些包括数据集分布的模型，返回给定示例的概率。生成式模型通常用于预测序列中的下一个事件。同时，判别式模型用于分类或回归，返回基于条件概率的预测。让我们更详细地探讨生成式和判别式模型之间的差异，以便我们真正理解这两种模型类型之间的区别以及何时使用每种类型。

生成式与判别式模型

机器学习模型可以通过多种方式进行分类。一个模型可以被归类为不同的类别，如：生成式模型、判别式模型、参数模型、非参数模型、树模型和非树模型。

本文将重点介绍生成式模型和判别式模型之间的差异。我们将首先定义生成式和判别式模型，然后探索每种类型的示例。

生成式模型

生成式模型是那些集中于数据集内类别分布的模型。机器学习算法通常对数据点的分布进行建模。生成式模型依赖于联合概率的发现，创建给定输入特征和期望输出/标签同时存在的点。

生成式模型通常用于估计概率和可能性，建模数据点，并根据这些概率对类别进行区分。由于模型学习了数据集的概率分布，因此可以引用此概率分布来生成新的数据实例。生成式模型通常依赖于 贝叶斯定理 来找到联合概率，找到 p(x,y)。本质上，生成式模型对数据的生成进行建模，回答以下问题：

“这个类或另一个类生成此数据点/实例的可能性是多少？”

生成式机器学习模型的示例包括线性判别分析（LDA）、隐马尔可夫模型和贝叶斯网络，如朴素贝叶斯。

判别式模型

虽然生成式模型学习数据集的分布，但 判别式模型 学习数据集内类别之间的边界。判别式模型的目标是识别 决策边界 以应用可靠的类标签到数据实例。判别式模型使用条件概率分离数据集的类别，不对个别数据点做出任何假设。

判别式模型旨在回答以下问题：

“此实例位于决策边界的哪一侧？”

机器学习中判别式模型的示例包括支持向量机、逻辑回归、决策树和随机森林。

生成式与判别式模型之间的差异

以下是生成式和判别式模型之间的主要差异的快速概述。

生成式模型：

• 生成式模型旨在捕获数据集内类别的实际分布。
• 生成式模型预测联合概率分布 – p(x,y) – 使用贝叶斯定理。
• 生成式模型计算成本高于判别式模型。
• 生成式模型适用于无监督机器学习任务。
• 生成式模型比判别式模型更容易受到异常值的影响。

判别式模型：

• 判别式模型对数据集类别的决策边界进行建模。
• 判别式模型学习条件概率 – p(y|x)。
• 判别式模型计算成本低于生成式模型。
• 判别式模型适用于监督机器学习任务。
• 判别式模型比生成式模型更能抵御异常值的影响。
• 判别式模型比生成式模型更能抵御异常值的影响。

我们现在将简要探讨一些生成式和判别式机器学习模型的示例。

生成式模型示例

线性判别分析（LDA）

LDA 模型 通过估计数据集每个类的方差和均值来工作。计算出每个类的均值和方差后，可以通过估计一组给定输入属于某个类的概率来进行预测。

隐马尔可夫模型

马尔可夫链可以被认为是具有指示从链中的一个点（“状态”）移动到另一个状态的可能性概率的图。马尔可夫链用于确定从状态 j 移动到状态 i 的概率，可以表示为 p(i,j)。这只是上面提到的联合概率。隐马尔可夫模型是使用不可见、不可观察的马尔可夫链。数据输入提供给模型，并使用当前状态和其前一个状态的概率来计算最可能的结果。

贝叶斯网络

贝叶斯网络 是一种概率图模型。它们表示变量之间的条件依赖关系，如有向无环图所示。在贝叶斯网络中，图中的每个边表示条件依赖关系，每个节点对应一个唯一的变量。图中独特关系的条件独立性可以用于确定变量的联合分布并计算联合概率。换句话说，贝叶斯网络捕获特定联合概率分布中的独立关系的一个子集。

一旦创建并正确定义了贝叶斯网络，包括随机变量、条件关系和概率分布，就可以用它来估计事件或结果的概率。

最常用的贝叶斯网络类型之一是朴素贝叶斯模型。朴素贝叶斯模型通过将所有特征视为相互独立来处理计算具有许多参数/变量的数据集的概率的挑战。

判别式模型示例

支持向量机

支持向量机 通过在数据点之间绘制决策边界来工作，找到最佳分离数据集不同类的决策边界。SVM 算法在 2D 空间中绘制线或超平面，在 3D 空间中分别绘制线或超平面。SVM 尽力通过最大化边缘（或线/超平面与最近点之间的距离）来找到最佳分离类的线/超平面。SVM 模型也可以用于非线性可分离的数据集，方法是使用“核技巧”来识别非线性决策边界。

逻辑回归

逻辑回归 是一种使用对数几率（log-odds）函数来确定输入属于两种状态之一的概率的算法。使用 sigmoid 函数将概率“压缩”到 0 或 1，真或假。概率大于 0.50 的值被假定为类 1，而 0.49 或以下的值被假定为 0。因此，逻辑回归通常用于二元分类问题。然而，逻辑回归可以通过使用一种对所有方法来应用于多类问题，创建每个类的二元分类模型，并确定示例是目标类或数据集中另一个类的概率。

决策树

决策树 模型通过将数据集分解为越来越小的部分来工作，一旦子集不能再分割，结果就是一个具有节点和叶子的树。决策树中的节点是关于数据点使用不同过滤标准做出决策的地方。决策树中的叶子是已经分类的数据点。决策树算法可以处理数字和分类数据，树中的分裂基于特定的变量/特征。

随机森林

随机森林模型 基本上就是一组决策树，其中个别树的预测被平均以得出最终决策。随机森林算法随机选择观察值和特征，根据这些选择构建个别树。