线性回归是什么？

线性回归是什么?

线性回归是一种用于预测或可视化两个不同特征/变量之间关系的算法。在线性回归任务中，有两种类型的变量被检查：依赖变量和独立变量。独立变量是自成体系的变量，不受其他变量的影响。当独立变量被调整时，依赖变量的水平将波动。依赖变量是被研究的变量，也是回归模型试图预测的变量。在线性回归任务中，每个观察/实例都包含依赖变量值和独立变量值。

让我们通过一个例子来更好地理解线性回归，并检查它使用的公式。

理解线性回归

假设我们有一个关于硬盘大小和硬盘成本的数据集。

假设我们的数据集由两个特征组成：内存量和成本。我们购买的内存越多，购买成本就越高。如果我们在散点图上绘制个别数据点，我们可能会得到一个类似这样的图表：

确切的内存与成本的比率可能会根据硬盘制造商和型号的不同而有所不同，但数据的趋势通常是从左下角（硬盘既便宜又容量小）到右上角（硬盘更贵且容量更大）。

如果我们在X轴上有内存量，在Y轴上有成本，一条捕捉X和Y变量之间关系的线将从左下角开始，延伸到右上角。

回归模型的功能是确定一个最佳的线性函数来描述X和Y变量之间的关系。在线性回归中，假设Y可以从一些输入变量的组合中计算出来。输入变量（X）和目标变量（Y）之间的关系可以通过在图表中绘制一条线来表示。该线代表了最好地描述X和Y之间关系的函数（例如，每当X增加3时，Y增加2）。目标是找到一个最佳的“回归线”，或最适合数据的线/函数。

线通常由以下等式表示：Y = m*X + b。X是依赖变量，而Y是独立变量。同时，m是线的斜率，由“升”除以“跑”定义。机器学习实践者以稍微不同的方式表示著名的斜率线方程，使用以下方程：

y(x) = w0 + w1 * x

在上面的等式中，y是目标变量，而“w”是模型的参数，输入是“x”。所以等式可以读作：“给定X的Y函数等于模型的参数乘以特征”。模型的参数在训练过程中被调整以获得最佳的回归线。

多元线性回归

图片来源：Cbaf via Wikimedia Commons，公共领域（https://commons.wikimedia.org/wiki/File:2d_multiple_linear_regression.gif）

上述过程适用于简单线性回归，即仅包含一个特征/独立变量的数据集的回归。然而，回归也可以在多个特征的情况下进行。在“多元线性回归”的情况下，等式被扩展到数据集中的变量数量。换句话说，虽然普通线性回归的等式是y(x) = w0 + w1 * x，但多元线性回归的等式将是y(x) = w0 + w1x1加上各个特征的权重和输入。如果我们用w(n)x(n)表示权重和特征的总数，那么我们可以将公式表示为：

y(x) = w0 + w1x1 + w2x2 + … + w(n)x(n)

在建立线性回归公式之后，机器学习模型将使用不同的权重值绘制不同的拟合线。请记住，目标是找到最适合数据的线，以确定哪种可能的权重组合（以及哪种可能的线）最好地解释变量之间的关系。

成本函数用于衡量假设的Y值与实际Y值之间的差异，给定特定的权重值。线性回归的成本函数是均方误差，它计算所有数据点的预测值和真实值之间的平均（平方）误差。成本函数用于计算成本，该成本捕捉预测目标值和真实目标值之间的差异。如果拟合线远离数据点，成本将更高，而成本将变得更小，当线更接近捕捉变量之间的真实关系时。然后，模型的权重被调整，直到找到产生最小误差的权重配置。