什么是元学习？

什么是元学习?

机器学习中最快增长的研究领域之一是元学习领域。元学习是在机器学习的背景下，使用机器学习算法来帮助训练和优化其他机器学习模型。随着元学习变得越来越流行，越来越多的元学习技术被开发出来，了解什么是元学习以及它可以被应用的各种方式是有益的。让我们来探讨元学习背后的想法、元学习的类型，以及一些元学习可以被使用的方式。

元学习的术语是由Donald Maudsley创造的，用于描述一个过程，人们开始塑造他们所学的东西，变得“越来越能控制他们内部化的感知、探究、学习和成长的习惯”。后来，认知科学家和心理学家将元学习描述为“学习如何学习”。

对于机器学习版本的元学习，应用于人工智能系统的“学习如何学习”的总体思想。在人工智能的意义上，元学习是人工智能机器学习如何执行各种复杂任务的能力，使用它学习一个任务的原则并将其应用于其他任务。人工智能系统通常需要通过掌握许多小的子任务来训练以完成一个任务。这项训练可能需要很长时间，人工智能代理不会轻易地将一个任务中学到的知识转移到另一个任务中。创建元学习模型和技术可以帮助人工智能学习如何概括学习方法并更快地获得新技能。

元学习的类型

优化器元学习

元学习通常被用于优化现有神经网络的性能。优化器元学习方法通常通过调整另一个神经网络的超参数来提高基础神经网络的性能。结果是目标网络应该变得更好地执行它正在被训练的任务。元学习优化器的一个例子是使用一个网络来改进梯度下降的结果。

少样本元学习

少样本元学习方法是一种深度神经网络被设计为能够从训练数据集推广到未见数据集的方法。少样本分类的一个实例类似于正常的分类任务，但数据样本是整个数据集。模型被训练在许多不同的学习任务/数据集上，然后它被优化为在多个训练任务和未见数据上达到最佳性能。在这种方法中，一个单独的训练样本被分成多个类别。这意味着每个训练样本/数据集可能由两个类别组成，总共有4个样本。在这种情况下，总的训练任务可以被描述为一个4样本2类别分类任务。

在少样本学习中，想法是个人训练样本是最小的，网络可以在看到几张图片后学习识别对象。这类似于一个孩子在看到几张图片后学习区分对象。这种方法已被用于创建像一-shot生成模型和记忆增强神经网络这样的技术。

度量元学习

度量元学习是使用神经网络来确定度量是否被有效使用以及网络是否达到目标度量。度量元学习类似于少样本学习，因为只使用几个样本来训练网络并使其学习度量空间。相同的度量在整个多样化域中使用，如果网络偏离度量，则被认为是失败的。

循环模型元学习

循环模型元学习是将元学习技术应用于循环神经网络和长短期记忆网络的过程。这种技术通过训练RNN/LSTM模型来顺序学习数据集，然后使用这个训练模型作为另一个学习者的基础。元学习者采用用于训练初始模型的特定优化算法。元学习者的继承参数使其能够快速初始化和收敛，但仍然能够更新以适应新场景。

元学习是如何工作的?

元学习的确切方式取决于模型和任务的性质。然而，一般来说，元学习任务涉及将第一个网络的参数复制到第二个网络/优化器的参数中。

元学习中有两个训练过程。元学习模型通常在对基础模型进行了几步训练后被训练。基础模型的前向、后向和优化步骤之后，优化模型的前向训练步骤被执行。例如，在基础模型上进行三四步训练后，计算元损失。计算元损失后，计算每个元参数的梯度。然后，优化器中的元参数被更新。

计算元损失的一种可能方法是完成初始模型的前向训练步骤，然后组合已经计算的损失。元优化器甚至可以是另一个元学习者，尽管在某个时候必须使用离散优化器，如ADAM或SGD。

许多深度学习模型可以有数十万甚至数百万个参数。创建一个具有完全新的一组参数的元学习者将是计算上昂贵的，因此通常使用一种称为坐标共享的策略。坐标共享涉及设计元学习者/优化器，使其从基础模型中学习一个参数，然后将该参数克隆到所有其他参数的位置。结果是优化器拥有的参数不依赖于模型的参数。