什么是元学习？

什么是元学习?

机器学习中最快发展的研究领域之一是元学习领域。元学习是在机器学习的背景下，使用机器学习算法来帮助训练和优化其他机器学习模型。随着元学习变得越来越流行，越来越多的元学习技术被开发出来，了解什么是元学习以及它可以被应用的各种方式是有益的。让我们来探讨元学习背后的思想、元学习的类型，以及元学习可以被使用的几种方式。

元学习的术语是由Donald Maudsley创造的，用于描述人们开始塑造他们所学的东西，变得“越来越控制习惯的感知、询问、学习和增长，这些都是他们内化的”。后来，认知科学家和心理学家将元学习描述为“学习如何学习”。

对于机器学习版本的元学习，应用于AI系统的“学习如何学习”的总体思想。在AI意义上，元学习是人工智能机器学习如何执行各种复杂任务的能力，采用它用来学习一个任务的原则并将其应用于其他任务。AI系统通常需要通过掌握许多小的子任务来训练以完成一个任务。这项训练可能需要很长时间，AI代理也不能轻松地将一个任务中学到的知识转移到另一个任务中。创建元学习模型和技术可以帮助AI学习如何概括学习方法并更快地获得新技能。

元学习的类型

优化器元学习

元学习通常被用来优化已经存在的神经网络的性能。优化器元学习方法通常通过调整不同的神经网络的超参数来提高基准神经网络的性能。结果是目标网络应该变得更好地执行它正在被训练的任务。元学习优化器的一个例子是使用网络来改进梯度下降结果。

少样本元学习

少样本元学习方法是一种深度神经网络被设计成能够从训练数据集推广到未见数据集。少样本分类的一个实例类似于正常的分类任务，但数据样本是整个数据集。模型在许多不同的学习任务/数据集上进行训练，然后它被优化为在多个训练任务和未见数据上达到最佳性能。在这种方法中，一个单独的训练样本被分成多个类别。这意味着每个训练样本/数据集都可能由两个类别组成，总共4个样本。在这种情况下，整个训练任务可以被描述为4样本2类分类任务。

在少样本学习中，想法是个人训练样本是最小的，网络可以在看到几张图片后学习识别对象。这与孩子在看到几张图片后学习区分对象的方式类似。这种方法已被用于创建诸如一-shot生成模型和内存增强神经网络等技术。

度量元学习

度量元学习是使用神经网络来确定度量是否被有效使用以及网络是否达到目标度量。度量元学习与少样本学习类似，因为只使用几个例子来训练网络并使其学习度量空间。同一度量在整个领域中使用，如果网络偏离度量，则被认为是失败的。

循环模型元学习

循环模型元学习是将元学习技术应用于循环神经网络和类似的长短期记忆网络。这种技术通过训练RNN/LSTM模型来顺序学习数据集，然后使用该训练模型作为另一个学习者的基础。元学习者采用用于训练初始模型的特定优化算法。元学习者的继承参数化使其能够快速初始化和收敛，但仍然能够更新以适应新场景。

元学习如何工作?

元学习的确切方式取决于模型和任务的性质。然而，一般来说，元学习任务涉及复制第一个网络的参数到第二个网络/优化器的参数。

元学习中有两个训练过程。元学习模型通常在对基准模型进行了几步训练后进行训练。在训练基准模型的前向、后向和优化步骤之后，优化模型的前向训练步骤被执行。例如，在对基准模型进行三四步训练后，计算元损失。计算元损失后，计算每个元参数的梯度。之后，优化器中的元参数被更新。

计算元损失的一种可能方法是完成初始模型的前向训练步骤，然后组合已经计算的损失。元优化器甚至可以是另一个元学习者，尽管在某个时候必须使用离散优化器，如ADAM或SGD。

许多深度学习模型可以有数十万甚至数百万个参数。创建一个具有完全新的一组参数的元学习者将是计算上昂贵的，因此通常使用一种称为坐标共享的策略。坐标共享涉及设计元学习者/优化器，使其从基准模型中学习单个参数，然后将该参数克隆到所有其他参数的位置。结果是优化器拥有的参数不依赖于模型的参数。