什么是元学习？

什么是元学习？

机器学习领域发展最快的研究方向之一就是元学习领域。在机器学习语境中，元学习是指利用机器学习算法来辅助训练和优化其他机器学习模型。随着元学习变得越来越流行，越来越多的元学习技术被开发出来，了解什么是元学习以及了解其各种应用方式是有益的。让我们来探讨元学习背后的理念、元学习的类型，以及元学习的一些应用方式。 “元学习”这个术语由唐纳德·莫兹利创造，用以描述人们开始塑造所学内容、逐渐“内化并控制感知、探究、学习和成长的习性”的过程。后来，认知科学家和心理学家将元学习描述为“学习如何学习”。 对于机器学习的元学习版本，“学习如何学习”这一核心理念被应用于人工智能系统。在人工智能意义上，元学习是指人工智能机器学习如何执行各种复杂任务的能力，将其用于学习一项任务的原理应用于其他任务。人工智能系统通常需要通过掌握许多小的子任务来训练以完成一项任务。这种训练可能需要很长时间，并且人工智能智能体不容易将在一项任务中学到的知识迁移到另一项任务。创建元学习模型和技术可以帮助人工智能学会泛化学习方法并更快地获得新技能。

元学习的类型

优化器元学习 元学习通常用于优化现有神经网络的性能。优化器元学习方法通常通过调整另一个神经网络的超参数来改善基础神经网络的性能。其结果是目标网络在执行其训练任务时应变得更好。元学习优化器的一个例子是使用一个网络来改进梯度下降的结果。 少样本元学习 少样本元学习方法是指设计一个能够从训练数据集泛化到未见数据集的深度神经网络。少样本分类的一个实例类似于正常的分类任务，但不同之处在于，数据样本是整个数据集。模型在许多不同的学习任务/数据集上进行训练，然后针对众多训练任务和未见数据优化至最佳性能。在这种方法中，单个训练样本被分成多个类别。这意味着每个训练样本/数据集可能由两个类别组成，总共形成4个样本。在这种情况下，整个训练任务可以描述为一个4样本2类分类任务。 在少样本学习中，其理念是单个训练样本是极简的，网络在只看到几张图片后就能学会识别物体。这很像一个孩子在只看到几张图片后就能学会区分物体。这种方法已被用于创建一次性生成模型和记忆增强神经网络等技术。 度量元学习 基于度量的元学习是利用神经网络来确定某个度量是否被有效使用，以及一个或多个网络是否达到了目标度量。度量元学习与少样本学习类似，都只使用少量样本来训练网络并让其学习度量空间。相同的度量被用于不同的领域，如果网络偏离了该度量，则被视为失败。 循环模型元学习 循环模型元学习是将元学习技术应用于循环神经网络及类似的长短期记忆网络。该技术的操作方式是训练RNN/LSTM模型顺序学习一个数据集，然后将这个训练好的模型作为另一个学习器的基础。元学习器采纳了用于训练初始模型的特定优化算法。元学习器继承的参数化使其能够快速初始化和收敛，同时仍能针对新场景进行更新。

元学习如何工作？

进行元学习的具体方式因模型和手头任务的性质而异。然而，一般来说，元学习任务涉及将第一个网络的参数复制到第二个网络/优化器的参数中。 元学习中有两个训练过程。元学习模型通常在基础模型经过若干步训练后进行训练。在完成训练基础模型的前向、后向和优化步骤之后，对优化模型执行前向训练传递。例如，在基础模型上经过三到四步训练后，计算元损失。计算元损失后，为每个元参数计算梯度。之后，优化器中的元参数被更新。 计算元损失的一种可能性是完成初始模型的前向训练传递，然后合并已经计算出的损失。元优化器甚至可以是另一个元学习器，尽管在某个节点必须使用像ADAM或SGD这样的离散优化器。 许多深度学习模型可能有数十万甚至数百万个参数。创建一个拥有全新参数集的元学习器在计算上将是昂贵的，因此，通常使用一种称为坐标共享的策略。坐标共享涉及设计元学习器/优化器，使其从基础模型中学习单个参数，然后仅克隆该参数以替代所有其他参数。其结果是优化器拥有的参数不依赖于模型的参数。