什么是元学习？

什么是元学习？

机器学习中发展最快的研究领域之一是 元学习。 机器学习背景下的元学习是使用机器学习算法来辅助其他机器学习模型的训练和优化。 随着元学习变得越来越流行，并且越来越多的元学习技术正在开发中，了解什么是元学习并了解它的各种应用方式是有益的。 让我们来看看元学习背后的想法， 元学习的类型，以及元学习的一些使用方法。

元学习这个术语是由唐纳德·莫兹利（Donald Maudsley）创造的，用来描述人们开始塑造他们所学内容的过程，“越来越多地控制他们内化的感知、探究、学习和成长的习惯”。 后来，认知科学家和心理学家将元学习描述为“学习如何学习”。

对于机器学习版本的元学习，“学习如何学习”的总体思想被应用于人工智能系统。 从人工智能的角度来看，元学习是人工智能机器学习如何执行各种复杂任务的能力，将其用于学习一项任务的原理应用于其他任务。 人工智能系统通常必须经过训练才能通过掌握许多小子任务来完成任务。 这种训练可能需要很长时间，并且人工智能代理不容易将一项任务中学到的知识转移到另一项任务中。 创建元学习模型和技术可以帮助人工智能学习概括学习方法并更快地获得新技能。

元学习的类型

优化器元学习

元学习通常用于优化现有神经网络的性能。 优化器元学习方法通​​常通过调整不同神经网络的超参数来发挥作用，以提高基础神经网络的性能。 结果是目标网络应该能够更好地执行正在训练的任务。 元学习优化器的一个例子是使用网络来改进 梯度下降 结果。

少样本元学习

几次元学习方法是一种设计深度神经网络的方法，它能够从训练数据集推广到未见过的数据集。 少样本分类的实例类似于普通的分类任务，但数据样本是整个数据集。 该模型在许多不同的学习任务/数据集上进行训练，然后针对大量训练任务和未见过的数据进行最佳性能优化。 在这种方法中，单个训练样本被分为多个类。 这意味着每个训练样本/数据集可能由两个类别组成，总共 4 个样本。 在这种情况下，总训练任务可以描述为 4-shot 2-class 分类任务。

在少镜头学习中，其想法是单个训练样本是简约的，并且网络可以在看到几张图片后学会识别对象。 这很像孩子在看了几张图片后就学会区分物体。 这种方法已用于创建一次性生成模型和记忆增强神经网络等技术。

度量元学习

基于度量的元学习是利用神经网络来确定度量是否被有效使用以及网络或多个网络是否达到目标度量。 度量元学习与少样本学习类似，仅使用几个示例来训练网络并使其学习度量空间。 在不同的域中使用相同的度量标准，如果网络偏离该度量标准，则它们被认为是失败的。

循环模型元学习

循环模型元学习是将元学习技术应用于循环神经网络和类似的长短期记忆网络。该技术的工作原理是训练 RNN/LSTM 模型以顺序学习数据集，然后使用该训练模型作为另一个学习器的基础。元学习器采用用于训练初始模型的特定优化算法。元学习器继承的参数化使其能够快速初始化和收敛，但仍然能够针对新场景进行更新。

元学习如何运作？

进行元学习的确切方式取决于模型和手头任务的性质。 然而，一般来说，元学习任务 涉及复制参数 将第一个网络的参数转换为第二个网络/优化器的参数。

元学习有两个训练过程。 元学习模型通常是在对基本模型进行了几个步骤的训练之后进行训练的。 在训练基本模型的前向、后向和优化步骤之后，对优化模型进行前向训练。 例如，在基本模型上进行三到四步训练后，计算元损失。 计算元损失后，计算每个元参数的梯度。 发生这种情况后，优化器中的元参数将被更新。

计算元损失的一种可能性是完成初始模型的前向训练过程，然后合并已经计算的损失。 元优化器甚至可以是另一个元学习器，尽管在某个时刻必须使用 ADAM 或 SGD 等离散优化器。

许多深度学习模型可能有数十万甚至数百万个参数。 创建一个具有全新参数集的元学习器在计算上会非常昂贵，因此，通常使用一种称为坐标共享的策略。 坐标共享涉及对元学习器/优化器进行设计，以便它从基本模型中学习单个参数，然后克隆该参数来代替所有其他参数。 结果是优化器拥有的参数不依赖于模型的参数。