AI 模型与平台
Mistral AI 的最新 Mixture of Experts (MoE) 8x7B 模型
是一家位于巴黎的开源模型创业公司，通过一个简单的 torrent 链接 发布了其最新的大型语言模型 (LLM) MoE 8x7B，这挑战了传统的发布方式，引发了 AI 社区的热烈讨论和兴奋。
Mistral AI 的发布方式一直都很非传统。他们经常不发布论文、博客或新闻稿，而是采用一种独特的策略，这种策略在吸引 AI 社区的注意力方面非常有效。
最近，这家公司获得了令人瞩目的 $2 billion 估值，这是在由 Andreessen Horowitz 领投的资金轮次中实现的。这一轮资金创造了历史记录，成为欧洲历史上最大的种子轮，金额达到 $118 million。除了资金上的成功之外，Mistral AI 还积极参与了围绕 EU AI 法案的讨论，倡导减少开源 AI 的监管。
为什么 MoE 8x7B 引起了关注
被描述为“缩小版的 GPT-4”，Mixtral 8x7B 采用了 Mixture of Experts (MoE) 框架，拥有八个专家。每个专家都有 111B 参数，另外还有 55B 共享注意力参数，总共有 166B 参数。这种设计选择很重要，因为它允许只有两个专家参与每个令牌的推理，突出了向更高效和更专注的 AI 处理的转变。
Mixtral 的一个主要亮点是其能够处理大量的上下文，最高可达 32,000 个令牌，为处理复杂任务提供了足够的空间。该模型的多语言能力包括对英语、法语、意大利语、德语和西班牙语的强大支持，满足了全球开发者的需求。
Mixtral 的预训练涉及来自开放网络的数据，并采用了专家和路由器的同时训练方法。这种方法确保模型不仅在参数空间上很大，而且还对其接触到的数据的细微差别进行了精细的调整。
Mixtral 8x7B 达到令人印象深刻的分数
Mixtral 8x7B 在多个任务中超越了 LLaMA 2 70B 和 GPT-3.5，特别是在 MBPP 任务中取得了 60.7% 的成功率，远高于其对手。即使在为指令跟踪模型量身定制的 MT-Bench 上，Mixtral 8x7B 也取得了令人印象深刻的分数，几乎与 GPT-3.5 相同。
理解 Mixture of Experts (MoE) 框架
Mixture of Experts (MoE) 模型虽然最近由于被集成到最先进的语言模型中（如 Mistral AI 的 MoE 8x7B）而引起了关注，但其根源实际上可以追溯到几年前的基础概念。让我们通过一些开创性的研究论文来回顾这个想法的起源。
MoE 的概念
Mixture of Experts (MoE) 代表着神经网络架构中的一个范式转变。与传统的使用单一、同质网络来处理所有类型数据的模型不同，MoE 采用了一种更为专门化和模块化的方法。它由多个“专家”网络组成，每个网络都旨在处理特定的数据或任务，并由一个“门控网络”动态地将输入数据引导到最合适的专家。
一个嵌入在循环语言模型中的 Mixture of Experts (MoE) 层 (来源)
上图展示了一个嵌入在语言模型中的 MoE 层的高级视图。MoE 层本质上由多个前馈子网络组成，这些子网络被称为“专家”，每个专家都有可能专门处理数据的不同方面。门控网络，如图所示，决定哪些专家被激活用于给定的输入。这种条件激活允许网络在不增加计算需求的情况下显著增加其容量。
MoE 层的功能
在实践中，门控网络评估输入（在图中表示为 G(x)）并选择一个稀疏的专家集来处理它。这种选择由门控网络的输出调节，有效地决定了每个专家对最终输出的“投票”或贡献。例如，如图所示，对于每个特定的输入令牌，只有两个专家可能被选中来计算输出，使得该过程通过集中计算资源在最需要的地方变得高效。
带有 MoE 层的 Transformer 编码器 (来源)
上图对比了传统的 Transformer 编码器和增强了 MoE 层的编码器。Transformer 架构广泛用于语言相关任务，传统上由自注意力和前馈层组成。引入 MoE 层取代了一些前馈层，使得模型能够更有效地扩展其容量。
在增强的模型中，MoE 层被分割到多个设备上，展示了一种模型并行的方法。这对于训练和部署非常大的模型至关重要，因为它允许将计算负载和内存需求分布在设备集群上，例如 GPU 或 TPU。这对于在大规模计算集群上训练具有数十亿到万亿参数的模型至关重要，如训练具有数万亿参数的模型所示。
在 LLM 上使用指令调优的稀疏 MoE 方法
题为“用于可扩展语言建模的稀疏 Mixture-of-Experts (MoE)”的论文讨论了一种通过将 Mixture of Experts 架构与指令调优技术相结合来改进大型语言模型 (LLM) 的创新方法。
它强调了 MoE 模型在为特定任务进行微调时与具有相同计算能力的密集模型相比可能表现不佳的常见挑战，这是由于预训练和任务特定微调之间的差异所致。
指令调优是一种训练方法，旨在使模型更好地遵循自然语言指令，有效地提高其任务性能。该论文表明，MoE 模型在与指令调优相结合时表现出显著的改善，尤其是与其密集对应物相比。这种技术使模型的预训练表示更好地遵循指令，从而导致性能显著提高。
研究人员进行了三个实验，结果显示 MoE 模型最初在直接任务特定微调中表现不佳。然而，当应用指令调优时，MoE 模型表现出色，特别是在进一步进行任务特定微调时。这表明指令调优对于 MoE 模型超越密集模型在下游任务中的性能至关重要。
指令调优对 MoE 的影响
它还介绍了 FLAN-MOE32B，这是一个成功应用这些概念的模型。值得注意的是，它在基准任务中超越了 FLAN-PALM62B，这是一个密集模型，同时只使用了三分之一的计算资源。这展示了稀疏 MoE 模型与指令调优相结合的潜力，能够为 LLM 的效率和性能设定新的标准。
在现实场景中实现 Mixture of Experts
MoE 模型的多功能性使其适用于广泛的应用：
- 自然语言处理 (NLP)： MoE 模型可以更好地处理人类语言的细微差别和复杂性，使其适用于高级 NLP 任务。
- 图像和视频处理： 在需要高分辨率处理的任务中，MoE 可以处理图像或视频帧的不同方面，提高处理速度和质量。
- 可定制的 AI 解决方案： 企业和研究人员可以根据特定任务定制 MoE 模型，实现更有针对性和有效的 AI 解决方案。
挑战和考虑
虽然 MoE 模型提供了许多好处，但它们也带来了独特的挑战：
- 训练和调优的复杂性： MoE 模型的分布式特性可能会使训练过程复杂化，需要仔细平衡和调优专家和门控网络。
- 资源管理： 高效地管理多个专家之间的计算资源对于最大化 MoE 模型的益处至关重要。
将 MoE 层集成到神经网络中，特别是在语言模型领域，提供了一条通往以前由于计算约束而不可行的更大模型的途径。MoE 层实现的条件计算允许更高效地分配计算资源，使得训练更大、更强大的模型成为可能。随着我们继续要求我们的 AI 系统做更多事情，像 MoE 配备的 Transformer 这样的架构可能会成为处理复杂、large-scale 任务的标准。
