微软的 Orca-2 AI 模型为什么标志着可持续 AI 的重大进步？

尽管过去十年中人工智能取得了显著进步，包括在象棋和围棋等战略游戏中击败人类冠军，以及预测蛋白质的三维结构，但大型语言模型（LLMs）的广泛采用标志着一个范式转变。这些模型即将改变人机交互，已经在各个领域变得不可或缺，包括教育、客户服务、信息检索、软件开发、媒体和医疗保健。虽然这些技术进步解锁科学突破和推动工业增长，但也存在一个显著的缺点，即对地球的影响。

训练和使用 LLMs 消耗大量能量，导致了显著的环境影响，包括增加的碳足迹和温室气体排放。马萨诸塞大学阿默斯特分校信息和计算机科学学院的一项最近研究显示，训练 LLMs 可以排放超过 626,000 磅的二氧化碳，大约相当于五辆汽车的整个生命周期的排放。人工智能初创公司 Hugging Face 发现，今年早些时候推出的大型语言模型 BLOOM 的训练导致了 25 吨二氧化碳的排放。同样，Facebook 的 AI 模型 Meena 在其训练过程中积累了一个碳足迹，相当于驾驶一辆汽车超过 240,000 英里的环境影响。

尽管训练 LLMs，云计算的需求现在比整个航空业的排放更大。一个数据中心可以消耗与 50,000 栋房屋相同的电力。另一项研究强调，训练一个大型语言模型可以释放与五辆汽车在其整个生命周期中使用的能量相当的二氧化碳。预测表明，人工智能排放将在 2025 年增加 300%，凸显了平衡人工智能进步与环境责任的紧迫性，并促进了使人工智能更加环保的举措。为了解决人工智能进步的不利环境影响，可持续人工智能正在兴起作为一个至关重要的研究领域。

可持续人工智能

可持续人工智能代表了人工智能系统开发和部署中的一个范式转变，重点是最小化环境影响、道德考虑和长期社会利益。这种方法旨在创建能效高、环境负责、与人类价值观一致的智能系统。可持续人工智能注重使用清洁能源的计算机、智能算法使用较少的电力，并遵循道德准则以确保公平和透明的决策。需要注意的是，人工智能用于可持续性和可持续人工智能之间存在差异；前者可能涉及使用人工智能来优化现有流程，而不一定考虑其环境或社会后果，而后者则积极将可持续性原则融入人工智能开发的每个阶段，从设计到部署，以对地球和社会产生积极和持久的影响。

从大型语言模型到小型语言模型（SLMs）

在追求可持续人工智能的过程中，微软正在开发小型语言模型（SLMs）以匹配大型语言模型（LLMs）的能力。为此，他们最近推出了 Orca-2，旨在像 GPT-4 一样进行推理。与其前身 Orca-1 相比，Orca-1 拥有 130 亿参数，而 Orca-2 只有 70 亿参数，使用了两种关键技术。

1. 指令调优： Orca-2 通过学习示例来提高其内容质量、零次能力和推理技能，适用于各种任务。
2. 解释调优： Orca-2 通过为教师模型创建详细解释来识别指令调优的局限性，丰富推理信号并提高整体理解能力。

Orca-2 利用这些技术实现了高效的推理，相当于大型语言模型使用更多参数所能达到的效果。主要思想是使模型能够找到解决问题的最佳方法，无论是快速回答还是一步一步地思考。微软称之为“谨慎推理”。

为了训练 Orca-2，微软使用 FLAN 注释、Orca-1 和 Orca-2 数据集创建了一组新训练数据。他们从简单的问题开始，添加一些棘手的问题，然后使用对话模型的数据使其变得更智能。

Orca-2 经过了彻底的评估，涵盖了推理、文本完成、接地、真实性和安全性等方面。结果显示了通过在合成数据上进行专门训练来增强 SLM 推理的潜力。尽管存在一些局限性，但 Orca-2 模型表明了在推理、控制和安全性方面的改进潜力，证明了在模型训练后使用合成数据的战略有效性。

Orca-2 对可持续人工智能的意义

Orca-2 代表了向可持续人工智能迈出的一大步，挑战了只有更大的模型才能真正推进人工智能能力的普遍信念。这个小型语言模型提出了另一种观点，表明在语言模型中取得卓越成就并不一定需要巨大的数据集和大量的计算能力。相反，它强调了智能设计和有效集成的重要性。

这一突破开辟了新的可能性，提倡从简单地扩大人工智能转向关注我们如何设计人工智能。这标志着使先进人工智能更加易于获取和包容的重要一步，确保创新是包容的，并惠及更多的人和组织。

Orca-2 有可能对未来语言模型的发展产生重大影响。不论是改进自然语言处理相关任务还是在各个行业中实现更复杂的人工智能应用，这些较小的模型都有望带来重大积极变化。另外，它们是促进更可持续的人工智能实践的先驱，实现技术进步与环境责任的承诺。

结论：

微软的 Orca-2 代表了向可持续人工智能迈出的一大步，挑战了只有大型模型才能推进人工智能的观念。通过优先考虑智能设计而非规模，Orca-2 开辟了新的可能性，提供了一种更包容和环境负责的先进人工智能开发方法。这一转变标志着智能系统设计新范式的重要一步。 (MSFT )