人工智能
AI 学习来自 AI：大型语言模型中的社会学习的出现
自从 OpenAI 于 2022 年末推出 ChatGPT 3.5 以来，基础 大型语言模型 (LLMs) 在人工智能 (AI) 中的作用变得越来越重要，特别是在 自然语言处理 (NLP) 中。这些 LLMs 旨在处理和生成类似人类的文本，通过从互联网上广泛的文本中学习，包括书籍和网站。这个学习过程使它们能够捕捉人类语言的本质，使 LLMs 看起来像通用问题解决器。
虽然 LLMs 的发展开启了新的门户，但将这些模型适应于特定应用程序的方法——即 微调 ——带来了自己的挑战。微调模型需要在更集中的数据集上进行额外的训练，这可能会导致诸如需要标记数据、模型漂移 和 过拟合 的风险，以及需要大量资源。
为了解决这些挑战，谷歌的研究人员最近采用了“社会学习”的想法，以帮助 AI 学习来自 AI。关键思想是，当 LLMs 被转换为聊天机器人时，它们可以像人类社会学习一样相互交互和学习。这种交互使它们能够相互学习，从而提高它们的有效性。
什么是社会学习？
社会学习并不是一个新思想。它基于 1970 年代由 Albert Bandura 提出的理论，该理论认为人们通过观察他人来学习。这个概念应用于 AI 意味着 AI 系统可以通过相互交互来改进，不仅仅是从直接经验中学习，还可以从同伴的行为中学习。这种方法承诺更快的技能获取，甚至可能让 AI 系统发展出自己的“文化”通过共享知识。
与其他 AI 学习方法不同，例如试错 强化学习 或从直接示例中学习的 模仿学习，社会学习强调通过交互学习。它提供了一种更直接和共享的方式让 AI 获取新技能。
LLMs 中的社会学习
社会学习的一个重要方面是交换知识而不共享原始和敏感信息。因此，研究人员 采用了教师-学生动态，其中教师模型促进了学生模型的学习过程，而不泄露任何机密细节。为了实现这一目标，教师模型会生成合成示例或基于其知识的指令，学生模型可以在不共享实际数据的情况下学习。例如，考虑一个在用户标记的数据上训练的教师模型，用于区分垃圾邮件和非垃圾邮件。如果我们希望另一个模型在不接触原始私人数据的情况下掌握这一任务，社会学习就发挥作用了。教师模型将创建合成示例或基于其知识的见解，允许学生模型在不直接接触敏感数据的情况下准确识别垃圾邮件。这种策略不仅提高了学习效率，还表明了 LLMs 以动态、适应性方式学习的潜力，可能会建立集体知识文化。这种方法的一个关键特征是其依赖于合成示例和精心设计的指令。通过生成新的、信息丰富的示例，区别于原始数据集，教师模型可以在指导学生模型进行有效学习的同时保留隐私。这种方法已被证明是有效的，实现了与使用实际数据相同的结果。
社会学习如何解决微调的挑战？
社会学习提供了一种新的方法来完善 LLMs 以适应特定任务。它通过以下方式帮助解决微调的挑战：
- 减少对标记数据的需求： 通过学习模型之间共享的合成示例，社会学习减少了对难以获取的标记数据的依赖。
- 避免过度专门化： 它通过让模型接触到比小型、特定数据集更广泛的示例来保持模型的多样性。
- 减少过拟合： 社会学习扩大了学习体验，帮助模型更好地泛化并避免过拟合。
- 节省资源： 这种方法允许更高效地使用资源，因为模型可以从彼此的经验中学习，而无需直接访问大型数据集。
未来方向
LLMs 中社会学习的潜力表明了 AI 研究的各种有趣和有意义的方式：
- 混合 AI 文化： 当 LLMs 参与社会学习时，它们可能会开始形成共同的方法。研究可以进行以调查这些新兴的 AI “文化”的影响及其对人类交互和涉及的道德问题的影响。
- 跨模态学习： 将社会学习扩展到超出文本，包括图像、声音等，可能会导致 AI 系统对世界有更丰富的理解，类似于人类通过多种感官学习。
- 去中心化学习： AI 模型在去中心化网络中相互学习的想法呈现了一种新的知识共享方式。这种方法需要解决协调、隐私和安全方面的重大挑战。
- 人机交互： 探索人类和 AI 如何在社会学习中相互受益，特别是在教育和协作环境中，可能会重新定义知识转移和创新发生的方式。
- 道德 AI 开发： 通过社会学习教导 AI 解决道德困境可能是朝着更负责任的 AI 发展迈出的一步。重点将放在开发能够推理道德并符合社会价值观的 AI 系统上。
- 自我改进系统： 一个 AI 模型可以从彼此的经验中持续学习和改进的生态系统可能会加速 AI 创新。这种方法表明了 AI 可以更自主地适应新挑战的未来。
- 学习中的隐私： 随着 AI 模型共享知识，确保底层数据的隐私至关重要。未来的努力可能会探索更复杂的方法来实现知识转移而不损害数据安全。
结论
谷歌的研究人员开创了一种创新方法，称为大型语言模型 (LLMs) 中的社会学习，这是受人类通过观察他人学习的能力启发。这种框架允许 LLMs 共享知识并提高能力，而无需访问或暴露敏感数据。通过生成合成示例和指令，LLMs 可以有效地学习，解决 AI 开发中的关键挑战，例如对标记数据的需求、过度专门化、过拟合和资源消耗。社会学习不仅提高了 AI 的效率和适应性，还开启了 AI 发展共享“文化”、进行跨模态学习、参与去中心化网络、以新方式与人类交互、解决道德困境和确保隐私的可能性。这种方法标志着人工智能研究和应用的格局发生了重大转变，朝着更具协作性、多样性和伦理性的 AI 系统发展。
