提示工程
您的 AI 更强大 Than 您想象
一组科学家刚刚发现了一些东西，这改变了我们对 AI 能力的很多看法。您的模型不仅仅是在处理信息 – 它们正在开发复杂的能力，这些能力远远超出了它们的训练。为了解锁这些能力，我们需要改变我们与它们交互的方式。
概念空间革命
还记得我们曾经认为 AI 只是匹配模式吗？ 新研究 已经通过绘制所谓的 “概念空间” 来揭开 AI 学习的黑盒。想象 AI 学习是一个多维地图，每个坐标代表一个不同的概念 – 比如颜色、形状或大小。通过观察 AI 模型在训练过程中如何在这个空间中移动，研究人员发现了意外的东西：AI 系统不仅仅是记忆 – 它们在不同速度下构建概念的复杂理解。
“通过在这个空间中描述学习动态，我们确定了概念学习的速度是如何由数据属性控制的，” 研究团队指出。换句话说，一些概念比其他概念更快地被学习，这取决于它们在训练数据中如何突出。
这里的趣味之处在于：当 AI 模型学习这些概念时，它们不仅仅将它们存储为孤立的信息片段。它们实际上开发了将这些概念以我们从未明确教导的方式组合和匹配的能力。就像它们正在构建自己的创造性工具包 – 我们只是没有给它们正确的指令来使用它。
想想这对 AI 项目的意义。您正在合作的模型可能已经理解了您尚未发现的复杂概念组合。问题不在于它们是否可以做更多 – 而在于如何让它们展示其真正的能力。
解锁隐藏的力量
这里的事情变得很有趣。研究人员设计了一个优雅的实验来揭示 AI 模型学习的基本方面。他们的设置看似简单：他们训练了一个 AI 模型，仅使用三种类型的图像：
- 大红圆圈
- 大蓝圆圈
- 小红圆圈
然后是关键测试：模型是否可以创建一个小蓝圆圈？这不仅仅是关于绘制一个新形状 – 而是关于模型是否可以真正理解和以从未见过的方式组合两个不同的概念（大小和颜色）。
他们发现的东西改变了我们对 AI 能力的看法。当他们使用正常的提示来询问 “小蓝圆圈” 时，模型挣扎。然而，模型实际上可以制作小蓝圆圈 – 我们只是没有以正确的方式询问。
研究人员发现了两种技术来证明这一点：
- “潜在干预” – 这就像找到进入模型大脑的后门。与使用常规提示不同，他们直接调整了代表 “蓝色” 和 “小” 的内部信号。想象一下有单独的旋钮来控制颜色和大小 – 他们发现，通过以特定的方式旋转这些旋钮，模型可以突然产生看似不可能的东西。
- “过度提示” – 与其简单地询问 “蓝色”，他们对颜色值非常具体。就像区别于 “让它变蓝” 和 “让它变成这个蓝色：RGB(0.3, 0.3, 0.7)”。这种额外的精度帮助模型访问了在正常条件下隐藏的能力。
两种技术在模型训练的相同点开始发挥作用 – 大约 6,000 个训练步骤。同时，常规提示要么完全失败，要么需要 8,000 多个步骤才能起作用。而这不是偶然 – 它在多次测试中始终发生。
这告诉我们一些深刻的东西：AI 模型以两个不同的阶段开发能力。首先，它们实际上学习如何在内部组合概念 – 这就是在第 6,000 步发生的事情。但是，有一个第二阶段，它们学习如何将这些内部能力连接到我们的正常询问方式。就像模型变得流利于一种新语言，然后才学会为我们翻译这种语言。
影响是重大的。当我们认为一个模型无法做某事时，我们可能是错误的 – 它可能具有这种能力，但缺乏我们提示和其能力之间的联系。这不仅适用于简单的形状和颜色 – 它也可能适用于更大的 AI 系统中的更复杂的能力。
当研究人员在使用 CelebA 面部数据集 的真实数据时测试这些想法时，他们发现了相同的模式。他们尝试让模型生成 “戴帽子的女性” 的图像 – 这是模型在训练中从未见过的东西。常规提示失败，但使用潜在干预揭示模型实际上可以创建这些图像。能力就在那里 – 只是我们没有以正常的方式访问它。
关键收获
我们需要重新思考如何评估 AI 能力。仅仅因为一个模型可能无法使用标准提示做某事并不意味着它无法做到这一点。AI 模型可以做什么和我们可以让它们做什么之间的差距可能比我们想象的要小 – 我们只需要更好地询问。
这一发现不仅仅是理论上的 – 它从根本上改变了我们应该如何思考 AI 系统。当一个模型似乎难以完成一项任务时，我们可能需要问自己它是否真正缺乏这种能力，还是我们没有以正确的方式访问它。对于开发人员、研究人员和用户来说，这意味着以创造性的方式与 AI 交互 – 有时我们需要的能力已经存在，只等待正确的钥匙来解锁它。
