人工智能中的“人在回路”真正意味着什么？

在20世纪初，英国哲学家吉尔伯特·赖尔（Gilbert Ryle）创造了“机器中的幽灵”（ghost in the machine）这个术语。在他的著作《心灵的概念》（The Concept of Mind）中，赖尔使用这个隐喻来反对心身二元论，即认为心灵和身体是两个独立的实体。对于赖尔来说，这种区分是错误的，因为认知和身体行动是不可分割的，属于同一个系统，而不是两个相互作用的部分。

随着人工智能的出现，当谈到使用人工智能工具来提高生产力时，一个类似的隐喻出现了：常用的“人在回路”（human-in-the-loop）。如果人类和智能系统现在比以往任何时候都更加紧密地融合在一起，我们是在构建一个无缝的融合，还是仅仅创造了一个对控制的方便幻觉？

初创公司非常依赖这个概念来讨论他们的工具。虽然它承诺创新和安慰，但现实往往更复杂。责任可以很容易地变得模糊，问责变得更难追踪。

随着人工智能系统深入到教育、战争等敏感领域，赌注不再是抽象的。人工智能中的“人在回路”真正意味着什么？这只是一个委婉的说法，当他们完全消失时使用吗？

1. 人在回路作为责任的盾牌

如果粗心使用，“人在回路”这个术语可以成为一种轻松地转移责任而不真正参与其中的方式。正如许多人注意到的，过程结束时的签名并不保证道德完整性，特别是如果底层系统设计不良或不充分理解。

Maysa Hawwash，Scale X的创始人和首席执行官，写过关于责任滑坡的文章，并坦率地谈到了这个概念经常被部署的方式。“这实际上与其他方式的负担转移没有什么不同，”Hawwash告诉Startup Beat，使用了人力资源经理如何使用签署政策来将公司从责任中移除的例子。“如果你有这样的政策，人们阅读并签署它，那么作为一家公司，你技术上来说不再承担责任，对吗？”她说。

出现的模式在企业系统中很常见，即责任被转移而不是消除。Hawwash认为这是懒惰的方式，避免了批判性思维或理解它可能影响人们或社区的领域。“所以，你正在转移负担，然后人们是否理解政策就无关紧要了，政策是否有意义也无关紧要。”

在这种框架中，“人在回路”有可能变成一种程序上的掩护，而不是有意义的干预。这里的危险不仅仅是语义上的。当监督被简化为签署时，人类的角色变得象征性而不是实质性的。

Hawwash引用了最近的一次军事暴行——伊朗米纳布的学校——在那里，人类批准了袭击，但人类决策者的存在并不一定等同于道德清晰或充分的审议。“当你处于战争中或进行复杂的手术时，你没有时间使用人在回路作为盾牌。”

2. 为责任而设计，而不仅仅是监督

替代方案不是放弃人在回路系统，而是认真对待设计承诺。这意味着超越象征性的监督，朝着故意的责任结构迈进。

“现在有一个大赛要将更多的人工智能推向市场。从设计角度来看，没有太多思考关于对社区、人们或最终用户的下游影响，”Hawwash说。

速度已经成为主导的竞争变量。在这种竞争中，责任往往被推迟而不是内嵌。结果是一个反应式的道德模型，即问题的解决发生在部署之后，而不是在开发过程中预测它们。

可访问性可能会加速采用，但也会导致后果的放大。系统不再仅限于技术用户，因为它们可以为具有不同理解和背景的人们做出决定。在这样的环境中，责任不能被外包给最终用户。

3. 人在回路作为准确性和问责

Abhay Gupta，Frizzle的联合创始人，提供了一个更具操作性的视角——一个建立在人工监督既实用又必要的系统上的视角。

他的公司源自一个特定的问题：过度劳累的教师。“在城市中，你听说过银行家和顾问每周工作70个小时，但你听不到教师工作这么多。出于好奇，我们采访了数百名教师，结果显示，评分是他们最大的时间浪费。”

自动评分似乎很直接，但手写数学的复杂性为人工智能带来了真正的限制。“这里有一个准确性的问题。人工智能并不完美，所以我们建立了一个人在回路的系统。如果人工智能不确定——比如字迹很糟糕——它会将其标记为教师审查和批准或拒绝。”

在这里，人类的角色并不是装饰性的。系统明确地确定了自己的不确定性，并将这些情况路由到人类。“对于我们来说，这是关于准确性的问题。总会有边缘情况——可能是1-3%——人工智能会挣扎，所以人类需要介入。”

这种方法重新定义了人在回路作为质量控制的机制。但Gupta更进一步：“在其核心，人工智能并不100%准确——它可以产生幻觉或错误输出。人在回路作为最终的质量检查，在结果到达最终用户之前。它也关乎责任。有人必须对输出负责，目前这仍然必须是一个人类。”

重要的是，人类的角色也保留了某种更难以量化的东西：教学的关系方面。“这也关乎保留教学的人性化方面。教师有不同的风格，所以我们允许他们自定义如何提供反馈。”

重新定义人在回路

“人在回路”这个短语带有一种令人安心的简单性。它暗示着，无论我们的系统变得多么先进，人类仍然控制着一切，我们并不是仅仅是“机器中的幽灵”。但是，当初创公司越来越多地在高风险环境中部署人工智能时，这种安慰需要审查。

更深层次的问题是设计。如果系统的风险被不充分地理解或故意低估，在末端插入一个人类并不能纠正根本缺陷。重要的是，它也意味着定义人类的角色不是作为一个后备，而是作为系统运作的不可分割的一部分。人在回路中不应仅仅批准结果。初创公司应该努力让员工能够塑造他们，挑战他们，并在必要时用权威覆盖他们。