人工智能中的“人在循环”真正意味着什么？

在20世纪初，英国哲学家吉尔伯特·赖尔（Gilbert Ryle）创造了“机器中的幽灵”（ghost in the machine）这一术语。在他的著作《心灵的概念》中，赖尔使用了这个隐喻来反对心身二元论，即认为心灵和身体是两个独立的实体。对于赖尔来说，这种区分是一个错误，因为认知和身体行动是不可分割的，是一个单一系统的组成部分，而不是两个相互作用的部分。

随着人工智能的出现，当讨论使用人工智能工具来提高生产力时，一个类似的隐喻出现了：“人在循环”（human-in-the-loop）。如果人类和智能系统比以往任何时候都更加紧密地融合在一起，我们是否正在构建一个无缝的融合，还是仅仅创造了一个对控制的方便幻觉？

初创公司非常依赖这个概念来描述他们的工具。虽然它承诺带来创新和安慰，但现实往往更加复杂。责任可以轻易地变得模糊，追究责任变得更加困难。

随着人工智能系统深入到教育、战争等敏感领域，风险不再是抽象的。什么是“人在循环”真正的含义？这只是当他们完全消失时的一个委婉说法吗？

1. “人在循环”作为责任的盾牌

如果滥用“人在循环”这个术语，它可以成为一种轻松的方式来转移责任，而不真正地承担责任。正如许多人注意到的那样，过程结束时的签名并不保证道德完整性，特别是如果底层系统设计不良或不充分理解。

Scale X的创始人兼首席执行官Maysa Hawwash已经撰文讨论了责任的转移，并直言不讳地谈到了这个概念经常被部署的方式。“这实际上与其他方式的负担转移并无不同。”Hawwash告诉Startup Beat，使用了人力资源经理经常使用的签署政策来将公司从责任中移除的例子。“如果你有这样的政策，人们阅读并签署后，作为一家公司，你就不再承担责任，对吗？”她说。

出现的模式在企业系统中很常见，即责任被转移而不是消除。Hawwash认为这是懒惰的做法，避免了批判性思维或理解它可能影响人们或社区的领域。“所以，你正在转移负担，然后人们是否理解政策就不重要了，政策是否有意义也就不重要了。”

在这种框架下，“人在循环”有可能变得不再是关于有意义的干预，而是关于程序上的掩护。这里的危险不仅仅是语义上的。当监督被简化为签署时，人类的角色变得象征性而不是实质性的。

Hawwash引用了最近的一起军事暴行——伊朗明阿卜学校事件——在那里，人类批准了袭击，但人类决策者的存在并不一定等同于道德清晰或充分的审议。“当你处于战争状态或进行复杂的手术时，你没有时间来使用‘人在循环’作为盾牌。”

2. 为责任而设计，而不仅仅是监督

另一种选择不是放弃“人在循环”系统，而是认真对待它们作为设计承诺。这意味着超越象征性的监督，朝着故意的责任结构迈进。

“现在有一个大规模的竞争，争相将更多的人工智能推向市场。从设计角度来看，没有太多的思考，关于对社区、对人们或对最终用户的下游影响是什么，”Hawwash说。

速度已经成为主导的竞争变量。在这种竞争中，责任往往被推迟而不是嵌入。结果是一个反应式的道德模型，即问题的解决发生在部署之后，而不是在开发过程中。

可访问性可能会加速采用，但也会导致后果的放大。系统不再仅限于技术用户，因为它们可以塑造对具有不同理解和背景的人们的决策。在这样的环境中，责任不能被外包给最终用户。

3. “人在循环”作为准确性和责任

Frizzle的联合创始人Abhay Gupta提供了一个更具操作性的视角——一个建立在人工监督既实际又必要的系统上的视角。

他的公司源自一个特定的问题：过度劳累的教师。“在城市中，你听说过银行家和顾问每周工作70个小时，但你听不到教师工作这么多。所以，出于好奇，我们采访了数百名教师，结果发现，评分是他们最大的时间沉没。”

自动化评分似乎很直接，但手写数学的复杂性引入了人工智能的真正限制。“存在准确性问题。人工智能并不完美，所以我们建立了一个‘人在循环’系统。如果人工智能不确定——比如手写体很凌乱——它会将其标记为教师审查和批准或拒绝。”

在这里，人类的角色不仅仅是装饰性的。系统明确地确定了自己的不确定性，并将这些情况路由到人类。“对于我们来说，这是关于准确性。总会有边缘情况——也许是1-3%——人工智能会挣扎，所以需要人类介入。”

这种方法重新定义了“人在循环”作为质量控制的机制。但Gupta进一步指出：“在其核心，人工智能并不100%准确——它可以产生幻觉或产生错误输出。‘人在循环’作为最终的质量检查，确保结果达到最终用户之前是正确的。它也关乎责任。有人必须对输出负责，现在这仍然必须是一个人类。”

重要的是，人类的角色也保留了教学中不太可量化的方面：“这也关乎保留教学中的人类方面。教师有不同的风格，所以我们允许他们自定义如何提供反馈”

重新定义“人在循环”

“人在循环”这个短语带有一种令人安心的简单性。它暗示着，无论我们的系统变得多么先进，人类始终保持控制，我们并不是简单地成为“机器中的幽灵”。但是，当初创公司越来越多地在高风险环境中部署人工智能时，这种安慰需要审查。

更深层次的问题是设计。如果系统的风险被糟糕地理解或故意低估，在最后插入一个人类并不能纠正根本的缺陷。同样重要的是，它也意味着定义人类的角色，不仅仅是一个后备，而是系统运作的整体部分。一个“人在循环”不应该仅仅是批准结果。初创公司应该努力使员工能够塑造结果，挑战结果，并在必要时用权威覆盖结果。