语言模型应止步于何处：为薪资管理、招生及其他容错率极低的领域设计人工智能

过去几年里，我一直致力于将人工智能融入一些产品：在这些产品中，答错问题是要付出代价的。一个是面向澳大利亚市场、由人工智能驱动的薪资合规平台，出错会直接影响某人的银行账户；另一个是大学招生产品，匹配不佳可能影响学生接下来四年的生活。决定这两种产品架构的问题如出一辙：在确定性机制接手之前，应该允许语言模型介入到什么程度？

美国每五笔薪资发放中就有一笔存在错误，在诉讼成本计入之前，每笔错误平均会造成 291 美元的损失。欧盟《人工智能法案》将用于招生决策和就业管理的人工智能列为高风险类别。

让规则掌管数字

凡是涉及金额或法律后果的事项，都由确定性规则掌管；模型只负责依据这些规则进行解读和说明，不得越界。

在薪资平台上，我们的目标是在薪资规则与人工智能之间划清界限。薪资专家首先以结构化格式定义薪酬规则。随后，系统处理这些规则，并生成所有可能由此产生的情形。这套完整的情形集合就成为模型判断的事实依据。模型不能创建新规则、修改现有规则，也不能决定使用哪些来源。它只能检索相关规则集、查询费率表，并注明所依据的情形。规则的制定、情形的生成和来源的选择，完全都在人工智能层之外。

招生产品遵循同样的逻辑：在模型能够影响排名之前，先将地点要求、预算上限、院校状态和资格门槛作为规则应用。如果学生表示自己必须在加利福尼亚州上大学，模型就不能因为认为州外某所学校在其他方面很合适，便推翻这一要求。模型负责处理较灵活的偏好并作出说明；凡是不能接受“大致正确”的地方，确定性逻辑都会充当防护栏。

检索可以为模型提供依据，但作用有限

检索增强生成能让回答以机构自身的政策为依据，而不是依赖模型在训练过程中吸收的内容。但人们也过分夸大了它的效果。斯坦福大学的 RegLab测试基于 RAG 构建的商业法律研究工具时发现，这些工具仍有 17% 至 33% 的情况下会产生幻觉。检索能够缩小模型可回答的范围，但模型仍可能出错。

我曾亲身领教过这一点。在薪资平台上，系统有一次为某个案例找到了正确的雇佣裁定，但模型仍然错误解读了加班规则。检索到的来源没有问题，答案却错了。此后，我们对模型能够自行作出的判断收紧了许多：重要的薪资规则被纳入明确的业务逻辑，每个答案都必须有来源材料作为依据，我们还围绕那个失败案例增设了测试。只有同时控制模型如何使用信息，获取正确的信息才有帮助。

让每个回答都可追溯

生成回答之前，系统会准确记录所用规则手册及其版本，同时记录模型和其他请求详情。仅仅声称人工智能的回答依据公司政策生成，很难核实。若能说明回答依据某份具体协议的第 7 版生成，且该版本已留存并可与其他版本比较，证据力就强得多。我们还会追踪每一次模型调用和工具调用：用户提出了什么问题、检索到了什么内容、运行了哪些工具、模型返回了什么，以及过程中出现的任何错误。收到支持问题时，我们就能准确查明错误回答是在哪个环节产生的。2024 年的加拿大航空裁决中，仲裁庭要求航空公司兑现其聊天机器人虚构出的折扣；这一案例表明，另一种做法会付出什么代价。

在后果重大的环节引入人工审核

NIST 的《生成式人工智能概况》将系统可自行完成的事项与必须由人处理的事项之间的界线，视为一项治理决策。当系统拿不准、信息相互冲突，或决策可能对用户造成实质影响时，我们会将案例转交人工处理。在招生场景中，学生情况特殊，或推荐结果无法明确满足学生的硬性要求时，系统会将其标记出来，交由顾问审核。这一环节曾发现一些表面上看似合理的推荐，实际上遗漏了学生情况中的某项限制；每个此类案例也都会反馈到系统中。两款产品都不会自行敲定任何结果。顾问必须先提供意见，推荐结果才能被采信；薪资系统生成的每张工资单也都会在发出前标记为待批准。人工审核并非针对每项请求。我们的目标是有把握地自动处理常规案例，并在系统有充分理由感到不确定时请人介入。

判断模型目前能够负责哪些事项

我会用一项实用标准来评估任何工作流程：如果错误结果在人们看到之前能够被发现并撤销，那么这一步可以交由模型负责；如果答案能够依据规则核验，那么就由规则作主，模型负责解释；如果错误结果会在任何人察觉之前影响工资发放或申请决策，那么这一步就还不适合交给模型。

语言模型是我们迄今为止放在规则手册面前最出色的解读者。在犯错会付出代价的领域，它们应止步于解读。