任意 AI 代理都可以交谈，但只有少数可以被信任

医疗保健行业对 AI 代理的需求很迫切。整个行业的过度劳累的团队都被耗时的任务淹没，这些任务阻碍了患者的护理。临床医生被拉得很薄，支付者呼叫中心被淹没，患者被留下等待对紧急问题的回答。

AI 代理可以通过填补深刻的差距、扩大临床和行政人员的覆盖范围和可用性、减少医疗人员和患者的倦怠来提供帮助。但是在我们能够做到这一点之前，我们需要为建立对 AI 代理的信任提供一个坚实的基础。这种信任不会来自于温暖的语调或对话流畅度，它来自于工程。

即使对 AI 代理的兴趣飙升，头条新闻也在吹捧代理 AI 的承诺，但医疗保健领导者——对其患者和社区负责——仍然犹豫是否要大规模部署这项技术。初创公司正在吹捧代理功能，从自动执行诸如预约安排等平凡任务到高触感的患者沟通和护理。然而，大多数初创公司尚未证明这些参与是安全的。

很多都永远不会。

现实是，任何人都可以启动一个由大型语言模型（LLM）驱动的语音代理，给它一个富有同情心的语调，并编写一个令人信服的对话。有很多这样的平台在每个行业兜售他们的代理。他们的代理可能看起来和听起来不同，但所有这些代理的行为都相同——容易出现幻觉，无法验证关键事实，并且缺乏确保问责制的机制。

这种方法——在基础 LLM 周围构建一个往往过于薄的包装——可能在零售或酒店等行业中有效，但在医疗保健行业中会失败。基础模型是非凡的工具，但它们在很大程度上是通用目的的；它们并没有专门针对临床协议、支付者政策或监管标准进行训练。即使是最有口才的代理，如果建立在这些模型上，也可能会进入幻觉领域，回答不应该回答的问题，编造事实，或者无法识别何时需要将人类带入循环。

这些行为的后果并不是理论上的。它们可能会让患者感到困惑，干扰护理，并导致昂贵的人工返工。这不是一个智力问题。这是一个基础设施问题。

为了在医疗保健行业中安全、有效、可靠地运行，AI 代理需要不仅仅是电话另一端的自治声音。它们必须由专门为控制、上下文和问责制而设计的系统操作。根据我建设这些系统的经验，这就是它在实践中的样子。

响应控制可以消除幻觉

医疗保健行业中的 AI 代理不仅仅可以生成合理的答案。他们需要每次都提供正确的答案。这需要一个可控的“行动空间”——一种机制，允许 AI 了解和促进自然对话，但确保每个可能的响应都受到预定义的、批准的逻辑的限制。

通过内置响应控制参数，代理只能引用经过验证的协议、预定义的操作程序和监管标准。模型的创造力被利用来指导交互，而不是即兴发挥事实。这就是医疗保健领导者可以确保消除幻觉的风险的方式——不是通过在试点或单个焦点小组中进行测试，而是在基础上设计出风险。

专用知识图可以确保值得信赖的交流

每次医疗保健对话的背景都是深深的个人化。两个患有 2 型糖尿病的人可能住在同一个社区，并且具有相同的风险特征。他们是否有资格获得某种特定的药物将取决于他们的病史、医生的治疗指南、他们的保险计划和处方规则。

AI 代理不仅需要访问此背景，还需要能够实时推理。一个专门的知识图提供了这种功能。它是一种从多个可信来源结构化表示信息的方法，允许代理验证他们所听到的内容，并确保他们提供的信息不仅准确，还具有个人化。没有这一层的代理可能听起来很有知识，但他们实际上只是遵循严格的工作流程并填写空白。

健全的审查系统可以评估准确性

患者可能会与 AI 代理挂断电话并感到满意，但代理的工作还远远没有结束。医疗保健组织需要确保代理不仅产生了正确的信息，还理解并记录了交互。就是这里需要自动后处理系统。

一个健全的审查系统应该以与人类主管具有所有时间的细致入微的审查水平相同的水平来评估每次对话。它应该能够确定响应是否准确，确保捕获了正确的信息，并确定是否需要后续跟进。如果某些事情不正确，代理应该能够升级到人类，但如果一切正常，任务可以自信地勾选为已完成。

除了这三个基础元素之外，每个代理 AI 基础设施都需要一个健全的安全和合规框架来保护患者数据并确保代理在监管范围内运行。该框架应包括严格遵守行业通用标准，如 SOC 2 和 HIPAA，并应包括偏差测试、受保护的健康信息编辑和数据保留的过程。

这些安全保障措施不仅仅是检查合规框。它们构成了可信赖系统的骨干，该系统可以确保每次交互都以患者和提供者期望的水平来管理。

医疗保健行业不需要更多的 AI 宣传。它需要可靠的 AI 基础设施。在代理 AI 的情况下，信任不会像赚取一样，而是会被设计出来。