Shyam Rajagopalan, Infinitus 联合创始人和首席技术官 Shyam Rajagopalan Infinitus 联合创始人和首席技术官

任意 AI 代理都可以说话，但很少有可以被信任的

医疗保健行业对 AI 代理的需求是迫切的。整个行业的过度劳累的团队被耗时的任务所困扰，这些任务阻碍了患者的护理。临床医生被拉得很紧，支付者呼叫中心被淹没，患者被留下等待对紧急问题的答案。AI 代理可以通过填补深刻的空白、扩大临床和行政人员的覆盖范围和可用性以及减少医疗人员和患者的倦怠来提供帮助。但是在我们能够做到这一点之前，我们需要为建立对 AI 代理的信任提供一个坚实的基础。这种信任不会来自于温暖的语调或对话流畅度，而是来自于工程设计。即使对 AI 代理的兴趣激增，头条新闻也在吹捧代理 AI 的前景，但医疗保健领导者——对其患者和社区负责——仍然犹豫是否要大规模部署这种技术。初创公司正在吹嘘代理能力，从自动执行日常任务（如预约安排）到高触感的患者沟通和护理。然而，大多数公司尚未证明这些互动是安全的。事实上，任何人都可以启动一个由大型语言模型（LLM）驱动的语音代理，赋予其富有同情心的语调，并编写一个听起来令人信服的对话。有很多这样的平台在每个行业兜售他们的代理。他们的代理可能看起来和听起来不同，但他们的行为都是一样的——容易产生幻觉，无法验证关键事实，并且缺乏确保问责的机制。这种方法——在基础 LLM 周围构建一个常常过于薄弱的包装——可能在零售或酒店等行业有效，但在医疗保健行业中将会失败。基础模型是非凡的工具，但它们主要是通用目的的；它们并没有专门针对临床协议、支付者政策或监管标准进行训练。即使是建立在这些模型上的最有说服力的代理也可能会进入幻觉领域，回答不应该回答的问题，编造事实，或者无法识别何时需要将人类带入循环。这些行为的后果并非理论性的。它们可能会让患者感到困惑，干扰护理，并导致昂贵的人工返工。这不是一个智力问题，而是一个基础设施问题。为了在医疗保健领域安全、有效、可靠地运行，AI 代理需要不仅仅是电话另一端的自治声音。它们必须由专门为控制、上下文和问责而设计的系统操作。根据我建设这些系统的经验，这就是它在实践中的样子。响应控制可以消除幻觉医疗保健中的 AI 代理不能仅仅生成合理的答案。它们需要每次都提供正确的答案。这需要一个可控的“操作空间”——一种机制，允许 AI 了解和促进自然对话，同时确保每个可能的响应都受到预定义逻辑的约束。通过在代理中内置响应控制参数，代理只能引用经过验证的协议、预定义的操作程序和监管标准。模型的创造力被利用来指导交互，而不是编造事实。这就是医疗保健领导者可以确保消除幻觉风险的方式——不是通过在试点或单个焦点小组中进行测试，而是通过在基础上设计出风险。专用知识图可以确保可信的交换每次医疗保健对话的上下文都是深深的个人化的。两个患有 2 型糖尿病的人可能住在同一个社区，并且具有相同的风险特征。他们是否有资格接受特定的药物将取决于他们的医疗史、医生的治疗指南、他们的保险计划和处方规则。AI 代理不仅需要访问此上下文，还需要能够实时推理。专用的 知识图 提供了这种能力。它是一种结构化的信息表示方式，允许代理验证他们所听到的内容，并确保他们提供的信息不仅准确，还具有个性化。强大的审查系统可以评估准确性患者可能会与 AI 代理挂断电话并感到满意，但代理的工作还远远没有结束。医疗保健组织需要确保代理不仅提供了正确的信息，还理解并记录了交互。这种情况下，自动后处理系统就派上用场了。强大的审查系统应该像一个拥有所有时间的人类主管一样，以细致入微的方式审查每次对话。它应该能够确定响应是否准确，确保捕获了正确的信息，并确定是否需要后续跟进。如果某些事情不正确，代理应该能够升级到人类，但如果一切正常，任务可以自信地勾选完成。除了这些三个基础元素之外，任何代理 AI 基础设施都需要一个强大的安全和合规框架来保护患者数据并确保代理在监管范围内运作。该框架应包括严格遵守行业标准，如...