医疗保健行业中的生成式人工智能需要可解释性

文本生成式人工智能工具能够以惊人的速度完成高级写作和通信任务，这引起了公司和消费者的共鸣。然而，为了实现这些令人印象深刻的能力而发生在幕后的过程可能会使敏感的、政府监管的行业（如保险、金融或医疗保健）在没有采取相当谨慎的情况下使用生成式人工智能变得风险很高。

医疗保健行业中的一些最具说明性的例子可以说明这一点。

这些问题通常与训练大型语言模型（LLM）所使用的广泛和多样化的数据集有关。LLM是文本生成式人工智能工具赖以完成高级任务的基础。没有程序员的外部干预，LLM往往会不加区别地从互联网上的各种来源中收集数据，以扩展其知识库。

这种方法对于低风险的面向消费者的用例最为合适，在这种情况下，目标是将客户准确地引导到理想的产品。然而，随着大型数据集和人工智能模型生成输出的复杂路径变得日益模糊，医疗保健提供者所需的可解释性变得越来越重要，以便追踪和防止潜在的不准确性。

在这种情况下，可解释性是指理解任何给定LLM的逻辑路径的能力。希望采用辅助生成式人工智能工具的医疗保健专业人员必须能够理解他们的模型如何产生结果，以便患者和工作人员在整个决策过程中都能获得完全的透明度。换句话说，在像医疗保健这样的行业中，生命岌岌可危，专业人员误解训练其人工智能工具所使用的数据的风险太高了。

幸运的是，有一种方法可以绕过生成式人工智能的可解释性难题——只需要更多的控制和关注。

神秘和怀疑

在生成式人工智能中，理解LLM如何从输入（A点）到输出（B点）是一个比非生成式算法更复杂的问题，后者遵循更固定的模式。

生成式人工智能工具在从输入到输出的过程中会建立无数的联系，但对于外部观察者来说，它们如何和为什么建立这些联系仍然是一个谜。没有一种方法可以看到人工智能算法的“思维过程”，人类操作员就缺乏彻底的方法来调查其推理并追踪潜在的不准确性。

此外，机器学习算法使用的不断扩大的数据集使得可解释性更加复杂。数据集越大，系统就越有可能从相关和不相关的信息中学习，并产生“人工智能幻觉”——这些幻觉偏离外部事实和逻辑背景，无论它们看起来多么令人信服。

在医疗保健行业，这些有缺陷的结果可能会导致一系列问题，例如误诊和错误的处方。除了道德、法律和财务后果之外，这样的错误可能会损害医疗保健提供者及其代表的医疗机构的声誉。

尽管生成式人工智能有潜力增强医疗干预、改善与患者的沟通、提高运营效率，但在医疗保健领域，它仍然被怀疑，甚至有理由如此——55%的临床医生不相信它已经准备好用于医疗目的，58%的人根本不信任它。然而，医疗保健组织正在继续推进，98%的组织正在整合或计划部署生成式人工智能，以试图抵消该行业持续劳动力短缺的影响。

控制源头

医疗保健行业经常在当前的消费者环境中处于被动地位，这种环境更看重效率和速度，而不是确保铁杆式的安全措施。最近关于训练LLM的无限制数据收集的弊端的新闻，例如因版权侵权而引发的诉讼，已经将这些问题推到了前台。一些公司也面临着被指控使用公民的个人数据来训练这些语言模型的指控，可能违反了隐私法。

因此，针对高度监管行业的人工智能开发人员应该控制数据源，以限制潜在的错误。也就是说，应该优先从可信、行业验证的来源提取数据，而不是在没有明确许可的情况下随意从外部网页中抓取数据。对于医疗保健行业，这意味着将数据输入限制为FAQ页面、CSV文件和医疗数据库等内部来源。

如果这听起来有些限制，那么请尝试在大型医疗系统的网站上搜索一项服务。美国医疗保健组织在其平台上发布数百甚至数千个信息页面；大多数页面都深埋在患者无法访问的地方。基于内部数据的生成式人工智能解决方案可以让患者便捷、无缝地获取这些信息。这对所有相关方来说都是双赢的，因为医疗系统终于从这些内容中获得了投资回报，而患者可以立即、轻松地找到他们需要的服务。

监管行业中生成式人工智能的未来

医疗保健行业可以从生成式人工智能中受益于多个方面。

例如，考虑一下最近美国医疗保健部门普遍存在的倦怠——预计到2025年，几乎50%的劳动力将离开他们的岗位。人工智能驱动的聊天机器人可以帮助缓解大量的工作量，并保护过度扩张的患者接入团队。

在患者方面，生成式人工智能有潜力改善医疗保健提供者的呼叫中心服务。人工智能自动化可以通过各种联系渠道解决广泛的查询，包括FAQ、IT问题、药物续方和医生转介。除了等待电话的沮丧之外，只有大约一半的美国患者能够在第一次通话中成功解决他们的问题，导致放弃率高，获取医疗服务受限。由此产生的低客户满意度进一步给行业带来了压力。

为了让医疗保健行业真正从生成式人工智能实施中受益，医疗保健提供者需要故意重组其LLM访问的数据。