未经检查的LLM和医疗保健合规难题

跨行业，生成式AI（GenAI）在相对较短的时间内取得了快速的突破。这些进步是由基础模型驱动的，根据加利福尼亚州前沿AI政策报告的定义，基础模型是一类“通用目的技术，需要大量的数据和计算资源来产生能够支持各种下游AI应用的能力。”

这些通用的大型语言模型（LLM），如Gemini和ChatGPT，正在展示出越来越强大的能力，以复制和超过人类在数据分析、写作和推理等领域的认知能力。在医疗保健领域，GenAI的采用率正在上升，临床医生和其他医疗保健专业人员正在寻求这种技术来减轻行政负担，加速运营，甚至支持临床决策。

然而，虽然这种技术带来了巨大的希望，但在医疗保健领域采用GenAI也带来了合规风险，如果不负责任地实施或使用。特别是，使用通用LLM带来了特定的合规问题，医疗保健组织必须充分了解，以防止隐私或安全漏洞。这些模型可能依赖于未经验证的数据源，以未经授权的方式利用患者的健康信息，或者延续偏见和/或不准确的信息。

为了维护患者数据隐私，遵守不断演变的法规，并尽量减少昂贵的风险，医疗保健领导者必须采取果断的措施来消除“未经检查”的LLM使用的合规“定时炸弹”。

医疗保健领域中通用LLM的当前状态

在整个医疗保健领域，员工越来越多地使用LLM来支持日常任务，从行政工作到患者沟通。 多模态LLM 还进一步扩展了这些应用，其能够轻松处理文本、图像和音频。在行政支持之外，我们还看到提供者转向该技术来支持不仅仅是文职工作，还支持临床任务。

这些模型已经展示了令人印象深刻的结果，几项研究表明LLM的性能达到或超过人类在特定领域的能力。例如，GPT-4模型通过了美国医师执照考试，总分为86.7%。 混合AI 是医疗保健领域中另一种新兴的GenAI使用方法，它结合了机器学习（ML）和LLM来处理复杂的分析并将结果翻译成简单的语言。通过集成这两种模型，这种方法旨在克服LLM的缺点，包括幻觉、不准确和偏见，同时发挥其优势。 代理AI 也正在崛起，其能够自动执行关键任务而无需人类输入，例如响应患者消息或安排预约。

然而，AI的潜力也凸显了更积极的治理的迫切需要。这些工具在医疗保健运营中变得越来越根深蒂固，确保准确性、安全性和合规性的赌注就越高。

医疗保健领域中通用LLM的合规风险

虽然医疗保健领域的数字化转型已经开启了新的可能性，但也暴露了关键的漏洞。例如，2023年11月1日至2024年10月31日，医疗保健行业经历了 1,710起安全事件，其中1,542起涉及确认的数据泄露。

AI时代加剧了这些漏洞，增加了数据隐私和安全的复杂性。更具体地说，医疗保健领域中使用通用LLM引发了几个关键的合规风险：

风险#1：不透明的开发过程防止持续监控或验证

封闭模型 缺乏透明度，关于其开发过程，例如模型训练所用的具体数据或更新的方式。这种不透明度阻止了开发人员和研究人员深入模型，以确定安全风险的来源或判断决策过程。因此，封闭的LLM可能会允许使用未经验证的医疗数据源，并使安全漏洞无法被检测到。

风险#2：患者数据泄露

LLM并不总是依赖于去识别的患者数据。专门的提示或交互可能会 无意中泄露可识别的健康信息，，从而可能导致HIPAA违规。

风险#3：延续偏见和不准确的信息

在 一个实验 中，研究人员将少量错误的事实注入生物医学模型知识库的一个类别中，同时保留其在所有其他领域的行为。研究人员发现，错误信息被传播到模型的输出中，突出了LLM对错误信息攻击的脆弱性。

任何在基础模型中发现的缺陷都将被继承到所有采用模型和应用中，可能会加剧健康不平等，例如为代表性不足的群体提供不准确的建议。

风险#4：法规不符

使用通用LLM可能不符合HIPAA、GDPR或不断演变的AI特定法规，特别是如果供应商无法验证训练数据。这些风险因医疗保健组织的员工使用未经批准或未经监控的AI工具或影子AI而加剧。根据IBM的说法， 20%的受访组织 在所有行业中都遭受了由于影子AI相关的安全事件而导致的违规行为。

最终，医疗保健领域中通用LLM的风险具有现实世界的影响，包括法律诉讼、声誉损害、患者信任丧失和诉讼成本。

最佳实践：LLM指南和考虑因素

为了负责任地采用GenAI，医疗保健领导者必须建立明确的防护措施，以保护患者和组织。以下最佳实践可以帮助医疗保健组织为负责任的、合规的AI使用奠定基础：

最佳实践#1：明智地选择AI技术

要求供应商明确说明AI技术的开发过程和所用的数据源。优先选择只使用专家验证的医疗内容、具有透明的决策过程并避免在患者健康信息上训练模型的工具。

最佳实践#2：建立人机联合作用保障

确保临床医生审查任何可能影响护理决策的AI生成输出。AI可以成为一个强大的工具，但在直接影响患者生命的行业中，临床监督是确保AI使用的责任和准确性的关键。

最佳实践#3：培训和人员准备

教育临床医生和员工关于AI使用的利弊，以减少影子AI的采用。医疗保健人员正在应对一个复杂的劳动力，受到人员短缺和高烧伤率的困扰。简化AI教育过程有助于确保合规性，而不会给他们的工作量增加额外的负担。

最佳实践#4：建立治理文化

将第三方评估纳入AI解决方案，以验证安全性、可靠性和合规性。同时，实施一个明确的、全组织范围的AI监督框架，定义批准、使用和监控，以进一步增强对该技术的信任并防止员工使用未经授权的工具。

最佳实践#5：与领导层保持一致的AI管理

与领导层合作，保持领先于不断演变的法规，以及FDA和ONC的指导。监管工作正在州一级出现。例如，加利福尼亚州颁布了 前沿AI透明度法，强调风险披露、透明度和减轻，特别是在医疗保健环境中，还有 科罗拉多州人工智能法，旨在防止算法歧视。

最佳实践#6：持续监控和反馈循环

在医疗保健环境中使用AI永远不应以“设置并忘记”的心态来对待。建立一个持续监控的框架可以帮助确保AI工具的准确性，增强问责制，并随着时间的推移保持合规性。

最佳实践#7：寻求合作伙伴关系以优化监督和研究

医疗保健组织应利用与监管机构和公众的合作伙伴关系来最大限度地提高监督，贡献他们的行业视角来安全标准，并结合专家资源。

通过合规领导建立信任

医疗保健领域中AI解决方案的区别将越来越多地取决于其专家内容的质量、评估过程的完整性以及对临床工作流的负责任的集成。AI采用下一阶段将越来越少地依赖于代码，而更多地依赖于合规领导。

信任与合规一样至关重要。为了使该技术真正有效，患者和提供者必须相信AI是安全的，并与高质量、道德的护理保持一致。合规领导是一个战略优势，而不仅仅是一种防御措施。那些在有害事件发生之前就建立了防护措施的前瞻性组织将在AI驱动的医疗保健未来中区别于其他组织。