未经检查的LLM和医疗保健合规难题

在各个行业中，生成式人工智能（GenAI）在相对较短的时间内取得了快速的突破。这些进步是由基础模型驱动的，根据加利福尼亚前沿人工智能政策报告的定义，这是一种“通用技术，需要大量数据和计算资源来产生能够支持各种下游人工智能应用的能力”。

这些通用大型语言模型（LLM），如Gemini和ChatGPT，在数据分析、写作和推理等领域展示了日益增长的力量，能够复制和超过人类的认知能力。在医疗保健领域，GenAI的采用率正在上升，临床医生和其他医疗保健专业人员正在寻求利用该技术来减少行政负担、加快运营并支持临床决策。

然而，虽然该技术带来了巨大的希望，但如果不负责任地实施或使用，GenAI在医疗保健领域的采用也会带来合规风险。特别是，使用通用LLM会带来特定的合规问题，医疗保健组织必须充分了解这些问题，以防止隐私或安全漏洞。这些模型可能依赖于未经验证的数据源，以未经授权的方式利用患者健康信息，或延续偏见和/或不准确的信息。

为了维护患者数据隐私，遵守不断演变的法规，并最小化昂贵的风险，医疗保健领导者必须采取果断的措施来消除“未经检查”的LLM使用的合规“时间炸弹”。

医疗保健领域通用LLM使用的当前状态

在整个医疗保健行业中，员工越来越多地使用LLM来支持日常任务，从行政工作到患者沟通。 多模态LLM 还进一步扩展了这些应用，具有轻松处理文本、图像和音频的能力。除了行政支持外，我们还看到提供者转向该技术来支持不仅仅是文员工作，还有临床任务。

这些模型已经展示了令人印象深刻的结果，几项研究表明LLM的性能达到或超过了人类的能力，在特定领域。例如，GPT-4模型通过了美国医师执照考试，总成绩为86.7%。

混合人工智能 是医疗保健领域中另一种新兴的GenAI使用方法，它结合机器学习（ML）和LLM来处理复杂分析并将结果翻译成普通语言。通过集成这两种模型，该方法旨在克服LLM的缺点，例如幻觉、不准确性和偏见，同时发挥其优势。 代理人工智能 也正在被采用，因为它可以自动执行关键任务，而无需人工干预，例如响应患者消息或安排预约。

然而，人工智能带来的潜力也凸显了更积极的治理的迫切需要。这些工具在医疗保健运营中越是根深蒂固，确保准确性、安全性和合规性的赌注就越高。

医疗保健领域通用LLM的合规风险

虽然数字化在医疗保健领域开启了新的可能性，但也暴露了关键的弱点。例如，2023年11月1日至2024年10月31日期间，医疗保健行业经历了1,710起安全事件，其中1,542起涉及确认的数据泄露。

人工智能时代加剧了这些裂痕，增加了数据隐私和安全的复杂性。更具体地说，医疗保健领域中使用通用LLM引发了几个关键的合规风险：

风险#1：不透明的开发过程阻碍持续监控或验证

封闭模型 缺乏对其开发过程的透明度，例如模型所训练的具体数据或更新的方式。这一不透明度阻止了开发人员和研究人员深入模型以确定安全风险的来源或判断决策过程。因此，封闭的LLM可能会允许使用未经验证的医疗数据源，并允许安全漏洞不被检查。

风险#2：患者数据泄露

LLM并不总是依赖去识别的患者数据。专门的提示或交互可能会 无意中泄露可识别的健康信息, 从而可能导致HIPAA违规。

风险#3：延续偏见和不准确信息

在 一个实验, 中，研究人员将少量错误的事实注入生物医学模型知识库的一个类别中，同时保留其在所有其他领域的行为。研究人员发现，模型的输出中传播了虚假信息，突出了LLM对虚假信息攻击的脆弱性。

任何基础模型中的缺陷都将被采用模型和应用继承。输出中的差异可能会加剧健康不平等，例如为代表性不足的群体提供不准确的建议。

风险#4：法规不符

使用通用LLM可能不符合HIPAA、GDPR或不断演变的人工智能特定法规，特别是如果供应商无法验证训练数据。这些风险因医疗保健组织的员工使用未经批准或未经监控的人工智能工具或影子人工智能而加剧。根据IBM的说法，20%的受访组织 在所有行业中都遭受了由于影子人工智能相关的安全事件而导致的违规行为。

最终，医疗保健领域中通用LLM的风险具有现实世界的影响，包括法律诉讼、声誉损害、患者信任丧失和诉讼成本。

最佳实践：LLM指南和考虑因素

为了负责任地采用GenAI，医疗保健领导者必须建立明确的防护措施，以保护患者和组织。以下最佳实践可以帮助医疗保健组织为负责任的人工智能使用奠定基础：

最佳实践#1：明智地选择人工智能技术

要求供应商对人工智能技术的开发和使用的数据源提供明确的说明。优先考虑使用仅专家验证的医疗内容、具有透明的决策过程并避免在患者健康信息上训练模型的工具。

最佳实践#2：建立人机协同的安全保障

确保临床医生审查任何可能影响护理决策的AI生成输出。人工智能可以成为一个强大的工具，但在一个对患者生命有直接影响的行业中，临床监督对于确保人工智能使用的责任感和人工智能辅助信息的准确性至关重要。

最佳实践#3：培训和人员准备

教育临床医生和员工了解人工智能使用的利弊，以减少影子人工智能的采用。医疗人员正在应对一个复杂的劳动力，受到人员短缺和高烧伤率的困扰。简化人工智能教育过程有助于确保合规性，而不会给他们的工作量增加额外的负担。

最佳实践#4：建立治理文化

将第三方评估融入AI解决方案中，以验证安全性、可靠性和合规性。同时，实施一个清晰的、全组织范围的AI监督框架，定义批准、使用和监控，以进一步增强对技术的信任并防止员工使用未经授权的工具。

最佳实践#5：与领导层对齐AI管理

与领导层合作，领先于不断演变的法规，以及FDA和ONC的指导。监管工作正在州一级出现。例如，加利福尼亚州颁布了 前沿人工智能透明度法, 强调了风险披露、透明度和减轻，特别是在医疗保健环境中，并且还有 科罗拉多人工智能法, 旨在防止算法歧视。

最佳实践#6：持续监控和反馈循环

在医疗保健环境中使用人工智能不应采用“设置并忘记”的心态。建立持续监控的框架可以帮助确保人工智能工具的准确性、问责制和随时间的合规性。

最佳实践#7：寻求合作以优化监督和研究

医疗保健组织应与监管机构和公共部门合作，最大限度地提高监督、贡献行业视角以确保安全标准，并结合专业资源。

通过合规领导建立信任

医疗保健领域人工智能解决方案的差异化将越来越多地取决于其专家内容的质量、评估流程的完整性以及与临床工作流程的负责任集成。人工智能采用下一阶段将不再依赖代码，而是依赖合规领导。

信任与合规一样至关重要。为了使该技术真正有效，患者和提供者必须相信人工智能是安全的，并且符合高质量的、道德的护理。合规领导是一个战略优势，而不仅仅是一种防御措施。那些在有害事件发生之前就建立了防护措施的前瞻性组织将在人工智能驱动的医疗保健未来中区别于其他组织。