不受监管的LLM与医疗保健合规难题

在各个行业，生成式人工智能（GenAI）在相对较短的时间内取得了快速突破。这些进步是由基础模型驱动的，这些基础模型…… 加州前沿人工智能政策报告 定义为“一类通用技术，其生产需要耗费大量资源，需要大量的数据和计算才能产生能够驱动各种下游人工智能应用的功能。”

这些通用大型语言模型（LLM），例如 Gemini 和 ChatGPT，在数据分析、写作和推理等领域展现出日益强大的能力，能够复制甚至超越人类的认知能力。尤其是在医疗保健领域，随着临床医生和其他医疗专业人员寻求利用这项技术来减轻行政负担、加快运营速度，甚至辅助临床决策，GenAI 的应用正在不断增长。

然而，尽管这项技术前景广阔，但如果实施或使用不当，GenAI在医疗保健领域的应用也会带来关键的合规风险。特别是，通用型生命周期模型（LLM）的使用会带来特定的合规问题，医疗机构必须充分了解这些问题，以防止隐私或安全漏洞。这些模型可能依赖未经核实的数据源，以未经授权的方式利用患者健康信息，或传播偏见和/或不准确的信息。

为了维护患者数据隐私，遵守不断变化的法规，并最大限度地降低代价高昂的风险，医疗保健领导者必须采取果断措施，化解“不受控制”的LLM使用所带来的合规“定时炸弹”。

医疗保健领域通用LLM的现状

在医疗保健领域，工作人员越来越多地利用 LLM 来支持日常任务，从行政工作到患者沟通。 多模式法学硕士 此外，这些应用还进一步扩展了其处理文本、图像和音频的能力。除了行政支持外，我们还看到越来越多的医疗服务提供商开始使用这项技术，不仅用于文书工作，还用于临床任务。

这些模型已经展现出一些人眼中令人印象深刻的成果，多项研究表明，LLM（逻辑学习模型）在某些领域的表现能够达到甚至超越人类的能力。例如，GPT-4 模型以优异的成绩通过了美国医师执照考试。 总分 86.7%.

混合人工智能 是另一种新兴的GenAI医疗保健应用方法，它结合了机器学习（ML）和逻辑逻辑模型（LLM），以处理复杂的分析并将结果转化为通俗易懂的语言。通过整合这两种模型，该方法旨在克服LLM的不足之处，例如可能出现的幻觉、误差和偏差，同时发挥其优势。 代理人工智能 它也因其无需人工干预即可自动执行关键任务（例如回复患者消息或安排预约）的能力而日益普及。

然而，人工智能的巨大潜力也凸显了加强积极治理的迫切需求。这些工具在医疗运营中应用越广泛，确保准确性、安全性和合规性的重要性就越高。

医疗保健领域通用LLM的合规风险

医疗保健领域的数字化转型虽然带来了诸多新的可能性，但也暴露出一些关键的脆弱性。例如，在2023年11月1日至2024年10月31日期间，医疗保健行业经历了…… 1,710起安全事件其中 1,542 起涉及已确认的数据泄露。

人工智能时代加剧了这些漏洞，为数据隐私和安全增添了新的复杂性。更具体地说，在医疗保健领域使用通用型LLM会引发几个关键的合规风险：

风险一：不透明的开发模式阻碍了持续的监控或验证。

封闭模型 缺乏透明度 关于其开发过程，例如模型所使用的具体数据或更新方式，这些信息往往不公开。这种不透明性使得开发人员和研究人员无法深入研究模型，从而无法确定安全风险的根源或了解决策过程。因此，封闭式逻辑生命周期模型（LLM）可能导致使用未经核实的医疗数据源，并使安全漏洞得不到检查。

风险二：患者数据泄露

LLM并非总是依赖于去标识化的患者数据。特殊的提示或交互方式可能 无意中泄露了可识别的健康信息, 可能导致违反 HIPAA 法规。

风险三：偏见和不准确信息的延续

In 一个实验, 研究人员在生物医学模型知识库的某一类别中注入少量错误信息，同时保持模型在其他所有领域的行为不变。研究发现，错误信息在模型的输出中传播开来，凸显了逻辑学习模型（LLM）易受错误信息攻击的脆弱性。

基础模型中发现的任何缺陷 所有采用的模型都继承了这一点 以及来自母公司的相关申请。产出差异可能会加剧健康不平等，例如为弱势群体提供不准确的建议。

风险四：监管不协调

使用通用型LLM可能不符合HIPAA、GDPR或不断发展的AI特定法规，尤其是在供应商无法验证训练数据的情况下。医疗机构员工使用未经批准或未经监控的AI工具（即影子AI）会加剧这些风险。据IBM称， 20% 的受访组织 由于涉及影子人工智能的安全事件，各行各业都遭受了数据泄露。

最终，医疗保健领域的一般性LLM风险具有现实意义，包括法律诉讼、声誉损害、失去患者信任和诉讼费用。

最佳实践：LLM 指南和注意事项

为了负责任地采用基因工程人工智能（GenAI），医疗机构领导者必须建立明确的保障机制，以保护患者和机构的利益。以下最佳实践可以帮助医疗机构为负责任、合规地使用人工智能奠定基础：

最佳实践一：明智地选择人工智能技术

要求供应商明确说明人工智能技术的开发方式以及开发过程中使用的数据源。优先选择仅使用经专家验证的医学内容、决策过程透明且避免使用患者健康信息训练模型的工具。

最佳实践二：构建人机交互安全保障机制

确保临床医生审核所有可能影响治疗决策的AI生成结果。AI固然强大，但在一个直接影响患者生命的行业中，临床监督是确保AI辅助信息的合理使用和准确性的关键。

最佳实践#3：培训和劳动力准备

对临床医生和工作人员进行人工智能应用益处和风险方面的培训，以减少人工智能的非正式应用。医疗保健人员面临着复杂的工作环境，人手短缺，且倦怠率高。简化人工智能培训流程有助于确保合规性，同时不会增加他们的工作负担。

最佳实践#4：建立治理文化

整合第三方对人工智能解决方案的评估，以验证其安全性、可靠性和合规性。同时，实施一套清晰的、全组织范围的人工智能监管框架，明确审批、使用和监控流程，以进一步增强对该技术的信任，并防止员工使用未经授权的工具。

最佳实践#5：与领导层就人工智能管理达成一致

与领导层协作，密切关注不断变化的法规以及FDA和ONC的指导意见。各州层面也正在出台监管措施。例如，加利福尼亚州已经实施了…… 前沿人工智能法案透明度, 它强调风险披露、透明度和缓解措施，尤其是在医疗保健领域，此外还有 科罗拉多州人工智能法案 (CAIA), 其设计目的是为了防止算法歧视。

最佳实践#6：持续监控和反馈循环

在医疗保健领域应用人工智能绝不能抱持“一劳永逸”的心态。建立持续监测框架有助于确保人工智能工具的准确性，加强问责制，并长期维持合规性。

最佳实践#7：寻求合作伙伴关系以优化监督和研究

医疗机构应利用与监管机构和公共部门的合作关系，最大限度地加强监管，为安全标准贡献行业视角，并整合专家资源。

通过合规领导力建立信任

人工智能解决方案在医疗保健领域的差异化将越来越取决于其专家内容的质量、评估流程的完整性以及与临床工作流程的负责任整合。下一阶段的人工智能应用将不再那么依赖代码，而是更多地依赖于合规领导力。

信任与合规本身同等重要。要使这项技术真正有效，患者和医疗服务提供者必须相信人工智能是安全的，并且符合高质量、合乎伦理的医疗服务。合规领导力是一种战略优势，而不仅仅是一种防御措施。那些具有前瞻性、在有害事件发生之前就建立起安全保障机制的机构，将在人工智能驱动的医疗保健未来中脱颖而出。