医疗保健人工智能存在问责问题

在医疗保健领域，人工智能已经被应用于临床决策、人力资源和财务等各个方面。然而，许多组织仍然缺乏必要的风险管理和问责机制，以确保人工智能工具不会造成伤害。没有结构化的监督，人工智能相关的决策将在没有明确问责的情况下进行，从而使组织面临道德和监管违规的风险。

当没有人对人工智能的决策和行动负责时，盲点将迅速扩大。人工智能系统在没有监督的情况下做出高风险决策的后果是众多且深远的，特别是在涉及人命的情况下。

今天的人工智能治理缺陷与早期技术曲线加速的时期相似，当时企业管理能力落后于技术发展。我们经历过云计算的发展：团队采用SaaS、IaaS和“影子IT”以加快速度，而治理滞后于数据分类、身份和访问管理、供应商监督、日志/监控和共享责任清晰度等基本方面——因此，问责被分散在IT、安全、采购和业务部门。我们也见证了IT和移动/BYOD的快速消费化，员工在组织拥有成熟政策之前就将新设备和应用程序引入受监管的环境，例如加密、端点控制、应用程序验证和电子发现。每种情况下，采用都是合理的，往往具有价值创造性——但明确所有权、标准化控制和生命周期监督的缺乏导致了可预测的失败。人工智能的教训很明确：治理不能是创新之后的附加品；它必须像其他关键基础设施一样被有意构建——具有明确的决策权、持续监控和可执行的防护栏。

分散问责的问题

人工智能的快速部署已经超过了治理和问责标准的发展，导致了“分散问责”的缺口，没有单一实体在人工智能失败时承担责任。

责任已经成为医疗保健领域的一个普遍问题，而人工智能只带来了新的挑战。人工智能工具没有公认的法律身份，这意味着它们不能被起诉或投保，也不能向受害者支付法律赔偿。在法律诉讼中，过错必须转移到人类行为者或公司，而不是工具。

《柳叶刀》杂志的研究人员最近认为，“机构责任结构必须将责任从临床医生转移到设计和部署[人工智能]工具的组织。”很明显，这样的责任问题将在未来持续存在。

欧洲联盟正在尝试在区域范围内解决这些问题。该集团已经引入了两个主要的立法工具：人工智能法案，该法案根据风险程度监管人工智能的使用，并强调保持人类监督的重要性；以及人工智能责任指令，该指令建立了新的规则，使人们更容易因人工智能造成的伤害而获得赔偿。

但是，仅仅依靠监管并不能解决问题。医院运作在一个复杂的供应商、临床医生、管理人员和IT团队的网络中，因此当人工智能系统产生有害或偏见的输出时，责任会像球一样在利益相关者之间传递：供应商可能指出不当使用，临床医生可能说设计有缺陷，领导层可能责怪监管模糊性。

所有这些意味着问责是分散的，使医院容易陷入重大法律纠纷。

关闭治理缺口的实用步骤

好消息是，即使没有全面性的监管，医疗保健组织仍然可以主动关闭人工智能治理的缺口。首先，领导者可以从世界卫生组织的报告《人工智能的道德和治理》开始，该报告旨在最大限度地发挥人工智能的潜力，同时尽量减少风险。

该报告中概述的步骤旨在保护自主权、促进人类福祉和公共安全、确保透明度和可解释性、以及培养责任感和问责制。为了解决治理缺口，我们来关注后两点。

实施统一的人工智能治理方法，确保它是由董事会或专家从上而下指导的。目前，许多组织允许各个部门根据需要使用人工智能，这使得领导者无法解释组织如何和在哪里使用这些工具。可见性至关重要，因此请确保您有一个清单，列出正在使用的工具、使用位置和使用目的。

同样重要的是，在人工智能生命周期中建立明确的问责线。 这意味着要让一个人或部门负责从采购和验证到部署、监控和事件响应的所有事情。 医院必须要求供应商满足定义的透明度和可审计性标准，并确保内部团队接受培训，以了解人工智能系统的能力和局限性。

最后，治理必须被运作化，而不是仅仅被记录。通过将人工智能风险评估集成到采购流程中，定期进行人工智能性能审计，并创建机制让一线员工在无摩擦的情况下报告问题来实现这一点。

在实践中，关闭治理缺口不仅仅是引入新的原则，而是关于执行纪律：标准化人工智能进入组织的方式，定义谁在每个阶段拥有它，并确保其性能被持续审查。没有这种纪律，人工智能工具将继续超越设计用来保持它们安全的结构。

隐藏的风险：数据质量

即使问责结构到位，另一个经常被低估的风险是：人工智能系统的数据完整性以及这些系统如何随时间演变。任何人工智能系统的可靠性仅取决于其训练数据和持续学习数据，而医院的数据环境以其碎片化、不一致和缺口而闻名。

电子健康记录、成像系统和行政平台通常在信息孤岛中运行，造成的差异可能直接影响人工智能的输出。一个在不完整或有偏见的数据集上训练的模型可能会产生有缺陷的建议，这可能直到造成伤害后才被发现。特别是在临床环境中，小的准确性偏差可能会转化为对患者的重大后果。

加剧这一问题的是“模型漂移”：人工智能模型随着更多数据进入系统而偏离指令和上下文的趋势。随着患者人群的演变、新治疗方案的引入和外部因素的影响，人工智能工具的基准假设可能会发生变化。没有持续的监控和重新校准，曾经可靠运行的人工智能系统可能会开始采取或建议与其训练不同的行动或解决方案。

为了解决模型漂移问题，医院必须将人工智能系统视为动态的、高风险的资产，而不是静态的工具。这意味着实施持续的性能监控，建立明确的准确性阈值，并定义重新训练和验证的所有权。数据治理也必须得到加强，通过标准化的数据质量、互操作性和偏见检测实践来实现。

如果不解决与数据质量和模型漂移相关的风险，即使是最好的人工智能治理框架也将不足。对于医疗保健人工智能系统来说，它们的好坏取决于支撑它们的数据，忽视这一层风险可能会导致系统性故障。

在运行之前先做对

人工智能有潜力通过提高效率、准确性和患者结果来改变医疗保健。但是，如果没有明确的人工智能风险所有权，这种潜力可能很快就会变成负担。

医院不能把人工智能治理当作合规性练习。它必须被视为核心运营优先事项：定义所有权，建立监督，持续评估。因为在医疗保健领域，当事情出错时，后果可能远比谁的错更糟糕。