医疗保健人工智能存在问责问题

在医疗保健领域，人工智能已经被应用于临床决策、人力资源和财务等各个方面。然而，许多组织仍然缺乏必要的风险管理和问责机制，以确保人工智能工具不会造成伤害。没有结构化的监督，人工智能相关的决策将在没有明确问责的情况下进行，从而使组织面临道德和监管违规的风险。

当没有人对人工智能的决策和行动负责时，盲点将迅速扩大。人工智能系统在没有监督的情况下做出高风险决策的后果是多方面和深远的，特别是在涉及人命的情况下。

今天的人工智能治理缺陷与以前的技术曲线加速时期相似，当时企业管理技术的能力赶不上技术的发展速度。我们经历过云计算的发展：团队采用SaaS、IaaS和“影子IT”来加快速度，而治理滞后于数据分类、身份和访问管理、供应商监督、日志/监控和共享责任清晰度等基本方面——因此，问责被分散在IT、安全、采购和业务部门。我们也见证了IT和移动/BYOD的快速消费化，员工在组织拥有成熟的政策之前就将新设备和应用程序带入受监管的环境中，例如加密、端点控制、应用程序验证和电子发现。在每种情况下，采用是合理的，往往具有价值创造性——但是，缺乏明确的所有权、标准化控制和生命周期监督，导致了可预测的失败。人工智能的教训很明确：治理不能是创新之后的附加品；它必须像其他关键基础设施一样被故意构建：具有明确的决策权、持续监控和可执行的防护措施。

分散问责的问题

人工智能的快速部署已经超过了治理和问责标准的发展，导致了“分散问责”的缺口，没有单一实体在人工智能失败时承担责任。

医疗保健领域已经存在责任问题，而人工智能只带来了新的挑战。人工智能工具没有公认的法律身份，这意味着它们不能被起诉或投保，也不能向受害者支付法律赔偿。在法律诉讼中，错误必须转移到人类行为者或公司身上，而不是工具。

《柳叶刀》杂志的研究人员最近认为，“机构责任结构必须将责任从临床医生转移到设计和部署[人工智能]工具的组织。”很明显，这样的责任问题将在未来持续存在。

欧盟正在尝试在区域范围内解决这些问题。该集团已经引入了两个主要的立法工具：人工智能法案，该法案根据风险程度监管人工智能的使用，并强调保持人类监督的重要性；以及人工智能责任指令，该指令建立了新的规则，使人们更容易因人工智能造成的损害而获得赔偿。

但是，仅仅依靠监管并不能解决问题。医院在供应商、临床医生、管理人员和IT团队之间运作，因此，当人工智能系统产生有害或偏见的输出时，责任会像球一样在利益相关者之间传递：供应商可能指出不当使用，临床医生可能说设计有缺陷，领导层可能责怪监管不明确。

所有这些都意味着问责是分散的，使医院容易陷入重大法律纠纷。

关闭治理缺陷的实用步骤

好消息是，即使没有全面监管，医疗保健组织也可以主动关闭人工智能治理缺陷。首先，领导者可以从世界卫生组织的报告《人工智能的伦理和治理》开始，该报告旨在最大限度地发挥人工智能的潜力，同时尽量减少风险。

该报告中概述的步骤旨在保护自主权，促进人类福祉和公共安全，确保透明度和可解释性，并培养责任感和问责制。为了解决治理缺陷，我们将重点关注后两个方面。

实施统一的人工智能治理方法，确保其由董事会或专家从上到下指导。目前，许多组织允许各个部门根据需要使用人工智能，这使得领导者无法解释组织如何和在哪里使用这些工具。可见性至关重要，因此请确保您拥有一个清单，列出正在使用的工具、使用位置和使用目的。

同样重要的是，在人工智能生命周期中建立明确的问责线。 这意味着要让一个人或部门负责从采购和验证到部署、监控和事件响应等一切。 医院必须要求供应商满足定义的透明度和可审计性标准，并确保内部团队接受人工智能系统的能力和局限性的培训。

最后，治理必须被运作化，而不是仅仅被记录。通过将人工智能风险评估集成到采购流程中，定期审计人工智能性能，并为前线员工创建无摩擦的报告问题机制，将政策嵌入工作流程中。

在实践中，关闭治理缺陷更多的是关于执行纪律，而不是引入新的原则：标准化人工智能进入组织的方式，定义每个阶段的所有权，并确保其性能受到持续的审查。没有这种纪律，人工智能工具将继续超越设计用来让它们安全的结构。

隐藏的风险：数据质量

即使问责结构到位，也经常被低估的另一个风险是：人工智能系统的数据完整性以及这些系统如何随时间演变。任何人工智能系统的可靠性都取决于其训练数据和持续学习的数据，而医院的数据环境以其碎片化、不一致和容易出现缺口而闻名。

电子健康记录、成像系统和管理平台通常在信息孤岛中运行，造成的差异可能直接影响人工智能的输出。一个在不完整或有偏见的数据集上训练的模型可能会产生有缺陷的建议，这可能在造成伤害之前都没有被注意到。在临床环境中，准确性的小偏差可能会转化为对患者的重大后果。

加剧这一问题的是“模型漂移”：人工智能模型随着系统中数据的增加而偏离指令和上下文的趋势。随着患者人群的演变、新治疗方案的引入和外部因素的影响，人工智能工具的基准假设可能会发生变化。没有持续的监控和重新校准，曾经可靠运行的人工智能系统可能会开始采取或建议与其训练不同的行为或解决方案。

为了解决模型漂移问题，医院必须将人工智能系统视为动态的、高风险的资产，而不是静态的工具。这意味着实施持续的性能监控，建立明确的准确性阈值，并定义重新训练和验证的所有权。数据治理也必须得到加强，采用标准化的数据质量、互操作性和偏见检测实践。

如果不解决与数据质量和模型漂移相关的风险，即使是最好的人工智能治理框架也会失败。对于医疗保健人工智能系统来说，它们的好坏取决于支撑它们的数据，忽视这一层风险可能会导致系统性的失败。

在运行之前先做对

人工智能有潜力通过提高效率、准确性和患者结果来改变医疗保健。但是，如果没有明确的风险所有权，这种潜力很快就会变成负担。

医院不能将人工智能治理视为合规性练习。它必须被视为核心运营优先事项：定义所有权，建立监督，持续评估。因为在医疗保健领域，当事情出错时，后果可能远比谁的错更严重。