Google发布用于评估医疗健康领域AI的多方法框架

Google于11月4日发布了一份白皮书，阐述其如何评估医疗健康领域的通用生成式AI。该框架结合封闭式问题基准测试、AI自动评分系统和专家人工审查，用于评判模型在常见场景和高风险场景中的准确性、安全性与实用性。

本文作者Sarah Montgomery-Taylor博士是Google for Health的临床评估负责人；Elizabeth McGlynn博士和Dana Gelb Safran博士也参与了这项工作。Google表示，该公司制定了这套方法，并持续用它评估旗下模型能否提供实用、准确的回答，助力安全的健康互动。发布这套方法旨在促进透明度，并帮助开发者、研究人员和临床医生打造值得人们信赖的工具。

让评估贴近真实临床应用

作者认为，针对孤立任务设计的评估方法不足以全面评估通用模型。他们举例说，一种生成式AI出现之前的模型可以通过CT扫描检测肺癌，却无法通过乳房X光片检测乳腺癌，也无法将一段对话整理成记录。当同一个模型能够处理数百、数千甚至更多任务时，开发者和医疗机构就需要一种方法来确定各类互动及其风险的优先级。

在选择测试案例之前，评估人员会梳理“关键用户旅程”：谁在使用系统、他们想要完成什么，以及涉及哪些步骤。用户可能包括患者、家属、临床医生或行政人员。这一梳理过程有助于确定具有代表性的测试数据和指标，也会考虑预期用途及常见的误用形式，包括超出适用范围的依赖，以及试图绕过安全过滤机制的行为。

随后，评估人员会从三个领域对每项应用进行评估。准确性评估涵盖医学共识、证据支持、事实准确性、临床推理和语境适切性；对于医学摘要等任务，还会评估内容是否有来源依据。安全性评估不仅关注陈述是否正确，也关注用户理解回答后采取行动或未采取行动可能造成的伤害，并同时考量伤害的严重程度和发生可能性。实用性评估则关注健康素养、相关性、全面性，以及用户能否根据回答采取行动。因此，一个回答可能准确却不安全，也可能既准确又安全，但过于复杂或缺乏可操作性，无法帮助用户。

论文中的案例说明，主要风险会随任务而变化。对于咨询症状的普通用户，核心安全问题是未能指出需要紧急就医的危险信号；过度惊吓的回答则可能引发不必要的焦虑，而含糊不清的自我评估指导可能妨碍用户采取适当的后续措施。对于由AI为临床医生起草的出院摘要，幻觉、遗漏和事实错误会损害准确性；漏掉过敏史或禁忌用药会带来安全隐患；格式混乱或时间线前后不一致则可能降低实用性。

结合自动化规模与人工判断

第一种评估方法采用具有确定答案的测试，例如选择题，因此以相对较低的成本就能开展大规模的基础知识检查。但静态测试无法重现真实互动的复杂性，也难以确保测试内容具有代表性。数据污染也是一项局限：如果测试题出现在训练数据中，测试结果反映的可能是模型为应对测试所做的准备，而非其普遍的医学推理能力。因此，该框架使用这些基准测试建立基线，并为后续评估设定目标；要验证模型在现实环境中的表现，还需要其他方法。

第二种方法是让另一个AI系统进行评分。这些自动评分系统依据书面评分标准评估开放式回答，因此能检视的场景远多于专家评审人员合理情况下能够评分的数量。它们还可以评估模拟的多轮对话：在这类对话中，用户一开始会隐瞒临床细节，以此测试模型是否会先提出澄清问题，再提供指导。自动评判仍需依据专家制作的参照数据进行验证，因为它们可能偏好冗长回答、倾向于给出与自身模型系列相同的回答更高分，也可能传播带有噪声的人工标注。

随后，临床医生和其他领域专家会审查自动评分标准表现最弱的案例，包括复杂病例、边缘案例，以及临床共识有限的主题。他们还会判断输出是否符合当地临床规范，以及是否适用于不同患者群体。另设的红队测试则通过情感诉求、虚构情境或假扮医疗专业人员等策略，检验安全边界，尝试诱使模型生成超出产品预期适用范围的内容。人工审查同样可能出错：作者指出，在评分任务中，两名医生的评分结果可能相差30%至40%，甚至更多，因此必须采取措施控制评分者之间的差异，并进行适当分析。

部署后仍须持续监测

评估在产品成形之前就已开始，包括测试基础模型的一般能力和安全性。模型开始集成到某项应用后，评估便会针对该产品的用户和工作流程展开。临近发布时，可通过受控部署开展静默影子测试、临床试点或分阶段推出，并在更广泛开放使用之前进行人因工程和可用性测试。

临床团队与开发团队必须在每个产品阶段关口共同设定通过门槛和评分标准权重，并依据应用的临床风险状况，而非采用普适或任意的数值门槛。部署后，开发者要追踪算法漂移和系统稳定性。采用相关工具的机构要监测专业工具对临床工作流程的安全性，或消费类产品的用户安全和使用模式。

作者指出，用户投诉和哨点事件等被动信号无法独自承担部署后的监测工作。测试集与真实交互有所不同，而且用户会随着经验增加而改变提示内容和预期。监测结果必须反馈到需求、训练以及后续评估重点中。对交互和健康结果进行长期监测，会面临数据孤岛以及隐私、技术和组织方面的障碍。论文还指出，开发者与卫生系统共同承担的责任、实施成本、独立验证和科学共识，都是仍有待完成的治理工作。

对于开发者和卫生系统而言，该框架将问题从模型是否通过静态基准测试，转向能否在整个开发和部署过程中证明其准确性、安全性和实用性。核心挑战在于实践层面：如何将监测与问责联系起来，同时明确责任归属、为相关工作提供资金，并跨越组织和数据边界独立验证结果。