Protege推出独立医疗AI测试，Disease Odyssey揭示诊断差距

Protege正在推出医疗AI独立评测，让模型接受此前从未见过的患者病例测试。其首个基准测试Disease Odyssey初步揭示了这项工作的意义：据该公司称，领先模型根据患者病史识别睡眠呼吸暂停、贫血等疾病的准确率仅为53%–69%。

10月21日公布的发布内容还包括与Xlue AI和Standard Model Biomedicine合作开展的评测。综合来看，评测结果回应了医院和开发者关心的两个问题：模型能否从真实病历中提取有用的临床信号，以及生成这些预测需要多少成本。

Protege的主张是，将更多评估工作交由模型开发机构以外的组织开展。该公司利用受隐私保护的患者记录和经临床医生核实的答案设计、执行并评分评测，从而帮助开发者在对模型性能作出更广泛的宣称之前发现其弱点。

不同于回答医学考试题的测试

有明确诊断的医学问题，与分散在多次就诊记录中的患者病史并不相同。症状会随时间发展，记录可能不完整，而决定性线索也可能埋藏在相关性较低的信息之中。Disease Odyssey着重从这些纵向病史中识别尚未确诊的疾病。

公布的53%–69%区间适用于受测病例和疾病，而非整个医疗AI领域。Protege的公告没有提供足够信息，例如样本量、具体对比模型或结果的不确定性，因此不足以支持更广泛的排名。公告所显示的是，在该公司首轮基准测试中，模型仍有很大的提升空间。

Protege联合创始人兼首席执行官Bobby Samuels在公告中表示：“医疗AI发展迅速，但评估方式并没有跟上步伐。”

Protege如何将测试与开发分开

Protege将其流程描述为双盲：模型开发者事先看不到患者数据或问题，而Protege在评估系统时并不了解这些系统的构建方式。这里的“双盲”指的是评估安排，并非随机临床试验。

不让测试材料进入开发流程很重要，因为接触基准测试问题可能会抬高表面上的表现。训练期间见过某个答案的模型，在面对真正的新病例时，表现可能会显得比实际能力更强。

该公司的医疗评估平台增设了多项实用的管控措施。平台介绍了受保护且留出的测试病例、带版本管理的任务和评分方式，以及对失败模式和受影响人群的分析。版本管理能让不同模型版本之间的比较更有意义：如果任务和评分规则没有悄然改变，更高的得分就更容易解读。

该平台使用相互关联的信息，包括电子健康记录、临床记录、影像、病理、理赔数据和结局数据。其Data Lab会将临床问题转化为评估任务和参考答案。这样的组合旨在测试模型如何运用临床背景信息，而不只是判断它们能否复述零散的医学事实。

专业模型在性能和成本方面展开较量

配套评测考察的是不同任务，因此应与Disease Odyssey的结果分开解读。

在与Standard Model Biomedicine开展的合作中，Protege评估了涉及乳腺癌和肺癌患者生存情况，以及患者距离下一次治疗所需时间的预测。该公司称，这款专业模型的表现可与领先系统相媲美，而每次预测的成本仅为后者的1/36至1/170。

另一项针对Xlue AI的HealthSAW模型开展的评估，考察了癌症、心血管疾病和神经系统疾病相关的未来风险。Protege称，HealthSAW在16项测试中的14项优于领先模型，且每位患者的成本不到这些模型的0.1%。

这些是Protege报告的特定任务比较结果，并不能证明某个模型适用于所有临床场景。公告没有详细说明完整的成本计算方法。较低的预测成本或许能让重复筛查或大规模分析更切实可行，但部署成本还取决于系统集成、监督，以及错误结果带来的后续工作。

评估必须跟上模型更新的步伐

Protege的业务还包括为AI开发提供数据，因此将开发数据与评估数据分开，是其方法中的重要一环。该公司的材料强调数据来源、访问控制和更新患者病例，认为这些措施有助于长期保持测试的实用性。

该公司计划将评测拓展至病理学、皮肤病学、肿瘤学和行政工作流程等领域。其目标是建立一套可重复执行的流程，随着模型变化重新开展测试，而不是给产品贴上一个永久不变的单一分数。

这对买家和开发者都很有用。医院需要了解，更新后的模型是否仍适用于其患者群体和工作流程。开发者需要的不只是平均分数，还要弄清哪些病例会失败，以及某一方面的改进是否会在其他方面造成弱点。

独立测试可以让这些讨论更加具体，但回顾性基准测试的表现并不等同于已证实的临床实践获益。前瞻性研究、模型在不同患者群体中的表现、假阳性率和假阴性率，以及对临床医生工作负荷的影响，仍是证据中的重要组成部分。

Protege推出这项服务，让医疗健康人工智能公司不得不直面一个更尖锐的问题：当病例并不熟悉、测试由其他人设定时，系统表现如何？这项新服务的价值，取决于其测试方法和结果能否清晰地帮助机构回答这个问题，以及测试能否持续揭示那些精心设计的演示所掩盖的问题。