Protege、独立した医療AI評価を開始 Disease Odysseyが診断上の課題を明らかに

Protegeは、医療AIの独立評価を開始し、モデルが未経験の患者事例を用いてテストを行う。最初のベンチマークであるDisease Odysseyは、その重要性を早くも示している。同社によると、患者の病歴をもとに評価したところ、睡眠時無呼吸症候群や貧血などの疾患を特定できたのは、主要モデルでも全事例の53%～69%にとどまった。

10月21日の発表には、Xlue AIおよびStandard Model Biomedicineとの評価も含まれる。これらの結果は、病院や開発者にとって重要な2つの問いに答えるものだ。モデルは実際の記録から有用な臨床的兆候を読み取れるのか、そして、そうした予測を行うのにどれほどの費用がかかるのか。

Protegeが目指すのは、モデルを開発する組織の外部で評価を行う範囲を広げることだ。同社は、プライバシーを保護した患者記録と臨床医が検証した回答を用いて評価を設計、実施し、採点する。これにより開発者は、性能についてより広範な主張を行う前に、弱点を特定できる。

医学試験の問題に答えるのとは異なる評価

診断名が明記された医学的な質問と、複数回の受診にまたがる患者の病歴とでは、内容が異なる。症状は時間とともに現れ、記録が不完全なこともあり、決め手となる情報が、関連性の低い情報に埋もれている場合もある。Disease Odysseyは、こうした長期にわたる病歴から、診断が下される前に病気を認識する能力に焦点を当てている。

報告された53%～69%という範囲は、テスト対象となった事例と疾患に当てはまるものであり、医療AI全体を示すものではない。Protegeの発表には、より広範な順位付けを裏付けるだけの詳細な情報がなく、サンプル数、比較対象となったモデルの正確な内訳、結果の不確実性は明らかにされていない。一方で、この発表からは、同社が最初に実施したベンチマークにおいて、なお大幅な改善の余地があることが分かる。

「医療AIは急速に進歩していますが、その評価方法は進歩に追いついていません」と、Protegeの共同創業者兼CEOであるBobby Samuelsは発表で述べた。

Protegeが開発と評価を切り分ける方法

Protegeは、自社のプロセスを二重盲検と説明している。モデルの開発者は事前に患者データや質問を見ることができず、Protegeはモデルがどのように構築されたかを知らない状態でシステムを評価する。ここでいう二重盲検は評価の進め方を指し、ランダム化臨床試験を意味するものではない。

テスト資料を開発段階から隔離することが重要なのは、ベンチマークの質問に触れると、見かけ上の性能が高くなる可能性があるためだ。学習中に答えを目にしたモデルは、まったく新しい事例に直面したときの実力以上に高い能力があるように見えることがある。

同社の医療評価プラットフォームには、実用的な管理機能がいくつか加わっている。同社によると、保護された非公開のテスト事例、バージョン管理されたタスクと採点方法、失敗の傾向や影響を受ける集団の分析を利用できる。バージョン管理により、モデルのリリース間の比較がより有意義になる。タスクや採点ルールがひそかに変更されていなければ、スコアの上昇を解釈しやすくなる。

このプラットフォームは、電子カルテ、臨床記録、画像、病理データ、保険請求データ、転帰など、相互に関連付けられた情報を活用する。Data Labは、臨床上の疑問を評価タスクと参照回答に変換する。これらを組み合わせることで、モデルが個別の医学的事実を再現できるかどうかだけでなく、臨床的な文脈をどのように活用するかを評価することを目指している。

専門モデル、性能とコストで競う

併せて実施された評価はそれぞれ異なるタスクを対象としているため、結果はDisease Odysseyとは分けて見る必要がある。

Standard Model Biomedicineとの取り組みでは、Protegeは乳がんと肺がんの生存予測、および患者が次の治療を受けるまでの期間に関する予測を評価した。同社によると、専門モデルは主要システムと競争力のある性能を示しながら、予測1件当たりの費用を36～170分の1に抑えた。

Xlue AIのHealthSAWモデルを対象とした別の評価では、がん、心血管疾患、神経疾患に関する将来のリスクを調べた。Protegeによると、HealthSAWは16件のテストのうち14件で主要モデルを上回り、患者1人当たりの費用はそれらの0.1%未満だった。

これらはProtegeが報告した、タスクごとの比較結果であり、あらゆる臨床現場で特定のモデルが最良であることを示すものではない。発表では、費用の算出方法の全容は説明されていない。予測コストが下がれば、繰り返し行うスクリーニングや大規模な分析を実施しやすくなる可能性があるが、導入コストはシステム統合や監督体制、誤った結果への対応に伴う作業にも左右される。

モデルの更新に合わせて評価も進化させる必要がある

Protegeは事業の一環としてAI開発用のデータを提供しているため、開発用データと評価用データを分離することが、同社の取り組みで重要な意味を持つ。同社の資料では、テストの有用性を長期にわたって保つ方法として、データの来歴管理、アクセス制御、患者事例の更新を重視している。

同社は、病理学、皮膚科、腫瘍学、事務ワークフローなどの領域へ評価を拡大する計画だ。目指すのは、製品に恒久的に付与される単一のスコアではなく、モデルの変更に応じて繰り返し実施できる評価プロセスである。

これは、導入を検討する側にも開発する側にも役立つ。病院は、更新されたモデルが自院の患者集団や業務フローでも引き続き機能するかを把握する必要がある。開発者に必要なのは平均スコアだけではない。どのケースで失敗するのか、ある領域での改善が別の領域に弱点をもたらさないかを理解する必要がある。

独立した評価によって、こうした議論をより具体的にできる。ただし、過去のデータに基づくベンチマークでの成績は、臨床現場で効果が実証されたことと同じではない。前向き研究、患者群ごとの性能、偽陽性率と偽陰性率、臨床医の業務負担への影響も、エビデンスを構成する重要な要素である。

Protegeのサービス開始により、ヘルスケアAI企業には、より踏み込んだ問いが突きつけられる。なじみのない症例を使い、第三者がテストを設定した場合、システムはどのような性能を示すのか。新サービスの価値は、その手法と結果が組織によるこの問いへの回答にどれだけ明確に役立つか、そして洗練されたデモでは見逃される問題をテストがどれだけ一貫して明らかにできるかにかかっている。