ストーニーブルック大学の研究で、医師は95％のケースでAIによる退院サマリーを高く評価

ストーニーブルック大学の研究で評価対象となった入院の95％において、医師の評価者は、人間が作成した退院サマリーよりもAIが作成したものを好みました。後ろ向き分析の対象は、入院期間が7～21日の内科入院60件でした。治療が長期にわたり、臨床記録も大量になるため、外来診療への引き継ぎが特に難しいケースです。

調査結果はnpj Digital Medicineに掲載され、大規模言語モデルが、より完全で使いやすい退院文書の作成を臨床医に支援する可能性を示しています。また、人による確認が引き続き不可欠である理由も明らかになりました。AIが作成したサマリーにも人間が作成したサマリーにも誤りが含まれており、評価が高かったからといって、患者の転帰が改善したことが証明されたわけではありません。

退院サマリー作成がAIにとって難しい理由

退院サマリーは、入院中に提供された医療と、その後の対応を担う臨床医をつなぐ文書です。入院理由、治療経過、薬剤の変更、未解決の問題、今後のフォローアップ計画を説明する必要があります。プライマリケア医にとって、説明が欠けていたり、次に取るべき対応が不明確だったりすると、はるかに膨大な記録をたどって入院中の経過を再構成しなければならないことがあります。

入院期間が長くなるほど、この問題は深刻になります。経過記録、診療科へのコンサルテーション、画像検査報告書など、さまざまな文書に情報が蓄積し、同じ内容の繰り返しや治療計画の変更も頻繁に生じます。有用なサマリーには、最終的な臨床像を保ちながら、判断がどのように変化していったかを説明することが求められます。

ストーニーブルック大学の手法は、退院後に診療を引き継ぐ医師が必要とする情報を踏まえ、臨床医とともに設計されました。同大学によると、このシステムは患者記録を数分以内に退院サマリーの草案へとまとめます。ただし、これは生成にかかる時間を示すものです。医師の文書作成と確認にかかる総時間への影響については、臨床現場での検証がなお必要です。

医師がより高く評価した点

この研究では、病院総合診療医とプライマリケア医による評価を組み合わせました。評価者は、全体的な質、読みやすさと簡潔さ、事実の正確性、完全性について、AIサマリーにより高い評価を付けました。また、欠落している臨床情報も少ないと判断しました。

提示された5段階評価尺度では、全体的な質の平均点はAIサマリーが4.71点、人間が作成したサマリーが3.16点でした。事実の正確性はそれぞれ4.62点と3.73点、完全性は4.69点と3.42点でした。これらは医師による評価であり、正しいと確認された記述の割合を示すものではありません。

図では、病院総合診療医とプライマリケア医による共通項目について、サマリーの種類ごとに120件の評価が報告されています。また、プライマリケア医に固有の質問については、種類ごとに60件の評価が報告されています。プライマリケア医は、入院中の経過の理解、患者や介護者への説明、退院後のフォローアップの支援について、AIサマリーをより高く評価しました。

こうした違いが重要なのは、退院サマリーを書く人と、それをもとに対応する人とでは視点が異なるためです。入院中の出来事を詳しく記載した文書であっても、未解決の問題や薬剤変更の理由が明確でなければ、引き継いだ臨床医に疑問が残ることがあります。

要約パイプラインが長い記録を処理する仕組み

研究者による公開コードのリリースからは、この技術についてさらに詳しく知ることができます。公開されたLangChain/LangGraphパイプラインは、記録を時系列順にまとめて構造化されたサマリーを作成し、追加の記録部分を処理しながら草案を改善します。別の段階では、フラグが付けられた記録から偶発所見を抽出してから、最終的な文章形式に整えます。

この段階的な手法は、言語モデルの実用上の制約に対応するものです。長い臨床記録は、モデルが一度に処理できるテキスト量を超える場合があります。構造化した草案を引き継いでいくことで、記録の各部分を順次、最終的な結果に反映できます。

公開されたエクスポートには、出典を示す識別子も記録され、構造化された出力や文章形式の出力とともに引用メタデータが生成されます。エクスポートには合成データを使ったデモが含まれ、リポジトリには分析用として、個人を特定できないようにした評価結果と誤りの注釈結果が収録されています。これにより、元の患者記録を公開することなく、ワークフローを検証できます。

欠落が減っても臨床上のリスクはなくならない

論文の要旨によると、注釈が付けられた不正確な記述または欠落の減少は、主として欠落の減少によるものです。また、誤りによる被害の深刻さや発生可能性について、評価者の推定値にサマリーの種類による統計的に有意な差はなかったと報告されています。

この結果は、両方の手法の安全性が同等であることも、AIの草案が確認なしで患者記録に使用できることも示していません。この評価の対象は文書と医師の判断であり、再入院、薬剤関連の有害事象、その他の患者アウトカムが減少することを実証したものではありません。

著者らは、使用前に医師が確認することの重要性を強調している。服薬指示、未解決の医学的問題、フォローアップの推奨事項は、この文書の目的の中核をなすものであり、誤りや記載漏れが重大な影響を及ぼし得る箇所でもある。

日常的な臨床利用に先立って必要なこと

「今回の結果は、人工知能が複雑な入院治療における退院時の文書作成を支援できることを示す根拠となります」と、共同責任著者であり、ストーニーブルック大学の臨床准教授を務める医学博士のRachel Wong氏は、同大学の発表で述べた。

共同責任著者である博士のFusheng Wang氏は、今後の研究では、正確性、安全性、実際に医師の時間をどれだけ節約できるか、臨床業務の流れに適合するかを評価すると述べた。同大学によると、ストーニーブルック・メディシンの日常診療での試験導入が検討されている。

コンピューターサイエンス専攻の博士課程候補者、Tyler Osborne氏が主導するこの学際的なプロジェクトには、医師、コンピューターサイエンティスト、生物医学情報学の専門家、コミュニケーション分野の専門知識が結集している。この研究は、複雑な退院時要約の作成を臨床医の監督下で行うことについて、有望な根拠を示している。それを日々の診療で安定して活用できるようにするには、生成された文章だけでなく、その確認プロセスも評価する必要がある。