未チェックのLLMとヘルスケアのコンプライアンスの難題

業界を問わず、生成的なAI（GenAI）は短期間で急速なブレークスルーを達成しています。これらの進歩は、The California Report on Frontier AI Policyで「リソースを大量に消費して開発される一般目的のテクノロジーの一種であり、多量のデータとコンピューティングを必要とし、多様なダウンストリームAIアプリケーションを動かす能力を生み出す」と定義されている基礎モデルによって推進されています。

これらの一般目的のLLM（GeminiやChatGPTなど）は、データ分析、文章作成、推論などの分野で人間の認知能力を再現し、さらには超える力を示しています。特にヘルスケアでは、GenAIの採用が増加しており、臨床医やヘルスケア専門家が行政負担を軽減し、業務を高速化し、さらには臨床上の意思決定を支援するためにこのテクノロジーを利用しようとしています。

しかし、テクノロジーが多大な期待をもたらす一方で、ヘルスケアにおけるGenAIの採用は、責任を持って実施されなければ、コンプライアンス上のリスクをもたらします。特に、一般目的のLLMの使用は、ヘルスケア機関が完全に理解する必要がある特定のコンプライアンス上の懸念を伴います。これらのモデルは、検証されていないデータソースに依存したり、患者ヘルス情報を承認されていない方法で利用したり、偏見や不正確な情報を永続させたりする可能性があります。

患者データのプライバシーを維持し、進化する規制に準拠し、高額なリスクを最小限に抑えるために、ヘルスケアのリーダーは「未チェックの」LLM使用の「時限爆弾」を解除するための決断的なアプローチを取る必要があります。

ヘルスケアにおける一般目的LLMの現在の状況

ヘルスケア全体で、スタッフは日常業務から患者とのコミュニケーションまで、LLMを利用してサポートしています。マルチモーダルLLMは、テキスト、画像、オーディオを容易に処理する能力で、これらのアプリケーションをさらに拡大しています。行政サポートに加えて、臨床タスクをサポートするためにテクノロジーを利用するプロバイダーへのシフトも見られます。

これらのモデルは、特定の分野で人間の能力に匹敵する、またはそれを超える結果を示していることが既に示されています。たとえば、GPT-4モデルは、全体のスコア86.7%で米国医師免許試験に合格しています。

ハイブリッドAIは、ヘルスケアにおけるGenAI使用の新しいアプローチであり、機械学習（ML）とLLMを組み合わせて複雑な分析を実行し、結果を平易な言語に翻訳します。このアプローチは、LLMの欠点、たとえばホールシネーション、不正確さ、偏見を克服し、強みを生かすことを目指しています。エージェントAIも、人間の入力なしで重要なタスクを自動化する能力があるため、患者メッセージへの対応や予約のスケジューリングなどで採用が増えています。

しかし、テクノロジーが持つ潜在的な力は、より積極的なガバナンスの必要性を強調しています。ヘルスケア業務にこれらのツールが埋め込まれるほど、精度、安全性、コンプライアンスを確保するためのリスクは高まります。

ヘルスケアにおける一般目的LLMのコンプライアンスリスク

ヘルスケアにおけるデジタル採用は、新しい可能性を解放しましたが、同時に重要な脆弱性も露呈しました。2023年11月1日から2024年10月31日の間に、たとえば、ヘルスケア部門は1,710のセキュリティインシデントを経験しました。そのうち1,542件はデータ漏洩を伴うものでした。

AIの時代は、これらの亀裂を深め、データプライバシーとセキュリティに新たな複雑さを加えます。特に、ヘルスケアにおける一般目的LLMの使用は、いくつかの重要なコンプライアンスリスクを引き起こします。

リスク#1：オペークボックス開発が継続的な監視または検証を妨げる

クローズドモデルは、開発プロセスについて透明性がなく、モデルがどのデータでトレーニングされたか、またはどのように更新されるかがわかりません。この不透明性により、開発者や研究者がモデル内で安全性リスクの起源や意思決定プロセスを特定することが困難になります。結果として、クローズドLLMは、検証されていない医療データソースの使用や安全性上の脆弱性を無視することを可能にします。

リスク#2：患者データ漏洩

LLMは常に匿名化された患者データに依存しません。特殊なプロンプトややりとりにより、特定のヘルス情報が意図せずに漏洩し、HIPAA違反の可能性があります。

リスク#3：偏見や不正確な情報の永続化

ある実験では、研究者がバイオメディカルモデルの知識ベースの1つのカテゴリに少量の不正確な事実を挿入し、他のすべてのドメインではその動作を保存しました。研究者は、不正確な情報がモデルの出力全体に伝播していることを発見し、LLMの誤情報攻撃への脆弱性を強調しました。

基礎モデルの欠陥は、すべての採用モデルの欠陥となり、結果として生じるアプリケーションにも継承されます。出力の不一致は、不正確なアドバイスなどの健康格差を悪化させる可能性があります。

リスク#4：規制の不一致

一般目的LLMの使用は、特にベンダーがトレーニングデータを検証できない場合、HIPAA、GDPR、または進化するAI特有の規制に準拠していない可能性があります。これらのリスクは、ヘルスケア機関の従業員が承認されていない、または監視されていないAIツールを使用している場合、またはシャドウAIを使用している場合に増大します。IBMによると、20%の調査対象組織は、シャドウAIを含むセキュリティインシデントにより侵害を受けました。

ヘルスケアにおける一般目的LLMのリスクは、法的措置、評判の損失、患者信頼の喪失、訴訟費用など、現実世界の影響をもたらします。

ベストプラクティス：LLMガイドラインと考慮事項

責任を持ってGenAIを採用するには、ヘルスケアのリーダーは、患者と組織の両方を保護する明確なガイドラインを確立する必要があります。以下のベストプラクティスは、ヘルスケア機関が責任あるAI使用の基盤を設けるのに役立ちます。

ベストプラクティス#1：AIテクノロジーを賢く選択する

ベンダーからAIテクノロジーの開発方法と使用されるデータソースについての明確さを要求します。専門家が検証した医療コンテンツのみを利用するツール、透明な意思決定プロセスを持つツール、患者ヘルス情報をトレーニングに使用しないツールを優先します。

ベストプラクティス#2：ヒューマンインザループの安全装置を構築する

臨床医が、ケアの決定に影響を与える可能性のあるAI生成の出力を確認することを保証します。AIは強力なツールですが、患者さんの命に直接影響を与える業界では、臨床的なオーバーサイトが、責任ある使用とAI支援情報の精度を確保する上で非常に重要です。

ベストプラクティス#3：トレーニングとワークフォースの準備

臨床医とスタッフを、AIの使用の利点とリスクについて教育します。シャドウAIの採用を減らし、コンプライアンスを確保するために、AI教育プロセスを簡素化します。ヘルスケアスタッフは、複雑なワークフォース、人員不足、バーンアウトの高い率に直面しています。AI教育プロセスを簡素化することで、さらに負担を増やさずにコンプライアンスを確保できます。

ベストプラクティス#4：ガバナンスの文化を確立する

AIソリューションの第三者評価を統合して、安全性、信頼性、コンプライアンスを検証します。同時に、承認、使用、監視を定義する、組織全体の明確なフレームワークを実装して、テクノロジーへの信頼を高め、スタッフが承認されていないツールを使用するのを防ぎます。

ベストプラクティス#5：AIステワードシップについてリーダーシップと連携する

リーダーシップと協力して、進化する規制、FDAやONCからのガイダンスに先んじて対応します。規制努力は、州レベルで進行しています。たとえば、カリフォルニア州は、フロンティアAIの透明性法を制定しました。これは、特にヘルスケアの場面で、リスクの開示、透明性、軽減を強調しています。また、コロラドAI法（CAIA）も、アルゴリズムによる差別を防ぐことを目的としています。

ベストプラクティス#6：継続的な監視とフィードバックループ

ヘルスケアの場でAIを使用する際には、「セットして忘れる」という姿勢でアプローチすべきではありません。継続的な監視のフレームワークを設定することで、AIツールの精度、説明責任、コンプライアンスを確保できます。

ベストプラクティス#7：パートナーシップを通じて監視と研究を最適化する

ヘルスケア機関は、規制当局や公共部門とのパートナーシップを利用して、監視を最大化し、安全性基準に業界の視点を提供し、専門家のリソースを組み合わせます。

コンプライアンスリーダーシップを通じて信頼を築く

ヘルスケアにおけるAIソリューションの違いは、将来的に、専門家コンテンツの品質、評価プロセスの完全性、臨床ワークフローへの責任ある統合によって決まるでしょう。AIの次の段階は、コードよりもコンプライアンスリーダーシップに依存することになります。

信頼はコンプライアンスと同等に重要です。テクノロジーが真正に効果的になるためには、患者とプロバイダーはAIが安全で、高品質の倫理的なケアと一致していることを信じる必要があります。コンプライアンスリーダーシップは、防御的な措置ではなく、戦略的な利点です。有害なインシデントが発生する前にガイドラインを早期に確立する、前向きに考える組織は、AIを利用したヘルスケアの未来で自分自身を際立たせるでしょう。