未確認のLLMとヘルスケアのコンプライアンス・コンヌンドラム

業界横断的に、ジェネレーティブAI（GenAI）は、比較的短い期間で急速なブレークスルーを達成しています。これらの進歩は、The California Report on Frontier AI Policyで、「リソースの集中が必要な一般目的のテクノロジーのクラスであり、多くのダウンストリームAIアプリケーションを動かすことができる機能を生み出すために、多くのデータとコンピューティングが必要です」と定義されているファウンデーションモデルによって推進されています。

これらの一般目的の大規模言語モデル（LLM）、たとえばGeminiやChatGPTは、データ分析、文章作成、推論などの分野で人間の認知能力を複製し、超える力を示しています。特にヘルスケアでは、GenAIの採用が増加しており、医療従事者やその他のヘルスケア専門家は、行政的な負担を軽減し、運用を加速し、さらには臨床的な意思決定を支援するために、このテクノロジーに期待しています。

しかし、テクノロジーが多大な約束を提供する一方で、ヘルスケアにおけるGenAIの採用は、責任を持って実装または利用されない場合、重要なコンプライアンスリスクを引き起こします。特に、一般目的のLLMの使用は、ヘルスケア組織がプライバシーまたはセキュリティの侵害を防ぐために完全に理解する必要がある特定のコンプライアンス懸念を伴います。これらのモデルは、検証されていないデータソースに依存したり、患者さんの健康情報を承認されていない方法で利用したり、偏見や不正確な情報を永続させたりすることができます。

患者さんのデータプライバシーを維持し、進化する規制に準拠し、コストのかかるリスクを最小限に抑えるために、ヘルスケアのリーダーは、「未確認」のLLMの使用によるティッカーボムのようなコンプライアンスの問題に対処するための決断的なアプローチを取る必要があります。

ヘルスケアにおける一般目的LLMの現在の状況

ヘルスケア全体で、スタッフはLLMを使用して、行政的な作業から患者さんのコミュニケーションまでの日常的なタスクをサポートするために利用しています。マルチモーダルLLMは、これらのアプリケーションをさらに拡大し、テキスト、画像、オーディオを容易に処理する能力を提供しています。行政的なサポートに加えて、提供者が単に事務的な作業だけでなく、臨床的なタスクもサポートするためにテクノロジーを利用する傾向も増えています。

これらのモデルは、すでに何人かが印象的な結果と見なすものを示しています。いくつかの研究では、LLMのパフォーマンスが特定の分野で人間の能力に匹敵または超えることを示しています。たとえば、GPT-4モデルは、全体的なスコア86.7%で米国医師免許試験に合格しました。

ハイブリッドAIは、ヘルスケアでGenAIを使用するためのもう1つの新しいアプローチであり、機械学習（ML）とLLMを組み合わせて、複雑な分析を処理し、結果を平易な言語に翻訳します。このアプローチは、LLMの欠点、たとえばハルシネーション、不正確さ、偏見を克服し、強みを生かすことを目指しています。エージェントAIも、人間の入力なしで重要なタスクを自動化する能力、たとえば患者さんのメッセージに応答したり、予約をスケジュールしたりするために、採用が増えています。

しかし、AIが持つ潜在的な力は、より積極的なガバナンスの必要性を強調しています。ヘルスケアの運用にこれらのツールが埋め込まれるほど、精度、安全性、コンプライアンスを確保するためのリスクは高まります。

ヘルスケアにおける一般目的LLMのコンプライアンスリスク

ヘルスケアにおけるデジタルの採用は、新しい可能性の扉を開きましたが、同時に重要な脆弱性も露呈しました。たとえば、2023年11月1日から2024年10月31日の間に、ヘルスケア部門は1,710のセキュリティインシデントを経験しました。そのうち1,542件は、データ漏洩が確認されたものでした。

AIの時代は、これらの亀裂を深め、データプライバシーとセキュリティに新たな複雑さを加えます。特に、ヘルスケアにおける一般目的LLMの使用は、いくつかの重要なコンプライアンスリスクを引き起こします：

リスク#1: 不透明な開発プロセスによる継続的な監視または検証の不可能性

クローズドモデルは、開発プロセスについて透明性がなく、モデルがどのデータでトレーニングされたか、またはどのように更新されるかについての情報が不足しています。この不透明性により、開発者や研究者はモデル内部を調査して、安全性リスクの原因や意思決定プロセスを特定することができません。結果として、クローズドLLMは、検証されていない医療データソースの使用を可能にし、安全性の脆弱性がチェックされないままになる可能性があります。

リスク#2: 患者データの漏洩

LLMは常に匿名化された患者データに依存しません。特定のプロンプトややり取りにより、患者さんの特定可能な健康情報が意図せずに漏洩する可能性があり、HIPAA違反につながる可能性があります。

リスク#3: 偏見や不正確な情報の永続化

ある実験で、研究者は、生体医療モデルの知識ベースの1つのカテゴリに、わずかな割合の不正確な事実を注入しましたが、その他のドメインではその動作を維持しました。研究者は、不正確な情報がモデルの出力全体に広がっていることを発見しました。これは、LLMが不正確な情報攻撃に対して脆弱であることを示しています。

ファウンデーションモデルの欠陥は、すべての採用モデルの欠陥となり、結果として生じるアプリケーションにも継承されます。出力の差は、不正確なアドバイスなどの健康格差を悪化させる可能性があります。

リスク#4: 規制との不一致

一般目的LLMの使用は、特にベンダーがトレーニングデータを検証できない場合、HIPAA、GDPR、または進化するAI特有の規制に準拠していない可能性があります。これらのリスクは、ヘルスケア組織の従業員が承認されていない、または監視されていないAIツールを使用している場合、またはシャドウAIを使用している場合に増大します。IBMによると、調査対象となった組織の20%が、シャドウAIを伴うセキュリティインシデントによる侵害を経験しました。

最終的に、ヘルスケアにおける一般目的LLMのリスクは、法的措置、評判の損害、患者さんの信頼の喪失、訴訟費用などの現実的な影響をもたらします。

ベストプラクティス: LLMガイドラインと考慮事項

責任を持ってGenAIを採用するために、ヘルスケアのリーダーは、患者さんと組織の両方を保護する明確なガイドラインを確立する必要があります。以下のベストプラクティスは、ヘルスケア組織が責任ある、コンプライアンスのあるAIの使用を基盤として設立するのに役立ちます：

ベストプラクティス#1: AIテクノロジーを慎重に選択する

ベンダーから、AIテクノロジーの開発方法と開発プロセスで使用されるデータソースについての明確性を要求します。専門家によって検証された医療コンテンツのみを利用するツール、透明な意思決定プロセスを持つツール、患者さんの健康情報でモデルをトレーニングしないツールを優先します。

ベストプラクティス#2: ヒューマンインザループの安全対策を構築する

AIによって生成された出力がケアの決定に影響を与える可能性がある場合、医療従事者がそれを確認することを保証します。AIは強力なツールですが、患者さんの命に直接影響を与える業界では、責任ある使用とAIアシスト情報の精度を確保するために、臨床的なオーバーサイトが重要です。

ベストプラクティス#3: トレーニングとワークフォースの準備

医療従事者やスタッフを、AIの使用の利点とリスクについて教育することで、シャドウAIの採用を減らします。ヘルスケアスタッフは、複雑なワークフォースをナビゲートしており、人員不足やバーンアウトの高率に悩まされています。AI教育プロセスを簡素化することで、追加の負担を加えずにコンプライアンスを確保することができます。

ベストプラクティス#4: ガバナンスの文化を確立する

AIソリューションの第三者評価を統合して、安全性、信頼性、コンプライアンスを検証します。同時に、承認、使用、監視を定義する、組織全体のAIオーバーサイトの明確なフレームワークを実装して、テクノロジーに対する信頼をさらに高め、スタッフが承認されていないツールを使用するのを防ぎます。

ベストプラクティス#5: AIステワードシップについてリーダーシップと連携する

FDAやONCからの指導と進化する規制についてリーダーシップと連携して、先を見越した対応をします。規制努力は州レベルで進んでいます。たとえば、カリフォルニア州はフロンティアAIの透明性法を制定しました。これは、特にヘルスケアの場面で、リスクの開示、透明性、緩和を強調しています。また、コロラドAI法もあり、アルゴリズムによる差別を防ぐことを目的としています。

ベストプラクティス#6: 継続的な監視とフィードバックループ

ヘルスケアの場面でのAIの使用は、「セットして忘れる」というアプローチで扱われるべきではありません。継続的な監視のためのフレームワークを設定することで、AIツールの精度を確保し、説明責任を強化し、時間の経過とともにコンプライアンスを維持することができます。

ベストプラクティス#7: 監視と研究を最適化するためのパートナーシップを模索する

ヘルスケア組織は、規制当局や公共部門とのパートナーシップを利用して、監視を最大化し、安全性基準に業界の視点を提供し、専門家のリソースを組み合わせます。

コンプライアンスリーダーシップを通じて信頼を築く

ヘルスケアにおけるAIソリューションの違いは、将来的に、専門家のコンテンツの品質、評価プロセスの完全性、臨床ワークフローへの責任ある統合に依存することになります。

信頼はコンプライアンスと同等に重要です。このテクノロジーが真正に効果的であるためには、患者さんと提供者がAIは安全で、高品質の倫理的なケアと一致していることを信じる必要があります。コンプライアンスリーダーシップは、防御的な措置ではなく、戦略的な優位性です。有害なインシデントが発生する前にガイドラインを早期に確立する、先を見越した組織は、AIを活用したヘルスケアの未来で自分自身を際立たせるでしょう。