ヘルスケアAIには責任問題がある

ヘルスケアでは、AIは臨床上の決定から人事・財務まで、あらゆる分野に埋め込まれています。しかし、多くの組織では、AIツールが害を及ぼさないようにするためのリスク管理の委任が不足しています。構造化された監視の欠如により、AI関連の決定は明確な責任を持たずに行われ、組織は倫理的および規制上の違反のリスクにさらされています。

誰もがAIの決定と行動に対して責任を負わない場合、盲点は急速に拡大します。AIシステムが監視なしに高リスクの決定を下すことによる結果は数多くあり、特に人命が懸かっている状況では、遠-reachingです。

今日のAIガバナンスギャップは、テクノロジーカーブが企業の管理能力を上回った以前のインフレ点と似ています。クラウドコンピューティングの場合、チームはSaaS、IaaS、シャドウITを採用してスピードを上げましたが、ガバナンスはデータ分類、アイデンティティおよびアクセス管理、ベンダーの監視、ログ/モニタリング、共有責任の明確化などの基本的な点で遅れました。したがって、責任はIT、セキュリティ、調達、ビジネスに分散されました。モバイル/BYODの急速なコンシューマ化でも、従業員が規制環境に新しいデバイスとアプリを導入しましたが、組織は暗号化、エンドポイントコントロール、アプリの検証、e-ディスカバリーのための成熟したポリシーを持っていませんでした。各ケースで、採用は合理的で価値のあるものでしたが、明確な所有権、標準化されたコントロール、ライフサイクル監視の欠如により、予測可能な失敗が生じました。AIへの教訓は簡単です。ガバナンスはイノベーションに後から付け加えられるものではありません。ガバナンスは、他の重要なインフラストラクチャと同様に、意図的に、定義された意思決定権、継続的な監視、強制可能なガードレールを備えて構築される必要があります。

拡散された責任の問題

AIの急速な展開により、ガバナンスと責任の基準の開発が遅れており、「拡散された責任」のギャップが生じ、AIが失敗した場合に単一のエンティティが責任を負うことができません。

責任はすでにヘルスケアで普遍的な問題であり、AIは新たな課題をもたらしました。AIツールには認められた法的身分がないため、訴訟や保険の対象にならず、被害者への法的補償もできません。法的訴訟では、人間の行為者または企業に責任を転嫁する必要がありますが、ツールには責任を転嫁できません。

医療研究の第一人者であるThe Lancetの研究者は、最近の論文で、「機関の責任構造は、医療従事者からAIツールを設計および展開する組織に責任を再分配する必要がある」と主張しています。責任に関するこのような疑問は、将来も継続するでしょう。

欧州連合は、この問題に対処するために、2つの主要な立法措置を導入しました。AI法は、リスクの程度によってAIの使用を規制し、人間の監視の維持を強調しています。また、AI責任指令は、AIによる被害の補償を求めるための新しいルールを設けています。

しかし、規制だけでは問題を解決することはできません。病院はベンダー、医療従事者、管理者、ITチームの複雑なネットワークの中で運営されています。AIシステムが有害または偏った出力を生み出した場合、責任は利害関係者間でパスされます。ベンダーは不適切な使用を指摘し、医療従事者は設計の欠陥を指摘し、管理者は規制の曖昧さを非難する可能性があります。

これらすべてのことから、責任は拡散しており、病院は大きな法的争いにつながる可能性があります。

ガバナンスギャップを埋めるための実践的なステップ

良いニュースは、包括的な規制がなければ、ヘルスケア組織がAIガバナンスのギャップを積極的に埋めることができるということです。まず、リーダーは、世界保健機関のレポート「ヘルスケアのためのAIの倫理とガバナンス」から始めることができます。このレポートは、AIの約束を最大化し、リスクを最小限に抑えることを目指しています。

このレポートで概説されているステップは、自律性を保護し、人間の幸福と公共の安全を促進し、透明性と説明可能性を確保し、責任と説明責任を促進することを目的としています。ガバナンスギャップを解決するために、後者の2点に焦点を当てましょう。

AIガバナンスに対する統一されたアプローチを実施し、トップダウンでボードまたは専門家によって指示されるようにします。現在、多くの組織では、個々の部門がAIを使用することを許可していますが、リーダーは、組織がこれらのツールをどのように、どこで使用しているかを説明できない状況に陥ります。可視性は重要です。使用されているツールと目的をリストアップし、どこで使用されているかを確認する必要があります。

AIライフサイクル全体にわたる明確な責任線を確立することも同様に重要です。つまり、調達、検証、展開、監視、インシデント対応のすべての段階で、担当者または部門を割り当てる必要があります。病院は、ベンダーに明確な透明性と監査可能性の基準を満たすことを要求し、内部チームがAIシステムの能力と限界を理解するためのトレーニングを受けることを保証する必要があります。

最後に、ガバナンスは文書化されるだけでなく、運用化される必要があります。AIリスク評価を調達プロセスに組み込み、AIパフォーマンスの定期的な監査を実施し、フロントラインスタッフがフリクションなく懸念を報告できるメカニズムを作成します。

実践では、ガバナンスギャップを埋めることは、新しい原則を導入することよりも、むしろ規律を実施することです。AIが組織に入ってくる方法を標準化し、各段階で誰が所有権を持っているかを定義し、パフォーマンスを継続的に監視する必要があります。そうしないと、AIツールは安全を維持するための構造を上回り続けるでしょう。

隠されたリスク：データ品質

責任構造が整っている場合でも、別のリスクがしばしば見落とされることがあります。AIシステムに供給されるデータの完全性と、AIシステムが時間の経過とともにどのように進化するかという点です。AIシステムは、トレーニングに使用されるデータと継続的に学習するデータの品質に応じてのみ信頼性が保証されます。病院のデータ環境は、断片化、不一致、ギャップが生じやすいことで知られています。

電子ヘルスレコード、画像システム、管理プラットフォームは、しばしばシロで運営され、直接AIの出力を影響させる可能性のある矛盾が生じます。不完全または偏ったデータセットでトレーニングされたモデルは、すでに害を及ぼしているまでに気付かれずに、欠陥のある推奨事項を生み出す可能性があります。特に臨床環境では、小さな精度の違いが患者にとって重大な結果につながる可能性があります。

この問題を複合しているのは「モデルドリフト」です。AIモデルは、システムに入力される新しいデータに応じて、指示やコンテキストから逸脱する傾向があります。患者の集団が進化し、新しい治療プロトコルが導入され、外部要因が運営に影響を与えるにつれて、AIツールの基準的な前提は変化する可能性があります。継続的な監視と再調整がなければ、かつて信頼性の高いパフォーマンスを示したAIシステムが、トレーニングから逸脱した行動や提案を開始する可能性があります。

モデルドリフトに対処するには、病院はAIシステムを静的なツールではなく、ダイナミックで高リスクの資産として扱う必要があります。つまり、継続的なパフォーマンスモニタリングを実施し、許容される精度のしきい値を設定し、再トレーニングと検証の所有権を定義する必要があります。データガバナンスも強化され、データ品質、相互運用性、バイアス検出のための標準化された慣行が必要です。

データ品質とモデルドリフトのリスクに立ち向かわずに、最も優れたAIガバナンスフレームワークでも、システム的失敗の可能性が生じます。ヘルスケアAIシステムは、基礎となるデータの品質に応じてのみ機能するため、この層のリスクを見過ごすと、いつしか大きな問題につながる可能性があります。

動作開始前に正しく設定する

AIは、効率、精度、患者の結果を改善することでヘルスケアを変革する可能性があります。しかし、表面化するリスクの所有権が明確でない場合、その潜在力はすぐに負債になる可能性があります。

病院は、AIガバナンスをコンプライアンスのための行為とみなすことはできません。AIガバナンスは、コアの運用上の優先事項として扱う必要があります。所有権を定義し、監視構造を確立し、継続的に評価する必要があります。ヘルスケアでは、何かが間違った場合、誰が責任があるかよりも、結果が何であるかということがはるかに重要です。