医療におけるAIの責任問題

医療では、AIは臨床上の決定から人事・財務まで、あらゆる分野に埋め込まれています。しかし、多くの組織では、AIツールが損害を引き起こさないようにするためのリスク管理の委任が不足しています。構造化された監視の欠如により、AI関連の決定は明確な責任を持たずに行われ、組織は倫理的および規制違反のリスクにさらされます。

誰もがAIの決定と行動に対して責任を負わない場合、盲点は急速に拡大します。AIシステムが監視なしに高リスクの決定を下すことによる結果は数多くあり、人命が懸かっている状況では特に深刻です。

今日のAIガバナンスのギャップは、以前の技術曲線が企業の管理能力よりも急速に上昇したインフレクションポイントと似ています。クラウドコンピューティングの場合、チームはSaaS、IaaS、影のITを採用して迅速に進化しましたが、ガバナンスはデータ分類、アイデンティティおよびアクセス管理、ベンダーの監視、ログ/モニタリング、共有責任の明確化などの基本的な点で遅れました。結果として、責任はIT、セキュリティ、調達、ビジネスに散在しました。モバイル/BYODの急速なコンシューマー化の場合、従業員は規制環境に新しいデバイスとアプリを導入しましたが、組織は暗号化、エンドポイント制御、アプリの検証、e-ディスカバリーのための成熟したポリシーを持っていませんでした。各ケースで、採用は合理的で価値のあるものでしたが、明確な所有権、標準化されたコントロール、ライフサイクル監視の欠如により、予測可能な失敗が生じました。AIへの教訓は簡単です。ガバナンスはイノベーションに後から付け加えられたものではなく、他の重要なインフラストラクチャと同様に、意図的に、定義された意思決定権、継続的な監視、強制可能なガードレールとともに構築される必要があります。

責任の拡散問題

AIの急速な展開はガバナンスと責任の基準の開発を上回っており、「責任の拡散」ギャップが生じ、AIが失敗した場合に単一のエンティティが責任を負わない状況が生じています。

医療では、責任は既に普遍的な問題です。AIは新たな課題をもたらしました。AIツールには法的身分が認められていないため、訴訟や保険の対象となりません。また、法的補償も支払うことができません。法的手続きでは、故障は人間の行為者または企業に転嫁され、ツールには転嫁されません。

医療研究の先端的なジャーナルであるThe Lancetの研究者は、最近の論文で、「機関の責任構造は、医療従事者からAIツールを設計および展開する組織に責任を再分配する必要がある」と主張しています。責任に関するこのような疑問は、将来も続くことは明らかです。

欧州連合は、地域レベルでこれらの問題に対処しようとしています。EUは2つの主要な立法措置を導入しました。AI法は、リスクの程度によってAIの使用を規制し、人間の監視の維持を強調しています。また、AI責任指令は、AIによって引き起こされた損害に対する補償を求めるための新しい規則を設けました。

しかし、規制のみでは問題を解決することはできません。病院はベンダー、医療従事者、管理者、ITチームなどの複雑なネットワークの中で運営されています。AIシステムが有害または偏った出力を生み出すと、責任は利害関係者間でパスされます。ベンダーは不適切な使用を指摘し、医療従事者は設計の欠陥を主張し、経営陣は規制の曖昧さを非難する可能性があります。

これらすべてのことから、責任は拡散し、病院は大きな法的闘争に直面することになります。

ガバナンスギャップを解決するための実践的なステップ

良いニュースは、包括的な規制がなくても、医療組織はAIガバナンスのギャップを積極的に解決できることです。まず、リーダーは世界保健機関の報告書「ヘルスケアのためのAIの倫理とガバナンス」から始めることができます。この報告書は、AIの約束を最大化し、リスクを最小限に抑えることを目指しています。

この報告書で概説されたステップは、自律性の保護、人間の幸福と公共の安全の促進、透明性と説明可能性の確保、責任と説明責任の促進を目指しています。ガバナンスギャップに取り組むには、後者の2点に焦点を当てます。

AIガバナンスに対する統一されたアプローチを実施し、トップダウンでボードまたは専門家によって指示されるようにします。現在、多くの組織では、各部門がAIを使用することを許可していますが、リーダーは組織がこれらのツールをどのように、どこで使用しているかを説明できない状況にあります。可視性は重要です。使用されているツールとその目的をリストアップする必要があります。

AIライフサイクル全体にわたる明確な責任線を確立することも同様に重要です。これには、調達から検証、展開、監視、インシデント対応まで、すべての段階で責任者を指名することが含まれます。病院は、ベンダーが定義された透明性と監査可能性の基準を満たすことを要求し、内部チームがAIシステムの能力と限界を理解するためのトレーニングを受ける必要があります。

最後に、ガバナンスは文書化されるだけでなく、運用化される必要があります。リスク評価を調達プロセスに統合し、AIのパフォーマンスを定期的に監査し、最前線のスタッフがフリクションなく懸念を報告できるメカニズムを構築する必要があります。

実践では、ガバナンスギャップを解決することは、新しい原則を導入することよりも、むしろ規律を課すことです。AIが組織に入る方法を標準化し、各段階で所有権を定義し、パフォーマンスを継続的に監視する必要があります。そうしないと、AIツールは安全を維持するための構造を上回り続けるでしょう。

隠れたリスク：データ品質

責任構造が整っている場合でも、別のリスクがしばしば軽視されます。AIシステムに供給されるデータの完全性と、システムが時間の経過とともにどのように進化するかという点です。AIシステムは、トレーニングに使用されるデータと継続的に学習するデータのみに依存します。病院のデータ環境は、断片化、不一致、ギャップが生じやすいことで知られています。

電子ヘルスレコード、画像システム、管理プラットフォームは、しばしばシロに運営され、AIの出力に直接影響を及ぼす矛盾が生じます。不完全または偏ったデータセットでトレーニングされたモデルは、欠陥のある推奨事項を生み出し、損害が生じるまでに気づかれない可能性があります。特に臨床環境では、精度の小さな偏差が患者にとって重大な結果をもたらす可能性があります。

この問題を悪化させるのは「モデルドリフト」です。AIモデルは、システムに入力される新しいデータに応じて、指示やコンテキストから逸脱する傾向があります。患者の集団が変化し、新しい治療プロトコルが導入され、外部要因が運営に影響を与えるにつれて、AIツールの基本的な前提は変化する可能性があります。継続的な監視と再調整がなければ、かつて信頼性の高いパフォーマンスを示したAIシステムが、トレーニングから外れた行動や提案を開始する可能性があります。

モデルドリフトに対処するには、病院はAIシステムを静的なツールではなく、ダイナミックで高リスクの資産として扱う必要があります。これには、継続的なパフォーマンスモニタリングの実施、許容可能な精度のしきい値の設定、再トレーニングと検証の所有権の定義が含まれます。データガバナンスも強化される必要があり、データ品質、相互運用性、バイアス検出のための標準化された実践が必要です。

データ品質とモデルドリフトに関連するリスクに立ち向かわずに、最も優れたAIガバナンスフレームワークでも、医療AIシステムはデータに基づいているため、システム的故障の可能性が生じます。

動作開始前に正しくする

AIは、効率、精度、患者の結果を改善することで医療を変革する可能性があります。しかし、表面化するリスクの所有権が明確でない場合、その潜在力はすぐに負担となる可能性があります。

病院は、AIガバナンスをコンプライアンスの演習として扱うことができません。コアの運用上の優先事項として扱う必要があります。所有権を定義し、監視構造を確立し、継続的に評価する必要があります。医療では、何かが間違った場合、誰が責任があるかよりも、結果がはるかに深刻になる可能性があります。