Ramkumar Pichandi, CEO, Rytsense Ramkumar Pichandi CEO, Rytsense

病院はAIを採用する前に、採用するものを理解していなかった

病院は、意図的に決定した瞬間に人工知能を採用しなかった。AIは、断片的に導入された。画像アルゴリズム、文書化アシスタント、スタッフ予測、患者メッセージジェネレーター、否定予測モデル、スケジューリングツール。各製品は、異なる部門を通じて導入され、異なるニーズに応え、異なる予算で評価された。その断片的な導入方法により、導入は管理可能に感じられた。また、病院が実際に取り組んでいたことを隠した。AI製品は、単なるソフトウェアアプリケーションではない。AIは、判断を影響させ、作業を再配分し、説明責任を変更し、変化するデータから学び、事後的に再構築するのが難しい出力を生成する可能性のあるシステムである。病院は、AIの影響を理解するために必要な制度的言語、ガバナンス、運用上の規律を構築する前に、AIの能力を購入した。ヘルスケア組織と密接に協力した結果、AI導入の最も難しい部分は、モデル自体から始まるのではなく、テクノロジーが設計されていないワークフローに入り、人々がAIの出力に対してどれだけの信頼、権限、責任を置くかを決定するときに始まることがわかった。これは、導入に反対するものではない。ヘルスケアには、より良いツールが必要であり、AIはすでに実際の価値を生み出している。これは、導入のより成熟した定義のためのものである。つまり、調達の後に始まるのではなく、そこで終了するのではなく、そこから始まるのである。AIは「効率」のラベルが付いたドアから入ってきた病院でのAIの初期のケースは実用的だった。行政作業が増加し、労働力の圧力が強まっており、医療従事者は臨床判断を必要としないタスクに多くの時間を費やしていた。その需要は今でも増加している。2026年、アメリカ医師会は報告した、81パーセントの医師が実践でAIを使用していると回答した。2023年の倍以上であった。その魅力は理解できる。病院は、アクセスを改善し、焼き尽き症を減らし、コストを管理し、情報を迅速に伝える圧力を受けている。メモを書き出すツール、優先順位を付けるキュー、遅延を予測するツール、チャートを要約するツールは、狭い運用上の改善のように見えるかもしれない。しかし、AIは、ワークフローに入った後、ほとんどの場合、狭いままではなくなります。文書化システムは、記録に何が記載されるかを変更します。優先順位付けモデルは、どのケースが最初に見られるかを変更します。予測ツールは、スタッフの決定を変更します。患者コミュニケーションアシスタントは、臨床的意図が言語に翻訳される方法を変更します。元の目的が行政的であっても、運用上の影響はケアの提供に達する可能性があります。したがって、病院は、効率以上のものを採用しました。病院は、決定、シーケンス、注意、責任に対する新しい影響形態を採用しました。最初の誤解：AIを従来のソフトウェアとして扱う従来のソフトウェアは、通常、定義された機能を信頼性を持って実行するかどうかで判断される。AIには、より広い質問セットが必要です。どのようなデータがモデルを形成したのか。どのような場合にパフォーマンスが弱くなるのか。ローカルのワークフローがテスト環境と異なると、出力はどのように変わるのか。誰が結果を確認するのか。モデルが更新されたときに何が起こるのか。結果に異議が唱えられたときにどのような証拠が残るのか。これらの質問は、正式なヘルスケアテクノロジーポリシーの一部となっている。 国立ヘルスケア情報技術調整官のHTI-1ルールは、認定ヘルスケアITの予測アルゴリズムに対する透明性要件を導入し、公平性、適切性、妥当性、有効性、安全性を評価するための情報を含む。言語は、デモでのツールの動作だけに基づいた評価を超えるため、重要である。病院は、ツールがここで、ここでの人口、ここでのワークフロー、ここでの条件、ここで出力に基づいて行動する人々の責任がある場合に、どのように機能するかを知る必要がある。これは、別の調達質問である。ベンダーのプレゼンテーションや機能リストだけでは答えることができない。2番目の誤解：人間の監視がすべてを解決するという仮定「ループ内に人間」というフレーズは、ヘルスケアAIで安心感を与える言葉となっている。人間が制御を維持し、機械を修正できることを示唆している。実践では、人間の監視は、人間が時間、権限、コンテキスト、疑問する明確な理由を持っている場合にのみ意味を持ちます。AI支援の勧告を数百件受け取った医療従事者は、最初から最後までそれぞれを確認することはできない。大量のキューを処理するスタッフは、デフォルトとして提示される優先順位を受け入れるかもしれない。レビュアーは技術的にモデルをオーバーライドする権限を持っているかもしれないが、結果を理解するために必要な情報を持っていないかもしれない。世界保健機関のヘルスケアAIに関するガイダンスは、自律性、説明責任、透明性、安全性、公平性を実装の中心に置く。人間が最終的なボタンをクリックするだけでは、これらの原則は満たされない。人間の監視は、運用上の機能として設計される必要がある。病院は、どの出力がレビューを必要とするか、レビュアーがどのような証拠を見るか、エスカレーションがいつ義務付けられるか、異議がどのように記録されるか、出力のレビューを担当する人が実際に介入できるかを定義する必要がある。患者メッセージアシスタントが退院後のフォローアップ指示を書き出すと考えてみましょう。医療従事者は、承認の責任者として残っているかもしれませんが、実用的な安全対策は、ワークフローに依存します。書き出されたものは、明確に機械によって生成されたものとしてマークされているか。レビュアーは、背後にある臨床的資料を見るか。スタッフは、警告を省略したり、確実性を過大評価したりしたときにメッセージを認識できるか。メッセージが承認され、後に混乱を招いた場合、責任を人間がボタンをクリックしたという事実に帰属させることはできない。レビュープロセスの設計は、レビュアーの存在と同等に重要である。3番目の誤解：検証が1回限りのイベントであると考える多くの組織は、AIを導入前に検証し、それ以降はシステムを安定したものとして扱う。従来の導入思考に基づくアプローチである。テスト、承認、展開、メンテナンス。AIのパフォーマンスは、周囲の環境が変化するため、変化する可能性がある。患者集団は変化する。コード化の慣行は変化する。臨床的文書化は変化する。新しい機器が導入される。スタッフはツールに合わせて行動を変える。ベンダーはモデルを更新する。データインターフェイスは静かに壊れる。導入時に適切に動作していたシステムは、明らかな故障メッセージが出ないまま、信頼性が低下する可能性がある。NIST AIリスク管理フレームワークは、リスク管理を、リスクを統治、リスクをマッピング、リスクを測定、リスクを管理することの連続したライフサイクル活動として扱う。病院は、運用上でも同様の原則を適用する必要がある。導入後の監視は、稼働時間に限定されるべきではない。パフォーマンス、オーバーライドパターン、出力の分布、ワークフローの遅延、ユーザーの苦情、ダウンストリームの修正、スタッフが意図しない方法でシステムに依存している兆候を含めるべきである。モデルは、技術的には利用可能でありながら、運用上は安全でない場合がある。4番目の誤解：規制上の承認と制度的準備を混同する米国食品医薬品局は、規制上の要件を満たしたAI搭載医療機器の一覧を維持している。これは、規制対象製品に対する重要な保証レベルである。しかし、規制上の承認と病院の準備は、異なる質問に答える。規制機関は、デバイスがその目的のために十分な安全性と有効性を持っていることを決定するかもしれない。病院は、自身のデータ、スタッフ、インフラストラクチャ、トレーニング、エスカレーションパス、患者集団が、責任ある使用をサポートしているかどうかを判断する必要がある。同様の区別は、非デバイスAIにも適用される。セキュリティレビューは、臨床的適切性を確立しない。プライバシーのレビューは、ワークフローの安全性を確立しない。法的承認は、ユーザーの能力を確立しない。パイロットの成功は、企業の準備を確立しない。病院は、これらの質問をまとめるための統一された意思決定プロセスが必要である。各部門がリスクの一部を承認するのではなく。病院がAIを採用するときに実際に採用するもの成熟した組織は、AIの導入が同時に少なくとも5つのことを導入することを認識するべきである。 意思決定への影響：AIが最終的な決定を下さない場合でも、AIは、人々が何に注目し、優先し、信じるかを形成する。 データへの依存性：システムは、周囲のデータの強み、ギャップ、偏見、不安定性を継承する。 ワークフローの再設計：タスクは、人、システム、部門の間で移動し、説明責任を微妙に変化させる。 監視の義務：パフォーマンスは、導入後に観察され、導入前の証拠から仮定されるのではなく、必須である。 信頼関係：患者とスタッフは、AIが存在し、どのような役割を果たしているかを理解する必要がある。 このより広い定義は、病院が数十のAIツールを展開していても、未準備であると感じる理由を説明する。組織は、能力を取得しましたが、ポートフォリオとしてそれらを統治するために必要なつなぎ目を構築していない。AIの在庫からAIの説明責任へ最初の実用的ステップは、もう1つの戦略文書ではありません。それは、信頼できる在庫です。いくつかの病院は、AIがすでに動作している場所の完全なビューを持っていない。AIは、より大きなプラットフォームの中に埋め込まれており、部門の購入を通じて導入されており、自動化、知能、予測、最適化、意思決定サポートなどの用語で説明されている。在庫には、各システムの目的、影響を受ける決定、使用されるデータ、影響を受ける人口、ベンダーとモデルバージョン、人間の所有者、レビュープロセス、エスカレーションパス、承認に使用される証拠を記録する必要がある。しかし、在庫だけではガバナンスではない。説明責任は、各システムに名前の付いたエグゼクティブ所有者と運用所有者がいる場合に始まる。エグゼクティブ所有者は、ユースケースがまだ適切であることを受け入れる責任者である。運用所有者は、システムが日常の仕事でどのように動作するかを理解し、現実がポリシーから逸脱したときにそれを特定できる。新しい標準：スケーリングする前に理解する病院は、完璧な確実性を達成するまで、すべてのAIイニシアチブを停止する必要はない。完璧な確実性は、ヘルスケアやテクノロジーには存在しない。病院は、熱意に基づくスケーリングを、証拠に基づくスケーリングに置き換える必要がある。その意味は、特定の問題から始め、AIの役割を定義し、ローカル環境でテストし、限界を文書化し、実際の結果を測定し、組織が利点とリスクの両方を説明できる場合にのみ、役割を拡大することである。最も重要な質問は、もう、「このツールはAIを使用していますか?」ではありません。その質問は、役に立つにはあまりにも広すぎます。より良い質問は次のとおりです。どのような判断を影響させるのか。間違った場合に何が起こるのか。誰が気づくのか。誰がそれを止めることができるのか。どのような証拠が役割の拡大を正当化するのか。最近のWHOのヘルスケアAIに関するポリシーガイドは、安全性、偏見、ガバナンス、規制、信頼性を考慮して、AIを理解するための情報に基づいた意思決定のケースを提示している。病院は、技術チームと同じレベルのリテラシをリーダーシップチームから期待するべきである。実際の機会は制度的学習であるAIから最も利益を得る病院は、必ずしも最も多くのツールを採用する病院ではありません。それは、毎回の展開から最も迅速に学ぶ病院です。彼らは、実装を制度的知識の源とみなすでしょう。データの品質が崩壊する場所、ワークフローが自動化に抵抗する場所、スタッフが明確な境界が必要な場所、患者がより大きな透明性が必要な場所、ガバナンスがより具体的になる必要がある場所です。この学習は、イノベーションオフィスの中に留まるべきではありません。臨床的リーダーシップ、運用、コンプライアンス、テクノロジー、ファイナンス、品質、取締役会に達する必要があります。AIは、現在、技術的な主題としてのみ理解されるにはあまりにも広く分布しており、専門家の小グループによってのみ管理されるにはあまりにも重大です。病院は、AIを採用する前に、採用するものを完全に理解していませんでした。急速な技術革新の時代に、これは珍しいことではありません。より重要な質問は、ギャップが可視化されたときに病院が何をするかです。責任ある対応は、撤退ではありません。AIが実際にどのように機能するかを理解するための能力を構築することです。決定、ワークフロー、関係、制度の中で。そうすれば、採用が準備に変わるのです。