医療業界におけるジェネレーティブAIに説明可能性が必要

テキストベースのジェネレーティブAIツールが、高レベルの書き込みとコミュニケーションタスクを驚くほどの速さで完了できることは、企業と消費者にとって共に共鳴するものです。しかし、これらの印象的な機能を可能にするために行われる裏側のプロセスは、保険、金融、医療などの機密性が高く、政府規制の厳しい業界では、ジェネレーティブAIを慎重に採用する必要があります。

これらの問題の最も示唆に富んだ例は、医療業界で見つけることができます。

これらの問題は、通常、テキストベースのジェネレーティブAIツールが高レベルのタスクを実行するために利用する、大規模で多様なデータセットに起因します。プログラマーからの外部からの明示的な介入がない限り、これらのLLMは、インターネット上のさまざまなソースからデータを無差別にスクラップして、知識ベースを拡張する傾向があります。

このアプローチは、最終的な目標が顧客を望ましいオファーに正確に誘導することである、低リスクの消費者向けユースケースに最も適しています。ただし、データセットが大きく、AIモデルがその出力を生成する経路が不明瞭になっているため、病院や医療提供者が潜在的な不正確さを追跡して予防するために必要な説明可能性が低下しています。

この文脈では、説明可能性は、特定のLLMの論理パスを理解する能力を指します。ジェネレーティブAIツールを採用しようとする医療専門家は、モデルが結果を生み出す方法を理解する手段を持ち、患者とスタッフがさまざまな意思決定プロセスを通じて完全な透明性を持つことができる必要があります。つまり、医療のような業界では、人命が懸かっているため、専門家がAIツールに使用されるデータを誤って解釈することはできないのです。

幸いなことに、ジェネレーティブAIの説明可能性の難題を回避する方法があります。ただし、少しの制御と焦点が必要です。

謎と懐疑

ジェネレーティブAIでは、入力（点A）から出力（点B）への経路を理解する概念は、よりセットされたパターンに従う非ジェネレーティブアルゴリズムよりもはるかに複雑です。

ジェネレーティブAIツールは、入力から出力への経路で無数の接続を作成しますが、外部の観察者にとっては、これらの接続のいずれかをどのようにして行うのか、またなぜ行うのかが謎のままです。AIアルゴリズムの「思考プロセス」を見る方法がないため、人間のオペレーターはその推論を徹底的に調査し、潜在的な不正確さを追跡する手段を持ちません。

さらに、MLアルゴリズムで使用される継続的に拡大するデータセットは、説明可能性をさらに複雑にします。データセットが大きいほど、システムは関連する情報と無関係な情報の両方から学習し、外部の事実や文脈の論理から逸脱した「AIの幻覚」を生み出す可能性が高くなります。

医療業界では、これらの種の欠陥な結果は、誤診や不正確な処方箋などの問題を引き起こす可能性があります。倫理的、法的、財務的な結果を除いて、これらのエラーは、医療提供者と彼らが代表する医療機関の評判を簡単に損なう可能性があります。

したがって、医療介入を強化し、患者とのコミュニケーションを改善し、運用の効率性を高める可能性があるにもかかわらず、医療におけるジェネレーティブAIは、懐疑的な見方に包まれています。しかも、正当な理由があります。55%の臨床医は、それが医療用途に適していることを信じておらず、58%は全く信頼していません。ただし、医療機関は、前進しています。98%がジェネレーティブAIの展開戦略を整合または計画しており、業界の継続的な労働力不足の影響を相殺しようとしています。

ソースを制御する

医療業界は、効率と速度を、鉄の安全対策を確保することよりも優先する現在の消費者気候で、後手に回ることがよくあります。近年のニュースでは、LLMのトレーニングに無制限のデータスクラッピングを行うことで、著作権侵害訴訟につながる問題が取り上げられています。いくつかの企業は、市民の個人データがこれらの言語モデルをトレーニングするために採掘されたため、プライバシー法を侵害したという主張にも直面しています。

したがって、高度に規制された業界のAI開発者は、潜在的なミスを制限するために、データソースを制御する必要があります。つまり、外部のWebページを無秩序に、許可なくスクラップするのではなく、信頼できる、業界が検証したソースからデータを抽出することを優先します。医療業界の場合、これは、FAQページ、CSVファイル、医療データベースなどの内部ソースにデータ入力を制限することを意味します。

これが少し制限的なように聞こえる場合は、大規模なヘルスシステムのウェブサイトでサービスを検索してみてください。米国の医療機関は、プラットフォーム上に数百、あるいは数千の情報ページを公開しています。ほとんどのページは、患者が実際にアクセスすることなく、深く埋もれています。内部データに基づくジェネレーティブAIソリューションは、これらの情報を患者に便利に、シームレスに提供できます。これは、すべての当事者にとっての勝利です。ヘルスシステムは、このコンテンツから最終的にROIを得ることができ、患者は必要なサービスを見つけることができます。

規制された業界におけるジェネレーティブAIの将来

医療業界は、さまざまな点でジェネレーティブAIから利益を得ることができます。

たとえば、米国の医療部門が最近直面している広範な焼き尽き症を見てみましょう。約50%の労働力が2025年までに辞職する予定です。ジェネレーティブAIを搭載したチャットボットは、多大な負担をかけている患者アクセステームの負担を軽減するのに役立つ可能性があります。

患者側では、ジェネレーティブAIは医療提供者のコールセンターのサービスを改善する可能性があります。AIの自動化は、FAQ、ITの問題、薬の再処方、医師の紹介など、さまざまな連絡先を介して、幅広い問い合わせに対応できます。待ち時間のストレスを除いて、米国の患者は最初の電話で問題を解決することができません。約半分です。結果として、放棄率が高く、医療へのアクセスが損なわれ、顧客満足度が低下します。業界は行動するようさらに圧力をかけられます。

業界がジェネレーティブAIの実装から真正に利益を得るには、医療提供者はLLMがアクセスするデータの意図的な再構成を促進する必要があります。結果として、高い放棄率と医療へのアクセスが損なわれ、顧客満足度が低下します。業界は行動するようさらに圧力をかけられます。ジェネレーティブAIの実装から真正に利益を得るには、医療提供者はLLMがアクセスするデータの意図的な再構成を促進する必要があります。