任意のAIエージェントが話すことができる。ただし、信頼できるエージェントは少ない

ヘルスケアにおけるAIエージェントの必要性は緊急である。業界全体で、時間のかかるタスクに忙殺されたチームが患者ケアを妨げている。臨床医は限界を超えているが、ペイヤーのコールセンターは圧倒されており、患者は即座の懸念に対する答えを待たされている。

AIエージェントは、深いギャップを埋め、臨床および行政スタッフのリーチと可用性を拡大し、ヘルススタッフと患者双方のバーンアウトを軽減することで助けることができる。ただし、それを行う前に、AIエージェントに対する信頼の強い基盤を構築する必要がある。その信頼は、温かい口調や会話の流暢さから来るのではない。エンジニアリングから来るものである。

AIエージェントへの関心が高騰し、ヘッドラインがエージェントAIの約束を吹聴している間、患者とコミュニティに責任を負うヘルスケアリーダーは、このテクノロジーを大規模に展開することにためらっている。スタートアップは、予約のスケジューリングのような退屈なタスクの自動化から、高タッチの患者コミュニケーションとケアまで、エージェント機能を謳っている。ただし、ほとんどがこれらのエンゲージメントが安全であることを証明していない。

多くの場合、証明することはできない。

現実は、誰でも大規模言語モデル（LLM）を使用した音声エージェントをスピンアップし、共感的な口調を与え、説得力のある会話をスクリプト化することができる。多くのプラットフォームが業界全体でエージェントを売り込み、エージェントは見た目や音が異なるかもしれないが、すべて同じように動作する。妄想に陥りやすく、重要な事実を確認できない、説明責任を確保するメカニズムが欠如している。

このアプローチ – 基礎となるLLMを薄くラップしたものを構築する – は、小売業やホスピタリティなどの業界では機能するかもしれないが、ヘルスケアでは機能しない。基礎モデルは非凡なツールではあるが、主に汎用的なものであり、臨床プロトコル、ペイヤーポリシー、規制基準に特にトレーニングされたものではない。最も雄弁なエージェントであっても、基礎モデルを使用して構築されたものは、妄想的な領域に漂い、質問に答えるべきでない、事実を捏造する、または人間がループに参加する必要があることを認識できない。

これらの行動の結果は理論的なものではない。患者を混乱させ、ケアを妨げ、コストのかかる人間の再作業につながる可能性がある。これは知能の問題ではない。インフラストラクチャの問題である。

ヘルスケアで安全に、効果的に、信頼性高く動作するには、AIエージェントは電話の向こう側のオートノマスボイスだけではなく、コントロール、コンテキスト、説明責任のために特別に設計されたシステムによって動作される必要がある。私はこれらのシステムを構築する経験から、実践では次のようになる。

レスポンスコントロールは妄想を除去する

ヘルスケアにおけるAIエージェントは、妄想的な答えを生成するだけでなく、正しい答えを毎回提供する必要がある。これには、コントロール可能な「アクションスペース」が必要である。つまり、AIが自然な会話を理解し、促進するメカニズムが必要であるが、すべての可能なレスポンスが事前に定義された、承認されたロジックによって境界付けられる必要がある。

レスポンスコントロールパラメータが組み込まれている場合、エージェントは、検証されたプロトコル、定義された運用手順、および規制基準のみを参照できる。モデルの創造性は、事実を即興で作るのではなく、会話を促進するために利用される。これは、ヘルスケアリーダーが妄想のリスクを完全に排除できる方法である。パイロットまたは単一のフォーカスグループでのテストではなく、基盤からリスクを設計することによってである。

専門の知識グラフは信頼できる交換を保証する

ヘルスケアの会話のコンテキストは、深く個人的である。2人のタイプ2糖尿病の患者が同じ地域に住んでいて、同じリスクプロファイルに当てはまるかもしれない。特定の薬の適性は、医療歴、医師の治療ガイドライン、保険プラン、フォーミュラリー規則によって異なる。

AIエージェントは、このコンテキストにアクセスするだけでなく、リアルタイムでそれらを推論する必要がある。専門の知識グラフがその機能を提供する。複数の信頼できる情報源からの情報を構造化された方法で表現することができ、エージェントが聞いたことを検証し、返す情報が正確で個別化されていることを保証する。こうした層がないエージェントは、情報に詳しそうに聞こえるかもしれないが、実際には刚直なワークフローに従って穴を埋めているだけである。

堅牢なレビューシステムは正確性を評価する

患者がAIエージェントと話を終え、満足するかもしれないが、エージェントの仕事はまだ終わっていない。ヘルスケア組織は、エージェントが正確な情報を生成しただけでなく、会話を理解し、文書化したことを確認する必要がある。そのためには、自動化されたポストプロセッシングシステムが必要である。

堅牢なレビューシステムは、人間の監視者が時間をかけて行うのと同じレベルの注意深さで、各会話を評価する必要がある。レスポンスが正確であったか、正しい情報が収集されたか、フォローアップが必要かどうかを判断する能力があるべきである。何かが間違っている場合、エージェントは人間にエスカレートできるべきだが、すべてが正常であれば、タスクは自信を持って完了したことが確認できる。

これらの3つの基礎要素に加えて、すべてのエージェントAIインフラストラクチャには、患者データを保護し、エージェントが規制された範囲内で動作することを保証する堅牢なセキュリティおよびコンプライアンスフレームワークが必要である。該当フレームワークには、SOC 2やHIPAAなどの一般的な業界標準への厳格な遵守が含まれるべきだが、バイアステスト、保護されたヘルス情報の削除、データ保管のためのプロセスも組み込まれているべきである。

これらのセキュリティ対策は、コンプライアンスのチェックボックスを満たすだけでなく、患者と提供者が期待するレベルで毎回のやり取りが管理される、信頼できるシステムの背骨を形成する。

ヘルスケア業界には、もっとAIのハYPEが必要ではない。信頼できるAIインフラストラクチャが必要である。エージェントAIの場合、信頼は、獲得されるのではなく、エンジニアリングされるものである。