任意のAIエージェントが話すことができる。ただし、信頼できるエージェントは少ない。

ヘルスケア業界におけるAIエージェントの必要性は緊急です。業界全体で、過労したチームは時間のかかるタスクに忙殺されており、患者ケアが遅れています。医療従事者は限界を超え、ペイアー（医療費を支払う側）のコールセンターは混雑し、患者は心配事についての回答を待たなければなりません。

AIエージェントは、深いギャップを埋め、臨床スタッフと行政スタッフのリーチと利用可能性を拡大し、ヘルスケアスタッフと患者両方のバーンアウトを軽減することで助けることができます。しかし、それを行う前に、AIエージェントに対する信頼の強い基盤を構築する必要があります。その信頼は、温かい口調や会話の流暢さから来るのではなく、エンジニアリングから来るのです。

AIエージェントへの関心が高騰し、見出しはagentic AIの約束を宣伝していますが、患者やコミュニティに責任を負うヘルスケアのリーダーたちは、この技術を大規模に導入するのをためらっています。スタートアップは、予約のスケジューリングのような日常タスクの自動化から、高度な患者コミュニケーションとケアまで、エージェント能力を宣伝しています。しかし、ほとんどのエージェントは、これらのエンゲージメントが安全であることを証明していません。

実際、誰でも大規模言語モデル（LLM）を使用したボイスエージェントを立ち上げ、共感的な口調を与え、説得力のある会話をスクリプト化することができます。多くのプラットフォームがこれらのエージェントを業界全体で宣伝しています。彼らのエージェントは見た目や音が異なっていても、すべて同じように動作します。妄想に陥りやすく、重要な事実を確認できない、説明責任を確保するメカニズムが欠如しています。

このアプローチ – 基礎となるLLMを薄くラップする – 小売やホスピタリティなどの業界では機能するかもしれませんが、ヘルスケアでは機能しません。基礎モデルは非凡なツールですが、主に汎用的なものです。臨床プロトコル、ペイアーポリシー、規制基準に特化してトレーニングされていません。最も流暢なエージェントでも、妄想的な領域に漂い、質問に答えるべきでない、事実をでっち上げ、人間がループに参加する必要があることを認識できないことがあります。

これらの行動の結果は理論的なものではありません。患者を混乱させ、ケアを妨げ、コストのかかる人間の再作業につながる可能性があります。これは知能の問題ではありません。インフラの問題です。

ヘルスケアで安全に、効果的に、信頼性高く動作するには、AIエージェントは電話の向こう側の自動音声だけでなく、コントロール、コンテキスト、説明責任を特に設計されたシステムによって運用される必要があります。私はこれらのシステムを構築する経験から、実践では次のようになります。

レスポンスコントロールは妄想を非存在にすることができる

ヘルスケアのAIエージェントは、妄想的な回答を生成するのではなく、正しい回答を毎回提供する必要があります。これには、コントロール可能な「アクションスペース」が必要です。つまり、AIが自然な会話を理解し、促進するメカニズムですが、すべての可能な回答が事前に定義された、承認されたロジックによって制限される必要があります。

レスポンスコントロールパラメータを組み込むと、エージェントは検証されたプロトコル、定義された運用手順、規制基準のみを参照できます。モデルの創造性は、事実を即興で作るのではなく、会話を促進するために利用されます。これは、妄想のリスクを完全に排除する方法です。パイロットテストや単一のフォーカスグループでテストするのではなく、基礎からリスクを設計することによってです。

専用の知識グラフは信頼できる交換を保証できる

ヘルスケアの会話のコンテキストは、非常に個人的です。2人のタイプ2糖尿病患者が同じ近隣に住んでいて、同じリスクプロファイルに当てはまる場合でも、彼らの特定の薬に対する資格は、医療歴、医師の治療ガイドライン、保険プラン、フォーミュラリールールによって異なります。

AIエージェントはこのコンテキストにアクセスするだけでなく、リアルタイムでそれを推論する能力が必要です。専用の知識グラフがこの機能を提供します。これは、複数の信頼できる情報源からの情報を構造化された方法で表現するもので、エージェントが何を聞いたかを検証し、返される情報が正確で個人化されていることを保証することができます。知識グラフのないエージェントは、情報に詳しそうに聞こえるかもしれませんが、実際には刚性なワークフローに従っています。

堅牢なレビューシステムは正確性を評価できる

患者がAIエージェントと電話を終えた後、満足しているかもしれませんが、エージェントの仕事はまだ終了していません。ヘルスケア組織は、エージェントが正確な情報を生成しただけでなく、会話を理解し、文書化したことを確認する必要があります。そこで自動化されたポストプロセッシングシステムが必要です。

堅牢なレビューシステムは、人間の監視者が時間をかけて行うレベルの注意深い検討で、各会話を評価する必要があります。回答が正確であったか、正しい情報が収集されたか、フォローアップが必要かどうかを判断する必要があります。何かが間違っている場合、エージェントは人間にエスカレートする必要がありますが、すべてが正常であれば、タスクを自信を持って完了できます。

これらの3つの基礎要素に加えて、agentic AIインフラストラクチャには、患者データを保護し、エージェントが規制された境界内で動作することを保証する堅牢なセキュリティおよびコンプライアンスフレームワークが必要です。このフレームワークには、SOC 2およびHIPAAなどの業界標準への厳格な遵守が含まれる必要がありますが、バイアステスト、保護されたヘルス情報の削除、データ保管のプロセスも含める必要があります。

これらのセキュリティ対策は、コンプライアンスのチェックボックスを満たすだけでなく、患者と提供者が期待するレベルで毎回のやり取りを管理できる信頼できるシステムの背骨を形成します。

ヘルスケア業界には、もうAIのハイプは必要ありません。信頼できるAIインフラストラクチャが必要です。agentic AIの場合、信頼はあまりにも獲得されるのではなく、設計されることになります。