AIがホールュシネーションを起こす場合、AIを非難しないでください

AIの「ホールュシネーション」と呼ばれる、信憑性のあるが誤った回答は、最近のニューヨークタイムズの記事「AI Is Getting More Powerful, But Its Hallucinations Are Getting Worse」のように、多くのメディアの注目を集めています。ホールュシネーションは、消費者向けのチャットボットで対処する際に実際の危険性があります。ビジネスアプリケーションにおけるAIの場合、それはさらに深刻な懸念事項です。幸いなことに、ビジネステクノロジーのリーダーとして、私はそれに対してより多くのコントロールを持っています。私は、エージェントが有意義な回答を生成するために必要な正しいデータを持っていることを確認できます。

そのことが実際の問題です。ビジネスでは、AIのホールュシネーションを非難する理由はありません。AIを非難しないでください。AIを適切に使用していない自分を非難してください。

ジェネレーティブAIツールがホールュシネーションを起こす場合、それらは設計通りに動作しています。利用可能なデータに基づいて最も適切な回答を提供するように設計されています。ただし、現実に基づいていない回答を生成する場合、それらは関連するデータが不足している、またはデータを見つけることができない、または質問を理解していないことを意味します。はい、新しいモデルであるOpenAIのo3とo4-miniは、より多くのホールュシネーションを起こし、質問に対してより「創造的」に回答しています。はい、より強力なツールはより多くのホールュシネーションを起こす可能性がありますが、成功のために設定すると、より強力で有価値な結果を生成する可能性もあります。

AIがホールュシネーションを起こさないようにしたい場合、データを与えないでください。AIに問題を解決するために最も適切なデータを与え、正しい道に導きます。

さらに、どのようなAIツールを使用する場合でも、批判的思考力を維持することをお勧めします。AIエージェントが提供する結果は生産的で喜ばれるかもしれませんが、重要なことは、脳を切り離してソフトウェアにすべての思考を任せるのではなく、質問を続けることです。AIエージェントが回答を提供する場合、その回答が意味を成し、データによって裏付けられていることを確認するために、その回答に疑問を投げかけます。そうであれば、それは時間をかけてフォローアップする価値があることを示す良い兆候です。

質問するほど、より良い洞察を得ることができます。

ホールュシネーションが起こる理由

それは何らかの謎ではありません。AIはあなたに嘘を伝えようとしていません。すべての大規模言語モデル(LLM)AIは、基本的に、確率に基づいて次の単語または数字を予測しています。

高レベルで見ると、ここで起こっていることは、LLMが、数十億の他の例に基づいて、文または段落の次の単語を予測して、単語ごとに文や段落を生成していることです。LLMの祖先（Clippyを除く）は、テキストメッセージやコンピューターコードの自動補完プロンプト、自動人工言語翻訳ツール、その他の確率的言語システムでした。計算能力の増加とインターネット規模のデータでのトレーニングにより、これらのシステムは「賢くなり」、チャットで会話を続けることができるようになりました。

AIの否定者は、これが「真の」知能ではなく、人間の知能が与えられたものを凝縮して再現するだけのソフトウェアであると指摘することがあります。データを要約するように求めると、他のライターが同様のデータを要約する方法を模倣します。

それは、私には学術的な議論のように思えます。データが正確で、分析が有用である限りです。

AIにデータがない場合、空白を埋めます。時々は面白いことがあります。時々は完全な混乱です。

AIエージェントを構築する場合、これは10倍のリスクになります。エージェントは、実行可能な洞察を提供する必要がありますが、途中でより多くの決定を下します。複数のタスクを実行し、ステップ1の結果がステップ2、3、4、5、…、10、…、20の結果を決定します。ステップ1の結果が不正確な場合、エラーは増幅し、ステップ20の出力はより悪くなります。特に、エージェントは決定を下し、ステップをスキップすることができます。

正しく行うと、エージェントは、ビジネスにさらに多くのことを実現します。しかし、AI製品マネージャーとして、私たちは、より大きな報酬に伴うより大きなリスクを認識する必要があります。

私たちのチームはそうしました。私たちはリスクを見て、それに対処しました。私たちは、ただのロボットを構築しなかったのです。私たちは、エージェントが正しいデータで動作するようにしました。私が正しくしたと思ったことは次のとおりです：

• エージェントを正しい質問を尋ね、正しいデータを持っていることを確認するように構築します。エージェントの初期データ入力プロセスは、より決定論的で、より「創造的」でないようにします。エージェントは、正しいデータを持っていない場合、次のステップに進むのではなく、データがないことを示すようにします。
• エージェントのためのプレイブックを構造化します。新しい計画を毎回作成するのではなく、半構造化されたアプローチを持たせます。データ収集と分析段階では、構造とコンテキストが非常に重要です。事実を正しく把握し、要約を書く準備ができた場合、エージェントが「創造的」に動作することを許可できますが、まず事実を正しく把握する必要があります。
• 高品質のツールを構築してデータを抽出します。これは、単なるAPI呼び出しではありません。正しい量と種類のデータを収集するコードを書き、品質チェックをプロセスに組み込む時間をかけます。
• エージェントが作業を示すようにします。エージェントは、ソースを引用し、ユーザーがデータを確認し、さらに調査するためのリンクを提供する必要があります。手品は許可されません!
• ガードレール：何が間違う可能性があるかを考慮し、許可できないエラーに対する保護を構築します。私たちの場合、市場分析を担当するエージェントがデータを持っていない場合（私たちのSimilarwebデータ、ウェブからランダムに抽出されたデータソースではなく）、何かをでっち上げるのではなく、回答を提供できないことを確認する必要があります。エージェントが回答を提供するよりも、正確でない、または誤解を招く回答を提供する方が良いでしょう。

私たちは、これらの原則を最近の3つの新しいエージェントのリリースに組み込みました。さらに多くのエージェントが続きます。たとえば、セールス担当者向けのAIミーティング準備エージェントは、ターゲット会社の名前だけを尋ねるのではなく、ミーティングの目的と誰とのミーティングかについての詳細を尋ね、より良い回答を提供するように準備します。会社データ、デジタルデータ、エグゼクティブプロファイルの豊富な情報を使用して、推奨事項を通知するので、推測する必要はありません。

私たちのエージェントは完璧ですか？いいえ。誰もが完璧なAIを作成しているわけではありません。世界で最大の会社でもありません。しかし、問題に取り組むことは、無視するよりもはるかに優れています。

ホールュシネーションを減らしたいですか？AIに高品質のデータのチャンクを与えてください。

ホールュシネーションが起こる場合、AIが修正される必要があるのではなく、AIを活用するためのアプローチが修正される必要があるかもしれません。強力な新しい機能を活用するために、正しく行うための時間と労力を費やす必要があるかもしれません。