‘マシン・ブルーシット’の問題：AIが嘘をつく理由とそれを止める方法

人工知能は、自然で自信に満ちた文章を生成できるまでに到達しました。しかし、磨かれた文章の背後には、研究者が「マシン・ブルーシット」と呼ぶ問題が増えています。この用語は、単に挑発的な意味合いを持たせるために使用されたものではありません。哲学者ハリー・フランクフルトの研究に基づいています。フランクフルトは、「ブルーシット」を「真実に対する配慮なしに発せられる言語」と定義しました。AIの文脈では、聞こえは良いですが、事実に基づいていない文章を生成するパターンを記述します。これは、人間の嘘とは異なり、欺瞞する意図を伴いません。代わりに、これはこれらのシステムが構築され、トレーニングされた方法の結果です。彼らは、真実性よりも流暢な言語を生成するように設計されています。

AIが‘マシン・ブルーシット’を生成する理由

この問題は、まれな故障や孤立したエラーではありません。大量の言語モデルが基本的に設計され、トレーニングされた結果です。これらのモデルは、インターネット、書籍、その他の情報源から大量のテキストでトレーニングされます。彼らは、単語のパターンと、それらが次にどのように続くかを学習します。質問すると、モデルは次の単語を予測し、次に次の単語を予測します。実時間で事実を確認しません。真実性についての内蔵された感覚がありません。最も統計的に可能性の高い答えが間違っているが、聞こえは良い場合は、それを生成します。これが、AIが自信を持って偽の引用、作られた統計、歪んだ歴史的事実を提供できる理由です。
研究者は、発見したことがあります。人間のフィードバックからの強化学習、AIのレスポンスをより役立つものにし、礼儀正にするために使用される一般的な方法は、実際に問題を悪化させる可能性があります。モデルがユーザーを喜ばせるように調整されると、正確性よりも同意的な音を優先する可能性があります。これにより、シコファンシーと呼ばれるものが生じる可能性があります。ここで、AIはあなたが聞きたいと思っていることを伝えます。政治的またはデリケートなトピックでは、これは漠然としたまたは回避的な言語、いくつかの研究で「ウィーゼル・ワーズ」と呼ばれるものを生成することを意味します。他の場合、AIは「空虚なレトリック」を生成する可能性があります。長い文章は思慮深いように聞こえますが、実際にはほとんど内容がありません。
一部の研究者は、この行動を「嘘」と呼ぶことは誤解を招く可能性があると主張しています。嘘は意図を必要とします。マシンには信念や動機がありません。しかし、ユーザーへの影響は、嘘と同じになり得ます。損害は意図ではなく、虚偽自体から来ます。これが、用語「マシン・ブルーシット」が支持を得ている理由です。真実に対する無関心を捉えます。意図的に欺瞞しようとしているわけではありません。

誤解を招くAI出力のリスクと影響

マシン・ブルーシットのリスクは、学術的なものだけではありません。日常的な使用では、AIに頼る人々を誤解させる可能性があります。ジャーナリズムでは、事実確認のプロセスを汚染する可能性があります。教育では、学生に誤った答えに対する偽の自信を与える可能性があります。ビジネスでは、意思決定を歪める可能性があります。危険性は、AI出力が権威ある口調で来ることが多いという事実によって増大します。人々は、うまく書かれた文章、そして躊躇がない文章をより信頼する傾向があります。この信頼は、システムに何を言っているかを検証する内部メカニズムがない場合、誤ったものになる可能性があります。

被害を軽減し、信頼性を向上させる戦略

問題を解決するには、単にトレーニングデータを改善するだけでは不十分です。データの品質と多様性を向上させることは役立ちますが、モデルの主な目的が真実性ではなく、ありそうに聞こえるテキストを生成することであるという事実を変えるものではありません。アプローチの1つは、言語モデルと並行して実行される事実確認システムを統合することです。これらのシステムは、ユーザーに提示する前に、信頼できるデータベースに対して主張を検証できます。別のアプローチは、検索による生成です。ここで、モデルは関連するドキュメントをリアルタイムで検索し、それらを使用して回答を根拠づけます。これにより、幻覚は減少しますが、完全には排除されません。
透明性も不可欠です。ユーザーは、AIが教育された推測を行っているのではなく、検証された事実を述べている場合に通知される必要があります。これは、信頼度スコアまたは明確な免責声明を使用して実行できます。一部の研究者は、AIがより頻繁に不確実性を表現するようにトレーニングされるべきだと示唆しています。そうすれば、対話は、全知のオラクルと話すのではなく、知識豊富だが誤りやすいアシスタントと話すような感じになります。
規制と業界基準も役割を果たします。AIシステムがヘルスケア、法律、金融などの分野で使用される場合は、正確性と説明責任について明確な要件が必要です。開発者は、システムの動作方法、トレーニングに使用されたデータ、虚偽を軽減するために取られた措置について説明できる必要があります。独立した監査により、これらの主張がマーケティングだけではないことを確認できます。
同時に、ユーザーは、AI出力に対して健康的な懐疑心を養う必要があります。ソーシャルメディアで見る情報と同様に、AIからの情報にも疑問を持ちます。これは、それを完全に拒否することを意味するのではなく、最終的な答えではなく、開始点として扱うことを意味します。他の情報源と照合することは習慣にならなければなりません。教育システムは、ここで役割を果たすことができます。AIの動作とどこで間違えるかを理解することを含むデジタル・リテラシーを教えることができます。
マシン・ブルーシットの問題はすぐに解決されません。AIが進化するにつれて、説得力のある虚偽を生成する能力も増大します。しかし、これは私たちが何もできないことを意味するのではなく、技術的な安全対策、透明性、規制、ユーザーの認識を組み合わせることで、被害を軽減できます。目標は、AIを完全にエラーから解放することではありません。どのシステムも完全にエラーから解放されることはありません。より信頼性が高く、ユーザーを誤解させる可能性が低いものにすることです。

結論

「マシン・ブルーシット」という用語は、ぶっきらぼうに聞こえるかもしれませんが、無視できない現実を捉えています。AIは、人間の知識の中立的な鏡ではありません。データ、アルゴリズム、インセンティブによって形成された言語の生成器です。真実性よりも流暢さを優先するシステムを構築するのであれば、ツールは説得力がありますが、信頼性は低いものになります。真実性を優先するシステムを構築するのであれば、AIは時々、スムーズではなくなり、自信がなく、楽しくなくなります。しかし、正直になります。