もし従業員がAIのように振る舞っていたら、今すでに解雇しているでしょう。

新しく誰かを雇ったばかりだと想像してください。ほとんどの日で、彼らは効率的で、知識が豊富で、はっきりとした表現力があり、自信に満ちています。彼らはあなたが期待したすべてを備えており、優秀な従業員に求められる多くの資質を示しています。

さて、たまに答えが分からない質問に直面したとき、彼らがただでっち上げると想像してください。流暢で説得力があるので、最初は表面的に受け取ります。しかし、その回答がビジネスに影響を及ぼすと、再びその従業員に向き合い、問いただしますが、彼らは思考過程や計算過程を説明できません。間違っていることを指摘しても、逆に主張し続け、さらにそれを裏付けようと更なるでっち上げを行います。これが2回目、3回目に起こったとき、あなたはその従業員を解雇するか、少なくとも警告を与えるでしょうか？ほとんどの雇用主にとって答えはほぼ確実に「はい」です。

企業が、まさに同じ行動を示すことが知られている従業員に重要な業務フローや意思決定を委ねていることに、私は困惑せざるを得ません。そのチェックが行われない唯一の理由は、この「従業員」が人間ではなくソフトウェアであるからです。

AIが人間と同じように失敗しない理由

AIを導入する企業の間で一般的にある誤った前提は、技術にエラー率がある場合、それは人間のエラーとほぼ同じ問題であり、同様に管理できるというものです。しかし、チェックやレビュー、エスカレーションは大規模言語モデル（LLM）には必ずしも機能しません。これらは人間らしく話すように作られていますが、内部を見てみると、全く私たちと同じように動作していないことが分かります。

優秀な従業員がミスをした場合、私たちはそのエラーは誠実なものであり、最善を尽くしていてつまずいたと想定します。これは起こり得ることです。もし彼らが知らないことを回避するために意図的に答えを作り出し、これを繰り返すなら、私たちはそれを不正行為と見なします。管理者は監督すべきポイントがどこかを把握しています。なぜなら、作業の難易度とエラーマージンが一致するからです。彼らは従業員に思考過程を説明させ、質問することができます。従業員は通常、自分が手に負えないときはそれを認めます。そして一度のエラーで学び、同じミスが継続的に繰り返されることはありません。

AIシステムはこれらすべての前提を逆転させます。失敗に対するデフォルトの反応は、流暢で自信に満ちた作り話です。彼らは単に事実でないがもっともらしい回答を生成し、これは人間のキャリアを終わらせるような行動そのものです。LLMはテキストの最も統計的に可能性の高い続きとして出力するように設計されており、答えが分からないときでも、しばしば正しいように聞こえるものを生成します。OpenAIの研究者自身も、ある程度の事実誤りはこれらのモデルの動作の統計的必然性であると認めており、トレーニングは正直に不確実性を認めるよりも自信に満ちた推測を報酬することを指摘しています。

神経シンボリックアプローチが登場する場所

これこそが神経シンボリックアプローチが設計された目的です。神経ネットワークは、混沌とした実世界の言語やデータを理解するのに優れていますが、決定論的でルールベースの推論と組み合わせます。これにより、システムの結論は検査可能な明示的な論理に基づくものとなり、誰も内部を見ることのできないプロセスから自然に生まれるものではなくなります。

この神経シンボリック技術が提供する論理層がなければ、AIのエラーは人間のエラーのように作業の難易度と相関せず、予測不可能になります。簡単なタスクでエラーが出て、難しいタスクは問題なく進むことがあり、人間の監督をどこに集中させるべきか判断しにくくなります。提供される説明は、結論に至った過程を真に示すものではなく、事後に生成されたものです。この同じミスはシステム内部に学習者や責任者がいないため、無限に繰り返される可能性があります。

理解なしの信頼

研究者は、システムが初めての人は、目に見えるエラーが一度起きるだけで放棄する傾向があることを示しています。しかし、慣れたシステムになると、逆に極端に傾き、その出力を受け入れるのは、出力がより信頼できるようになったからではなく、慣れたからです。正しいレベルの信頼がほとんど見られないのは、人々がAIシステムが間違える可能性がある時期を理解し、それを認識できるかどうかに依存しているからです。

これは、AIが重要な仕事に信頼できないという意味ではありません。むしろ、失敗した際に責任を取る明確な個人が存在しないため、私たちは人間に対しては与えないような形の信頼をAIに対して与えてきたということです。

AIが価値ある同僚のように判断を要する仕事を担うのであれば、同じ基本的基準を満たす必要があります。回答は検証可能であり、推論が可視化されていることが求められ、時には「わかりません」と答えるのが最善であるという事実を受け入れなければなりません。