AIの知能は高まる一方、全体の整合性を保つのは難しくなっている

私はキャリアを通じて、知能とは何かを理解しようとしてきた。AIに関心があり、まず脳の仕組みを学ぶことが理解へのよい出発点になると考えて、神経科学を学んだ。「人工」知能の前に、まず知能を理解する。その訓練を通じて、ある習慣が身についた。新たな能力や技術が登場すると、まず実用面から考える。実際に何ができ、どのような現実の課題に役立つのか。

AIに携わる者として、私はAI関連の見出しに浮かれることはほとんどない。騒ぎの向こうに目を向け、画期的な進歩だけでなく、新たな能力の限界も理解しようとする。

地味なツールから、重要な局面で問われる信頼性へ

2020年、AIの安全性をめぐる議論が誇張を交えて過熱していたころ、私は簡潔な助言をしていた。AIは強力なツールだが、あくまでツールとして扱うこと。地味な用途に徹すること。技術が十分に信頼でき、役立つレベルであるタスク単位で取り組むこと。私が思い描いていた楽観的なシナリオは、地味でも有用なツールが使われる世界だった。

その数年後、エージェント型AIの波が高まり始めたときも、私は同じ視点で捉え、納得には至らなかった。エージェント型システムの強さは、その基盤となるタスクの強さに左右される。そして当時、こうしたシステムが効果を発揮するために必要な、タスク単位の信頼性を私はまだ目にしていなかった。

しかし、誇大な期待は膨らんでいた。前年の初めにRSAに参加した時点でも、語られていることと実質との隔たりは、依然として無視しがたいものだった。「エージェント型」が何を意味するのかについてさえ共通認識はなく、誰もが異なる定義や見解を持っていた。そして私は、構造上の問題も懸念していた。各エージェントの正確性が約95％だとして、10個のエージェントを用意する。それぞれの出力が次のエージェントの入力になるように連鎖させる。連鎖の終わりには、正確性は約60％まで落ちる。信頼性は積み重ねても維持されない。そのころには、私はエージェント群で構成されるシステムについて考え始めていたが、懸念は依然として、それらが信頼に足る働きをし、意味のある成果をもたらすかどうかだった。

その後、コーディングエージェントの急速な進歩を見て、私の考えは変わった。

そのテーマについての私の記事を発表してから数カ月のうちに、驚異的な進歩の速さを見て、私はあることを確信した。現実のさまざまなタスクで信頼性を実現できるかどうかは、時間の問題だった。より優れたモデルと、それを支えるより優れたエンジニアリング基盤が、私の懸念していた隔たりを埋めるはずだった。私が案じていた上限は引き上げられるだろう。

そのとき、真の問題が見えてきた。それは、私が注視していた問題ではなかった。個々のエージェントを信頼できるようになれば、最初のエージェントを導入しただけで終わりにはしない。多数を導入することになる。あらゆる機能にわたってエージェント群を配置し、それぞれが能力を発揮し、それぞれの役割を果たす。そして、信頼性とは関係のない新たな問いが浮かび上がった。エージェント群の各エージェントが、設計どおりに動作するとして、その全体は組織が意図した姿に本当になっているだろうか。

組織に必要な固有感覚

手足に十分な能力があっても、固有感覚――体の各部がどこにあり、何をしているのかを絶えず内側から把握する感覚――がなければ、体はうまく動けない。小脳は、そのフィードバックに反応するだけではない。動きを予測する。脳が運動の指令を出すとき、まず、その動きによって生じる感覚を予測し、その予測を実際に生じた感覚と照らし合わせる。両者のずれが、次の動きを修正するための信号となる。熟練した動作は、結果を予測し、その差を修正するという循環で成り立っている。

エージェント群を運用する組織にも、同じように自らを把握する感覚が必要だ。組織は、自らのシステムがどこにあり、意図した状態からどれほど逸脱しているのかを、継続的に把握しなければならない。こうした内面的な認識がなければ、能力のある構成要素を連携した行動へと結びつけることはできない。これは、体を後から安全にするために付け加える感知機構ではない。体が動くために、そもそも欠かせないものだ。

Ian Watermanという男性が、体の大部分でこの感覚を失った事例は、よく研究されている。彼は再び動けるようになったが、自分の動きを目で確かめ、一歩一歩、手を伸ばす動作の一つひとつを視覚で制御するしかなかった。それでも動くことはできる。しかし、それは疲労を伴い、脆弱でもある。明かりを消せば、彼はまったく動きを協調させられない。手作業による監査や定期的なレビューを通じてエージェントを統制する組織は、彼と同じ立場にある。組織は、備えていない感覚を絶え間ない努力で補っているが、その補完には、置き換えようとしているもの以上のコストがかかる。状況が変わった瞬間、システム全体が崩壊する。

もう一つ、さらに奇妙な機能不全についても触れておきたい。神経科学者V S Ramachandranによる興味深い著書で紹介されている。手足を切断しても、脳が沈黙するわけではない。脳は失われた手足に向けた信号を出し続け、本人はその感覚を鮮明に感じる。統治機能も同じように機能不全に陥ることがある。組織再編や軽視によって監督機能から実質的な判断力が取り除かれても、その機能が停止するわけではない。レビューは引き続き完了し、指標も引き続き作成される。組織は監督されているという感覚を持ち続ける一方で、その裏にある判断力は空洞化している。ここで、2020年に私が述べた透明性についての助言に立ち返る。透明性なしに監督は成り立たず、監視されているように見せるだけのシステムに透明性はない。

希少な資源としての整合性

知能はますます低コストになっている。まもなく、あらゆるワークフローやツールに知能が組み込まれるだろう。その世界で希少な資源となるのは、一貫性だ。それは、各システムが単独で行うことと、企業が実現しようとしていることを結び付ける、生きた連携である。一貫性は、分散した知能を一つの目的に沿って保つ結合組織だ。

私は、脳が多くの部分をどのように連携させ、全体として機能させているのかを何年も研究してきた。エージェント型AIの時代は、企業にも同じ問いを投げかける。2020年から目標は変わっていない。地味だが、今も役に立つ。そして今、構築すべき地味で有用なものは、一貫性そのものだ。