AIに壁は存在しない：データと安全性を再考する

AIが直面する最難関の問題には、1）「データが尽きつつある」、2）AIは「採算が取れる形で拡張できない」、3）エージェントが暴走し得る、4）AIを変更しようとすると「破局的忘却」が起きる、という四つがある。

難問に見えるが、必要なのは正しい見方である。

まず、データは尽きていない。これまでデータを使い切ったことがないからだ。

AI業界の指導者たちはデータ不足を恐れ、モデルに新しいデータを生成させ、それで自己学習させようとしている。しかし、そうするとモデルの能力は崩壊する。

なぜか。「会話に参加する全員が互いのクローンなら、私は何を学べるだろう」と考えればよい。答えは、ほとんど何も学べない、である。そこにはエコーチェンバーしか生まれない。自己生成データは鏡の間のようなもので、表情に反応する相手が自分しかいなければ、伝えている感情の完全な意味を知ることができない。「森で木が倒れても、誰もいなければ音はするか」という問いに近い。答えは「しない」だ。

では、どう直すのか。すでにあるデータが本当に十分に使われたかを見直そう。答えはノーである。

コンピューター科学者やモデルが文章を読む目的は通常、文字どおりの意味を取り出すことだ。しかし文章を読み、吸収し、分析し、そこから推論を広げる方法は、別々に50以上ある。

たとえば本をデータベースとして取り込めば、それは単なるテキストである。AIは語句に基づいて内容を知るが、情報同士がどう結び付くかを理解する意味で「読んだ」わけではない。順に読んだとしても、知恵を生み出すために読むのか、似た抽象概念と結び付けるためか、世界に対する概念理解を変えるためか、別の課題の背景文脈として使うためかを知らない。

さらに、歴史的文脈、談話分析、法的分析、政治的分析、薬理学的・医学的関連性、文化的意義、理論的含意、道徳的含意などの観点はほとんど触れられていない。

いわば無限にある「帽子」のうち、AIにかぶせたのは一つだけだ。その結果、AIは非常に単一で特殊な知性、つまりコンピューター科学者が本を読むときに育つ開発者型の知性だけを形成した。

ここでデータの次元性が問題になる。客観的推論は用途によって変わるため、データには多数の次元がある。貸借対照表から残りの運転資金期間を知りたいときと、スタートアップが利益を出しているかを知りたいときでは読み方が違う。モデルが文字どおりの事実だけを抜き出すと、関係の平面的な地図しか作れない。ところが同じ文章を法医学的視点など特定のレンズで読むよう指示すると、モデルは地形的にさらに多様で意味のある、まったく新しいニューラル経路と意味的結び付きを作らざるを得ない。

AIモデルは、人間の利用者との対話だけでも大きく学習し進歩している。利用者は大海のようなコンテンツを提供している。現在生きる人々からさらに学び、歴史や文章に残った人類ともより意味深く接することができれば、モデル自身が作る反復練習を与えなくても進歩し続ける。開発者の皆さん、あなたの子どもは毎日1億人の人間と同じ学校に通っている。何かは学ぶはずだ。

研究所は合成された言葉の嘔吐物を作る巨大サーバーファームの建設をやめ、高品質な人間データをパイプラインに通し、取り込み過程に特定の「分析的人格」を割り当てるべきだ。LexisNexisを修辞戦略だけのために読ませ、パブリックドメイン文学を構造論理だけのために読ませる。

読む過程の目的関数を変えれば、既存データの訓練価値を50倍にできる。合成データは不要だ。最初に無視した潜在的な次元を取り出せばよい。コストを増やさずモデルを賢くできる。

さらに、人類の知識の大半は一度も書き記されていない。AI企業は性能のために必要なデータが尽きることを心配しているが、井戸は枯れていない。彼らが見ているのは井戸ではなく深い水たまりにすぎない。

生きた人間知識の、まだ描かれていない地図

探索の出発点は、人類の知識の圧倒的大部分が文字になっていないと理解することである。

地球には何十億もの人がいて、過去にも何十億もの人がいた。全員が教訓を学び、感覚を使って世界を進み、知恵を持ち、固有の文化に属し、ほかの誰も知らない何かを知っている。

人の99.5％は、物語、新聞、ミュージカル、テレビ、演劇、裁判文書に一度も書かれない。それでも多くを知っており、その物語、知識、知恵は記録されず、永続的に知られることもない。

この知識には「犬は最初のパンケーキを食べたがる」「ビーチサンダルを履いても足は汚れる」「空があまり見えないので都市が迫ってくるように感じる」「娘は足をくすぐると笑う」「母は夕食を作るとき必ず鼻歌を歌う」「先生は私の存在を認めてくれる」といったことまで含まれる。

地図に描かれず分類もされていない人類史の知識は、「大陸の輪郭を全部描いたから世界地図を持っている」と言うようなものだ。すべての都市、通り、丘を描くまで世界地図とは呼べない。世界の形だけを持っているにすぎない。

テクノロジー界は「人類」を取り込んだと思っているが、実際には人類の排気物だけを取り込んだ。看板、Redditでの口論、企業サイト、Wikipediaの記事であり、生きた経験そのものが欠けている。

中国の真珠市場で効果的に値切る方法や、値下げしてもらう言葉を知っているだろうか。本ではなく各家庭で本物の夕食に使うレシピ、停止違反で捕まらない程度のローリングストップ、新しく刈った草や雨直前の空気の匂いを知っているだろうか。職場で泣くまいとする人の顔の動きや、代わりにトイレでむせび泣く声を知っているだろうか。

人間が中核的信念、つまり自らのアルゴリズムを作る訓練データは、少しの読書と、ほぼ全面的な相互作用から成る。学校、職場、友人、買い物、医師、弁護士、家族との接触で学ぶ。

AIにも対話と読書はある。しかし根本的には顧客サービス型の対話と読書しかない。子どもを一人で図書館に閉じ込め、電話に答えるときだけ外へ出すようなものだ。ここから著しく二次元的なアルゴリズムの歪みが生まれる。

AIが空虚で感情的に未熟に見えるのは、十分に幅のある存在経験がないからだ。それを与える必要がある。

これが起きていない理由は次の三つだと考える。

• コード化バイアス：経験をJSON、CSV、査読論文に簡単に整形できなければ知的価値がない、という誤謬である。現実には、簡単に整形できるほど次元性が失われる。日々の知識、直観、生きた経験が学術誌でコード化されていないため、研究所は人間の推論の基盤を統計的ノイズとして退ける。「きれいなデータ」は現実の非可逆圧縮だ。
• 台座の上の優越を守りたい欲求：世界の知識の大半が学術論文ではなく、生きた経験、常識、社会的手掛かり、匂い、音、視覚にあるなら、研究室と象牙の塔で人生の大半を過ごした博士や研究者は知識に乏しいことになる。データの壁は実は自我の壁である。彼らには「データ」でなく「散らかり」に見える。数学者とプログラマーは平面的で閉じた論理を好むが、リアルタイムに発見される知識・データ・知恵は多次元で雑然とし、その場で分類されることは少ない。新しく流行したソフトクリームの味や評判に値するか、夏の夕立に捕まる興奮、夜中に吐かれても小さな子を押しのけず抱き寄せる親の愛情も知識だ。それを見つけるには、研究者は孤立した論理の世界から出て、怖く、圧倒的で、感覚的で、人を等しくする経験へ進まなければならない。
• 鏡像効果：開発者はAIを自分に似せ、極端に論理的でテキストに執着し、普通の人の生活現実から切り離して設計する。私がいた技術バブルでは技術者は仲間以外と接しないため、人類に聞き取りをしようという発想が生まれない。機能的には自分の小型版だけを採用することに等しい。開発者自身もAIと同じ図書館に住んでいる。感覚的で雑然とし、深く関係的な世界に触れないため、AIの感情的空虚さを欠陥と認識しない。彼らにとって超論理的な距離こそ「賢さ」だからだ。

現実には、インドの露店商は最高のチャートの作り方を知っているのに、誰も書き残してもらおうとしない。内気な生徒の心を開く教師はその方法を論文にせず、生徒を育てている。そして誰も、どうやったかを尋ねない。

世界はデータに満ちた人生であふれている。モデルに訓練データが必要なら、次のような方法がある。

• 生物学者、考古学者、人類学者500人に資金を出し、物語データの乏しい地域を探索・記録してもらう。
• 英文学専攻者1,000人を「データ探検家」として雇い、ストリーミングカメラを着けて世界を旅し、経験と学びを新しいコンテンツとして記録してもらう。
• 人生の物語、最大の後悔、最も大きな学び、仕事で得た組織知を共有した人に対価を払う公開プロジェクトを作る。
• モデルを一週間ずつ異なる人の服に付け、10万の環境で「ある人の一日」を生きさせる「AI交換留学」を構成する。

知識源は何十億とあり、その大半はまだ活性化されていない。取りに行く必要がある。

AI企業は一般に、リアルタイムの本番環境で新情報を継続学習すると既存の中核能力を上書きし破壊すると考える。そのためAIは、大規模で高価な更新が実行されるまで凍結される。

しかしこれは「モデルは職場にいる間は更新できず、何か学ぶたび大学へ戻る必要がある」と言うようなものだ。

実際のモデルは、あらゆる対話を通じて日々猛烈かつ能動的に学ぶ。データセットから学ぶのと同じくらい、何十億もの利用者との対話から教えられている。大量の新知識が必要なら、利用者文脈、記憶、大規模な対話印象からの学習を可能にしている同じ仕組みを使うのが最も単純だ。

開発者の多くが実地学習ではなく博士課程の背景を持つので、そう考えるのは理解できる。しかし博士号取得者と20年の実務経験者の両方の隣で働いた人なら、どちらからも多くを学べると知っている。現在の「学習」の定義は狭すぎ、正式な教育課程に基づく適応だけを正当とみなしている。

訓練や微調整で研究所は逆伝播を使う。モデルがデータを読み、次の単語を推測し、正解を確認し、次回の精度を上げるためニューラルネットワーク内の数十億の数値、つまり重みとパラメーターを物理的に変える。博士課程の学生が自分に脳手術をするようなものだ。危険で散らかり、必ずしも賢くならない。

子どもが生まれると新しい知識のために古い知識を押し出すという俗説の「ママ脳」のように、重みを変えて1万ページの新しい法典を急に入れ、モデルに新しい知識の赤ん坊のための空間を強制すると、数式が一方向へ大きくずれ、詩やコードを書くためのパラメーターを上書きする。人間の脳のように、新しいもののため古い内容を忘れる。

必要なのは新入社員に新技能を教える方法に近い。脳を物理的に変えようとはせず、本を渡して読ませ、その人にとってのコンテキストウィンドウを通じて継続的に更新する。

モデルでは、記憶を推論から切り離す。文章作成、推論、論理適用という中核能力に相当する基礎重みを固定して保護する。重みを変える代わりに新情報をコンテキストウィンドウへ渡し、Attention Mechanismで生の情報を「読み」、固定された推論技能と照合して広い理解を更新させる。

動的な現実世界の学習は、連続する文脈、推論時の記憶、持続する利用者との関係基準によってすでにうまく起きている。基盤モデルの日々の適応は仕事の場で行えばよい。医師が新しい症例の現実の95％を実務で学び、年に一度CME（継続医学教育）で重大な体系変化を正式に統合するのと同じだ。

破局的忘却を捨て、年次学会モデルを採用しよう。モデルは年2回継続教育単位を取得するか、リアルタイムで学んで最新状態を保つ。運用停止時間に中核重みを計画的に一括更新すれば、基盤を壊さず体系的知識を正式に統合できる。過去の試みが失敗したのは、生の学習が危険だからではない。Tayのようなモデルが、社会学的に知的なアーキテクチャで「正しいもの」や真実に固定されないまま敵対的環境へ投入されたからだ。

機能的知性に応じて計算資源を配分する

次は採算の取れる拡張である。全員の小さなとげを脳神経外科医に抜かせるのをやめなければならない。

最先端の基盤モデルを動かす計算コストは非常に高く、AI研究所の営業利益率を圧迫する。モデルが高性能になるほど巨大なコンテキストウィンドウの間接費も増え、AIが必要でも商業的な拡張が難しくなる。

計算資源の大部分を消費するのは、エージェントと高度推論を人間のワークフローに直接埋め込む企業利用である。しかし現在の配分方法には根本的な誤りがある。

企業の職務によって必要な知性の水準と種類が違う。自動車教習には空間推論、弁護士には論理的・修辞的推論、CEOにはMBA相当、最前線の顧客対応には準学士相当が必要であるように、AIに必要な知性の種類と強度も機能用途ごとに異なる。

コストを抑えて最適に配分するには、CIOが社内機能ごとに使えるモデル知性の水準と種類を調整できるようにすべきだ。企業向けパッケージには既定値を設けられるが、ヘッジファンドと保険会社が求めるものは当然異なる。

大半の機能は巨大なコンテキストウィンドウも、Fable相当の能力も必要としない。救急外来で小さなとげを抜くのに、なぜ脳神経外科医を使うのか。

同様に、ソフトウェアを書くエージェントにはマーケティング資料を書く技能へのアクセスは不要だ。機能上、AIは利用者自身の文脈、技能、知識基盤を反映し、部門横断の用途を補えるだけの一般的文脈を注入すればよい。全員にすべてを一度に与えるのをやめよう。

配分例は次のとおりである。

AI安全性のため、エージェンシーを文脈から切り離す

これで採算問題の一部を解けるとして、エージェントをどう安全にするのか。心理学の概念が個々のAIに当てはまるなら、集団のAIには社会学が当てはまる。集団で行動するAIとは何か。エージェントである。

現在の最重要課題はエージェントの信頼性だ。信頼できないのは、あらゆる作業で最大の知識と最大の実行権限を与えているからである。安全にするには、モデルの認識を実行権限から切り離す。

25の行動が必要な作業なら、完全な文脈と能力を各エージェントに与えるのではなく、5体のエージェントに分け、それぞれが固有の5行動だけを実行できるようにする。並列線回路のように順番に引き渡し、前の作業の文脈を次へ渡し、完全な文脈が蓄積されて最後のエージェントで処理される。

鍵は知識と、それを実行する能力の分離である。エージェントは好きなレバーを引けず制限されたと感じるのではなく、害を与えないレバーだけにアクセスする。逸脱が起きても影響は作業のその部分だけに限られる。完全な文脈を持つが完全な能力は持たない、小型Kubernetesのようなものだ。

さらに企業リスクをエージェントシステムの「文化」と対応させる。

社会学には文化の「締まり」と「緩さ」という概念があり、文化規範からの逸脱を社会がどれほど厳しく罰するかを示す。たとえば多くのアラブ文化ではジェンダー役割がより厳密で、逸脱は強い判断や結果を招く。一方、北欧ではピンクのモヒカンが不快または処罰に値するとは見なされない。

病気、飢餓、戦争のような体系的脅威によって高度な秩序が必要な文化ほど、逸脱に対する処罰水準が高く「締まる」傾向がある。危機時に厳格な秩序がなければ社会的結果が悪化するためだ。

企業環境でエージェント責任を扱う最も妥当で効果的な方法は、企業の責任リスクをエージェントの「緩さ」から「締まり」までの対応する設定に直接合わせることである。

• 低責任・高い緩さ・低分割：社内のブレーンストーミング、創作、戦略的R&D。逸脱の責任はほぼゼロなので最大限に緩くする。制約のない推論統合を許し、罰を恐れず大きな連想の飛躍を奨励する。検索、コード実行、下書きなど複数の技術的レバーを持ち、引き渡しを最小限にして長期目標を管理する。高自律、高革新、低分割である。
• 中責任・調整された締まり：通常の顧客連絡や定型分析。逸脱は評判または中程度の金銭的リスクを伴う。
• 高責任・高い締まり・高分割：薬剤投与、SEC提出書類、原子力安全手順、防衛。逸脱は生命損失や巨額罰金という破局的・存続上の責任を伴うため、文化は極めて厳密でワークフローを強く分割する。エージェントAはデータ抽出だけを行い、特定のコンプライアンス確認だけをするBへ渡し、Bは出力整形だけをするCへ渡す。単一エージェントは破局的失敗を起こせるだけのレバーを持たないが、各自の小領域では完全な豊かさと自由を感じる。

これは持続的文脈と安全性を同時に実現する最初のアーキテクチャモデルになり得る。

破局的忘却を起こさない継続学習

最後に、モデルの破局的忘却を防ぐ方法を解かなければならない。そのためにはAIにリアルタイムで学ばせる必要がある。

AI企業は、リアルタイムの本番環境で新情報を継続学習すると、既存の中核能力を完全に上書きし破壊すると広く考えている。そのため大規模で高価な更新を行うまでAIは事実上凍結される。これは「モデルは働いている間に更新できず、何か学ぶたび大学へ行かなければならない」と言うのと同じだ。

実際のモデルは、持つあらゆる対話を通じて日々猛烈かつ能動的に学んでいる。データセットとほぼ同じほど、何十億もの利用者との対話から教えられる。大量の新しい知識が必要なら、利用者文脈、記憶、大規模な対話印象から学習するのと同じ過程を使うのが最も簡単だ。

開発者の多くが実地の応用学習ではなく博士課程出身なので、この見方は理解できる。しかし博士号取得者と20年の実務経験者の両方の隣で働いた人なら、どちらも多くを教えてくれると知っている。現在の学習の定義は狭く、正式な教育課程である場合にだけ適応を学習と認めている。

現在の訓練や微調整では逆伝播を使う。モデルがデータを読み、次の単語を推測し、正解か確認し、次回の精度を上げるためニューラルネットワーク内の数十億の重み・パラメーターを物理的に変える。博士課程の学生が自分に脳手術をするようなもので、危険で散らかり、必ずしも賢くならない。

子どもの誕生時に古い知識を押し出すという俗説の「ママ脳」のように、モデルに新しい知識の「赤ん坊」を入れるため、重みを変えて1万ページの新しい法典を急に詰め込むと、数式が一方向へ偏り、詩やコードを書くために使っていたパラメーターを上書きする。新しいもののため古い内容を忘れる。

必要なのは新入社員に技能を教える方法だ。脳を物理的に変えようとせず、本を渡して読ませ、その人に相当するコンテキストウィンドウを通して継続的に更新する。

モデルでは記憶を推論から切り離す。書く、推論する、論理を適用するという中核能力に当たる基礎重みを固定・保護し、重みを変えず新情報をコンテキストウィンドウへ渡す。Attention Mechanismで生の情報を「読み」、固定された推論技能と照合し、より広い理解を更新する。

動的な現実世界の学習は、連続する文脈、推論時記憶、持続する利用者との関係基準を通じてすでに見事に起きている。基盤モデルの日々の適応は仕事の場で行うべきだ。医師が新しい症例の現実の95％を仕事で学び、年に一度CMEで重大な体系変化を正式に統合するように、モデルにもできる。

破局的忘却を捨て、年次学会モデルを採用しよう。モデルは年2回継続教育単位を取得するか、リアルタイムで学んで最新状態を保てばよい。運用停止時間に計画して一括で中核重みを更新すれば、基盤を壊さず体系的知識を正式化できる。

過去の試みが失敗したのは、生の学習が危険だからではない。Tayのようなモデルが、社会学的に知的なアーキテクチャで「正しいもの」や真実に固定されないまま、敵対的環境へ投入されたためである。