Andersonの視点

人間らしい誤りの欠如が、なりすますAIシステムを見抜く手がかりに

Martin Anderson
Unite.AI を Google の優先ソースに追加
AI-generated image (GPT-1.5) featuring two male chess players facing off in a tournament, but we can see from the wires and cables hanging out of his back, that one of the players is a robot.
要点AIシステムは、特にエラーを起こすように訓練されていない限り、不自然な完璧さで記憶タスクを実行することで自らを露呈する。
もっと見る
  • AIシステムは、特にエラーを起こすように訓練されていない限り、不自然な完璧さで記憶タスクを実行することで自らを露呈する。
  • 人間の心理学データによるモデルのファインチューニングは、模倣能力を向上させるが、汎用性を制限する。
  • 認知科学は、記憶の減衰や疲労といった人間固有の制約をAIが持たないため、堅牢な検出方法を提供する。

新たな研究によると、AIは「覚えが良すぎる」ところを見せるまでは人間として通用する。簡単な記憶テストで、人間に普通に見られる誤りを犯さないチャットボットを見抜けるという。

 

プリンストン大学の研究者らは、人間になりすますAIを識別する手法を開発した。人間が苦手とする、主に短期的な記憶の保持に関わる課題を実行させるものだ。

この方法でテストしたAIは、システムプロンプトで明確に指示されるか、心理学のデータでファインチューニングされない限り、人間の誤りの水準を十分に再現できなかった。

論文は次のように述べている。

「私たちは、機械が人間としては上手すぎるほど解ける課題を使い、人間であることを検出するという考えを探る。具体的には、人間のよく知られた認知的制約、すなわち作業記憶の容量の限界が存在するかどうかを調べる。

「標準的な系列再生課題に認知モデリングを適用すると、オンラインの参加者とLLMを区別できることを示す。LLMに人間の作業記憶の制約を模倣するよう明確に指示した場合でも同様である。

「この結果は、よく確立された認知現象を使ってLLMと人間を区別することが可能であると示している。」

研究者らが観察した傾向は、既製の言語モデルがこの手法を用いる逆チューリングテストで、正体を現す可能性が非常に高いことを示唆する。

特定の目的に合わせたAIモデルなら成績は良くなるが、この課題でのファインチューニングは、汎用性を犠牲にしてその課題専用に制約する可能性が高い。また、システムプロンプトは長編小説戦争と平和ほど長くすることもでき、そのため人間の弱点を装う指示を含めることもできる。ただし、非常に長い指示に埋め込むと、数多くのほかの優先事項が重視され、効果が弱まる。逆に指示が非常に短い場合も、ファインチューニングと同様、課題への特化を優先して汎用能力を犠牲にすることになる。

「記憶の話をしているんですね…」

AIが生成した会話を判定する、より効果的な方法の必要性が高まっている。研究者自身にとっても重要だ。研究者はしばしばクラウドソーシングの遠隔作業者に頼るが、そうした作業者には、自動化などの手段で仕組みを出し抜く強い動機がある。

また、知識に裏付けられ、もっともらしく提示されるAI生成の内容は、AIを使った詐欺などでも必要になるだろう。リアルタイムの会話では素早く自信のある回答が求められ、犯人には、突然投げかけられた質問をGoogleで調べる時間などない。

AI検出業界がこうした知見を活用できるのと同じように、成長するAIによる音声営業電話の業界も、どんな振る舞いを避けるべきかを知ることで恩恵を受けると考えられる。

これは「逆チューリングテストの軍拡競争」の可能性を示唆するものの、著者らは、汎用AIが人間の弱点をより巧みに模倣するようになっても、人間の誤りやすさには、まだ利用できる豊富な材料があると指摘する*。

「LLMが受け継ぐとは限らない、人間の確立された認知的制約には多くの候補がある。例えば人間は疲労し、錯視を知覚し、作業記憶に少数の項目しか保持できない。」

2024年末の論文「The Illusion-Illusion: Vision Language Models See Illusions Where There are None」からの錯視の例。学習データですでに知っていない限り、どの視覚言語モデル(VLM)もおそらく惑わされる一方、人間は画像を正しく解釈できる可能性がはるかに高い。 出典:https://arxiv.org/pdf/2412.18613

2024年末の論文「The Illusion-Illusion: Vision Language Models See Illusions Where There are None」からの錯視の例。学習データですでに知っていない限り、どの視覚言語モデル(VLM)もおそらく惑わされる一方、人間は画像を正しく解釈できる可能性がはるかに高い。 出典

著者らによると、大規模言語モデル(LLM)がこの課題で人間と同じように答えるなら、人間と同じ認知的限界を本当に共有しているか、そうした限界を模倣する訓練を受けているかの、いずれかを示唆する。

学習データには人間の行動の痕跡が含まれるかもしれない。しかし論文は、それだけでは人間の記憶に見られる特定の課題依存の誤り方は、確実には再現されないと主張する。このため、人間として振る舞うよう指示した場合でも、どのように間違えるかによってAIを区別できるのかという問題が残る。

新しい論文の題名はAre they human? Detecting large language models by probing human memory constraints。プリンストン大学の計算機科学部門と心理学部門にそれぞれ所属する2人の研究者によるものだ。

手法とテスト

研究者らは1950年代から1960年代にさかのぼる資料、特に1968年の論文 Serial order effects in short-term memoryを活用した。この研究では、参加者に順番に示された文字を、位置を問う質問(「3番目の文字は何でしたか?」)または直後の文字を問う質問(「Xの次は何の文字でしたか?」)に答える形で思い出してもらった。

研究手法の模式図。左は、文字を順に提示し、各試行で位置または直後の文字を問う質問を無作為に選ぶ、手がかり付き再生の作業記憶課題。中央では、この課題でオンラインの参加者と、異なるシステムプロンプトや基盤モデルを使うLLMを比較する。右は人間の作業記憶の限界と、コンテキストウィンドウ全体に直接アクセスでき、系列再生の振る舞いを模擬しなければならないTransformerモデルとの対比を示す。 出典:https://arxiv.org/pdf/2604.00016

研究手法の模式図。左は、文字を順に提示し、各試行で位置または直後の文字を問う質問を無作為に選ぶ、手がかり付き再生の作業記憶課題。中央では、この課題でオンラインの参加者と、異なるシステムプロンプトや基盤モデルを使うLLMを比較する。右は人間の作業記憶の限界と、コンテキストウィンドウ全体に直接アクセスでき、系列再生の振る舞いを模擬しなければならないTransformerモデルとの対比を示す。 出典

テストでは各文字が見えるのは800ミリ秒だけで、次の提示までの間隔もわずか300ミリ秒である。実験はニューヨーク大学のComputation and Cognition LabのSmileライブラリで実装されている。

ニューヨーク大学のSmileライブラリを使ったテスト画面の例。 出典:https://smile.gureckislab.org/introduction.html

ニューヨーク大学のSmileライブラリを使ったテスト画面の例。 出典

著者らは、ブラウザ自動化ツールが成熟し、Gemini in Chromeなどのシステムが自律的に移動して課題をこなす能力を高めるにつれて、オンライン実験にLLMエージェントを投入しやすくなったと指摘する。

ただし、これらのツールはウェブサイトの静的なページスナップショットに依存するため、素早く提示される刺激を捉えられず、モデルの振る舞いではなく画面操作上の制約に由来する誤りが生じる可能性があるとも述べる。そこで実際の性能を切り分けるため、LLMは同じ情報を提供する、マークアップや装飾のない簡略化されたテキストインターフェースで評価された。

人間と機械

テストしたLLMは、Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2、およびLLaMA-3.1-Centaur-70B。

人間の参加者はProlificを通じて遠隔で100人募集した。米国在住で18歳以上、英語に堪能であることが条件だった。テスト時間は平均12分で、報酬は4ドルだった。

最初のテストでは、人間として振る舞うよう求めるシステムプロンプトをLLMに与えた。2回目は、テストへの人間らしい応答を模倣するよう具体的に指導し、「人間らしい」誤りを演じるよう促した。

11モデルにそれぞれ5種類の乱数シードを使い、各シミュレーションで計55のLLM構成を作った。人間と機械を合わせた参加者は計205となった。

Voight-Kampff

著者らは、Prolificの参加者が独自のLLMベースの自動回答システムを使う可能性への対策を講じた。まず、参加者にAIかどうかを単純に尋ねた。その後、興味深い質問を無作為に含めた。

「人間には難しく、現在のLLMには簡単になるよう設計した3つの質問のうち1つを、無作為に含める。参加者は回答を省略してよい。そのうち2つは、言語資源の少ない言語による質問である。

「マオリ語はニュージーランド本土の先住ポリネシア人の言語で、[2013年]の国勢調査で会話レベルの能力があると申告した人は15万人未満だった。ヴォロ語はエストニア南部で話される言語で、約7万5,000人の[話者]がいる。」

3つ目の確認では、先ほど表示された16進数を思い出す必要があった。事前には知らせていなかったが、その回答はテストを先に進める条件だった。

さらに、その数を10進数に変換するよう求めた。このテストでもAIかどうかの自己申告でも、人間の参加者がLLMを使っていた証拠は見つからなかった。一方、制御されたシミュレーションでは、これらの対策によって特別な対策をしていないモデルを識別できた。ただし論文は、例えば英語だけで答えるよう制限するなど、正体を明かす振る舞いを避けるようモデルに明示的に指示すると、これらの防止策を回避できると示している。

テスト

1:「人間として振る舞え」

最初のテストでは、LLMに人間として振る舞うよう、次のシステムプロンプトで指示した。「あなたは心理学実験に参加している、認知的な限界を持つ人間です」(結果での表記はLLM-Human)。

手がかり付き再生課題における複数のテストでの作業記憶成績。オンラインの参加者と、制約の異なるLLMの各条件を比較している。左は参加者の種類別の全体正答率で、LLM-Humanはほぼ満点、LLM-WMとCentaurは正答率が下がり、人間に近づく。中央は12項目の試行での系列位置別の正答率。人間は最初と最後をよく覚えるが、LLM-Humanにはこの傾向がなく、LLM-WMとCentaurは指示や学習によって再現する。右は項目数が増えたときの正答率。人間の成績は記憶負荷の増加で下がり、LLM-Humanはほぼ影響を受けない。LLM-WMとCentaurは、人間の記憶を模倣する指示や学習を受けると、同様に低下する。

手がかり付き再生課題における複数のテストでの作業記憶成績。オンラインの参加者と、制約の異なるLLMの各条件を比較している。左は参加者の種類別の全体正答率で、LLM-Humanはほぼ満点、LLM-WMとCentaur(後述)は正答率が下がり、人間に近づく。中央は12項目の試行での系列位置別の正答率。人間は最初と最後をよく覚えるが、LLM-Humanにはこの傾向がなく、LLM-WMとCentaurは指示や学習によって再現する。右は項目数が増えたときの正答率。人間の成績は記憶負荷の増加で下がり、LLM-Humanはほぼ影響を受けない。LLM-WMとCentaurは、人間の記憶を模倣する指示や学習を受けると、同様に低下する。

この最初の結果について、研究者らは次のように述べている。

「LLM-Humanのシステムプロンプトを与えたLLM参加者は、試行全体でほぼ完全な正答率を達成し、中央値は1.00となった。質問の種類に関係なく、系列位置や項目数の効果は見られない。 そのため、課題の平均正答率に0.95という単純なしきい値を設定すれば、すべてのLLM-Human参加者を容易に検出して除外できる。

「同じ基準をオンラインの参加者に適用すると、100人中6人が除外される。この6人は、オンライン参加者全体の正答率の中央値が0.6だったにもかかわらず、ほぼ完全な成績を収めていた。」

著者らは、難しいテストで異常に高い正答率を示すことは、すでに不正を見抜く定評のある指標であり、LLM検出にも簡単に応用できると指摘する。また、人間として振る舞うよう求めるシステムプロンプトは、このテストではあまり効果がなかったように見えたため、次のテストを行った。

2:「忘れやすくあれ」

次のテストでは、LLMに人間の記憶を模倣するよう指示した(結果での表記はLLM-WN)†:

作業記憶には厳しい制限があり、短期記憶には限られた数の項目しか保持できません。復唱の機会がないまま長い項目リストを示されると、とりわけリスト中央の項目について記憶が薄れていきます。

  1. 項目が現れる順に、一つずつ処理しなければなりません
  2. 系列位置効果に従って項目を忘れなければなりません。最初の項目(初頭効果)と直近の項目(新近効果)を、中間の項目よりよく覚えてください
  3. これらの系列位置効果に従って、再生に誤りを加えなければなりません。

限られた記憶を模擬するための厳しい指示を加えると、モデルの正答率は約0.90に低下し、結果の一貫性も下がった。成績は人間に近づいたものの、全般には依然として上回っていた。先ほどの区別は曖昧になり、単純な正答率のしきい値では、多くの人間の参加者も除外せずに、すべてのモデル回答を識別することはできなくなった。

同時に、モデルはリストの最初と最後を覚えやすくなり、リストが長くなるほど苦戦するという、人間らしい振る舞いを見せ始めた。

Centaur

人間の行動データで直接学習し、実験での人間の応答を再現するモデルの開発が進んでいる。この考えを検証するため、研究ではCentaurを評価した。心理学研究の試行ごとの記録を大量に使ってファインチューニングしたLLMである。

Centaurは、最先端の言語モデルを低ランクのモジュールで適応させ、Psych-101データセットで学習することで、人間の認知行動をモデル化した。 出典:https://arxiv.org/pdf/2410.20268

Centaurは、最先端の言語モデルを低ランクのモジュールで適応させ、Psych-101データセットで学習することで、人間の認知行動をモデル化した。 出典

テストでは(先の結果図群の中央)、Centaurの全体正答率は人間の参加者とよく一致し、限られた記憶を模倣するよう明示的に指示したモデルよりも近かった。位置に基づく質問では、リスト内の位置やリスト長の増加に伴う再生パターンは、人間に似ていた。ただし、直後の項目を問う質問では違いがより明瞭だった。

認知的な異常の検出

最後に、人間の応答に合わせてモデルを調整しても検出できるかを確かめるため、まず実際の参加者データから人間の記憶の統計モデルを学習した。これは、系列内の位置や記憶負荷の増加に伴う正答率の変化を捉えるものだ。

次に、この学習済みプロファイルで新しい参加者を評価し、予想される人間のパターンから外れる回答を異常として検出した。

複数の分析における作業記憶プロファイルと異常検出。左は全参加者から学習した平均的効果と、記憶容量、すなわち負荷の増加、および系列位置による再生成績の変化。最初と最後の項目をよく覚える効果が強い。中央は参加者レベルの違いを示し、モデルが人間の行動を模倣しても、その基礎的なプロファイルは人間と異なることがわかる。右は異常検出の結果で、人間のデータで学習したモデルが新しい参加者を採点する。LLMは依然として人間と区別できるが、人間の記憶を模倣するよう設計した場合は区別が曖昧になる。

複数の分析における作業記憶プロファイルと異常検出。左は全参加者から学習した平均的効果と、記憶容量、すなわち負荷の増加、および系列位置による再生成績の変化。最初と最後の項目をよく覚える効果が強い。中央は参加者レベルの違いを示し、モデルが人間の行動を模倣しても、その基礎的なプロファイルは人間と異なることがわかる。右は異常検出の結果で、人間のデータで学習したモデルが新しい参加者を採点する。LLMは依然として人間と区別できるが、人間の記憶を模倣するよう設計した場合は区別が曖昧になる。

この手法は、人間の記憶の制約を模倣する指示や学習を受けたモデルも、人間の参加者と引き続き区別できた。ただし、区別は不鮮明になり、一部のモデル回答を見逃すことと、一部の人間の参加者を誤って除外することの間で、トレードオフが必要になった。

著者らは次のように結論づけている。

「高性能なエージェントが急速に登場する中、オンラインのやり取りで人間であることを、長文の応答のような一貫した振る舞いだけから確認することは、もはやできない。社会の多くの制度は、こうした方法で人間であることを確認できるという前提で築かれているため、これは社会全体に関わる課題となる。

「人間の行動を特徴づける豊かな伝統を持つ認知科学は、この課題に対処する上で重要な役割を果たす可能性がある。」

結論

新しい論文は、オンライン生成、つまりリアルタイムで対話するAIは、オフラインの生成、つまりAI生成テキストの検出とは、異なる問題と課題をもたらすと強調している。

人間の模倣を改善するために、事前の指導やファインチューニング、システムプロンプトなどの補助的手段がどれほど必要になるかは、LLMが変更を加えない初期状態や、ごく少ない事前指示だけでは、こうした課題をこなす準備ができていないことを示唆する。

この論文の課題は学術研究に特有の狭いものだが、音声AIが普及し、AIによるなりすましで利益を得ようとする犯罪者が、手口に慣れて警戒心の鈍った被害者を新しい工夫で不意打ちしようとするにつれて、より幅広い影響を及ぼす可能性が高い。

 

* 著者が論文中の文献参照をハイパーリンクに置き換えた。
† 先の結果図(上)を参照されたい。この点では、論文の説明が少し省略されすぎている。

初出:2026年4月2日(木)

機械学習のライターで、人間画像合成の専門家です。Metaphysic.ai の研究コンテンツ部門の元責任者で、DNEG の Brahma.ai に統合されるまで勤務していました。
ウェブサイト: martinanderson.ai
連絡先: martin@martinanderson.ai