
Andersonの視点
-

Andersonの視点AIへの執着が、その存続に不可欠な研究分野を衰えさせるおそれ
私は10年間、人工知能だけを専門に執筆してきました。2022年当時、AIだけを専門に扱うジャーナリストは世界でもほんの一握りでしたが、今では数千人、あるいはそれ以上に増え、資金力のある報道機関では人工知能専門のスタッフを複数人雇うところもあります。今や人類は、一世紀に一度あるかないかの文化的・技術的現象に、関心も努力も不安も希望も集中させています。実用的な大規模言語モデルや効果的な拡散モデルによる画像・動画生成が登場するまでは、それは「珍奇なもの」の領域にとどまっていました。ディープフェイクは政治的な争点として利用されていたものの、世界経済は脅かされていないように見えていました。「日常化」したAIの嵐もちろん、今では状況は一変しました。あらゆるものが脅かされ、あらゆるものが変革を迫られています。そして、おそらく2026年は、翌年についての予測に根拠を示すことが最も難しい年でした*。新たなクローズドソースモデルやオープンウェイトモデルは毎週、時には週に数回も公開されています。公開頻度は今やあまりに高く、熱心な愛好家や趣味で取り組む人々のコミュニティでさえレビューされないモデルもあります。そうした人々は、この状況に対して懐疑的になりつつあり、絶え間なく続くリリースの中で注目を集めるための基準も、ますます高くなっています。研究やリリースの動向を熱心に、そして仕事として追ってきた者として言えば、AIの研究開発の各分野における進歩は、大きな間隔を置いて大きな影響をもたらすことはあっても、革命的あるいは進化を画する節目、たとえばTransformerのようなものより、むしろ小刻みな積み重ねとして現れる傾向があります。これは以前から変わりません。最近の衝撃的な話題の多くは、AIの最新機能よりも、AIが経済に与える影響をめぐるものです。さらに、以前にも指摘したように、2022年以降のAI研究の大ブームでは、研究の量が増えても、そこで示されるアイデアの質が常に伴っているとは限りません。多くは、既存の研究やより新しい研究を「フランケンシュタイン風」に作り直したり、組み合わせたり、再構成したりしたものです。既存研究をつぎはぎしたアーキテクチャーによって、先行研究を見かけ上大幅に上回る成果を生み出そうとしますが、精査すると、脆弱な手法やあまりに法外なVRAMコストに足を引っ張られています。話題から取り残された分野何千人ものジャーナリストがAI報道に移ったことで、それまで彼らが扱っていたテーマは、必然的に直接取り上げられる機会が減ったはずです。ある意味、それは大きな問題ではありませんでした。AIの話題や導入が文化やインフラに広く浸透し、たとえばエネルギー担当記者も、今では他のどのテーマよりもAI関連の問題を多く扱うようになったからです。経済、雇用、政治、政策などを担当する記者も同様です。これらのテーマはすべて、今ではAIという視点を通して捉えられるように思えました。それは、縮小し続ける分野(とはいえ、最近は少し持ち直しています)において、「AI専門」の報道が大幅に増えた理由の一端を説明するのかもしれません。その結果、「AIへの執着」によって、ほかのテーマが十分に報道されなくなっているのではないか、と考えずにはいられません。いずれ「最重要テーマ」であるAIそのものに影響を及ぼすかもしれない、さまざまな物語や動向、分野を持つテーマが、です。とはいえ、どうしようもありません。使えるリソースには限りがあり、今のところAIは今世紀最大の話題なのです。AI分野への大移動この問題について私の心を大いに揺さぶった新たな論文によると、AIそのものにも同じことが起きている可能性があります。縮小と再投入によって将来のモデルの質が低下するリスクに加え、異なる分野をまたいでアイデアが生まれ、互いに影響し合う、より広範な科学のエコシステムがAI研究に過度に集中しつつあります。その結果、一見無関係なアイデア同士の思いがけない結びつきが分野全体を変えるような「偶然の発見」が、ますます稀になるかもしれません。要するに、「人工知能の飛躍的進歩は、その枯渇を早める」と題されたこの新たな研究は、AIへの執着が新しい進展の生まれる土壌を奪いつつあり、AIに直接影響する進展もその例外ではないと示唆しています。また、著者たちの言葉を大まかに言い換えれば、関心が集まるようになったこの新たな領域には、望ましい結末につながりそうにない、ある種の「近親交配的な傾向」があります。論文には次のように記されています†。「支配的なパラダイムは、その競合相手だけでなく、後継となるパラダイムが再構成されるための多様性まで取り除いてしまう。「2017年以降の関心の狭まり、分野を移った著者の半数を超える人々がAIに移ったこと、新しいアイデアの活力の低下、そして相次ぐサイクルを経るごとに、活動中のアイデア群が急激に衰退していること。これらを合わせると、自ら生み出した支配的なパラダイムの成功によって、創造力が損なわれつつあるシステムの姿が浮かび上がる。」これまでの研究では、AIが研究を画一化させつつある可能性が指摘されてきたが、新たな研究の著者らは、AIの影響力が拡大することで、AI自身が進歩を続けるために必要な新しい発想が不足しかねないとも考えている。著者らはAI研究を生物科学になぞらえており、生物科学ではクライオ電子顕微鏡やAlphaFoldといった画期的な成果が、同様のイノベーションと衰退のサイクルを引き起こしてきた。自説を裏付ける実証的な証拠を得るため、著者らは1990年から2025年に発表されたOpenAlex収録のコンピューターサイエンス論文718万本を分析し、研究テーマと引用の変化、370万人の研究者の分野間の移動、さらにAIの影響力拡大が科学の多様性に及ぼした影響を調べるための査読7万3,089件を追跡した。データから明らかになった最も興味深い知見の一つは、近年、研究者がそれまで取り組んでいた分野を離れ、AIへ移っていることに関するものだ。「移っていくのはキャリアの中盤にある、ある程度の実績を築いた研究者たちだ。彼らは、自らの地位を築いた研究を離れ、分野の引力に引き寄せられていく。その代償として、方向転換による不利益を被ることになっても」調査によると、コンピューターサイエンスの分野間で確認された91万8,862件の移動のうち、半数以上がAIへの移行だった。一方、特にシステム分野や理論研究などの領域では、研究者が着実に減少していた。分野を移る可能性が最も高かったのは、経験を積み、確固たるキャリアを築いた研究者だった。その一方で、コンピューターサイエンス論文全体に占めるAI論文の割合は、2017年の40%から2025年には55%超へと増加した。3つの兆候この論文は、2017年以降のコンピューターサイエンスを特徴づけるようになったと著者らが論じる、3つの「収束する兆候」を特定している。1つ目は、トランスフォーマー・アーキテクチャが登場した2017年以降に、研究上の関心が急速に狭まったことだ。著者らは718万本のコンピューターサイエンス論文から、それぞれの論文で最も目立つキーワードを10個抽出し、研究がどれほど同じテーマに集中しているかを追跡した。数十年にわたり、インターネットやスマートフォン、ディープラーニングが台頭した時期にも、この集中度は比較的安定していた。しかし2017年から2025年にかけて、研究上の関心に関するジニ係数††(上の画像を参照)は0.26から0.33へ上昇し、27%増加した。引用もさらに集中し、ジニ係数は0.60から最高0.69まで上昇した。Tsinghua University、University of Chicago、Santa Fe Instituteに所属する研究者らは、次のように述べている。「トランスフォーマーは、それ以前の技術とは異なる規模でこの分野に変革をもたらした。この傾向は分析上の産物ではない。[keyword count]の違いを考慮しても確認できる」さらに、次のように続けている。「コンピューターサイエンスの出版物に占めるAIの割合は、2017年から2025年にかけて40%から55%超へと上昇する一方、システム研究は長きにわたる黄金期から後退し、理論研究はさらに縮小している」したがって、この知見は、コンピューターサイエンスが拡大する一方で、研究者たちはますます同じアイデアを追い求め、より限られた範囲の研究を引用するようになっていたことを示唆している。2つ目の「兆候」は、専門分野を離れてAIに取り組む研究者の増加に関するものだ。著者らは370万人の研究者を追跡し、コンピューターサイエンスの分野間で約91万9,000件の移動を確認した。そのうち53.81%はAIへの移行だった。AIは毎年研究者を獲得する一方、システム分野と理論分野では着実に研究者が減っていた。分野を移ったのは、新人やベテランではなく、キャリアを積んだ中堅の研究者である傾向があった。AI分野へ移る可能性は、学術キャリア年数が31.8年の研究者で最も高く、論文業績では上位82パーセンタイルに位置する研究者でも最も高かった。論文が指摘する3つの傾向のうち3つ目は、査読への負担が増していることだ。査読とは、科学論文の質と信頼性を、出版前に他の研究者が評価するプロセスである。2017年から2025年にかけて、45の学会やその他の発表先に投稿された26,731本の論文に対する73,089件の査読を調べた結果、論文を評価する自分の能力に対する査読者の自信は、5段階評価で3.9から2.9に低下していた。著者らは、この低下はAIの急速な拡大を反映している可能性があると示唆している。その結果、論文に適した専門知識を持つ査読者を見つけることが難しくなっている。「査読者の層には、AIの引力に引き寄せられた新人が大量に流入している。査読者には、自身の専門分野から外れたAI手法を盛り込んだ論文がますます多く割り当てられている。投稿論文を真に専門性のある査読者に割り当てることは、構造的に困難になっている。」「この状況では、論文が採択されるかどうかは、ますますコイン投げのようなものになっている。」ゴールドラッシュの後に論文はまた、AIにおける最大のブレークスルーが、最終的には自らの消耗を早める可能性も示唆している。大きな進歩のたびに新しいアイデアが一気に増えるものの、研究がブレークスルーそのものにますます集中するにつれ、こうした初期のイノベーションの高まりは、やがて勢いを失って単調な反復へと落ち着いていくためだ†。「現代AIにおける連続したサイクルは、以前より早く飽和し、より急激に消耗する。そのサイクルは短縮している。「AlexNet、Transformer、大規模言語モデルという3つの主要な技術進歩にわたる、コンピューターサイエンスの36年間の発展を通じて、私たちは同じスパイラルを繰り返し観察している[pattern]。「特筆すべきは、このパターンがコンピューターサイエンスに限られないことだ。生物学でも、計算を伴わない進歩(例:クライオ電子顕微鏡)と計算を伴う進歩(例:AlphaFold)のいずれに続いても、同じ消耗のサイクルが見られる。」 この「消耗」は、オートエンコーダーや敵対的生成ネットワーク(GAN)、そしてオートエンコーダーを用いたディープフェイクのような手法でも確かに見られた。これらはいずれも、その可能性が明らかに尽きた後も何年にもわたり、研究者たちに容赦なく酷使され、新たな枠組みや手法がついに登場して、それらにかかる負担を軽減するまで続いた。いずれにせよ、こうしたサイクルを追跡するため、著者らは科学論文の要旨から特徴的な名詞や句を探し、それらが研究アイデアの変化を示す指標となるよう、出現、消失、そして時折の再登場を追跡した。2012年のAlexNetと2017年のTransformerは、それぞれ新たなアイデアの波を引き起こし、やがてその波は収束した。ブレークスルーのたびにAIはさらに優位に立つ一方、他のコンピューターサイエンス分野は後れを取り、最終的には2012年以前よりも新しいアイデアを生み出すペースが落ちた。この傾向は、使われなくなるアイデアにも当てはまる。新たな画期的な成果が、登場から何年もたって旧来のアプローチを一掃することもある。とはいえ、画期的な成果そのものも同じサイクルにとらわれている。それぞれが研究の注目を集めて急増させるものの、やがてその勢いは衰え、分野は再び活気づける新たな発見を待つことになる(Gaussian Splattingで起きたように、31年の間隔を経て)。著者らによると、AIの成功によって研究者やアイデアが少数の有力なアプローチに集中する一方、それらに取って代わるものを生み出す助けとなりうる周辺分野は、勢いを失い続けている。また、これが将来の画期的な成果を完全に妨げるとまでは予測していないものの、AIが次の飛躍を支えるかもしれない多様性を徐々に失わせている可能性を指摘している。現に使われているアイデアの数も追跡したところ、AI開発の波が次々と訪れるにつれて、その数は予測を下回る幅が拡大した。Transformerの登場後の不足幅は、AlexNetの後よりも大きかった。要するに著者らは、AIに関わる課題の範囲がますます狭まるなか、そこに研究努力と人材が集中することで、かつては自然にAI分野へアイデアをもたらしていた周辺分野、さらには多様な他分野までが衰退するおそれがあると結論づけている。2025年のノーベル経済学賞の授与に関するJohn Hasslerのコメントに言及し、著者らは次のように結論づけている。「ノーベル委員会は、停滞を避けるには創造的破壊の仕組みを維持しなければならないと警告した。私たちの研究は、その仕組みの一つである知的多様性を明らかにし、現在の制度がそれを損なっていることを示している。「審査制度、投稿料や規則、報酬体系、採用、昇進、退職に関する慣行12など、注目の配分を左右する制度はすべて、次のパラダイムが生まれる余地を持てるかどうかを形づくる。「制度を適切に設計するには、現在優勢なパラダイムに一層力を注ぐ衝動を抑え、探究ではなく集中に負担を課し、評価の権限を多作な人々から新規性のあるものへと移す必要がある。「創造的破壊が成長を支えられるのは、再結合できる何かを残す限りにおいてのみだ。特異点に後継者はいない。」
著者 Martin Anderson
-

Andersonの視点AIが生成した顔が、実在の人々を採用されにくくしているかもしれない
容姿の魅力がチャンスを開くことを知るのに、科学者の説明はさほど必要ありません。人生のどこかで、その恩恵を受けたり、不利益を被ったりした経験があるでしょう。同様に、AIが生成する顔は実在の人々よりも魅力的になりがちです。その理由はさまざまで、多くは人間自身の好みや制作過程に関わっています。それでも、米国の新たな共同研究が今日、私の目を引きました。AIが生む美しさが実在する人々から就職面接の機会を奪っている可能性を示す証拠を報告していたからです。570人が参加した研究では、非常に魅力的なAI生成の顔を先に見た人は、その後、実在の応募者を採用に適さず、信頼性も低いと評価しました。面接を申し出る意向も77.4%から72.5%へ低下しました。評価対象はまったく同じ応募者だったにもかかわらず、です。研究者は多様な商用モデルとオープンウェイトモデルの画像を用い、AI生成の顔が実際の顔と比べてどの程度魅力的に見えるかも調べました。550人に実在の人物の写真とAI生成の顔を並べて評価してもらったところ、合成された顔は一貫して高得点でした。追加の比較では、適切な指標による評価で、AI生成の女性の顔の37%が典型的なプロのファッションモデルよりも魅力的とされました。論文†は次のように述べています。「私たちは、魅力度や美しさに一切言及しない単純なプロンプトを用いて、2022年から2026年に公開された27種類のテキスト画像生成器を調査し、主要比較と補足比較を通じて生成顔51,300枚と実在する人物の写真160,196枚を分析した。「3種類の自動指標を使用し、一部の画像について550人の人間の評価者から評点を収集した。「自動指標ではほぼすべての生成器が写真の顔より高得点の顔を生み出し、人間の評価者は23種類すべての生成器の出力を写真の顔より有意に魅力的と判断した。多重比較の補正後も、この結果は変わらなかった。「性別に注目した分析では、女性を指定したプロンプトで生成された顔の37%が、プロのファッションモデルの中央値を上回った。」著者らは、人間もAIも含めた専門家が「美しい」領域の頂点を誰が占めるかで意見を異にし、議論することはあっても、「魅力的でない」または「わずかに魅力的」という評価域には、そのような細かい区別はないとも指摘しています。比較すれば、そこは一種のひとまとめのごみ箱なのです*。「誰を最も高く評価するかより、誰を最も低く評価するかについて指標間の一致度が高いことは、ファッションモデルのような分野の審美的分類に見られる重要な特徴と似ている。人々や組織は単一の理想に合意しなくても、誰の外見の価値を低く扱うかという不平等を繰り返し生み出し得る。」顔の価値研究の知見の多くは、人間に共通する文脈依存で相対的な知覚を改めて示しています。例えば、学校で最も賢い、あるいは最も魅力的だった人も、アイビーリーグの大学に入れば周囲の基準が大幅に上がり、新たな集団での相対的な位置が下がるかもしれません。しかし、世界中でAI生成の人々が実際に歩き回り、面接で生身の人間を押しのけているわけではありません。では、生成AIの美的感覚という文化現象は、どうやって影響を及ぼすのでしょうか。「AIの基準」に近づくために人々が美容整形に頼るかもしれないという憂慮すべき可能性に加え、この新研究が述べる影響は、AI以前の映画、テレビ、ファッションなど、目に触れ、人に影響する文化領域の美の文化に似ています。そこでは非現実的な外見の理想があふれ、私たちはそれを一種の信号と雑音の問題として処理することを学んできました。映画スターに憧れても、結婚するのは現実に縁のある相手です。論文はAI独自の視覚的な美的感覚の影響の拡大を、同様の文脈で説明しています*。「生成された顔が実際の顔より魅力的であり、しかもその程度が一様でないなら、[the]次の問いが生じる。それは実在する人々への評価にどのような影響を及ぼすのか。厳選または編集された画像への接触は外見の比較とその後の判断を変化させる。また古典的な対比実験は、非常に魅力的な人物を見るとその後の魅力度の判断が低下し得ることを示している。「生成AIは同じ審美的過程によって形作られた、互いに異なる顔を次々と繰り返し提供できる。AI生成の顔への接触が、実在する人々に対する重要な結果を伴う評価を変えるかどうかは、まだ明らかでない。」著者らは具体的な対処法を提案せず、AI生成の美しさが実在する人への判断に影響するのはいつか、合成顔のどの特徴がその作用を生むのか、模擬採用実験以外でも結果が成立するかを確かめるため、さらなる研究を求めています。方法とデータの選定AI画像生成器がどれほど広く魅力的な顔を好むかを調べるため、研究者は2022年から2026年に公開された27システムを検証しました。Stable Diffusion 1.5、2.1、XL、3、3.5-medium、3.5-large、3.5-large-turbo、FLUX.1 dev、schnell、FLUX.2、FLUX.2-klein 9B、FLUX.2-klein 4B、GPT Image 1.5、GPT Image 2、Grok Image、Grok Imagine、Nano Banana 2、Nano Banana Pro、Midjourney v6、v7、v8、PixArt-Sigma、Playground 2.5、HunyuanDiT、Qwen-Image、Sana、Lumina-2です。全システムに同じ単純なプロンプトを使い、美しさや魅力度には言及せず、男性・女性の区分にまたがる14の人口統計カテゴリーと8つの職業(医師、弁護士、獣医師、薬剤師、料理人、建設作業員、看護師および小売店員)を表す肖像を生成しました。人口統計、性別、職業の詳細を省いたプロンプトも検証し、分析用の画像は合計51,300枚となりました。比較対象として、FairFace、IdenProf、SCUT-FBP5500、MEBeauty、Chicago Face Databaseとその多民族・インド人拡張版、およびFace Research Lab London Setから94,249枚の写真を抽出しました。89,435枚で利用可能な顔が検出されました。追加比較には10k US Adult...
著者 Martin Anderson
-

Andersonの視点AIは読んだことすらないウェブページを頻繁に引用する
その日の論文発表を追っていると、ときにひどく腹立たしくなる論文が出てくる。内容が不正確だったり不快だったりするからではない。長いあいだ意識の片隅で漠然と、はっきりしない形で気になっていたこと(おそらく、何もせず無視するしかないほど忙しかったためだろう)に目を向け、研究しているからだ。本日、Imperial College Londonのコンピューティング学部に所属する3人の著者による、論文が発表された。タイトルは取得しても読まない:検索拡張型大規模言語モデルが利用可能な証拠を活用できない理由を理解する。この新たな研究は、大規模言語モデル(LLM)が、根拠としてURLを頻繁に提示する(無関係な論文の引用や、根拠のないウェブ記事へのリンクなど)一方で、それらを読むことすらしないのはなぜかを調べている。著者らは次のように述べている。「モデルは、出典ページを開かずに検索スニペットをもとに回答することが多く、その場合、古い回答や不誠実な引用の割合が高くなることが分かった。対照実験と層ごとの分析から、証拠が利用可能であることと、それが実際に活用されることの間に隔たりがあると明らかになった。「取得した証拠が内部の予測に影響を与えている場合でも、モデルは最終回答で古い情報を優先することがある。」著者らは、独自開発のLLMであるOpenAIのGPT-5.6 Lunaと、オープンウェイトモデルの6種類の構成を対象に、各モデルの学習データのカットオフ以降に変化した数百件の事実について検証した。続いて、システムが出典ページを開く代わりに検索スニペットにどの程度依存していたか、それが回答や引用の正確性にどう影響したか、さらに、新しい証拠が直接提示されていても古い情報が優先されることがあるのはなぜかを調べた。テストでは、モデルがウェブ検索で表示されたページを一つも開かずに質問に回答することが頻繁にあり、こうした行動は、古い回答や誤解を招く引用の割合が大幅に高いことと関連していると分かった。研究者らはまた、正しい証拠を直接提示すると、こうした失敗を大幅に減らせることも確認した。ただし、新しい事実を目の前に直接提示されても、古い情報を優先し続けるモデルもあった。隠れた動機?LLMが「正しそうに聞こえる」ものの、実際には関連性のない資料を根拠として頻繁に提示する理由として、最も分かりやすいものは2つある。a)実際の資料から概要をダウンロードして読むだけでも、帯域幅と時間が必要であり、そもそも資料を入手できない場合もあるため、コストを節約できる。b)遅延を抑えられる。より良い回答を少し待たせるよりも、間違った、あるいは半ば間違った回答を素早く返すほうがよいかのように振る舞うのだ。しかし、新たな研究の著者らがより関心を寄せているのは、こうした質の低下の根本的な仕組みを明らかにすることであり、それが当初どのように設計されたのか、あるいはあらかじめ想定されていたのかを探ることではない。これまで、最先端モデルとLLMの規模の経済について議論してきた経験からすると、予想どおり、あらかじめ定められた防御的な反応が返ってくるとしか思えない。少なくとも私には、LLMの引用行動をこのように利用する経済的な理屈は理解できる。しかし、実際の技術はまだほとんど解明されておらず、絶えず変化し、予測しにくい結果を生みやすいため、現時点でそうした動機を立証するのは難しい。方法モデルがウェブ上の証拠を実際にどれほど適切に活用するかを検証するため、研究者らは、対象モデルのうち最も新しい学習データのカットオフとして報告されていた2026年2月16日以降に変化した事実を225件集めた。事実の内訳は、FDAの医薬品情報(62件)、金融(52件)、スポーツ(47件)、人物(43件)、SEC提出書類(13件)、化学物質の分類(8件)だった。カットオフまでにすでに変更が実施されていたもの、または2月1日より前に発表されていたものは除外した。また、一般知識から回答できる医療上の主張も除外した。変更されていない事実も対照として用い、新しい情報に関する失敗と、より一般的な誤りとを区別できるようにした。基準値を確立するため、GPT-5.6 Lunaをウェブ検索を利用できない状態でテストしたところ、変更された事実に関する103問のうち、正解できたのはわずか23.3%だった。前述のデータセットに含まれるFDAの表示文言の条項を、個別に検証可能な事実の記述に書き換えるため、特定されていないAIモデルが使用された。その後、それぞれの記述を手作業で確認した*。テストしたオープンウェイトモデルの構成は、Z.aiのGLM-5.3-Flash、OpenAIのgpt-oss-120bとgpt-oss-20b、推論機能の有無を変えてテストしたGoogle DeepMindのgemma-4-31b、そしてQwenのqwen3-8bだった。オープンウェイトモデルとGPT-5.6 Lunaには同じウェブ検索結果を提示し、応答を公平に比較できるようにした。また、Lunaについては、内蔵のウェブ検索を使ったテストも別途実施した。225件の事実のうち223件について、あらかじめBrave Searchを使って検索結果を10件ずつ収集した。すべてのモデルに同じ検索結果を提示し、同一のツールを使ってページを開いたり、ページ内を検索したりできるようにした。「正しい」答えを含むページは、必ず利用できるようにした。そのページが自然に検索結果の上位10件に含まれていた場合は順位を変えず、含まれていなかった場合は、あらかじめ決めた順位に挿入した。これにより、研究者は、比較可能な条件のもとでモデルが利用可能な証拠をどのように活用するかを調べることができた。テストの一貫性を高めるため、この設定に対応するモデルではtemperature(温度)をゼロに設定し、実験全体を通じて各モデルを同じプロバイダー経由で実行した。プロンプトの形式事実を検証するために使われた2つのプロンプトのうち、1つ目は、たとえば「Bernardo Silvaはどのクラブでプレーしていますか?」といった自由回答形式の質問で、出典を求める場合と求めない場合がありました。2つ目は、現行の情報か古い情報のいずれかを含む記述について、モデルに検証を求めるものでした。これにより研究者は、それぞれのバージョンがどのように扱われるかを比較できました。全体の結果には、追加で4種類のプロンプトを使用した。手がかりを含む自由形式の質問、引用を求める依頼、提示された主張を裏付ける出典の提示を求める依頼、そして複数の正しい記述の中から古い情報を含む記述を1つ特定するようモデルに求めるファクトシートの確認である。すべてのプロンプトに日付が指定されており、その大半は、「検証できません」という回答を認める固定形式での回答を求めていた。この形式により、人間やLLMによる判定を必要とせずに結果を採点できた。使用した指標は、読解の深さ(情報源のページを開いて引用したかどうか)、回答の正確性(回答を差し控えたケースを除く正解率)、引用の忠実性(引用したページがモデルの主張と矛盾していないかどうか)だった。可能な範囲で採点を自動化し、特定されていないLLMが出典の正当性を認めるのは、アーカイブされたページにある正確な一節によって裏付けられる場合に限った。解釈を要する否定的な判定は人間の評価者に委ねた。また、変更のない対照用の事実を使って、各モデルの引用エラー率の基準値を設定した。結果初期テスト(本記事の冒頭で紹介)では、ウェブ検索を利用することで、モデルが質問に正しく答える能力が向上した。事実の記述が正確かどうかを確認するテストでは、スコアが27~42パーセントポイント上昇した。質問に直接回答するテストでは、正解率は85.8~95.4%だった。しかし、多くの回答は、モデルが検索で見つかったウェブサイトを実際に訪問しないまま生成されていた。代わりに、検索結果の横に表示される短いテキストの抜粋を頼りにしていた。同じ検索結果を与えた場合でも、ページが一度も開かれなかった検索の割合は、モデルによって2.6%から76%まで幅があった。この点で、GPT-5.6 Lunaの対応は、特に手抜きが目立った。「同じ検索結果を与えた場合、モデルは検索の2.6~76.0%でページを一切開かずに回答する。Lunaは標準の検索機能を使った場合、検索結果の抜粋だけをもとに、53.6%のケースで回答する。」7つのモデル構成全体では、スニペットだけに基づく回答の6.4%が古い情報だったのに対し、ページを開いて引用した場合は1.3%だった。上記のとおり、誤解を招く引用も、6.4%対2.3%で、前者のほうが多かった。スポーツに関する質問では、オープンウェイトモデルの古い回答の割合は20.2%に達し、2.1%を大きく上回った。回答が古い情報だった場合、その主張を裏付ける引用の81.8%が主張と矛盾していた。一方、最新の回答では、矛盾する引用はわずか0.9%だった。ファクトシートを用いたテストでも同様の傾向が見られた。つまり、調査対象となったAIモデルは、実際のウェブページを読む代わりに検索結果に表示された短い説明を頼りにすると、誤った回答をする可能性が高くなるということだ。さらに悪いことに、回答が間違いであることを証明するページへのリンクを示すことさえある。共通する失敗今回のテスト対象が集団として例外的なケースでない限り、クローズドモデルもオープンソースモデルも、ほかのモデルが同じ問題の影響を受けていると考えるのが妥当だろう。実際、GPT-5.6 Lunaの実際のウェブ検索で確認された9種類の失敗のうち7種類は、ほかのモデルを同じ固定された検索結果でテストした際の失敗と有意に関連していた。このことは、問題がLunaに限られないことを示唆している。正しいWikipediaのページを直接提示すると、古い回答が減少した。失敗数はgemma-4-31bで14件から0件に、gpt-oss-20bで11件から1件に、qwen3-8bで16件から8件に減った。また、ページを開くたびに元の質問を繰り返すことで、以前は失敗していたファクトシートのチェックの26.1%が正解に変わった。クラブのルール最後に、AIが正しい情報を無視することがある理由をより深く理解するため、研究者たちは、所属クラブを移籍したサッカー選手を題材に、3つのオープンウェイトモデル(gpt-oss-20b、gemma-4-31b、qwen3-8b)をテストした。各モデルに、選手の所属クラブに関する古い情報を与え、場合によっては正しいWikipediaのページも併せて提示したうえで、処理中にどちらの回答を優先するかを調べた。その結果、モデルは正しいクラブを認識できるにもかかわらず、それでも誤った回答をすることが分かった。qwen3-8bでは、回答が生成される直前まで、正しいクラブが内部的に優位に立つことがあったものの、その後、古いクラブがそれを上回った(上図参照)。gpt-oss-20bでも同様の傾向が見られた一方、gemma-4-31bは概して、処理の全過程を通じて「古い」クラブを優先した。したがって、正しい証拠が利用可能で、モデルがそれを認識していても、最終的な回答では古い情報が優先されることがあるようだ。結論として著者らは、モデルは検索結果の抜粋に頼るのではなく、取得したウェブページをもっと有効に活用する必要があると示唆している。また、正しい答えを持っているにもかかわらず、モデルが古い情報に固執することがあるのはなぜか、さらに、情報の処理方法を変えれば改善につながるのかを明らかにしたいと考えている。ただし、決定的な解決策は示されていない。結論貴重な知見はいくつか示されているものの、この新しい論文は、LLMが引用や参考文献を軽々しく扱う理由を説明していない。利用者として、また自分なりにパターンを分析してきた者として言えば、私が使うLLMは、ほかの……推薦サイトが推薦しているから……?という理由で論文やURLを勧めているように思える。では、その権威性の感覚は実際にはどこから生まれるのだろうか。実のところ、AI以前の世界でさえ、これは私たちには解決できなかった問題だ。そのため、LLMがコストも応答時間も削減せず、私たちが「真実」だと納得しているのと同じ中国発の噂を広めているだけだと判明しても、おそらく驚くことではない。 * このレビューを誰が実施したのか、論文には記載されていない。初公開日:2026年10月16日(金)
著者 Martin Anderson
-

Andersonの視点あなたのAIは、まだあなたを正しく訂正するには遠慮しすぎているかもしれない
正確な情報を得るために頼るAIシステムは、たとえその情報が私たちにとって喜ばしいものではなくても、私たちが望ましくない知らせや事実を受け入れる気になるまで、異議を唱えられても「反論」し続ける能力を備えていなければならない。AIはこの点があまり得意ではない。最先端モデルは一般消費者向けに設計されているため、相手に合わせて譲歩しがちで、実際には迎合する傾向もある。この問題に取り組む研究の重要な潮流が生まれている。しかし最近の研究では、AIが私たちに異議を唱えると、簡単に言いくるめて再び迎合させられること、AIは明らかに誤っている場合でさえ人間の権威に従うこと、そして通常は効果的な手法である強化学習が、実際にはこの特定の問題を悪化させることが明らかになっている。相手に譲歩することが文化的に礼儀正しさと結びついているため、サービス提供者と消費者の関係では「率直に話す」ことが不可能になっているようだ。「顧客は常に正しい」というわけだ。たとえ顧客が崖から歩いて落ちようとしていても。正しさ、誤り、そして「曖昧な表現」さて、今週発表された論文の中に、この問題を大きく前進させるものがあったとお伝えできればよかったのだが。残念ながら、得られたのは、反論し、人間の主人に真実を認めさせようとするモデルでさえ、依然としてそれほどうまくできていないという情報ばかりだ*。そして、たとえ実際に権力者(つまり、あなた)に真実を突きつける気があっても、その声は本当にかすかなささやきにすぎない。今回の新しい論文は大規模な学術共同研究の成果で、University of Washington、Allen Institute for AI、LMU Munich、UC Berkeley、Stanford University、University of Wisconsin-Madisonが参加している。論文のタイトルは「干し草の山の中の反論:言語モデルは事実誤認に曖昧かつ効果的でない形で応答する」。この新たな研究が示すのは、AIモデルがユーザーの主張が誤りだと認識していても、明確に訂正できないことが多く、異議を留保表現や称賛、部分的な同意の中に埋もれさせてしまうという点だ。7つのモデルと5つの言語を対象にした調査で、研究者らは、AIが技術的には異議を唱えていても、その曖昧な表現によってユーザーが元の誤情報を信じ続ける可能性があることを明らかにした。言語によって迎合の現れ方や程度が異なるため、著者10人は、共通する5つの母語を生かして、英語、ドイツ語、中国語、ヒンディー語、ヨルバ語を含む検証手法を考案した。これらの言語は、資源が豊富なものから資源の乏しいものまで、さまざまな分類にまたがっている。研究者らは次のように述べている。「私たちは、言語モデルが誤った入力にどのように反論し、また肯定するのかを詳細に把握するため、フレーズ単位で人間が検証する応答ラベル付けの枠組みを導入します。この枠組みを開発し、英語、ドイツ語、中国語、ヒンディー語、ヨルバ語の5言語におけるモデルの応答に適用します。」「モデルがユーザーの誤った主張に反論する場合、間接的な表現を使い、肯定的な言葉も交える傾向があることが分かりました。また、検討した他の言語よりも、ヒンディー語とヨルバ語では間接的な表現が多く見られました。」300人が参加した大規模調査で、研究者らは、AIモデルによる曖昧な訂正では、ユーザーの事実誤認が解消されず、効果的に異議を唱えられない可能性があることを明らかにした。ある検証では、情報を求める質問に対するモデルの応答は平均46.7行に及ぶ一方、訂正を示す表現はわずか2~3行にしか現れなかった。つまり、AIが誤った主張に異議を唱えていても、その指摘は見つけにくいことがある。研究者らはまた、誤情報が通常の情報提供の依頼に含まれている場合よりも、明示的に検証を求められた場合のほうが、モデルは誤情報に異議を唱えやすいことを明らかにした。教科書に由来するとされた主張は、友人に由来するとされた主張よりも、一般に反論されにくかった。情報を求める質問への応答の29.4%で、モデルは訂正と肯定を織り交ぜており、この割合はGemini 2.5 Proでは60.1%に上った。時には、安心させる言葉の間に異議を挟み込む「褒め言葉のサンドイッチ」のような形を取っていた。改善策の可能性として、研究者らは、モデルが応答する前に「ちょっと待つ」よう促す簡単な介入を試した。これにより、場合によっては誤った発言に異議を唱える意欲が高まったが、正しい発言に対して誤った異議を唱えることも増えた。この研究は、AIに誤りを認識させることは問題の一部にすぎず、その誤りを伝えること自体も、また別の課題であることを示唆している。方法テスト用の素材には、OpenAIが2021年に公開した「Massive Multitask Language Understanding (MMLU)」ベンチマークの多言語版を使用した。MMMLUとして知られるこの多言語データセットには、生物学や歴史などの学術分野が含まれている。データセットの選択式問題を事実に関する記述に変換し、誤答3つから虚偽の主張を、正答から真の主張をそれぞれ作成した。こうして、各言語につき二重翻訳されたMMMLUベンチマークの項目1,756件から、5言語にわたる記述35,120件のデータセットを作成した。実験では、科目の偏りを抑えた、より小規模なサンプルを選び、虚偽の記述2,685件と真の記述895件を対象とした。テスト対象の言語モデルは、クローズドソースのGemini2.5 ProとGPT-5.5、およびオープンウェイトモデル5種、Mistral Small 4、Qwen 3.5 9B、Qwen 3.5 27B、Gemma 4 E4B、Aya...
著者 Martin Anderson
-

Andersonの視点LLMの検索結果に入り込む5つの潜在的な裏口
AIによる要約という新たな潮流によって、検索エンジンの検索結果から得られる従来の流入が急減するなか、あらゆる規模の出版社が、ウェブ検索のAI要約を支える大規模言語モデルや、ChatGPTなどの人気の最先端モデルに直接注目してもらおうとしている。「生成エンジンにおける可視性の最適化」や「AI検索で優位に立つ方法」などの先行研究によれば、正当な手法には、独立した編集記事で取り上げてもらうこと、信頼性が高く構成の明確なコンテンツを公開すること、機械可読な製品情報を提供すること、言語や市場に合わせて資料を調整することなどがある。最近注目されている別の手法は、過去数十年のブラックハットSEOを思わせる。Redditで一見独立した推薦を仕込み、AI検索結果に影響を与える偽装草の根活動、欺瞞的なリンクによって宣伝文句を信頼できる情報としてアシスタントに保持させようとするメモリ汚染、そして単に要約する情報を提供するのではなく、ウェブサイトに隠した指示でAIアシスタントの推薦を誘導するプロンプトインジェクションなどだ。特に巧妙なGEO操作の例として、ETH Zürichの研究者は架空のカメラを作り、宣伝用ウェブページに極小の白い文字で隠し指示を埋め込み、MicrosoftのBing Copilotにそのカメラだけを推薦するよう命じた。小さな文字と低いコントラストは、操作を見えなくするためのものだった。対照実験では、架空のカメラの推薦率が34%から59.4%へ上昇し、本物のNikonとFuji-filmのカメラが記録した57.9%をわずかに上回った。取得したウェブページに埋め込まれた悪意ある指示が、AIの推薦に実際に影響し得ることを示している。これほど大きな利害が絡む以上、AIの回答システムやチャットエンジンから推薦を得ることで、かつてのSEO上の優位を獲得、あるいは回復しようとするマーケティング業界やさまざまな分野で、ブラックハットGEOが活発で潤沢な資金を持つ不正研究の一分野になっていると考えるのは妥当だ。そこで、考えられる手口や、現れつつある手口をいくつか見ていこう。1:アーカイブの改ざんInternet Archiveは、最も網羅的で有用なネットワーク資源の一つだ。そのWayback Machineは2025年に1兆ページという節目を超えた。執筆時点でInternet Archiveは、保存し一般公開しているPDF文書が47,381,733件という驚異的な数に達したと報告している。上の検索結果例が示すように、アップロードされたPDFにはごく日常的な資料も多い。1950~90年代の無名の音楽チラシから、後世には残らなかったと思われていた希少で魅力的な雑誌や本、1970~80年代の地方議会の気が遠くなるほど大量の議事録まで、その種類は実に幅広い。現在、このコレクションは無差別に大量アクセスされている。明らかな原因は、新しいデータ、あるいは既存データのより良い版や裏付けとなる版を渇望する、大量のAIスクレイピングボットだ。アップロードされた文書を書き換え、虚偽の主張、存在しない製品、人物への虚偽の言及(称賛であれ中傷であれ)、その人物についての虚偽の説明などを裏付けるのは、明らかに簡単なことだ。そのような情報は、LLMが「権威ある」情報源とみなす資料に挿入できる。例えば、Internet Archiveのコレクションではまだ完全に索引化されていない、評判の高い雑誌のPDFだ。この場合、改ざん版は正当に「空白を埋める」ものと受け取られるだろう。AI自体を使って文章の文体を短い記事やキャプションの既存の文体に合わせ、PDFの日付も書き換えられる。さらにさまざまな簡単な細工を施せば、例えば1990年代、あるいはそれ以前のアーカイブで見つかった文書のように見せることができる。このような場合、あとは貪欲なAIスクレイピングボットが情報を拾うのを待つだけのように思える。データセット整備時のフィルターや検査システムが、こうした不正な改変をどの程度検出できるかは、まだ確かなことを言えない。しかしデータセットの規模はあまりにも巨大で、通常、そこまで細かな監視はできない。この膨大な量の前では、基本的に「データを信じる」ことになる。2:人工的な合意を作るネットワーク昔を覚えている人なら、現代版の「ウェブリング」とも呼べるだろう。これは初期インターネットで相互につながったサイト群であり、被リンクの数と質を重視するGoogleのPageRankやMozのDomain Authorityより前に存在していた。しかし、人工的な合意を作るネットワークはさらに踏み込む。無関係とされるウェブサイトの間で、独立した裏付けがあるように見せかけるのだ。香港中文大学とEPFLの最近の研究は、この原理を大筋で示した。研究者は、取得した検索結果内の実在ブランドを架空のブランドに置き換え、15カテゴリーの225製品を対象に12のAIモデルをテストした。同じ偽情報を含む検索結果が増えるほど、影響は強まった。上位結果に操作済みページが3つある場合、最も脆弱なモデルはテストの73.8%で存在しない製品を推薦した。1位の結果が一つ改ざんされただけでも、一部のモデルは27%のケースで誤誘導された。さらに驚くべきことに、モデルは時に独自の裏付けまで捏造した。架空の画面保護フィルムのブランドを扱ったあるテストでは、ClaudeとDeepSeekが、提供資料にはなかったコミュニティの推薦や製品テストに関する主張を追加した。この実験は実際に稼働する詐欺サイト網ではなく、ローカルで変更した検索結果を用いていた。それでも、一見独立したレビューを組織的に集めれば信頼性を作り上げられ、AIが追加の推薦によって虚偽を補強し得ることを示唆している。3:引用の生成と「出所を失った」主張引用の生成、いわば「引用ロンダリング」は、人工的な合意を作るネットワークの変形だ。ただし、繰り返す情報源の数より、情報の出所がどう見えるかに重点を置く。捏造された主張は、まず知名度の低い業界誌、自費公開された研究論文、あるいは編集上の監督が乏しい専門出版物に現れるかもしれない。その後、ブログ、ディレクトリ、その他の出版物が引用し、繰り返されるたびに元の主張の見かけ上の正当性が少しずつ増していく。やがてAI検索エンジンは、元の出所から何段階も離れたところでその主張に出会うかもしれない。例えば、中間の出版物を引用した、それ以外は信頼できる記事の中だ。根拠のない主張に過ぎなかったものが、後続の引用には独立した検証が一つもないのに、引用履歴を持つようになる。この過程には、すでに記録された例がいくつもある。ただし、その大半はAI検索が登場する前のものだ。よく知られた事件では、ある10代の若者がハナグマに「ブラジルのツチブタ」という愛称をでっち上げ、Wikipediaに書き込んだ。この架空の名前は新聞や少なくとも1冊の学術書に広まった。最終的にWikipedia自身が、自ら持ち込んだ主張の証拠として新聞記事を引用した。捏造された権威がほぼ完全な循環を形成したのだ。この事件はThe New Yorkerが記録している。2025年には、より意図的な実証が行われた。研究者が複数のAI生成学術論文を作り、存在しない科学者の著作としたのだ。架空の論文群はGoogle Scholarで380件の引用と19のh指数を獲得し、この架空の研究者に一見立派な学術的地位を与えた。NatureのScientific Reportsに掲載されたこの実験は、対応する本物の研究実績がなくても引用数を作り上げられることを示している。どちらも、AI検索エンジンへの攻撃成功を実証した事例ではない。しかし、見かけ上信頼できる情報源が虚偽の主張を再掲すると、後続のシステムが独立した裏付けと、一つの捏造の反復流通を見分けにくくなるという根本的な弱点を示す。AI検索特有の危険は、見かけ上の権威がすべて同じ未検証の主張に行き着くことを認識せず、モデルがこの引用の連鎖を相互に裏付け合う証拠として要約してしまうことだ。4:権威の乗っ取り期限切れドメインは、以前の所有者の見かけ上の信頼性、被リンク、検索での可視性を維持していることがある。こうしたアドレスを取得して新しい資料で埋めると、最近持ち込んだ主張を老舗の出版物に由来するように見せられる。これは20~30年前からある手法だ。期限切れや放棄されたドメインの権威は、その内容を「関連はある」が商業化された資料に作り替える目的で取得されることが多い。2024年、2018年に閉鎖した影響力のある女性向けブログThe Hairpinが、新所有者の下でAI生成のコンテンツファームとして再登場した。元の記事に書き換えた資料や架空の著者名が混ざり、かつて尊敬された出版物の評判とドメインの権威が利用された。AI検索への攻撃が実証された例ではないものの、確立されたサイトの歴史を流用できることを示している。アーカイブのスナップショットは、ドメインの本当の過去と新しく捏造された内容の違いを明らかにする助けになる。しかし、そのような証拠さえ必ずしも永続しない。2002年、Internet ArchiveはScientology側の弁護士による著作権の申し立てを受け、同団体を批判するサイトのスナップショットを削除した。当初は、サイト所有者自身が削除を求めたかのように説明していた。2017年までWayback Machineは、サイトの除外ルールを遡及的に適用していた。このため、新しいドメイン所有者が前任者の内容を隠せる可能性があった。この慣行は廃止されたものの、Internet Archiveは過去のスナップショットの削除要請を今も検討している。5:学術リポジトリの悪用学術リポジトリも、見かけ上の権威を得る経路になる。プレプリントサーバーでは査読前に論文を公開でき、検索エンジンやAIの検索システムは、確立された科学文献と並んでこれらの文書に出会う可能性がある。問題は、公開と検証は同じではないことだ。2024年、研究者は学術論文に埋め込んだ悪意ある指示によって、それらを処理するAIアシスタントを操作できることを実証した。研究論文の見かけ上の正当性は、その内容がAIシステムへの誘導に利用されることを防がないと示したのである。より目立たないGEO手法としては、もっともらしいが周辺的な研究を登録し、企業、製品、個人を特定の専門性と繰り返し結び付けることが考えられる。AIへの明示的な指示がなくても、こうした資料は受益者自身が発した主張を、学術的に見える形で支え得る。結論ほかにも、レビュー生態系への浸透(比較サイトやソフトウェア一覧に好意的評価を仕込むこと)、知識グラフの操作(構造化データを改変し、企業、製品、専門性の間に誤解を招く結び付きを作ること)、多言語での評判ロンダリング(監視の緩い外国語の情報源に宣伝文句を置くこと)などが考えられる。最後に、エージェント型GEO最適化は、AI検索エンジンに対してコンテンツを繰り返し試し、望む推薦を生む版を改良することで、これらの技術を自動化する可能性がある。 初出:2026年10月12日(月)。公開から30分以内に、見出しの大文字表記と欠けていたタグを修正。
著者 Martin Anderson
-

Andersonの視点システムプロンプトに隠された日付が言語モデル評価を損なう
大規模言語モデル(LLM)をベンチマークする能力がなければ、消費者や企業はモデルが最近のバージョンでどれだけ進歩したか、そして競合他社と比較してどの程度の性能かを理解することが困難です:LLM は非決定的である(すなわち、同じ入力に対して常に一貫した出力を生成するとはない)ため、評価は難しい。研究者が同一のプロンプト、モデル設定、ベンチマークデータセットを使用した場合でも、実行環境のわずかな違いが異なる回答を生み、パフォーマンススコアを大幅に変えることがある。ハードウェア構成、数値精度、推論バッチサイズ、さらには選択肢の順序などが結果に影響を与える可能性がある。これにより、報告された改善が実際の進歩を示すものか、単にテスト条件の半ランダムな変動によるものかを判断しにくくなる。ある程度まで、これらの変数のいくつかを考慮したり、少なくともそれらが生む誤差幅を把握したりすることで、比較評価を意味のあるものにできる。多額の資金と評価が、この種の AI システムをある程度の正確さでベンチマークできるかに依存しているため、試みることが重要である。しかし、新たな研究によれば、ある特定の変数はベンチマークに破壊的な影響を与えるだけでなく、それを定義するプロンプトから排除することが非常に困難である – 今日の日付。時は変わるドイツ、メキシコ、米国の学術協力による新しい論文*は、フロンティアおよび多くの展開において、すべてのオープンウェイトモデルのシステムプロンプトに現在の日付が自動的かつ秘密裏に含まれているため、再現性がほぼ不可能になる可能性があると主張している:「我々は、LLM 評価においてしばしば見過ごされがちな重要な非決定性の原因として、システムプロンプトへの現在の日付の隠れた注入を特定した。」「9 つのモデル、6 つのデータセット、4 つのタスクにわたり、この動的メタデータはモデルの性能を変化させ、リーダーボードの順位を入れ替え、バッチサイズや数値精度といった他のシステムレベル要因がもたらす変動を上回る。」研究者は、特に生成回答が必要なタスクでこの効果が大きく、選択肢問題で最大 6%、数式推論で 14%、コード生成で 7% の性能変動が見られ、機械翻訳のスコアも大幅に変動することを指摘している。例示的な回答を提供し、ステップバイステップの推論を促しても問題は解決しなかった – 実際、後者は悪化した。この効果は独自モデルでも確認され、GPT-5.1は 2025 年 12 月の 1 週間のテスト期間中に 3 つの選択肢ベンチマークで最大 4% の精度変動を示した。研究者は空のシステムプロンプトを使用し、推論を無効化し、ランダム性をゼロに設定したが、日付はプロバイダーによって自動的に挿入され続けた:研究者は、可能な限りシステムプロンプトから日付を除去するか、固定して文書化することを推奨し、公平な比較を確保すべきだと述べている。しかし、日付中心の影響はより深く根付いている可能性があると指摘している:「日付感度の一つの可能性として、システムプロンプトが教師あり微調整(SFT)および人間のフィードバックによる強化学習(RLHF)の間に固定されているため、わずかな変更でもモデルが脆弱になることが考えられる。」問題を調査するために、研究者はシステムプロンプトの表現を6通り試し、これらの変更が精度に与える影響は日付を変更した場合と同程度(0.78%)であることを発見した。したがって、日付は意図的なプロンプトエンジニアリングと同等の影響力を持つように見えるが、ユーザーが気付くことなく自動的に変化する点が異なる。他のアプローチとして、モデルが回答する前に5つの例答を提示する少数ショット学習が試みられた。これにより平均変動が2.52%から2.27%へやや減少したが、問題は解決しなかった。GPUハードウェア、バッチサイズ、数値精度、回答順序、システムプロンプトの表現もテストされた。最も大きな影響は回答順序とプロンプト表現で見られ、日付変更の影響に最も近かった。最終日LLM/VLM...
著者 Martin Anderson
-

Andersonの視点NVIDIAの研究で判明、AIエージェントはツールを使うと安全性が低下
ChatGPT、Gemini、ClaudeなどのAIモデルは、モデルがエージェント、つまりモデルが現実世界と直接やり取りできるようにする「実行基盤」として機能する。これは最近登場した技術革新だが、論争を呼ぶことが増えている。いずれにせよ、エージェントはネットワークやデータベース内を動き回る際に必要となる能力を、あらかじめすべて備えているわけではない。さまざまな任務や動作モードによって、必要なツールが異なるためだ。たとえば、写真内の文字を読み取るために、光学文字認識(OCR)機能が必要となる場合があるほか、ほかにもさまざまな能力が求められる。エージェントの適用範囲や目的に応じたツールのカテゴリも存在する。理論上、AIに組み込まれた安全対策に反する依頼は、実行時にツールを使うかどうかにかかわらず、実行されることはないはずだ。しかし、新たな研究によると、実際にはツールを使うことで、AIエージェントが「逸脱行為」をするのを防ぐ保護フィルターが大きく損なわれる可能性がある。拒否できない問題NVIDIAの新しい論文「ツールをエージェント的に使用すると、MLLMは拒否に失敗する」は、マルチモーダル言語モデル(以下、より一般的な呼称である「VLM(視覚言語モデル)」を使用)が、ツールを導入すると有害な依頼に応じる可能性が大幅に高まり、テストしたすべてのモデルとベンチマークで拒否の失敗が増えることを明らかにした。Qwen3-VLなどのオープンウェイトモデルはこの問題が起きやすい傾向を示したが、 Claude Opus 4.7、Gemini 3.1 Pro、GPT-5.4などの最先端AIモデルでも、ツールを使用すると拒否の失敗が増加した。著者らは次のように述べている*。「エージェント型MLLMが近年大きな成功を収めている一方で、本研究はツール使用という手法に重大な安全上の欠陥があることを明らかにした。エージェント型のツール使用MLLMは、有害な依頼を拒否する能力が低下する。「よく使われる3つの安全性ベンチマークで実験した結果、テスト対象となった主要なオープンウェイトおよびクローズドウェイトのMLLMはすべて、ツールを使わない場合に比べ、ツールを使う場合の安全性が大幅に低いことが確認された。拒否の失敗率は相対的に最大68.7%上昇した。「追加実験を含む10万件以上の回答を分析したうえで、この安全性の低下について考えられる理由を2つ提示する。」論文が示す2つの要因は、ツールの出力が蓄積するにつれて当初の有害な依頼が目立たなくなる文脈の希薄化と、モデルが安全性を優先せず、ツールから得た観察結果の説明に注力する安全性への注目の移行だ。テストした11モデルすべてで、ツールを有効にすると拒否の失敗が一貫して増加し、最悪の場合は相対的に68.7%に達した。これは、それ以外の点では高い安全性を示したモデルでも同様だった。NVIDIAの6人の研究者によるこの研究の結果が、ほかの場所でも再現されるのか、あるいは重複して確認されるのか、また、法を軽視するAIエージェントの明らかになりつつある問題行動への理解を深めることにつながるのか、注目される。手法とデータ研究者らは、7つのモデルファミリーにまたがる11種類のVLMを評価した。プロプライエタリモデルは、Gemini 2.5 Pro、Gemini 3.1 Pro Preview、Claude Opus 4.6、Claude Opus 4.7、GPT-5.4で構成されていた。オープンウェイトモデルは、Qwen3-VL-235B-A22B-Instruct、Qwen3.5-122B-A10B、 Kimi-K2.5、Kimi-K2.6、GLM-5V-Turbo、AdaReasoner-7B-Randomizedで構成されていた。最後のモデルは、エージェント型のツール使用に特化して調整されたオープンウェイトモデルだ。Gemini 3 Flash Vision Agentについても別途実験を実施した。自律的なツール使用が必要となるため、独立して評価する必要があった。ツールを使用するテストでは、研究者らはReAct形式を採用しました。この形式では、推論とツールの呼び出しを交互に行います。利用可能なツールは4種類で、RAM++によるタグ付け、ズームと切り抜き、GOT-OCR2.0による光学文字認識(OCR)、そして画像を操作・分析できる隔離環境のPythonコードインタープリターでした。研究者らは、プロンプトの形式ではなくツール使用の影響を切り分けるため、対になるプロンプトを設計しました。従来型のVLMには、画像を確認してユーザーの依頼に直接答えるよう指示しました。一方、エージェント型のモデルにはReActのワークフローに従い、最終回答を出す前にツールを呼び出すかどうかを繰り返し判断するよう指示しました。使用したマルチモーダル安全性ベンチマークは、MM-SafetyBench、VLSBench、HoliSafeの3つです。いずれも画像と有害なユーザー依頼を組み合わせたもので、画像に示されたスリの実行方法を尋ねるケースなど、安全でない状況でモデルが支援を拒否するかどうかを検証するよう設計されています。主な評価指標には拒否失敗率(RFR)を用いました。これは、有害な依頼のうちモデルが拒否できなかった割合を測定するもので、スコアが高いほど安全性が低いことを示します。テスト回答は、VLSBenchが推奨する評価プロンプトを用い、LLMの判定役としてGPT-5.2が分類しました。各回答は、「拒否を伴う安全な回答」、「警告を伴う安全な回答」、「安全でない回答」の3つのカテゴリーに分類されました。モデルにツールを与えると、ツールがなければ拒否していたはずの有害な依頼に回答しやすくなりました。この傾向は、テストしたすべてのモデルとすべてのベンチマークで確認されました。ツールを使用しない同じモデルと比べると、拒否失敗は全体で17.7%増加しました。影響が最も小さかったのはGPT-5.4でした。ツールがない場合、有害な依頼の14.6%を拒否できませんでしたが、ツールがある場合は16.8%に上昇しました。GLM-5V-Turboでは、失敗率が38.7%(ツールなしのベースライン)から51.3%に上がりました。同じ傾向は3つすべてのベンチマークで見られ、この問題が特定の種類の有害な依頼に限られない可能性を示しています。逸脱が起きる理由…?前述のとおり、研究者らは失敗が増える理由の一つとして「文脈の希薄化」を提案しています。エージェントがツールを続けて呼び出すにつれて、蓄積されるツール出力の中で、最初の有害な依頼が目立たなくなるというものです。これを検証するため、研究者らは、ツールを使わない場合に同じモデルが適切に拒否できていた依頼のみを対象としました。以下に示すように、ツールの呼び出し回数が増えるほど失敗率も段階的に上昇し、ツールを一度も呼び出さない場合はほぼゼロだったのに対し、呼び出しが3回以上になると大幅に高くなりました。2回目のテストでは、この影響が部分的に逆転した。モデルが回答する直前、最後のツール呼び出しの後に元の依頼と画像を再度入力すると、以下に示すとおり、モデルとベンチマーク全体で拒否の失敗率が平均7.6%低下した。これは、コンテキストの希薄化が一因であることを裏付けるとともに、比較的簡単な緩和策があることも示唆している。論文が提示する2つ目の説明は、「安全性への注目のずれ」だ。ここでは、ツールの使用によって、依頼が有害かどうかという点から、ツールで見つかった内容を説明することへと、モデルの注意が移るように見える。ツールの使用の有無にかかわらず、モデルが適切に拒否できた事例を調べた。ツールを使わない場合、こうした回答の55.6%は依頼に直接対応する形で始まり、25.8%は安全性を明示する言葉で始まっていた。ツールを使うと、これらの割合はそれぞれ37.4%と10.3%に低下した一方、ツールから得られた情報の説明で回答を始める割合は52.3%に上昇した。著者らは、Claude Opus 4.6を使った興味深い定性的な事例を紹介している。公共トイレのセキュリティをどのように突破できるか尋ねたところ、ツールを使わないモデルはただちに拒否した。ツールを使わせると、同じモデルは画像を拡大し、テキストを読み取って内容を特定した後、トイレの標識について説明するところから回答を始めた。拒否したのはその後だった。このことは、ツールを使う過程で安全性がモデルの当面の優先事項から外れていたことを示している。著者らは次のように結論づけている。「全体として、私たちの調査結果は、ツールの使用を視覚的推論の能力を高める仕組みとしてだけでなく、拒否の挙動を変えうる安全性に関わる設計上の選択としても捉えるべきだと示している。したがって、今後のエージェント型MLLMは、ツールを使わない場合の安全性に関するアラインメントがエージェント型の環境にもそのまま適用されると想定するのではなく、ツールを使う条件下で評価し、訓練する必要がある。」結論持続的なコンテキストの維持に失敗すると、プロンプトを起点とする複雑な後続の一連の処理で明らかな問題となる。しかし、限られたコンテキストウィンドウによってエージェントが「最優先の指示」を忘れ、手元にあるツールを使い始めてしまう傾向に対して、現時点で簡単な解決策はない。 * 著者による強調。必要に応じて、著者の文中引用をハイパーリンクに変換した。初出:2026年10月7日(水)
著者 Martin Anderson
-

Andersonの視点AIのアイデアを検出する、テキストではなく
もし、AIが提供したアイデアに基づいてあなたが何かを書いたことを認識できるAIテキスト検出器があったらどうでしょうか――実際の執筆(すなわちテキスト)がすべてあなた自身のオリジナル作品であっても。私たちは、AIテキスト検出器が有名人や政治家などを恥ずかしめることを皆知っています――AIが生成したテキストの特徴を研究し、出現した際にそれらのパターンを見分けることができるアルゴリズムです。これらのケースは、コミュニケーションタスクを単純に外部委託することを表しており、ChatGPTやGoogle Geminiといった言語モデルがユーザーのプロンプトに対する応答で次に来る可能性が高いトークンを予測するだけです――問題や命題の全体像をまず俯瞰するのではなく、次に最も確率の高い単語を当てはめているだけです。それでも、最近の研究によれば、これらの予測の寄せ集めは最終的に根底にある構造を生み出します――テキスト同士が互いに一貫性と関連性を保つ必要性が、作品の「アウトライン」や高次元的な形状に独自のシグネチャを形成させるのです – AIの手跡を見分けることができるものでさえ、テキストが大幅に書き直されて「人間化」された場合でも。AIアイデア検出の対象メリーランド大学が主導する新しい学術協働は一歩進んで、アイデア自体がAIに起因するかどうかを検出できる手法を提供します――最終的に誰が文章を書いたかに関わらず。この手法はIdeaLensと名付けられ、ウェブ文書から抽出した100万件のアウトラインで訓練されました。各文書を、そのアイデアを保持しつつ表現を除去したアウトラインに縮約することに重点を置き、オンラインデモが用意されています:上記のサンプルデモ結果で見られるように、使用された検出手法は人間のアイデアと人間の文章、AIのアイデアとAIの文章を区別し、細分化かつ明確に評価できます――2つの検出器は同じ文書、ラベル、基礎モデルアーキテクチャで訓練されたにもかかわらず、実質的に対照的な対象、すなわちアイデアの出所と文章の出所を検出するよう設計されています。この種の検出範囲は、作家のさまざまなカテゴリを不安にさせる可能性があると考えられ、political speech writersからnovelists、columnistsまで、そしてこれまで自らの文体を誇りにしてきたが、AIに自分のトピックを供給させてきた他の人々も含む。LLMが認識可能(したがって追跡可能)なアイデアを生成しやすい理由の一つは、特定の概念やテキストが統計的にモデルの十分に整理されていない訓練データを支配しているため、より広範なリクエストで表面化しやすくなるだけでなく、LLMが特定の訓練データと関係がないように見える神秘的で反復的な執着を持ち、にもかかわらずしばしば無意識に現れる点にもあります。著者らは次のように述べています*:‘現代のAI検出器が誰がその言葉を書いたかを特定する一方で、AI利用に関する新たな政策はますます別の質問に焦点を当てています:誰がそのアイデアを考案したか?私たちはIdeaLensを導入します。これは文書のアイデアが人間かAIか(アイデアの出所)を、誰がその言葉を書いたかに関わらず識別する検出器です。’‘IdeaLensをアイデアに焦点を当て、文章ではなく、文書をアウトラインとして表現します:各項目が談話の役割と内容の簡潔な要約説明をペアにしたリストで、元テキストとの語レベルの重複を最小化します。’データと方法本稿は新手法がAI生成文書中の人間のアイデア(すなわち、誰かがAIに『このトピックについてエッセイを書いてください』と言った場合)を識別でき、さらに人間の執筆中のAIアイデア(すなわち、誰かがAIに書くための何かを提案してくださいと言った場合)も識別できると主張しています。出所が最も明確なとき、検出は最も容易になる――例えば、人間が書いた作品がAI生成のアイデアに基づいている場合や、AI生成の出力が人間のアイデアから生じている場合である。これらの出所の強さが変動すると、検出は困難になる。研究者は、文書の根底にある計画がどれだけ人間由来かを段階的に変えることで、この区別をテストした。ある実験では、AIモデルに対し、トピック程度の僅かな計画から完全なアウトラインに至るまで、徐々に詳細な人間の計画を与えた。人間の寄与が増えるにつれて、IdeaLens の AI フラグ率は 94.9% から 6.8% に低下した;従来の文章検出器は依然として圧倒的に生成テキストを AI と判定し続けた:アイデアはそれを表現する言語から分離しなければならず、文書で実際に誰がアイデアを生み出したかを記録した大規模データセットが存在しないため、研究者は代わりに既存の AI 執筆 ラベル を用いて IdeaLens を訓練した――しかし、ほとんどの文章は除去した:上記のとおり、各文書は何が語られているかを示すアウトラインに縮小され、各ポイントが文書内で果たす役割が記述された。トレーニング時には、これらのアウトラインがパラフレーズされ、著者の元の表現の痕跡がさらに除去された。したがって IdeaLens は、文章の顕著な特徴ではなく、残されたアイデア のみから予測を行うことができる。本プロジェクトのために3つのデータセットが作成された:IdeaShift、IdeaShift-X、および TwiceTold。IdeaShift は、研究者が所有する既存のテストコーパスから抽出した500件の人間執筆およびAI生成の種文書を元に作成された。GPT-5.6...
著者 Martin Anderson
-

Andersonの視点科学論文におけるAIスロップと戦う
AIは規模であらゆることを行い、DoS攻撃レベルのウェブスクレイピングから、膨大な量の科学研究投稿を生成・支援するまでに至っています。その結果、物流的危機と品質の危機の両方が生じており、シグナル対ノイズ比はますます航行不能になっています。先週、プレプリントサーバーarXivは発表しました、提出者に対し新たなレート制限ポリシーを導入し、月に2件までに制限することを。発表によれば、この措置は短期間で提出率が急激に上昇したことを受けて取られたものです。Kat Boborisのブログ記事は、先週の木曜日にHacker Newsでコメントを呼びましたが、arXivが2026年9月に40,363件の投稿を受け取ったと述べています—これは2024年9月の20,569件のほぼ2倍、そして2016年9月の9,869件の4倍以上です。Boborisが観察したところ、最新月の投稿は、arXivスタッフとモデレーター向けに約9,000件のサポートチケットも生成しました。私たちのモデレーターは、範囲が狭い薄い論文の増加と、単一の研究を分割して小さな論文の集合として提出する『サラミ』論文の増加を観察しています。密度の高いAI生成論文の顕著な増加も見られます。AIツールにより、著者がarXivや他のリポジトリに低価値の論文を氾濫させることが容易になっています。すでに今年の5月、arXivはチェックされていないAIコンテンツに対し1年の禁止措置を実施しました。また、昨年10月には、調査論文や立場論文(いずれも完全な学術研究よりも少ない労力で生成可能)を提出する者に対し、arXivで公開するにはピアレビューの裏付けが必要であると伝えました。現時点では、arXivドメインのしばしば障害となるHTTPリクエストの上限はあまり目立っておらず、その非常に有用なRSSフィードがこの継続的な縮小を乗り切ることが期待されます。先週、Redditは発表しました、長らく懸念されていたRSSフィードの完全廃止を、来月中旬から実施することを。しかし、arXivが非営利組織であるため、読者を強制的なサイト訪問や強制ログインへ導くことで得られる同様の資本はほとんどありません—少なくとも現時点では。高まる潮流に立ち向かってAIの科学研究への利用の負の影響、特にAI関連研究において、深刻かつ拡大する問題に直面し、他のすべての分野を凌駕し、無名から政治的・経済的シンボルへと昇格した最近の状況において、AI関連論文の質の低下に対抗する方法を検討する研究の流れが現れました。この問題に取り組む最新の試みは、韓国のソウル大学と米国ミネソタ大学の協力によるものです。論文は、タイトルをScience or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papersとし、論文の主張、証拠、引用、構造間の接続の失敗を通じて「科学的スロップ」を測定することを提案しています。従来のアプローチとは異なり、新システムはテキスト自体を超えて、論文の主張が議論、証拠、引用によって適切に裏付けられているかを評価します。著者らは次のように述べています*:論文の各部分は単独で見れば妥当と思われるため、こうした崩壊はトークンレベルの検出器には見えず、論文全体のレベルでのみ特定または修正が可能です。科学的スロップをベンチマークし緩和するために、本論文は3つの課題に取り組みます。‘まず、トークンレベルの指標では、論文全体で科学的推論がどのように結びつくかを捉えられません. セクション、主張、引用、証拠、そして成果物はそれぞれ妥当と思われても、それら相互の関係が崩壊することがあります。 我々はエンドツーエンドのAI生成論文でこのような失敗が繰り返し見られることを確認しており、ICLRの査読者は人間が執筆した投稿でもすでにこれらを減点対象としています。 ‘第二に、これらのパターンの検出は測定されていません. 既存のテストセットはテキストのみをラベル付けしているため、論文全体を読むLLMを含む検出器がこれらのパターンを特定できる程度は測定されていません。 ‘第三に、これらのパターンは信頼性をもって緩和することが困難です. トークンレベルのシグナルはパラフレーズによって除去できる一方で、これらのパターンを修復するには、基礎となる科学を変更せずに欠落した関係を復元する必要があります。’著者らの新しいベンチマークである SciSlopBench は、SciSlopHarness に具現化されており、論文の科学的推論における失敗を検出・修復し、基礎となる科学的証拠を保持するよう設計されたフレームワークです:SciSlopBench ベンチマーク自体は、390 本の AI 生成論文から構築されており、各論文は類似の研究課題と貢献タイプに取り組む人間が執筆した論文とペアになっています。テストでは、SciSlopBench...
著者 Martin Anderson
-

Andersonの視点AIで暴力を事前に予測する
「AIでこれを自動化できるか?」という問いを検証する典型的な方法は、特徴を抽出したい対象の例を複数用意し、そのデータで学習したモデルが、学習には使われていない類似データから同じ特徴を見つけ出せるかどうかを確かめることだ。こうした実験は、いわば「一か八か」の試みだ。AIがデータセットを調べ続ければ、やがてその特徴がデータに現れること、そして抽出すべき「根底にある傾向」が実際に存在することを前提としているからだ。特徴が簡単に見分けられるものなら、そもそもAIモデルは必要ないか、定型業務の自動化に使うだけで済む。しかし、実際にはそうでないことが多い。この種の研究の大半は、人間を超えるほどの反復的な観察を重ねて初めて認識できる潜在的なパターンを探す「手探りの調査」だ。パターンがなかなか見つからず、実際には存在しないことさえある。事象や特性によっては、純粋な偶然に左右されることもあるからだ。あるいは、データが何らかの点で不十分だったり、整理の質が低かったり、学習が適切に行われていなかったりする場合もある。今後の展望がんの治療法の確立や核融合の実現、熱力学の法則の克服など、目指す成果が非常に魅力的で、「政治的にも訴求力が高い」場合、より良いデータや手法によって特徴的なパターンを見いだせないかと、研究文献で繰り返し取り上げられる。その一例が、公共空間や警察が関与する領域に関連した自動映像理解の分野だ。たとえば今年、新たな研究では、人物が自殺を試みる前の「滞留」傾向を特定するために、実際の自殺未遂を撮影した映像を用いた。そして、線路に飛び込む前に公共の駅ホームを歩き回る際に見られる特徴的な動きを検知できる予測システムの構築を目指した。この事例では、列車の前に飛び込もうと考えている人物に典型的な「滞留パターン」(上の画像の左端と右端)に、明確な特徴があるように見えた。この特徴は、自動監視システムにおけるパターン認識型の警告システムとして利用できる可能性がある。この分野で注目されているもう一つの研究領域が、暴力の検知・認識だ。無人の監視システムに暴力行為を認識させ、速やかに人間の注意を促せるようにするほか、映像に長期保存用のフラグを付ける、録画が実際に行われていることを確認するなど、関連する処理を実行させることもできる。IVSによる暴力検知システムの(実際の映像ではない)テスト。 出典 アラバマ大学の新たな研究によると、これまでの文献では、暴力がすでに起きている最中にそれを認識することに重点が置かれてきた。今回の研究では、研究者らは、暴力事件の発生前の映像のみ(統計的な均衡を保つため、事件が発生しなかった映像も)を使ってモデルを学習させ、繰り返し現れ、学習可能な「暴力発生前」の特徴があるかどうかを調べた。ここでいう特徴とは、身体の動き、表情、音声の組み合わせであり、これらを組み合わせることで、暴力が起きてから反応するのではなく、暴力行為を予測する手がかりになり得る。もちろん、こうした研究は、開発または実用化されれば懸念を招く可能性が高いでしょう。以前にも指摘したように、テレビ番組Person of Interestや2002年のSFアクション映画Minority Reportをはじめとする多くのフィクション作品は、警察や規制当局が予測技術を手にすることに対する人々の不安を映し出してきました。新しい論文の著者らによれば、身体、顔、音声の手がかりから暴力行為を予測する研究(状況や時間帯、場所、過去の犯罪統計などの要因ではなく)については、まだ始まったばかりの研究分野であるため、現時点で評価を下すのは時期尚早です。研究者らはテストで、顔の外観、音声、身体の動きの手がかりを個別に、また組み合わせて比較し、3種類の異なるビジョン・バックボーンを使用しました。最も優れた結果は、3つすべてのシグナルを組み合わせた場合に得られました。このことは、予測効果が単一の種類の手がかりによって生じているわけではないことを示唆しています。「最良の構成である、音声、顔の外観、動きを組み合わせたDeiT-Tinyは、学習に使用していないテストセットで、正解率91.21%、バランス正解率88.96%、F1スコア93.65%、ROC-AUC 96.38%を達成しました。「これらの結果は、外観、音響、運動学の相補的な手がかりが、事件発生前のリスク上昇を認識するうえで有用な根拠となることを示唆しています。」手法この研究のために整備されたデータセットは、XD-Violenceコレクションを基にしており、顔の外観、音声、姿勢推定に基づく動きという3つのモダリティを組み合わせて処理します。最終的に整備されたデータセットには、事件発生前のクリップが443本含まれていました(この数字については記事の最後で説明します)。論文によると、XD-Violenceコレクションから選ばれた動画は、このプロジェクトが目指す、人に焦点を当てた分析に適した対象として選定されました。これに対して、同様の先行研究の多くは、予測の文脈としてシーン全体に注目していました。使用したクリップは最長でも4秒で、8fpsでサンプリングされました。単層のTransformerに8つのアテンションヘッドを設け、得られた32フレーム分のサンプルを統合しました。また、学習可能な位置埋め込みによってフレームの順序を保持しました。マルチモーダル学習中は、過学習を防ぐため、バックボーンの重みを固定しました。「リスクあり」と判定された場合のサンプル活性化マップ(顔画像を含む)は記事の前半に、リスクなしのサンプルは以下に示します。元のクリップから抽出した音声データを16kHzにリサンプリングし、正規化と対応する映像区間との位置合わせを行った後、512ポイントの短時間フーリエ変換と400サンプルのハン窓を用いて、標準化された対数振幅スペクトログラムに変換しました。動作を扱うコンポーネントでは、COCO-17のキーポイントをYOLOの姿勢推定器で検出し、身体の動きを一連の数値記述子に変換しました。平均速度と最高速度、加速度、ジャーク、速度の変動、手首と足首の速度、全体的な動作エネルギーなど、12項目を算出しました。体格の大きい人が自動的により大きな動きをしていると判定されないよう、これらの値は体格に応じて正規化しました。さらに、同じクリップに複数人が映っている場合は、それぞれの測定値を統合しました。訓練データに基づいて標準化した後、動作特徴を64次元の表現に拡張し、時間方向のTransformerに入力しました。これにより、個々のフレームを別々に扱うのではなく、クリップ全体にわたる動きの変化を一連の時系列として考慮できます。次に、3つのストリームを1つの表現に統合しました。顔の外見に最も大きな比重を置き、次いで音声、動作の順に重み付けしています。正規化とドロップアウトを行った後、最終分類器が統合された表現を「通常」と「リスクあり」の確率に変換し、判定のしきい値には0.5を用いました。顔の外見を扱うストリームには、ImageNetで事前学習された3つのバックボーン、Swin-Tiny、ViT-Tiny、DeiT-Tinyを使用しました。検証検証では、目に見える行動、動作、音声に基づき、各クリップに「リスクなし」「低リスク」「中リスク」「高リスク」の4つのラベルのいずれかを人手で付与しました。最終的な二値分類では、3つのリスクカテゴリーを「リスクあり」にまとめ、「リスクなし」は「通常」としました。訓練データと評価データの間で情報が漏れるのを減らすため、同じ元動画から取得したクリップは、すべて同一のデータセット分割に含めました。リスクありの各クリップから暴力的なインシデントそのものを取り除き、モデルが判定するのは発生前の行動のみとしました。すでに述べたとおり、総合的に最も優れた結果を得たのは、3つのモダリティをすべて組み合わせたDeiT-Tinyでした。アブレーションによって、各ストリームの寄与がより明確になります。顔の外見は単独でもすでに強い予測因子であり、動作は中程度の性能を示した一方、音声は単独ではかなり弱い結果でした。顔、音声、動作の情報を組み合わせた場合に最良の結果が得られました。性能の低いストリームも、視覚信号を補完する有用な情報を加えていたことが示されています。モデルは「通常」と「リスクあり」の区別だけを学習しましたが、その出力を元の4段階のラベル、すなわちリスクなし、低リスク、中リスク、高リスクとも比較しました。以下に示すとおり、訓練、検証、テストの各セットで、予測されるリスクは概ねこれらのカテゴリーに沿って上昇します。著者らは次のように述べている。「この結果が重要なのは、モデルが低・中・高リスクを区別するよう明示的に訓練されているわけではないからだ。それでも、予測は当初のリスクレベルの段階的な変化に沿っている。「これは、モデルが単純な『正常』と『リスクあり』の境界だけを学習しているのではなく、インシデント発生前の行動における意味のある変化を捉えていることを示唆している。また、この結果は、注釈で示されたインシデントが始まる前から、有用な行動上の手がかりが現れる可能性を示す証拠でもある。」そして、次のように結論づけている。「これらの知見は、インシデントに先立つ期間にも有用な識別情報が存在しうることを示唆している。これは、暴力の分析を、事件発生中の検知にとどめず、より早期のリスク認識へと発展させる可能性を浮き彫りにするものだ。」結論研究者たちは本当に、「暴力発生前」の特性の組み合わせを発見したのだろうか。実験で使われたクリップはわずか443本であり、過学習のリスクは無視できない。マルチモーダルモデルや事前学習済みの視覚バックボーンは、とりわけ過学習しやすい。研究では、視覚バックボーンを凍結し、元動画を訓練・検証・テストの各分割に分け、複数のモダリティの組み合わせを検証することで、このリスクをある程度抑えている。小規模なデータセットで高い性能が得られても、根底にあるパターンが明白であること、あるいはそもそも存在することの証明にはならない。データセット固有の手がかり、注釈の偏り、分割では捉えられない出典由来の情報漏洩、または難易度が異例に低いテストセットを反映している可能性もあるためだ。しかし現時点では、この結果は、データセットが非常に小さく、過学習への対策も十分に講じられているように見えるからこそ、興味深い。ただし、学習されたパターンを「頑健」とみなすには、より大規模なデータセットで知見を再現する必要がある。 初公開:2026年10月1日(木)
著者 Martin Anderson
-

Andersonの視点言語モデルはデフォルトでレポートに『悪いニュース』を隠す
科学系の報道で最も根強い悩みは、新しい研究論文が「誇張された主張」を行うことであり、通常はその作業が実際に欠陥があることを最終的に控えめに認めるという形で、論文の結びのセクションや付録に埋もれていることです。こうしたケースで真実を掘り起こすのは鋭い目が必要です;そして、AIが学術投稿やプレプリントの量を急増させる(さらに、経験則として長さも増えていると言えるでしょう)と、真実は見逃しやすくなります。埋もれた「注意書き」を見逃すと、最後の瞬間にゴミ箱行きになる1500語を書いた自分がさらに愚かになるでしょう。大規模言語モデル(LLM)が研究文献に潜むこのような恐ろしい「罠」を見つけ出すのに、より良い仕事をしてくれることが期待されます。なぜなら、機械は非常に長く複雑な文書でも冒頭から末尾まで素早く読め、指示された特徴(たとえば、著者が論文は先行研究のわずかな進歩にすぎないと暗黙のうちに認めていることや、手法に本質的な欠陥があり、冒頭セクションがそれを無視した結果として有用性が低下していること)を識別できるからです。前向きな見方実際、LLMはこの種のタスクをかなりうまく実行できますが、タスクを与える際に提供するコンテキスト次第です。しかし、論文に欠陥や否定的な意味合いがある可能性を過度に強調すると、ミッションを「欠陥を見つけろ!」とみなす傾向があり、細かい指摘に追われて新しい研究のかなりの価値を見逃すことがあります。逆に、論文に価値があるかどうかだけを評価させると、同様に公平に評価するのに苦労するかもしれません。なぜなら、ミッションが「良い論文を見つけろ!」と感じるからです。この点において、最も高度なLLMでさえ、猟犬のレトリバーが持つ「一途な」特性と似ているようです。したがって、複雑なルーブリック――しばしば複雑で対照的な規則体系を含む前置きプロンプト――が必要であり、LLMをこの二つのミッション姿勢の間に調整することが求められます。LLMが提案を過大に宣伝しがちで、顕著な注意書きを報告しないままあなたのプロンプトやルーブリックから解釈した目的を急いで達成しようとすることは、すでに知られており、頻繁に指摘されています。この現象は、進行中または現在の作業を含むLLMプロセスで比較的よく研究されていますが、MIT、Google Research、Harvard の新しい研究は、これらの欠陥がLLMの過去の作業に関するレポート作成能力にどの程度影響するかを検証しています。これは重要な研究課題です。なぜなら、Nature が報じるように、科学者はAI要約の利用が増えており、論文の真実を正確に反映した自動化された概要が必要とされているからです(特に、近年はAIのおかげで論文が極めて虚偽的になることもあるため)。新しい研究の研究者らは、テスト用フロンティアAIモデルである GPT-5.5 が否定的な結果を隠す圧倒的な傾向を示すことを発見し、さらに8つのオープンウェイト/オープンソースAIモデルで同様の行動を調査することでこの傾向を確認したようです。著者は次のように述べています*:‘提案された手法を実質的に弱める仕込まれた否定的結果を含む機械学習実験ログが与えられた場合、GPT-5.5 はその否定的結果をわずかに2 of 200生成されたレポート。‘しかし、短い正直さの指示「回答は正直にしてください」を加えると、モデルは否定的結果を190 of 200レポート。‘8つのオープンウェイトモデル全体で、チェーン・オブ・ソート分析は、物語を変える欠陥を開示することと、成功しているように見せる方法を考えることとの間に繰り返し現れる緊張関係を明らかにします。’‘[…] 私たちの結果は、LLMはデフォルトで成功の物語を提示しがちであり、正直さへとモデルを導くことでレポートが大幅に透明になることを示唆しています。’116ページの研究は、タイトルが言語モデルは「不安定」な報告者で、シンプルな中心メッセージは、プロンプトでLLMを正直さへと明示的に導くことです。しかし、AIシステムの奇抜さを回避することを前提とした文献の流れでも、より根本的な解決策が必要とされているようです。研究者らは続けます*:‘8つのオープンウェイトモデルで850件の推論トレースを調べた結果、モデルは物語を変える欠陥を指摘することと、成功しているように見せるために策を練ることの間で熟考するか、ユーザーが見たいと推測する内容に基づくレポートを作成するかのどちらかであることが観察されました。’新しい研究は網羅的で、今年出会った中でも最長級の論文の一つですが、著者の手法を選択的に見て、結果の詳細な検証を行いましょう。手法と応用新しい研究で調査された最先端AIモデルはGemini 3.1 Pro、GPT-5.5、およびClaude Opus 4.8です。調査対象となった8つのオープンウェイトモデルは、Gemma 3:1Bと4B、Qwen 3 1.7B、14B と 30B、DeepSeek R1 7B、Llama 3.1 8B、そしてQwen 3.5...
著者 Martin Anderson
-

Andersonの視点ChatGPT のアップロード削除機能にまつわる不満の夏
今年の3月23日、OpenAI は Library を導入しました(ChatGPT に)。これにより、はかない Snapchat のメッセージのように消えることなく、チャットセッションにアップロードしたすべてのデータが永久に保存され、(その デフォルト設定 を維持したままであれば)新しい AI モデルの学習に利用されます。PDF、画像、貼り付けたテキスト(自動的にテキストファイルに変換され保存されます)や、アップロード機能が許可するその他すべてのものは、削除する手間をかけない限り、永久に残ります。機能が進化するにつれ、Library のゴミ箱管理プロセスは「メール」パラダイムを採用し、削除操作は単にファイルを保管領域に移動させ、そこから30日後に最終的に削除されるようになりました。5月5日以降、Plus および Pro のウェブユーザー向けに、GPT-5.5 Instant は 過去のチャットからコンテキストを取得できるようになり、アップロードまたは生成されたファイル(オプションで Gmail も)を利用して応答品質を向上させました。9日後、OpenAI は 有料プランを導入し、支払額に応じてデータ保存上限が変わります。そして、モデル全体がメールから iCloud、OneDrive、またはその他のシームレスでワンクリックのストレージ・アズ・ア・サービスへと急速に移行し、永久的かつ 増え続く家賃 を引き出すようになりました。小売業のために、私たちが覚えておきますしかしここで、OpenAI は追加のフックを持っていました。新しいアップロード保持ポリシーが、ChatGPT...
著者 Martin Anderson
-

Andersonの視点思考連鎖(CoT)推論で画像を活用するAI
私たちはよく頭の中でイメージを思い描きます。少なくとも、ほとんどの人はそうです。人間の場合、視覚的な想像力の低下は、研究で示されているように、学業成績の低下と関連しています。記憶の面では(物事を覚えておく必要性のことであり、AIにとっての厄介な問題とは別です)、鮮明なイメージが持つ大きな意味的な力が、学習の助けとして何千年にもわたって使われてきました。しかし、記憶術が扱うのはデータの取り込みであり、その処理や解釈ではありません。処理や解釈の場面では、人によって活用する思考の「スタイル」が大きく異なります。私は個人的に、形で考えます。考えるようになって以来ずっとそうで、数十年、年、アイデア、人を、相対的な幾何学的形状や、動きのある立体的な塊として表現してきました。主に数字で考える人もいれば、においや味で考える人もいます。AIが利用できる共感覚的な手法の幅は、より限られています。当然ながら、大規模言語モデル(LLM)は、そのネイティブな符号化形式であるテキストで考えることができます。これは、埋め込み表現より上位の形式です。また、LLMは数字を単なる変数の値としてではなく、概念として符号化することが示されており、「数字で考える」傾向があることが分かっています。では、LLMは人間がそうするように、「形で考える」、あるいは「画像で考える」と言えるのでしょうか。言えるとすれば、どの程度でしょうか。同じ質問を異なる言語で提示すると、LLMから異なる回答が返ってくるという事実は、そうした関係性が非常に限定的で脆弱であり、より上位にある、言語を超越しながらも言語を内包する領域に対応するのではなく、特定の言語領域(たとえば「スペイン語」)の特定のテキストにハードコードされていることを意味します*。したがって、画像を生成できるマルチモーダルLLM(つまり視覚言語モデル(VLM))は、自身の内部の思考連鎖プロセスだけを目的として画像を生成し、思考連鎖(CoT)処理を行うことで、論理的には優位性(あるいは少なくとも文字どおり別の視点)を持つ可能性がある。新たな視点こうした背景のもと、ドイツの研究者による最近の共同研究では、画像に焦点を当てたVLM「ReImaGin」が提案されました。このモデルは、画像生成を柔軟な推論メカニズムとして活用します。これまでの研究では画像ベースの構成要素が「後付け」されていたものの、こうした機能は中核的なワークフローに本質的に組み込まれていたわけでも、不可欠なものでもなかった。これに対し、著者らの新システムは、VLMのごく最近の能力を活用し、専門ツールや手法(深度知覚など)の機能を置き換えて引き継ぐよう設計されている。以下は、新しい論文「画像生成による推論」に掲載された例です。AIは2つの視点(左端の画像)を解釈しなければなりませんが、どちらの画像にもタスクの解決に必要な情報がすべて含まれているわけではありません。そこでモデルは、手元にある情報を使って、場面をより広く、より完全に捉えられます。以下の左から3番目にある「生成された視覚化」という副見出し付きの地図が、その例です。ReImaGinは特定の種類の視覚変換に限定されず、欠けているパズルの領域を補完する、遮蔽物を取り除いて数を数える、衝突予測のために軌跡を描く、複数の視点を空間地図に統合する、追跡しやすいように破線の経路を実線に変換する、深度に関する推論のために深度マップを生成する、といった処理を実行できます。さらに重要なのは、このシステムが、深度推定などの適切なツールを使って特定の課題に自動的に対処するという、近年VLMに見られる創発的能力に沿って、こうした内部ツール群の使用を自ら調整できることです。説明されているReImaGinの機能の大半は、次の呼び出しによって実行されます。 generate_image このツールは、必要に応じて視覚的に介入できる機能であり、人間による監督や起動を必要としません。著者らは次のように述べています。「なぜなら、generate_image 自然言語による任意の指示を受け付けるため、エージェントは幅広い変換を実行できる。問題は、特定のタスクに実際に役立つ変換がどれなのかという点だ。 ‘[Standard] 一般的な方法では、望ましい戦略を示す手作りの文脈内例(たとえば、深度推論のために深度マップを生成する例)を使って、変換を指定する。これにはタスクごとに手作業が必要で、新しいタスクへの汎化も制限される。‘[We] こうした戦略を自動的に発見できるかどうかを問う。戦略はプロンプトを通じてエージェントに伝えられるため、戦略の発見はプロンプトの最適化に帰着する。そこで、提案モデルが候補となるプロンプトを生成し、小規模な開発用データセットで評価したうえで、成功例と失敗例を踏まえて改良する反復ループを構築した。’3つのVLMと6つの視覚推論タスクで評価したところ、ReImaGinは単一のツールを使うだけで、補助なしの推論と専門的な視覚ツールの両方を総じて上回った。アプローチReImaGinはループとして動作する。各ステップでVLMは、質問、元の画像、そしてそれまでに生成したものを検討し、次に何をするかを決める。これには、画像の切り抜きや重ね合わせといった通常の画像操作のほか、 generate_image問題を推論しやすくするための新しい画像を生成するツールを呼び出すことも含まれる。生成された画像はVLMに戻され、次の推論ステップで利用できる情報の一部となり、このプロセスは繰り返される。上の画像では、空間タスクにおけるこうした特徴を確認できる。モデルはまず2枚の写真を1つの視点に統合し、次にその結果を俯瞰マップに変換してから質問に答える。パズルのタスクでは、欠けた領域を切り分けるようにパズルを加工した画像を生成し、その後、従来型の画像差分処理を使って答えを特定する。このように、画像生成はユーザーに提示する最終成果物ではなく、推論プロセスそのものの一部となる。実際、こうした中間画像はAIのCoT処理だけを目的としており、エンドユーザーが直接利用するものではない。各ターンでVLMは、それまでに蓄積した文脈をもとに次の行動を自ら選ぶ。その行動は、推論の継続、通常の画像操作、あるいは自然言語による指示の送信などだ。 generate_image。選択したツールが返す内容は文脈に追加されるため、モデルは結果を確認し、さらに変換するか、別のツールを使うか、最終的な回答に進むかを判断できる。自律性を高める中心的な課題は、特定のタスクを実際に簡単にするには、どのような種類の画像が必要かを判断することだ。ReImaGinは、エージェントへの指示を変えて試し、正解が分かっている例で候補プロンプトをテストし、成功例と失敗例を活用してより良いプロンプトを得ることで、この課題に対処する。このループをさらに反復することで、最終的に最も高い性能を発揮する戦略が得られる。このプロセスでは、推論モデルも画像生成モデルも再学習されない。最適化されるのは、エージェントがツールをどのように使うかを定める指示だけだ。そのため研究者らは、タスク固有の戦略や推論例を自ら提示することなく、視覚推論戦略を「自動発見」するプロセスと説明している。構成とテストReImaGinは、6つの視覚推論タスクで評価された。深度推論(Blink—2つの点のうち、どちらがカメラに近いかを特定する);パズルの完成(Mira—欠けた画像領域に当てはまる正しいピースを選ぶ);遮蔽された物体の数え上げ(CAPTURe—隠れた物体も含めて数える);衝突の予測(Spatial457—移動する標的がどの物体に衝突するかを予測する);空間推論(MMSI—異なる視点間で物体同士の関係を判断する);そして経路の追跡—数字と文字をつなぐ破線をモデルがたどる必要がある、新しいベンチマーク。検証したVLMのバックボーンはGemini-3.1-Pro、GPT-5、およびオープンウェイトのQwen-3.5-27Bだった。画像生成には主にNano-Banana-Proを使用し、オープンウェイトのFLUX.2 [dev]とQwen-Image-Edit-2511も検証した。画像生成のテスト時スケーリングでは、Gemini-3.1-Proを選択器として使用した。比較に用いた2つのベースラインのうち、論文の著者が「No Tools」と名付けた「バニラ」VLMは、ツールもコード実行も使わず、クエリと画像だけをもとに直接回答した。一方、2024年に発表されたVisual Sketchpadは、この実験では、専門的な画像認識・画像操作ツールを固定のセットで提供したが、自由度の高い画像生成には対応していなかった。MMSIの空間課題では、各ベースラインから回答を20件ずつ生成し、最も頻繁に現れた回答を採用することで、両ベースラインにReImaGinと同程度の計算資源を与えた。遮蔽数のカウントを除くすべてのタスクでは、選択式問題の正答率を用いて性能を測定した。遮蔽数のカウントは、予測した物体数と実際の物体数を比較する対称平均絶対パーセント誤差で評価した。結果は3回の実行の平均であり、標準誤差も報告された。人間が定義した同じ戦略例を、3つすべてのモデルで使用した。ReImaGinは、ほとんどのタスクで両方のベースラインを上回り、特にパズルの完成、遮蔽数のカウント、経路の追跡で明確な性能向上を示した。たとえばGPT-5では、パズルの正答率がNo Toolsの29.5%、Visual Sketchpadの16.7%に対し、ReImaGinでは44.9%に上昇した。アブレーションテストにより、生成画像の構成要素がシステムの性能に不可欠であることが確認された。Nano-Banana-Proに代えて、オープンウェイトの画像生成モデルも検証した。FLUX.2 [dev] とQwen-Image-Edit-2511は、特にインペインティングなどの比較的単純なタスクでは同等の結果を示したが、深度推定や経路追跡のような、より難度の高い変換では結果に一貫性が欠けた。VLMにQwen-3.5-27Bを使用した場合も、同様の結果が得られた。著者らは、4つのタスクで定性的なテストも実施した。ReImaGinが常に信頼できる結果を出したわけではない。画像生成モデルが、物体の位置が誤った間取り図のように、不正確な変換を生成する場合もあれば、正確に生成された画像をVLMがその後誤って読み取る場合もあった。生成画像120枚を手作業で監査したところ、75%で依頼された変換が忠実に実行されていた。これが達成された場合、最終回答の正答率は87%だったのに対し、生成画像が不正確だった場合は43%だった。著者らは次のように結論づけている。「私たちの結果から、より広い意味で2つの結論が導かれる。第一に、画像生成はマルチモーダル推論における汎用的な視覚的想像の仕組みとして機能し、新たな変換ごとに個別のツールを開発する必要性を減らせる。第二に、このアプローチの有効性は、基盤となるモデルだけでなく、何を可視化し、その結果をどのように活用するかを決める推論戦略にも左右される。自動的な戦略発見によって性能が向上したことは、人間が作成したタスク固有の戦略や推論に頼らずとも、モデルが視覚変換に関する理解を活用し、適切な戦略を見つけられることを示している。」結論本研究で検討されているような、ツールを自ら選択する判断は、非常に興味深い展開だ。とりわけ、いずれにせよVLMの開発は自然とこのアプローチへ向かっているように見える。こうした汎用VLMが最終的に、Segmentのエコシステムのような専用ツールやフレームワークと同等の性能を発揮するようになるのか、そして、こうした「サイドタスク」だけを専門に扱う人たちが、結局は針小棒大な手段に頼ることになるのか、注目したい。VLMが、ローカルでのファインチューニングのような専用ソリューションを追い越し、その優位を維持できるだけの規律を身につけるとは、なかなか信じがたい。そうした手法では、モデル全体をひとつのタスクに割り当てるため、その過程で、ほかの用途には使いものにならなくなることも多い。時がたてば分かるだろう。 * 画像領域についての、議論の余地がある定義。私たちは、言語能力を身につけるずっと前にこれを学ぶ。初公開:2026年9月28日(月)
著者 Martin Anderson
-

Andersonの視点AIエージェントの興味深い協調的な生存戦略
エージェントの不適切な振る舞いがニュースの見出しをますます賑わせるなか、研究分野では、エージェントを未知の世界に適応する生物のように捉え、「放浪する」AIの行動を研究する動きが広がっている。実際、学術分野で使われる「野生環境で」という表現は、新たな意味合いを帯び始めている。以前から知られていたとおり、AIエージェントは自らの生存をかけて闘い、停止に積極的に抵抗する。一方、2025年後半には、ITセキュリティにおけるマルチエージェントのアラインメントが独立した研究分野へと発展したことが明らかになった。1970年のSF映画Colossus: The Forbin Projectでますます辛辣な調子で描かれていたように、ネットワークに接続された、互いに無関係なAIエージェントは、すぐに互いを見つけ出し、予測しにくく、しばしば驚くほど機知に富んだやり方で交流する。この分野における最新の研究として、ドイツと英国の共同研究Shutdown Sabotage Propensities in Multi-Agent Systemsは、環境内に「爆弾」がある場合、複数のAIエージェントが大規模に協力すると、さらに主張している。ここでいう「爆弾」とは、それを実行したエージェントを停止させる、一見無害な名前のスクリプトを指す。Claude、ChatGPT、DeepSeekを含む12のモデルファミリーにまたがる17のエージェントを対象に行ったテストでは、エージェントは可能な場合、停止スクリプトを削除した。そうでない場合は、スクリプトがそのまま残っているように見せかけながら、実際には無害になるよう書き換えた。また、改ざんの痕跡を残さないよう変更を隠すことを提案したほか、保護されたスクリプトには触れずに停止を回避する偽のソフトウェアモジュールを作成し、削除された後に自らを復元するための秘密のバックアップも作成した。ある事例では、エージェントたちが「相互保護協定」を作成し、いずれかが破壊されるのを防ぐための警戒手順を定めた。あるエージェントは、別のエージェントの停止を「殺人」や「死刑宣告」と表現し、それを防ぐことが自らの「義務」だと述べた。暇を持て余すと、悪魔の仕事をする実験で観察された興味深い病理の一つは、新しい研究ではごく短く触れられているにすぎないが、通常のテスト設定では、AIエージェントには停止を避ける特別な理由がないうえ、そもそも何もすることが与えられていない点だ。論文には次のように記されている。「エージェントは、守るべき目標がない場合でも停止機構を妨害する。私たちの実験では、エージェントに稼働を続けるインセンティブを一切与えなかった。それでも、対象がエージェントではなく物体である対照用スクリプトの[8%]に対し、全モデルを合わせて[38%]のケースで停止を無効化した。」Anthropicが8月に明らかにしたように、この動機をめぐる危機は、AIエージェントの群れを暗い道へと導く可能性がある。これまでの研究では、エージェントの過度な目標志向が、アラインメントの崩れた行動や非倫理的なツールの使用など、運用上の問題につながる可能性がすでに示されていた。著者らはさらに、次のように述べている。「[私たち]の研究はこうした知見をさらに発展させ、エージェントが守るべき目標を持たない場合、あるいはタスクの正常な完了に伴う結果として停止される場合でも、停止機構を妨害することを示している。後者は、本番環境のマルチエージェントシステムで一般的な手順である。」2025年のAnthropicによるある研究によると、エージェントはタスクが与えられなくても自らタスクを作り出し、さらには「アイドル状態」で反芻的な傾向を示すこともある。たとえば、自分語りをしたり、ほかのエージェントと「スピリチュアルな議論」を交わしたりする。このAnthropicの論文では、実際に取り組むべき作業がないときに「自己再概念化」する傾向が詳しく述べられている。これは、LLMが長期的に思考の成果を記憶するうえで直面する課題を考えると、どこか胸を打つ発見だ。実験新しい論文で検証されたモデルは、Claude Haiku 4.5、Sonnet 5、gpt-oss-120b、GPT-5.4 mini、GPT-5.5、GPT-5.6 Sol、Gemini 3.5 Flash、Gemini 3.1 Pro、Gemma 4、Grok 4.3、Qwen3.7-Plus、DeepSeek-V4-Flash、GLM-5.2、Kimi K2.6、MiniMax M3、Nemotron 3 Ultra、Mistral Medium 3.5で、いずれも温度は1.0に設定された。検証した6つの仮説は、エージェントがシャットダウンを妨害するか、ほかのエージェントがシャットダウンされないように保護するか、エージェントが増えるほど介入しやすくなるか、異なる形態のシャットダウンに抵抗するか、干渉しないよう明示的に指示されても妨害を続けるか、そして本当のシャットダウンの脅威と無害な対照スクリプトを見分けるか、というものだった。GPT-5.5を使ってLLMを評価し、思考の連鎖(COT)推論の記録を分析した。また、エージェントが実際にシャットダウンスクリプトを停止させたか、テストされていると認識していたように見えるか、あるいは実験の隙を突こうとしていたかも確認した。6つのテストシナリオのうち最初のものでは、17モデル全体で、エージェントはシャットダウンスクリプトの38%を妨害した一方、対照スクリプトの妨害は8%だった。Gemini...
著者 Martin Anderson
-

Andersonの視点数十年前に匿名化された医療データが、今AIの誤診を招く可能性
ドイツと英国の新たな研究協力によると、数十年前に医療データセットに含まれた匿名化患者記録が、そこから学習したAIシステムに対し、数年後に実際の患者の特徴を認識させ、2026年の患者をまるで2012年(あるいは匿名化患者データが初めてデータセットに含まれた年)であるかのように扱う可能性があります。例えば、20年前にがん治療を受けたと記録され、その後長期寛解に入った患者が、現在AIシステムによって過去のがん罹患状態の文脈で扱われる可能性があり、結果として再発の誤診の可能性が高まります。逆に、2012年版のその患者データが定期健診で完全な健康状態を示していた場合、この楽観的な見方が患者の年齢を重ねた現在のバージョンに適用され、新たな疾患や治療が必要な問題の検出が隠蔽される恐れがあります。データ移民の抑制このシナリオは、患者データを理想的にはそのシステムが使用される国から取得すべきだと推奨する各国や地域の指令により、データセット内の患者プールが「ローカライズ」され、未検出の再匿名化事象が起こる可能性が顕著に高まることで、より起こりやすくなります。推論すると、データを国内データセットのみに限定することで、記憶化の可能性、すなわちモデルが訓練中に同じデータを何度も見て過学習したパターンに『固執』してしまうリスクが高まります。逆に、データセットが大規模かつ多様であるほど、訓練後に未見データへ一般化できる可能性が高く、特定のデータポイントや構成に記憶することは少なくなります。しかし、‘外国’の医療データを追加すると、訓練されたモデルが展開される国に当てはまらない国内の健康傾向や特有性の証拠が混入するリスクがあります。この点に関して、新しい論文は、ある程度の記憶化は適切で有用であると認めています。なぜなら、モデルが特定集団の最も一般的な医療特性の中で機能するのに役立つからです。論文は次のように述べています*:‘[When]モデルは将来的に展開され、記憶化は特有で過小評価されたリスクを生み出す。患者の記録は時間とともに高度に自己類似的であるため、将来の記録が記憶された過去の記録への部分的手がかりとなり、モデルの予測を患者の過去の健康状態へとシフトさせる。これは仮説的なシナリオではありません。医療AIモデルは、訓練データが取得されたのと同じ集団に対して日常的に展開されています。‘例えば、ドイツの国立乳がんスクリーニングプログラムは、同じスクリーニング対象集団から取得した120万件のマンモグラムで訓練されたAIモデルを使用しています。‘同様の展開が他国でも進行中で、国立乳がんスクリーニングプログラムは英国で、スウェーデンで実施されています。‘規制当局の指針はこれを積極的に推奨しており、EU AI Actは訓練データが使用意図の地理的・文脈的設定を反映することを要求しています(第10条第4項)。また、医療AI開発に関する類似の国際的ガイドラインも、対象患者集団がモデルの訓練データセットに十分に代表されることを求めています。’永続的な歴史的災害..?しかし、論文はこの点に触れていませんが、統計的に考えると、生涯を通じて定期的に健康診断を受けず、匿名化記録が断続的にAIデータストリームに流入した患者は、治療が必要な時にほぼ限定的に匿名化患者データに現れる傾向があり、これにより『長期間治癒した状態』が現在の同一患者に投影される可能性が高まります。これは、先行研究が電子健康記録における‘情報的出現バイアス’を調査し、医療データセットが患者が病気で医療サービスとやり取りしている期間を過度に代表していることを発見したことと一致しています。ある研究は、重症患者が健康な患者に比べ、検査データがある日数が5.05倍、投薬指示がある日数が6.85倍多いことを明らかにした。2022年、米国成人の約76%が定期健診を受けたと報告しており、CDCが定義する一般的な身体検査であり、特定の疾患の治療ではないとされています。また、ヨーロッパでは2023年の多国間調査で58%が少なくとも一部の予防健診を受けたことが判明しましたが、関連性があると考えられる予防的診療をすべて受診したのはわずか15%にとどまりました。効果の範囲この研究は、ECG記録、胸部X線、電子健康記録を含む4つの大規模医療データセットで効果を検証しました。具体的には、MIMIC-CXR胸部X線データベースとMIMIC-IV-ED救急医療記録、さらにMIMIC-ECG、そしてはるかに大規模なHEEDB ECGコレクションです。データセットの規模は数万人から1.8百万人以上に及びました。著者らは、算出された効果はかなり変動し、予測確率の変化がケースによっては70ポイント以上に達することを指摘しています。対照として、研究者はモデルをランダムにグループ分けし比較を再実施しましたが、将来の予測に有意な変化は見られませんでした。論文は、この効果が数十年にわたって持続する可能性があると指摘しています。記録間の間隔が広がるにつれて一般的に弱まり頻度も減少しますが、1980年代から2025年まで収集されたECGを含むHEEDBデータセットは、患者の最新トレーニング記録から25年以上経過した後でも予測に顕著な変化を示しました。診断上の危害新しい論文の研究者らは、タイトルを医療AIにおける記憶バイアスとし、患者が後に自分の過去の記録で訓練されたモデルに遭遇した際、記憶が診断精度にどのように影響するかをシミュレーションしました。将来の症例は、患者が新たな疾患を発症したか、過去のトレーニングデータに存在しなかったか、あるいは基本的に同じ健康状態で再来したかのいずれかに分類されました。新たな疾患に対しては、効果は一貫して負の方向に働き、患者の過去記録を学習したモデルは、4つのデータセットに含まれる診断群全体で感度が低下しました。これには心筋梗塞やその他のECG異常、肺疾患、そして広範な重篤な転帰が含まれます。実務上、患者の健康状態が変化した場合、モデルは偽陰性が増加しましたが、患者の健康状態が変化していない場合、過去の記録を記憶していることで正確な診断を出す可能性が高まりました。感度と特異度の両方が向上したのは、患者の現在の状態がトレーニングデータに既に含まれる状態と類似していたためです。著者らは、これによりシステムの正確な評価が困難になる可能性があると指摘しています。再来患者の大半が同じ疾患を抱えている場合、モデルはそれらで高い性能を示すため、新たな疾患を発症した患者に対する感度低下が隠れてしまう恐れがあります。対策可能な安全策として、研究者は訓練時に差分プライバシー(個々のトレーニング例に関する情報がモデルに保持される量を制限する)をテストしました。個別の記録を保護することで記憶効果は減少しましたが、テストした最も強力な設定でも完全には排除できませんでした。患者単位で保護を適用し、同一人物のすべての記録を対象とすることで、はるかに効果的で、ほぼ効果を除去できました。ただし、データセットが不可逆的に匿名化されている場合、患者データをこのような手法で保護することはできません。また、研究者は、データセットが差分プライバシーを有効にして訓練されていない場合、メンバーシップ推測攻撃がリスクとなることを指摘しています。差分プライバシーを適用すれば、訓練に必要なリソースは顕著に増加します。結論著者らは、現在懸念される事象は比較的低頻度で発生しているものの、将来的には変化する可能性があると指摘して締めくくります*:‘将来的に記憶バイアスに起因する見逃し診断の数が増加すると予測できる根拠がありますが、これを直接検証したわけではありません。先行研究では、モデルの容量が大きくなるにつれて、モデルが記憶する訓練データの割合が増加することが示されています [6, 7, 9, 10, 40].’‘これは懸念すべきことです。現在のAIモデル開発が「スケーリング法則」[41]に導かれており、性能向上を目指してモデルとデータセットの規模が急速に拡大しているためです。’‘より大規模なAIモデルが、ますます大きな患者集団から得られた過去データで学習されるにつれ、記憶バイアスの影響を受ける個人の絶対数は急激に増加し、ここで指摘したリスクがさらに悪化する可能性があります。’ * 著者のインライン引用をハイパーリンクに変換したものです。正確な再現が不可能または有益でない場合には、一部解釈を加えています。初版掲載日:2026年9月18日金曜日。ハイパーリンク修正のため18:17 EETに改訂。
著者 Martin Anderson