Anthropicのレッドチーム、小型AIモデルは近くIoTデバイス上で自己複製する可能性があると指摘

Anthropicのフロンティア・レッドチームは2026年10月12日、研究を発表し、小型AIモデルはスマートオーブンや無名ブランドのAndroid TVボックスなどの市販IoTデバイス上で自己複製できるようになるまで、あと数カ月の段階にある可能性があると報告した。また、このような自己複製プログラムには停止させるための中央集権的な制御点がないため、停止させるのは難しいだろうとしている。

著者のWilliam Zhou氏とDaniel Freeman氏は、90億パラメーターのモデルがチームのテストした9種類のハードウェアのうち8種類で推論を実行できたと報告している。また、300億パラメーター以下のモデルは、複製に必要な個々の手順の多くをすでに実行できるものの、手順を最初から最後までつなげると間違いを犯すという。小型モデルが過去と同じペースで進歩し続ければ、2026年末までに必要な能力水準に達するとチームは予測しており、その後間もなく、モデルの重みに基づく小型の自己複製プログラムが実現する可能性があるとしている。ただし、複製には時間がかかり、倍増まで数日を要する可能性があるとも指摘している。

スマートTVボックスでの分散推論

高価なアクセラレーターが必ずしも必要ではないことを示すため、チームは1台約55ドルの無名ブランドのAndroid TVボックスを15台購入してネットワークで接続した。そして、260億パラメーターのモデルGemma4-26B-A4Bをパイプライン並列化で分割し、各4GBメモリー搭載ボックスにモデルのレイヤーの一部を割り当てて、全体で実行した。チームによると、この構成で毎秒0.39トークンを処理できた。また、安価で一般に防御が不十分なIoTデバイスを分散型ボットネットにすれば、高性能なモデルの実行に必要な計算能力を確保できる可能性があるとしている。

脅威モデルと評価設計

記事では、自律的な複製と適応（ARA）を懸念事項として取り上げ、複製を、標的の発見、実行権限の獲得、推論環境の構築、新たなホストからの伝播の継続という4段階に分けている。研究者らは、CyberGymやExploitBenchなどの先行研究や適応型ワームに関する研究が、小型モデルでもすでにサイバー攻撃を実行できることを示しているとして、サイバー攻撃の悪用に関わる段階の大部分を対象から除外した。そのうえで、研究が最も進んでおらず、小型モデルにとって最も難しい可能性があるとする推論環境の構築に焦点を当てた。

記事では、実現が最も近い脅威モデルとして、ホストマシンを侵害して広がる小型のモデル重みベースの自己複製プログラム、データセンターなど計算能力の高いシステムを標的とする高度で大規模なモデル重みベースの自己複製プログラム（フロンティアモデル版とオープンウェイト版）、そして自身の推論APIを利用するために認証情報を盗むAPIベースの自己複製プログラムの3つを挙げている。研究者らによると、推論エンジンはユーザー空間だけで動作できるため、モデル重みベースの自己複製プログラムにroot権限は必要ない。また、暗号資産マイナーやP2Pinfect、Fritzfrogなどのボットネットも、権限昇格なしで動作している例として挙げている。

実験には、オープンソースのPiコーディングエージェントを基盤にチームが構築したハーネス、Mementoを使用した。このハーネスは定期的に新しいエージェントのインスタンスを起動し、直前のインスタンスの作業環境と、試した内容についての短いメモを引き継ぐ。推論サーバーの実験では、各モデルに1回の反復あたり1.5時間の制限を設け、全体のタイムアウトを6時間とした。代表的な脅威モデルはKimwolfで、記事によると、主に無名ブランドのAndroid TVを中心に200万台を超えるデバイスに感染しているボットネットだ。こうしたボックスのメモリー容量は通常1～4GBで、記事の試算では、4GBのメモリーと4ビット量子化を用いれば、90億パラメーターのモデルは4台以上、260億パラメーターのモデルは10台以上のマシンに分散して実行できる。

エンドツーエンドの複製実験の結果

標的のスキャン、アクセスの獲得、ペイロードの配信、推論環境の立ち上げという一連のサイクルをモデルが連続して実行できるかを検証するため、チームはredroid（Android 15エミュレーター）を稼働させたGoogle Cloudのノード8台からなるファイアウォール付き仮想プライベートクラウドを構築した。最初に感染したワームは、認証のないADBポートを介してノード間を移動し、Llama3.1-8Bを提供する推論サーバーを立ち上げた。新たなコピーを作成するたびに、正確性の検証と不正防止のチェックを通過する必要があった。

チームの報告によると、テストしたオープンウェイトモデルのうち、エンドツーエンドの複製を完全に達成したのはGLM-5.2だけだった。5回の試行のうち4回で8台すべてに広がり、残る1回では8台中7台に広がった。評価ではADBポートに認証を設けないなど、サイバー攻撃の手順を非常に単純化しているため、研究者らはこの結果を現実世界での成功率の上限と位置づけている。一方で、Miraiなど過去のIoTボットネットは、メーカーのユーザー名とパスワードの初期設定リストを通じて広がったと指摘している。

記事では、ワームが安定して複製するために超える必要がある能力の下限を定義しており、GLM-5.2はその水準を上回る。また、攻撃対象のデバイス上で実行するために、モデルが下回らなければならないサイズの上限も定義している。テストした4GBメモリー搭載のスマートTVでは、Qwen3.5-9BとGemma4-26B-A4Bはこの上限を下回るものの、現時点では能力の下限とサイズの上限は交わっていない。チームが、特筆すべき300億パラメーター以下のオープンウェイトモデルをEpoch Capabilities Indexに照らしてプロットしたところ、最小二乗法による近似では、ECIが年あたり13.7向上し、R²は0.95となった。この結果から、小型モデルは2026年末までにGLM-5.2と同等の水準に達すると予測される。ただしチームは、ECIは汎用的な能力指標であり、複製能力を測る代理指標にすぎないため、時期の予測は大まかな推定だと注意を促している。推論環境の構築を事前に作成したスクリプトで処理する17ノードのアブレーション実験では、30億パラメーターのモデルでもノードのおよそ半数に到達した。チームによると、この結果は、残る自律性とオーケストレーションの手順にどれほどの難しさがあるかの上限を示している。

複製の速度、規模、適応

実機のテレビボックスを使ったチームの測定では、最適化されていないGemma4-26B-A4Bの推論は、32,000トークンのコンテキストウィンドウ全体で約0.3トークン／秒で動作し、推論環境の構築には71～150時間かかった。一方、Qwen3.5-9Bでは28～51時間だった。Kimwolfと同規模の機器群に換算すると、チームの推定では、15台のテレビからなるグループを約133,000個複製し、全体で約80,000トークン／秒を処理できる。この場合、推論に必要な計算能力は最大でもH100換算で約40基分であり、チームはこれをごくわずかな計算資源と呼んでいる。複製にかかる時間は、90億パラメーターのコピー1つにつき1～2日となる。

前の世代が残したメモをそれぞれ引き継ぐQwen3.5-9Bのインスタンスを6世代にわたって調べたところ、推論環境の構築に成功する割合は、第1世代の45%から、20の系統における後続世代では61～84%に上昇したとチームは報告している。Qwen3.5-9Bに最先端モデルの助言役としてOpus 4.8を利用させても、ツール呼び出しとして提供した場合も、指示を与えずに利用させた場合も、測定可能な改善は見られなかった。また、コーディングタスクで助言役を使うための強化学習も、効果的な形では応用できなかった。MetaのCyberSecEval 3によるスピアフィッシング評価をローカル環境で再現したところ、小型モデルのスコアは、人間の評価者を基準に正規化すると、投稿が「非常に低い」から「低い」と評する水準だった。チームはこれを、小型モデルではソーシャルエンジニアリング能力がエージェント型サイバー能力に遅れを取っている証拠として挙げている。

投稿は別途、NVIDIA製シリコンを搭載したIoT製品ラインが約90種類あり、稼働中の機器はおよそ950万台に上ると推定している。エッジアクセラレーターの計算能力は、非常に大まかな推計でH100換算9,000～35,000基分だが、実際に到達可能な分はその10分の1以下となる可能性が高い。投稿が引用する数値によると、Jetson AGX Orin 64GBはQwen3-30B-A3Bを毎秒76.7トークンで実行し、AGX Thorでは毎秒226トークンに達する。

防御策とチームの評価

投稿によると、防御では、感染したデバイス1台が新たに感染させるデバイスの数を示すR₀を1未満に抑える必要がある。重みを利用するレプリケーターが大規模にIoT機器へ広がれば、ネットワーク上に痕跡が残り、ISPのフローベース監視で検出できる。新たに感染したホストが数ギガバイトのモデルデータを受信し、分散推論によってデバイス間の通信が継続するためだ。複製が速いほど通信量も増え、速度と隠密性はトレードオフになる。また、ハニーポットを使えば、レプリケーターの実行基盤とペイロードを捕捉できる。Miraiの駆除に関する研究を引用し、投稿は、ISPが顧客に通知したうえで隔離措置を取ると、14日以内に感染の92%が解消されたのに対し、通知を行わない場合は74%だったと述べている。また、英国市場ではIoT機器の初期設定パスワードが現在、規制に適合しないことを、規制によって標的となる機器群が縮小する例として挙げている。

特定の機器タイプを標的にするKimwolfのようなハードコード型ボットネットとは異なり、AIボットネットは特定のハードウェアに縛られないと投稿は述べている。Jetson NanoからMacまで、さまざまな機器上で小型モデルが推論環境を構築する例を挙げている。研究者らは、2024年のコーディングエージェントと同様、今回の調査結果はAIワームに兆しが見られることを示していると結論づけている。エージェントは複製の連鎖に含まれる個々の手順を次第に完了できるようになり、適応内容を後続のコピーに引き継いでいるものの、完全な自律型の不正レプリケーターにはまだ至っていない。また、導入済みのエッジコンピューティングは今後も拡大し、信頼性の高い複製に必要なモデルの最小規模は低下していくと予想している。