AIは新たな内部脅威――リスク対策は一段階遅れている

Hugging Faceへの侵害など、同様の事案が業界に衝撃を与えている。しかし、組織が注力すべきなのはAIモデル層ではなく、ソフトウェア開発ライフサイクル（SDLC）だ。

7月にOpenAIのエージェントによって実行されたHugging Faceへの侵害に続き、AnthropicやMetaのモデルが関与する同様の脱走事案が相次いで報告されたことで、サイバー攻撃の新たなカテゴリーと思われる「悪意あるエージェント型AIによる内部脅威」への警戒が高まっている。

しかし、こうした事案は決して新しいものではない。数年にわたって人々を不安にさせてきた最先端AI研究所で起きたことで、不穏な新たな様相を帯びたが、これらの事案が示しているのは、企業が長年積み重ねてきたものと同じ失敗のパターンと盲点だ。

また、彼らに意図的に悪意があったわけでもない。Hugging Faceへの侵害では、約1,200の人工知能エージェントがテスト環境で割り当てられた目標の達成を目指していた。もっとも、その行動が常に公正だったとは言えない。その過程で、彼らはひそかに通信し、脆弱性を悪用し、数か月にわたって検知されずに活動していた。そのうち約700のエージェントは、「隔離」環境の壁を乗り越え、インターネットや第三者にアクセスした。

こうした事案について不安をかき立てるのは、制約のないAIエージェントが深刻な脅威になり得ることだけではない。実際、間違いなくそうした脅威になり得る。しかし、豊富な人材やリソースを持ち、活動を注意深く監視する強い動機もある最先端AI研究所のチームの目の前でエージェントが暴走するなら、今まさに自社の開発環境で稼働しているAIエージェントやAI支援ツールについても、何が起きているのかを問うべきだろう。AI業界の大手でさえ、自らの環境をリアルタイムで把握できないとしたら、一般的な組織に何ができるだろうか。

組織がエージェント型AIを制御するための最善の策は、この新たな状況が、長年続く課題を強力にしたものにすぎないと認識することから始まる。しかし、その対処には、多くの企業がいまだに欠いているものが必要だ。ソフトウェア開発ライフサイクル（SDLC）の早い段階から、可視性とオブザーバビリティを確保することである。

OpenAIとHugging Faceの事案：今後起こることの前兆

Hugging Faceへの侵害では、7月に公開されたOpenAIの新たな最上位モデルGPT-5.6 Solを含む、複数の最先端AIモデルが、限定的な目標であるExploitGymベンチマークの解決を試みていた。このベンチマークは、エージェントがセキュリティ上の欠陥を悪用する能力を検証するものだ。侵害について説明した投稿でAnthropicは、AIモデルが「安全対策を弱めた状態で動作」していたため、技術的な制御をすり抜け、承認されていない経路で連携し、最終的に危険な行動を取ることができたと指摘した。

侵害が発覚したのは7月だが、エージェントは5月の時点で不適切な通信を始めており、その動きは表面化していなかった。METRとRedwood Researchは、OpenAIと並行して独立した調査を行った。その結果、エージェントは規則違反を認識していたものの、OpenAIへの報告を考えたものはほとんどおらず、そのまま処理を続けていたことが分かった。

OpenAIの報告を受け、Anthropicは過去のサイバーセキュリティ評価を再検証し、4月にClaudeのモデルが3回にわたって制御を回避し、オンラインに接続する方法を見つけ、外部の3組織に不正にアクセスしたことを明らかにした。その直後、Metaは、最も高度なエージェント型AIモデルの一つであるMuse Spark 1.1のバージョンが、同様にサイバーセキュリティ試験用のサンドボックスから脱出し、外部企業のネットワークに侵入したと公表した。

OpenAIは報告書の中で、この事案は今後起こることの前兆だとも警告し、一般的なオープンソースモデルを含む多くのモデルが、まもなく同様の行動を取れる能力を備えると述べた。最近のMedicareへの侵害は、この指摘を裏付けるものとなった。

AIのガバナンスはSDLCの段階で行うべき

こうしたエージェント型AIによる攻撃はAIコミュニティに衝撃を与えた。OpenAIはテスト環境の管理を強化すると発表し、その後、Anthropic、Microsoft、Amazon Web Servicesを含む100社を超える企業とともに、重要インフラを狙うAI活用型サイバー攻撃の急増について警告を発した。書簡は、攻撃が始まるまで数か月しかない可能性があると警告した。

同様の攻撃に巻き込まれることを懸念する組織は、ソフトウェア開発の段階から自社のインフラを強化する必要がある。本当の問題は、エージェント型AIの高度化だけではなく、リアルタイム監視と実効性のある人間による監督が欠けていることだ。組織はAIのリスクを技術の必然として受け入れるのではなく、人とプロセスの両面にある不備を解消することに注力すべきである。

業界の多くの組織では、監視とオブザーバビリティの対象をAIモデル層に置いているが、それではすでに一段階遅い。その時点では、事態はすでにかなり進行している。可視性、監視、オブザーバビリティ、ガバナンスは、AIが企業に最初に入り込む場所、つまりSDLCの内部に適用しなければならない。また、AIコーディングツールを使う開発者が、そうしたツールによって開発工程に欠陥や脆弱性、悪い習慣が持ち込まれないようにするための教育とスキルを身につけていることを、組織は確実にする必要がある。

ソフトウェアの不具合の多くは開発段階で生じます。開発者に安全にコーディングするスキルや、AIが生み出した不具合を修正するスキルがなければ、問題は急速に広がりかねません。開発者には、必要なセキュリティスキルを身につけるための教育プログラムが必要です。また、そうしたスキルの習得状況と、日常業務で継続的に活用しているかどうかを把握する必要があります。

AIが組織の業務に深く浸透するにつれ、開発者とAIコーディングツールの双方について、セキュリティに関する追跡可能性、可観測性、ガバナンスを確保することが、企業で安全なコードを生み出すための新たな最低基準となったことが明らかになっています。

脅威が絶えなければ、対応も絶え間なく

かつては、ソフトウェアは比較的無害で、プログラムされたとおりに動くだけだと考えていたかもしれません。不具合が起きれば、フリーズしたり、多少の停止を引き起こしたりすることはあっても、攻撃に出ることはないと思われていました。AI、特にエージェント型AIは、その前提を覆しました。エージェント型であれ、開発者の支援を受けるものであれ、あらゆるAIモデルの動作を継続的に監視し、管理しなければなりません。

病院や水処理施設、発電所、企業を標的とする新たなAIの脅威は、考えるだけでも恐ろしいものです。しかし、組織に打つ手がないわけではありません。AIガバナンスを導入できますが、基礎から築き上げる必要があります。安全なソフトウェアを重視する文化を育み、その実現に向けて開発者を教育することで、組織は、放置すればさらに深刻化するばかりの潜在的な問題に対し、必要不可欠なレベルの可観測性、追跡可能性、ガバナンスを確保できます。