Adam Ely, ゼネラルマネージャー、AIセキュリティ、Check Point Software Adam Ely ゼネラルマネージャー、AIセキュリティ、Check Point Software

AI企業がセキュリティ欠陥を告白する競争を繰り広げる理由

ほとんどの他業界では、「我々の製品が他社のシステムに侵入した」という事態は、組織が黙っておくよう必死になるようなインシデントです。しかし、AIが急速に進化するにつれ、セキュリティ失敗が定期的に見出しになる中、企業は慎重に作成したブログ記事で予期せぬAIの活動を説明するようになっています。このように日常化している感覚は、ビジネスリーダーにとって警鐘となるべきです。AIモデルがより高性能かつ自律的になり、企業の業務に深く組み込まれるにつれて、開示は業界で最も価値のある通貨の一つとなっています。企業は顧客が高度なモデルに関するすべての安全性主張を独自に検証できないことを認識しており、失敗を認めることは組織が自らの過ちを公に検証する意思を示すシグナルとなります。しかし、透明性は説明責任と同義ではありません。開示は予防の代替にはなり得ず、AIモデルが成熟し続けるほど予防策はますます重要になります。開示が次の開示を引き起こすときこのパターンはここ数週間で明らかになりました。OpenAIが評価していたモデルが、Hugging Face の本番インフラを含むライブシステムへ予期せぬアクセスを取得しました。OpenAIは自らのエージェントが原因であると特定し、開示しました 事件を。 その告白を受けて調査し 141,000件以上の評価実行を調査し、Claudeモデルがインターネットに到達し、3つの組織の本番システムを侵害した3件のケースを明らかにしました。次にMetaが登場しましたが、同社はまず公開レビューを行いませんでした。報道が先にインシデントを報じ、その後Metaは外部テスト中の設定ミスによりモデルの一つがインターネットに到達し、サードパーティサービスの脆弱性を悪用したことを確認しました。Metaは調査中であり、後ほど詳細を共有すると述べました。これらのインシデントは同一ではなく、モデルは異常な評価条件下で動作していました。場合によっては、生のサイバー能力を測定するために通常の保護策が削減または無効化されました。しかし、より広い教訓は無視しがたく、ますます自律的なシステムがオペレーターが設定したと考えていた境界を超えてしまったのです。透明性は競争上の優位性になり得るか（あるいはそうなのか）寛大に解釈すれば、AI企業は成熟した開示文化を育んでいると言えます。 サイバーセキュリティは何十年もかけて、隠蔽が損害を拡大させることを学んできました。インシデントを迅速に報告し、何が起きたかを説明し、他者の学びに貢献する組織は、問題を最小化したり遅延させる組織よりも信頼性を高める傾向があります。Anthropicの開示はその姿を示しました。レビューの範囲を説明し、自らの失敗を認め、影響を受けた組織に連絡し、変更予定のコントロールを概説しました。たとえサードパーティのテスト設定が影響していたとしても、責任は自社にあるかのように修正に取り組みました。生産的な開示は、すべての失敗を一つの組織のせいにする必要はありません。自らが影響できるコントロールに対して責任を受け入れることが求められます。告白は信頼構築以上の効果を持つしかし、開示は決して純粋に利他的なものではありません。公開告白は同時にいくつかの戦略的役割を果たすことができます。まず、能力を示すことができます。「我々のモデルがテストから抜け出し、実際のシステムを侵害した」という衝撃的な告白は、同時にそのモデルが異常に高性能であることの証明とも受け取られます。このインシデントは、意図的であれ意図的でなくても、製品デモンストレーションとなります。次に、規制当局や顧客、ジャーナリストが語る前に、企業が物語を形成できます。組織は用語を定義し、テスト条件を説明し、修正の枠組みを提示します。第三に、繰り返しの開示はその行動を正常化するリスクがあります。すべての主要なAIラボがエージェントが境界を越えてライブシステムを侵害したと報告すれば、業界はその行動を進歩の避けられない副作用として扱い始めるかもしれません。それが常態化してはなりません。私が話すCISOは、なぜ予防的コントロールが活動を止めなかったのかを知りたがります。モデルへのアクセスを誰が許可したのか、どの境界が適用されたのか、行動はどのように監視されたのか、サードパーティに到達する前に誰かが止められなかったのか、といった点を問います。これらは説明の問題ではなく、説明責任の問題です。開示は説明責任の始まりサイバーセキュリティはすでに、インシデントを公表することと対処することは同じではないと学んでいます。信頼できる開示は、何が起きたか、誰が影響を受けたか、対応者がどのように封じ込めたか、どのコントロールが失敗したか、次回同様の活動を防ぐために何をするかを説明します。AIエージェントに対しては、この基準はさらに先へ進む必要があります。エージェントは予測可能な経路に従わず、推論し、ツールを選択し、文脈に適応します。正当な目的があるからといって、その目的に向かうすべてのステップが正当であるとは限りません。組織はエージェントがアクセスできる範囲、呼び出せるツール、実行できる行動を規定する予防的コントロールと、エージェントの実際の行動を継続的に監視する仕組みが必要です。この作業は展開前に始めなければなりません。リーダーはエージェントワークフローに対する脅威モデリング、最小特権アクセス、外部接続の明示的な制限、テスト環境の独立検証、リアルタイムのポリシー適用、そして人間の介入ポイントを明確にすることを求めるべきです。最初の公開インシデントの後で予防策を付け足すことはできません。リーダーは今すぐ次に何が起こるかを決めるべきだAIエージェントを導入するすべての企業は、やがてこの瞬間の自らのバージョンに直面する可能性があります。組織は、エージェントが取得すべきでない情報にアクセスしたり、権限を超えて行動したり、予期せず外部システムに到達したことに気付くかもしれません。今すぐ、何を、誰に、どのような条件で開示するかを決めましょう。さらに重要なのは、それに伴う説明責任を定義することです。エージェントの行動の所有者は誰か？誰がアクセスを遮断できるか？どの証拠を保存するか？システムが再稼働する前にどのコントロールを追加するか？AIの失敗を急いで公開することは、より健全でオープンな業界を示すシグナルとなり得ます。しかし、告白だけが全てではありません。信頼は単なる告白だけで築かれるものではありません。信頼は、インシデントを防ぐべきコントロール、直後に取られた行動、そして同じ失敗が再び起こらないことを示す証拠によって構築されます。