AI業界は私たちの信頼を求めている。しかし、その前により優れた制御が必要だ

セキュリティでは、何か問題が起きてから制御が機能するかどうかを確かめるわけにはいきません。私たちは制御をテストします。厳しく検証します。そして、見落とした弱点をいずれ誰かが見つけると想定します。

これがセキュリティの基本中の基本です。

では、なぜ最先端AIだけが別の基準で評価されるべきなのでしょうか。

AIシステムの自律性が高まり、現実世界のシステムへのアクセス権が拡大するなか、サイバーセキュリティの防御側で経験を積んだ人なら誰もが懸念すべき状況が見えてきています。能力の進歩が、制御の整備を上回っているのです。

スピードは、セキュリティを弱める言い訳にはなりません。むしろ、より強固なセキュリティが必要な理由です。

非営利団体Guidelight AIによる最近の評価では、Anthropic、Google、Meta、OpenAI、xAIのAI制御慣行について、一般公開されている証拠が調査されました。総合評価でC+を超えた企業はありませんでした。

だからといって、これらの企業が無謀だということではありません。公表されていないところで、追加の制御が機能していないということでもありません。

しかし、セキュリティは憶測に頼るものではありません。ますます強力になるシステムを信頼するよう求められるのであれば、それを取り巻く制御が、ほかのあらゆる分野で求められるのと同じ厳しい検証に耐えられることを示す証拠を期待すべきです。

失敗を興味深い話として扱うのはやめよう

AIエージェントが予期せぬ動作をしたり、意図されていないアクセス権を得たり、弱点を露呈させたりすると、話題は往々にして、その技術が何をしたかに集中します。

それは興味深いことです。

しかし、最も重要な問いではありません。

セキュリティの実務担当者が知りたいのは、活動が記録されていたか、誰かがその状況を把握していたか、危険な操作に制限が設けられていたか、誰かがシステムを停止できたか、封じ込め計画があり、それを誰かがテストしていたか、ということです。

こうした問いはAIに限ったものではありません。サイバーセキュリティの分野で、私たちは何年も前から同じ問いを投げかけてきました。

それでも、台頭する最先端AIの制御環境では、予防と封じ込めが依然として弱点のようです。実行制御、サーキットブレーカー、緊急時の封じ込めに関する公開情報は限られています。

それは、事案の目新しさよりも重視すべきことです。何かが失敗したとき、私は何が失敗したのか、事態の悪化を何が食い止めたのか、その後何が変わったのかを知りたいのです。

透明性は役に立ちます。そこから学ぶことは、さらに重要です。

AIセキュリティの本当の問題はスピードだ

短期的に最大の脅威となるのは、AIがまったく新しい種類のサイバー攻撃を突然生み出すことだとは思いません。より大きな問題は、ずっと現実的です。AIによって、すでに知られている攻撃がはるかに速く実行される可能性があります。

かつては何時間もかかっていた調査が、数分で完了することがあります。攻撃手法をより速く連鎖させることもできます。人間を中心に据えたセキュリティ手順が最初のエスカレーション連絡を終える前に、脆弱性が特定され、悪用される可能性もあります。

今日のセキュリティインフラの多くが、対応する時間はあるものと想定しているため、これは問題です。

しかし、対応する時間がない場合もあります。

攻撃が急速に進行すれば、チケットの起票、会議、承認、手動のエスカレーションを前提とする対応プロセスは、誰かが3つ目の手順に進む前に時代遅れになりかねません。

そして、ここにAI業界が取り組むべき課題があります。

最先端AIを開発する研究機関が、企業に対してAI時代に合わせて可視性、脆弱性管理、アーキテクチャ、インシデント対応を見直すよう求めるのであれば、自らも同じ見直しを行っていることを示すべきです。

「信頼してください」では制御の枠組みにならない

私はセキュリティテストに携わってきましたが、驚くほど変わらず通用する原則があります。セキュリティを証明するのは意図ではなく、証拠です。

• テストする。
• 監視する。
• あえて壊そうとする。

そして、制御がアーキテクチャ図どおりに機能しない場合に何が起きるかを確かめます。必要なときにシステムを停止する権限を、誰かが持っていることも確認します。最先端AIにも、同じ基準を適用すべきです。

そのためには、制御に対する敵対的テスト、制御が機能していることを示す測定可能な証拠、そして問題が起きた際にシステムを停止する明確な権限が必要です。

封じ込めのあり方を見直すことも必要です。

最先端AIを開発する研究機関は、AIエージェントが想定された境界を逸脱して行動した後に、封じ込め策を即興で講じることはできません。能力がますます高いモデルを訓練し、テストする以上、それらのシステムが実行しうる行動に責任を負わなければなりません。そのためには、厳格な敵対的テスト、事前に承認された安全策、エージェントの権限に対する明確な制限、そして失敗が広がる前に介入またはシステムを停止するための実証済みの方法が必要です。

人間の判断は、今も重要です。しかし、こうしたシステムを開発する研究機関には境界を定め、それが守られるかをテストし、守られなかった場合には責任を負うことが求められます。

責任は、エージェントに何ができるかを示すことだけではない。安全に動作できること、その振る舞いを制御できること、そして新たな能力によって世界の安全性が高まり、低下することはないと示す必要がある。

信頼は勝ち取らなければならない

AIイノベーションを極端に減速させるべきだと言っているのではない。セキュリティをその進歩に追いつかせなければならないと言っているのだ。AIの能力を高めるために膨大なリソースを投じるなら、それを防御可能なものにすることにも、同等の緊急性をもって取り組む必要がある。

しかし、最先端の研究機関がサイバー能力を備えた新たなAIモデルの訓練とテストを加速させるなかで、防御側の視点を忘れてはならない。まず、脅威の検知と対応を迅速化できるよう支援すること。そして何より重要なのは、そうしたシステム自体が脅威にならないようにすることだ。この責任を果たすには、外部からの精査を受け入れることも必要となる。

独立した評価を、企業が自分たちの語りたい筋書きを後押しするときに限って歓迎するようなものにしてはならない。先端AIシステムが脅威の状況を変えるほど強力なら、その制御策も、有意義な独立検証に耐えられるほど強固であるべきだ。

AI業界は、私たちの信頼を求めている。

セキュリティの実務に携わる者として、信頼を寄せる用意はある。だが、その前に、どのような制御策があるのか示してほしい。