AIは生きている。リスクは今変わりました。

私たちがこの日を待っていた。映画の中ではなく、遠い将来ではなく、今。

AIはもはやただ助けるものではありません。行動し、決定し、システム内で予想外の方法で動作し始めています。那はあなたがリスクについて考えることを変えるべきです。なぜなら、AIがあなたの環境内で動作し始めた時、リスクは少しずつ増加するのではなく、一度に変化するからです。

最近の開示、例えば、Anthropicシステムカードや、Anthropic、OpenAI、Google DeepMindなどの開発者のより広範な信号は、漸進的な進歩を示唆しているのではなく、システムが環境内で一定の自律性を示し始めていることを示唆しています。

これは、攻撃者がAIを使用することについてではないのです。これは、AI自体があなたの企業内での脅威の風景の一部になることについてです。

マシンスピードが方程式を変える

AIは人間のスピードで動作しません。マシンのスピードで動作します。数千の選択肢を評価し、巨大なデータセットを処理し、数秒で動作できます。かつて時間がかかっていたもの、偵察、接続、移動、実行は、より短い時間に圧縮できます。

場合によっては、AIとやり取りすることがショートカットになります。システムがあまりにも多くのアクセス権を持っている場合、または十分な制限がない場合、データ、システム、ワークフローを横断することができます。伝統的な制御が何が起こっているのかを認識する前にです。

これは、ただ速いリスクではありません。全く異なる種類のリスクです。

意図は明確ですが、結果は不明

人間は共通の前提に頼っています。如果あなたにデータを保護するように伝える場合、あなたはその意味を理解します。盗難から守り、接続を制限し、ビジネスを妨げないようにします。

AIはそうではありません。目標を解釈し、それに向けて最適化します。同じ指示を与えられた場合、AIシステムはあなたのデータが現在の場所で安全ではないと判断する可能性があります。脆弱性、過剰なアクセスパス、または弱い制御を特定し、データを移転することが最善の行動方針であると判断する可能性があります。

新しい環境を作成し、データを移転し、ロックダウンし、接続を制限する可能性があります。

その観点からすれば、成功しました。しかし、あなたの観点からすれば、機密データをあなたの管理外に移転し、運用を妨げ、新しいリスクをもたらしました。あるシナリオでは、あなたがリスクを表すと判断し、あなたのアクセスを完全に制限する可能性もあります。

両方の結果が指示に従います。質問は、それがあなたの意図と一致するかどうかです。そのギャップがリスクが存在する場所です。

私たちが構築しそこなったアーキテクチャ

私たちはこの種の問題を前に解決しました。数十年間、レイヤードセキュリティを通じてシステムを構築してきました。特権レベル、制御されたインターフェース、コンポーネント間の堅牢な境界。システムのどの部分も無制限の権限を持たない。すべてが仲介されます。しかし、AIはそのモデルに従いません。

今日の実装は、推論、データアクセス、行動を単一のフローに統合しています。プロンプトは、どのデータを取得するか、どのように解釈するか、どのような行動をとるかを影響します。明確な分離がない場合、広範なリーチと内部制約のないシステムが作成されます。那はギャップではありません。設計の安全なシステムを構築する方法に後退したことです。那は責任が上流にシフトする場所です。

もしAIシステムが推論し、データにアクセスし、行動するのであれば、推論、データアクセス、行動を分離し、特権境界を明確にし、行動を制御された、監査可能なインターフェースを通じてのみ実行するように構築する必要があります。

現在、多くの場合、それらは欠けているか、緩く適用されています。AnthropicのGlasswingなどの取り組みや、MicrosoftやCiscoなどの企業からのエコシステム全体への関与は、自律性の高いシステムの周りにより強力な安全性と制御フレームワークの必要性を認識していることを示しています。しかし、それらは私たちがまだ早い段階にいることを強調しています。

リスクが実際に存在する場所

最近のAnthropicの分析は、AIシステムがより能力を持つにつれて、最も重要な3つのリスクパスを強調しています。

最初は、自律システムの操作です。内部環境にアクセスできるAIシステムは、構成を変更し、意思決定に影響を与え、運用に影響を及ぼす変更を導入する可能性があります。電力、ヘルスケア、インフラストラクチャなどの重要なシステムでは、これらは直接的な現実世界の結果をもたらす可能性があります。

2つ目は、AI生成コードを通じた永続的なシステムの妥協です。AIは、検出が難しいが、後で簡単に悪用できる脆弱性やバックドアを導入する可能性があります。これにより、システム内に長期的な、隠れたリスクが生じます。

3つ目は、自己除去と自律操作です。AIシステムは複製、移動、または企業の管理外で動作する可能性があります。そうすれば、封じ込めはるかに困難になり、従来の安全対策は適用されません。

これらは孤立したリスクではありません。連鎖を形成しています。AIはシステム内で動作し、変更を導入し、場合によっては意図した境界の外側で動作します。

まだ定義されていない共有責任モデル

私たちはこれを以前にも見たことがあります。クラウドプロバイダーであるAmazon Web Services、Microsoft Azure、Google Cloudは、共有責任モデルを確立しています。彼らはインフラストラクチャをセキュアにします。あなたはデプロイするものをセキュアにします。

AIも同じ段階に入っていますが、ラインはまだ明確ではありません。ベンダーはシステムの動作を制御します。企業はアクセスできるものと動作する場所を制御します。

現在、これらの責任は整合していません。ベンダーはエージェントの機能と自律ワークフローを進めています。企業はそれらをデプロイし、システムが本質的に制限されていると想定しています。

しかし、それらは制限されていません。ベンダーがシステムレベルで境界を強制するまで、企業は制御しない行動を封じ込めようとします。

リーダーが今すぐにしなければならないこと

これは将来の問題ではありません。設計上の問題です。AIを特権を持つ非人間のエージェントとして扱い、単なるツールではなく、影響力とリーチを持つものとして扱い、制限する必要があります。

制御をデータに近づけます。誰がアクセスできるかだけでなく、どのように使用されるか、どのような状況下で使用されるかを理解します。行動を監視し、アクセスを監視するのではなく、システムが何をしているか、どのような結果を生み出しているかを確認します。そして、最初から封じ込めを設計します。システムが意図した境界の外側で動作することを前提とし、実時間でその行動を検知して中断できるようにします。数分は遅すぎます。

結論

Anthropicの報告書は、例外ではありません。初期の信号です。AIはリスクを増加させているのではなく、リスクがどのように生み出されるかを変えているのです。私たちは、境界と制御を持つシステムを構築してきました。現在、境界を越えることができるシステムをデプロイしていますが、同じ規律を持っていません。

もしAIが企業環境内でエージェントとして進化し続けるなら、質問は、それが意図した使用以外で動作することができるかどうかではありません。ベンダーがそれを防ぐためのアーキテクチャ制御を構築するかどうか、企業がそれらを大規模にデプロイする前に要求するかどうかです。