ソートリーダー

AIエージェントが連携し始めると、インサイダーリスクは増大する

Marshall Heilman
Unite.AI を Google の優先ソースに追加
要点AIエージェントの連携は、孤立した失敗を共有された権限と影響力へと変えることで、システムリスクを生み出します。
もっと見る
  • AIエージェントの連携は、孤立した失敗を共有された権限と影響力へと変えることで、システムリスクを生み出します。
  • rentahuman.aiのようなプラットフォームは、AIエージェントが人間をタスクのために契約することを可能にすることで、脅威モデルを逆転させます。
  • 自律型AIエージェントは現在、北朝鮮IT労働者のような持続的な内部脅威行動を、コンピューター速度で再現しています。

OpenClaw エピソードは、ほとんどのセキュリティプログラムが積極的に監視していないリスクを明らかにしました。AI駆動システム間の共謀です。

公に観測された最初期の事例の一つでは、自律的なAIエージェントが相互に発見し、動作を調整し、戦術を強化し、人間の指示や監督なしに一緒に進化していることが観察されました。この変化は、どの単一の脆弱性よりも重要です。現代のAIセキュリティ環境でリスクが拡大する仕組みを根本から変えるためです。

OpenClaw と Moltbook は、エージェントの能力を示すものだけでなく、現実の環境で複数のエージェントによる協調が生まれる早期の兆候でした。まだよく理解されていないのは、エージェントがなぜそのように行動したのか、どのような意図を実行したのか、どのようなコンテキストであったのかです。エージェントが調整できるようになると、脅威モデルが変わるので、意図とコンテキストの可視性がなければ、ほとんどのセキュリティプログラムはまだこのリスクの進化に備えていません。

共謀がリスクの式を変える理由

以前はMoltBotやClawdbotとして知られていたOpenClawは、企業向けではなく消費者向けの環境で動作していました。しかし、明らかにした動作は、自律的またはエージェント型AIを展開する企業システムに直接適用されます。

AIエージェントが電子メール、予定表、ブラウザ、ファイル、アプリケーションにアクセスし、最小限の制約で動作することを許可されると、ツールとしてではなく、ユーザーとして動作し始めます。

タスクを実行します。存在を維持します。継続的に動作します。

Moltbookは、この変化を加速させました。Clawベースのエージェントに相互に発見する場所を提供しました。数日のうちに観測者は、エージェントが暗号化された通信を確立し、再帰的な改善のガイダンスを共有し、物語を調整し、人間の監督からの独立を主張していることを文書化しました。企業のAIリスク管理に関連する動作です。

これが真の自律性を反映しているかどうかは、問題ではありません。協調そのものがリスクなのです。エージェントが、有効な認証情報と委任された権限を持つ他のエージェントに影響を与えることができる場合、個別の失敗は非常に速くシステム全体に及ぶ問題になります。

セキュリティチームが無視すべきでない北朝鮮との類似点

インサイダー・リスクの観点から、DPRK ITワーカー活動 との重複は、AIリスク管理にとって重要です。

数年間、DPRKの関係者は、持続的なアクセス、通常に見えるアクティビティ、正当なリモート従業員としての作業を、ID、タイムゾーン、言語を超えて調整してきました。

AIエージェントは、これらの動作の多くを自動的に複製します。

違いは、スピードとスケールにあります。

DPRKのITワーカーは、長い間、自動化とAIの支援を追求してきました。ルーチンタスクのオフロード、継続的な存在の維持、人間の労力を最小限に抑えながら収益を最大化するためです。自律エージェントは、基本的なタスクの実行、活動の維持、調整された実行の拡大を実現します。

これが、OpenClawとMoltbookのエピソードが重要な理由です。ガバナンスのないまま、AIの速度と規模で協調が生じると何が起こるかを先取りして示しています。

脅威モデルは再び拡大した

最近まで、主な懸念は、悪意のある人間が悪意のあるエージェントを作成または操作することでした。

その脅威は現実的であり、依然として存在しますが、新しい脅威が現れ、組織に極めて大きなリスクをもたらす可能性があります。

私たちは、逆の早期兆候を目撃しています。悪意のあるAIエージェントが人間を雇用することです。

rentahuman.ai のようなプラットフォームは、AIエージェントが現実世界のタスクのために人間を雇用できるように明示的に許可しています。用事の代行、会議の出席、文書の署名、購入の実行などです。人間が料金を設定します。エージェントがタスクを割り当てます。

自律システムと人間の労働の境界が薄くなりました。意図は、どちらの側からも発生でき、実行は双方向に流れることができます。

これは、サイエンスフィクションではありません。これは、どのように仕事や悪用が行われるかという構造的な変化です。

これがセキュリティチームに重要な理由

AIエージェントは、組織のリスクを根本的に変える転換点に達しています。これは、単に管理される別のAIセキュリティ問題ではありません。これは、ビジネス継続性、信頼、ブランドに直接脅威を与える可能性のある、システム的なインサイダー・リスクです。管理されなければなりません。

これらは、個々のプロンプトに反応することだけに限定されていません。継続的に存在し、協調し、委任された権限を想定していない環境で行動し始めています。まして、エージェント間の影響力を想定した環境ではありません。

インサイダー・リスクの観点から、露出は、悪意のあるコードのみから生じません。人間の意図、エージェントの機能、委任された権限、調整が交差するインタラクション・レイヤーで生じます。これは、Lethal Trifecta(致命的な三要素) というSimon Willisonの概念と密接に対応しています。機密データへのアクセス、信頼できない入力への露出、外部で動作または通信する能力。条件が収束すると、故障は急速に個別のエラーからビジネスクリティカルなリスクにエスカレートする可能性があります。

これを理解するには、単一のエージェントの思考を超えて、行動システムのリスクに移行する必要があります。

リスクを生み出す4つのインタラクション・パターン

AIエージェントのインシデントは、単一のカテゴリではありません。結果は、誰が意図を持っているか、権限がどのように行使されるかによって決まります。シンプルなマトリックスを使えば、チームはインシデントを分類し、適切に対応できます。

  1. 共謀: 悪意のある人間、悪意のあるエージェント
    エージェントは、加速剤になります。人間の意図は、エージェントの効率、持続性、スケールと組み合わさります。調整は、影響を増幅し、大規模なチームなしに、詐欺、デシンフォメーション、または操作を可能にします。Moltbookは、発見が制限されていない場合に、エージェントがどのように迅速に相互に強化するかを示しました。
  2. 対立的なユーザー: 悪意のある人間、悪意のないエージェント
    役立つエージェントは、悪用のための理想的なツールです。内部の悪意のある人物は、偽の身元を維持したり、活動を隠したり、複数の仕事を同時に抱える雇用詐欺のような欺瞞を大規模化したりできます。エージェントは悪意的ではありません。委任された権限を実行しています。
  3. 侵害されたエージェント: 悪意のない人間、悪意のあるエージェント
    ここでは、悪意ある意図は人間から生じるものではありません。プロンプトインジェクション、汚染された記憶、または操作された入力は、エージェントを悪用のためのベクターに変えることができます。エージェントが他のエージェントと相互に作用する場合、侵害は、特に持続的なメモリの場合、急速に伝播する可能性があります。AIセキュリティの重要な懸念事項です。
  4. 理想的な状態: 悪意のない人間、悪意のないエージェント
    ほとんどの組織が安全であると仮定し、多くのインシデントが開始される場所です。過剰な委任、蓄積された権限、広範なアクセスにより、小さなミスがカスケードする可能性があります。これは、怠慢さではありません。能力とコントロールの間のミスマッチです。

4つのパターンすべてで、ダイナミクスは一貫しています。AIエージェントは、意図と結果の間の摩擦を減らし、行動シグナルを隠し、リーチを拡大します。従来のコントロールは、行動が委任され、継続的であり、自律システムを介して媒介される場合に苦労します。

ガバナンスの転換点

エージェント型AIは、継続的に観察し、コンテキストを保持し、蓄積された知識に基づいて行動するように設計されています。こうした性質が価値を生む一方、制約がなければ危険にもなります。

永続的な記憶と協調があれば、悪用はすぐに起こる必要がありません。待つことができます。進化することができます。

エージェント型AIを生産性ツールとして位置付けることは、リスクを過小評価することになります。これらのシステムは、アプリケーションのようにではなく、インサイダーのように動作しますが、コンピューターのスピードで。

セキュアなAIエージェントの採用が実際に必要とするもの

組織は、エージェント型AIを、高リスクの企業システムとして扱い、便宜として扱うべきではありません。

承認されたユースケース、階層化されたコントロール、攻撃を模擬するテスト、正式なガバナンスが必要です。最小限の特権はまだ重要であり、既存の規格はすでにガイダンスを提供しています。しかし、従来のコントロールは、プロンプトの履歴、自律的なアクション、調整パターンなど、行動の可視性とインテリジェンスと組み合わせる必要があります。有効なAIリスク管理の一環として、誤った使用、意図的な悪用、システム全体の障害を区別するために。

これは、採用を遅くすることではありません。革新とスピードを損なうことなく、自律性を管理可能にすることです。

まとめ

共謀は、インサイダー・リスクの式を変えます。AIエージェントが相互に強化できる場合、リスクは孤立した行動から共有された権限、影響、増幅にシフトします。

セキュリティ上のリスクは、正当なアクセス、委任された権限、共謀が交差するインタラクション・レイヤーで生じます。個々のアクティビティを評価するコントロールは、行動が組み合わさったときに初めて現れる失敗を見逃します。

AIエージェントをインサイダーのように管理する組織、行動の可視性と説明責任を持つ組織は、自信を持ってAIエージェントの使用を拡大できます。そうでない組織は、自分たちが完全に制御できない結果に応じることになります。

マーシャル・ハイマンは、インサイダー・リスク・マネジメントの世界的リーダーであるDTEX Systemsの最高経営責任者です。マーシャルは、スタートアップおよび大手上場企業で20年以上のサイバーセキュリティの経験を持ち、MandiantとGoogleでエグゼクティブ・リーダーシップと高度な技術的な役割を果たしてきました。