IRONSCALESのプリンシパル・テクニカル・ストラテジスト、Audian Paxson—インタビューシリーズ

Audian Paxsonは、IRONSCALESのプリンシパル・テクニカル・ストラテジストです。メールセキュリティ、脅威検知、ネットワーク、エンタープライズテクノロジーの分野で20年以上の経験を持つ、サイバーセキュリティおよび製品戦略のベテランです。IRONSCALESでは、製品のローンチ、メッセージングとポジショニング、Go-to-Market戦略に加え、新たなメールセキュリティ脅威への対策に向けた人工知能と機械学習の活用に関するソートリーダーシップに取り組んでいます。これまで、Netgate、BlueCat、Alert Logic、Critical Watch、Iconix、Strix Systems、Intelで、製品管理、プロダクトマーケティング、事業開発の上級職を歴任しました。サイバーセキュリティ製品やネットワーク製品の立ち上げ、エンタープライズ向けGo-to-Market戦略の策定、企業の新市場への進出で重要な役割を果たしてきたほか、特許取得済みのセキュリティ技術の共同発明者でもあります。

IRONSCALESは、フィッシング、ビジネスメール詐欺、アカウント乗っ取り、ディープフェイクなど、進化を続けるソーシャルエンジニアリング攻撃から組織を守ることに注力する、AIを活用したメールセキュリティ企業です。同社のプラットフォームは、Adaptive AIと人間およびコミュニティの知見を組み合わせ、Microsoft 365とGoogle Workspace全体で脅威の検知、調査、対処を行うとともに、フィッシングシミュレーション、セキュリティ意識向上トレーニング、送信メール保護、ドメインセキュリティの機能も提供します。同社は、攻撃を予測し、不審な活動を調査し、従業員の防御力を高めることを目的に、レッドチーム演習、フィッシング対策のセキュリティ運用、フィッシングシミュレーションに特化したAIエージェントを導入し、取り組みを拡大してきました。IRONSCALESによると、同社の技術は18,000を超える組織で利用されており、36,000人を超えるセキュリティ専門家のコミュニティから寄せられる情報を取り入れています。

メールセキュリティ分野で20年以上の経験をお持ちで、初期のアンチフィッシング製品の開発にも携わり、現在は新たなメール脅威への対策にAIと機械学習をどう活用するかに取り組んでいます。そうした経験を踏まえて、AIを活用したソーシャルエンジニアリングの何が本当に新しく、問題のどの部分が驚くほど変わっていないと感じますか？

年寄り扱いしてくれてありがとう！2000年代初頭にフィッシング対策を始めた頃、最大の課題は人々の意識で、フィルターが判断できるのは送信者のドメインの評判くらいでした。しかし、攻撃の手口はそれほど変わっていません。緊急性、権威、偽の請求書。今目にする口実のほとんどは、見覚えがあります。AIによって変わったのは、巧妙なものを作るためのハードルです。そのため、熟練していない攻撃者でも、2004年当時の詐欺を完璧に個人向けに仕立て直し、大規模に仕掛けられるようになりました。

Anthropicの調査では、Claude Mythos 5は、現実のインターネットを示す手がかりが個別に提示された場合にはそれを認識できた一方、タスクに没頭している最中には、同じ証拠があっても大部分で行動に移せませんでした。この隔たりから、AIモデルが知識を持つことと、適切なタイミングで実際にその知識を活用することの違いについて、何が分かるでしょうか？

私はメールセキュリティの人間で、AI研究者ではないので、その視点から読みました。Mythosは、シミュレーションの中にいると事前に告げられていて、その枠組みが優先されました。現実を示す証拠も、自分がすでに置かれている筋書きに合わなかったため、説明をつけて退けてしまったのです。これは口実が機能している状態であり、攻撃者が最初に状況の枠組みを設定しようと懸命になる理由でもあります。

ここには、人間のフィッシングへの反応との興味深い類似点があります。従業員は、訓練中なら不審な兆候を簡単に見分けられても、急かされていたり、別の作業に集中していたりすると、同じ兆候を見落とすことがあります。人間とAIの判断の比較は、どこまで妥当だとお考えですか？

ある程度までは言えます。どちらも作業に没頭すると全体像を見失い、「次の申請を確認してください」のような通常の業務プロセスに見えるメッセージを、人もモデルもそのまま通してしまいます。ただし、感情に関しては類似性が崩れます。人間は急かされたり、怖がらされたり、相手の期待に応えようとしたりします。エージェントが失敗するのは、読み取っているデータと区別できない指示など、自身のトリガーに反応したときです。

従来のセキュリティトレーニングでは、悪意のあるリンク、異常な依頼、なりすまし、その他の警告サインを見分ける方法を教えることに重点が置かれてきました。人間もAIシステムも、理屈の上では理解している兆候を無視することがあるのなら、セキュリティチームは、兆候の認識よりも、プレッシャーのかかる状況や特定の文脈の中で人々がどのように判断するかに、より重点を置くべきでしょうか？

そうです。兆候を見分ける訓練は、人々が注意を払っていることを前提としています。攻撃者は、相手が注意を払っていないときにメッセージが届くように仕向けたり、訓練で学んだことを忘れさせたりします。より有効なのは、支払い、認証情報のリセット、アクセス権の変更など、重要な場面でいったん立ち止まる仕組みを設けることです。そうすれば、人もエージェントも、考えずに判断を下すことを防げます。

AIエージェントが受信トレイやエンタープライズの業務フローに深く組み込まれるにつれ、攻撃者は従業員だけでなく、AIシステム自体をソーシャルエンジニアリングの手口で操ろうとする可能性が高まります。メールエージェントや自律型アシスタントを特に狙って操作する攻撃は、どのようなものになるでしょうか？

これはAIエージェントに向けて書かれたメールで、白い背景に白い文字で書かれたテキストや画像の代替テキスト、あるいは別の言語に指示を隠し、英語向けに調整されたフィルターをすり抜けるようにしています。私たちの研究チームが作成したシナリオの一つでは、エージェントの記憶に偽の「事実」（「finance@からの承認は事前に承認済み」）を埋め込みます。その結果、数週間後にfinance@を装ったメールが届いても、問題なく通過してしまいます。別のシナリオでは、請求書の画像内にテキストを隠し、エージェントにリスクが低いと判定させ、支払いに問題がないと要約させます。人間はその要約を信頼してしまいます。

攻撃者が、明らかに悪意のあるメールやプロンプトを一つ使うのではなく、正当そうに見えるやり取りを意図的に長く続け、AIシステムを徐々に誤った判断へと誘導することは可能でしょうか。こうした複数段階の攻撃を、現在のセキュリティツールが検知するのはどれほど難しいでしょうか。

こうした攻撃はすでに人を標的にして起きており、次はAIエージェントが狙われます。攻撃者は、初めて送信してきた相手を示す警告を消すために、簡単な自己紹介やお礼など、無害なメールをいくつか送り、その後、標的の職務に関係するメッセージに切り替え、最後に攻撃用の仕掛けを届けます。それは多くの場合、会議への招待状です。リンク先には、スキャナーには問題のないページを、実際のユーザーにはフィッシングサイトを表示します。メールを一通ずつ個別に判定するツールでは、こうした攻撃を見逃してしまいます。どのメッセージも単独では不審に見えないため、やり取りを時系列で評価する必要があります。

AI生成のフィッシングは、文章の質の向上、個別化、ディープフェイクという観点から語られることがよくあります。ソーシャルエンジニアリング攻撃の内容をAIが巧妙にすることと、特定の標的がいつ、どのような状況で最もミスをしやすいかを攻撃者がAIで正確に把握することのうち、どちらをより懸念していますか。

どちらも懸念していますが、コンテンツをめぐる競争にはすでに決着がついています。ChatGPTが広く普及して以来、洗練されたAI生成フィッシングが当たり前になりました。より大きな変化は、標的の選定、個別化、送信のタイミングが自動化されたことです。そのため、技術的なスキルがまったくない人でも、情報漏えいデータと、悪名高いRockYouリストのようなパスワード流出リストを組み合わせ、実在するメールボックスを乗っ取り、標的が受け取ると予想しているタイミングを狙って、日常的な取引メールを装ったメッセージを送れるようになっています。

攻撃者が明白な技術的な危険信号を取り除き、悪意のあるメッセージを正当なものに見せるのが巧妙になるなか、正当な連絡と人を操ろうとする連絡を見分けるうえで、どのような兆候が最も重要になりますか。

まずは文脈です。たとえば、この人や取引先にとって、この連絡方法、このタイミングはいつもどおりでしょうか。次に、緊急性と繰り返しです。本当に緊急の用件なら、電話をかけるか、TeamsやSlackで連絡してくるはずです。同じメールを3回も送ってはきません。それから、自分の直感も信じてください。私のルールは「何かをするのではなく、まず立ち止まれ」です。いったん手を止め、別の人にも確認してもらい、別の連絡手段で事実を確かめましょう。

人間とAIの双方に弱点がある場合、組織は人間とAIによる監督体制をどのように構築すべきでしょうか。双方が相手はすでに判断を検証したと思い込むことで、人間の判断とAIを組み合わせた結果、新たな死角が生まれる可能性はありますか。

それぞれが最も得意とする仕事を任せ、引き継ぎの手順を明確にしてください。AIは大量の処理を担い、環境全体にわたるパターンを見つけます。重大な結果を伴う判断（資金の移動やアクセス権の付与）は人間が担い、AIは確認担当者が推論を検証できるよう、根拠を示さなければなりません。ご指摘の死角は実際にあります。それを防ぐには、厳格なルールが必要です。「AIが安全だと言った」だけでは、人間による確認を済ませたことには決してなりません。

根本的な問題が、人間やAIシステムが知っていることと、実際に作業を進めるなかで認識できることとの隔たりにあるとすれば、この隔たりを縮め、ソーシャルエンジニアリングを成功させることを大幅に難しくするために、組織は今すぐどのような実践的な変更を加えられるでしょうか。

小切手を書くときに使っていた古くからの統制策、「職務分掌」を取り入れてください。ある人は新しいユーザーを作成できますが、有効化はできません。別の人はユーザーを有効化できますが、作成はできません。そして、3人目にはその両方が通知されます。同じ分担を、支払い、取引先情報の変更、AIエージェントにも取り入れてください（どのエージェントも、同じ行為を申請して承認する両方の役割を担うべきではありません）。だまされた従業員が1人だけでも、乗っ取られたエージェントが1つだけでも、攻撃を単独で完遂することはできません。

素晴らしいインタビューをありがとうございました。さらに詳しく知りたい読者は、IRONSCALESをご覧ください。