ヴァヒド・ベズダン、セキュア＆アシュアード・インテリジェント・ラーニング（SAIL）ラボのディレクター – インタビュー・シリーズ

ヴァヒドは、ニューヘブン大学のコンピューターサイエンスとデータサイエンスの准教授です。彼はまた、セキュア＆アシュアード・インテリジェント・ラーニング（SAIL）ラボのディレクターです。

彼の研究分野には、インテリジェント・システムの安全性とセキュリティ、AIの安全性問題の心理学的モデル化、複雑な適応システムのセキュリティ、ゲーム理論、多エージェント・システム、サイバーセキュリティなどがあります。

サイバーセキュリティとAIの安全性の分野で幅広い経験を持っています。どのようにしてこれらの分野に興味を持つようになったのかについて、ご説明ください。

私の研究の軌跡は、2つの核心的な興味によって推進されてきました。ものごとがどのように壊れるかを知ること、そして人間の心のメカニズムを学ぶことです。私は10代の頃からサイバーセキュリティに関与しており、初期の研究計画をこのドメインの古典的な問題の周りに構築しました。大学院での研究を始めて数年後、私は研究分野を変更する珍しい機会に出会いました。当時、私はSzegedyとGoodfellowによるアドバーサリアル・エクスプロイト・アタックの初期の研究に出会い、機械学習を攻撃するアイデアを見つけたときに私はとても興味を持ったです。この問題を深く調べると、AIの安全性とセキュリティというより広い分野を発見し、サイバーセキュリティ、認知科学、経済学、哲学などの私の核心的な興味を包含していることを知りました。私はまた、この分野の研究は面白いだけでなく、AI革命の長期的な利益と安全性を確保するために重要であると考えています。

SAILラボのディレクターとして、インテリジェント・マシンの安全性とセキュリティのための具体的な基礎を築くことを目指しています。SAILでの取り組みについて、詳しくお話しください。

SAILでは、私と私の学生たちは、セキュリティ、AI、複雑なシステムの交差点にある問題に取り組んでいます。私たちの研究の主な焦点は、理論的および実用的な観点から、インテリジェント・システムの安全性とセキュリティを調査することです。理論的側面では、多エージェント・設定における価値の整列問題を調査し、AIエージェントの安定性とロバストな整列に関する目標を評価および最適化するための数学的ツールを開発しています。実用的な側面では、私たちのプロジェクトのいくつかは、自律走行車やアルゴリズム取引などの最先端のAIテクノロジーのセキュリティ脆弱性を探索し、suchテクノロジーの耐性を評価および改善するための技術を開発することを目的としています。

私たちはまた、自動化されたペネトレーション・テスト、侵入試行の早期検出、オープンソースのデータ（例：ソーシャル・メディア）からの自動化された脅威インテリジェンスの収集と分析などの、サイバーセキュリティにおけるマシン・ラーニングの応用についても取り組んでいます。

最近、AIの安全性問題を精神病理学的障害としてモデル化する提案を主導しました。詳しく説明してください。

このプロジェクトは、AIエージェントとシステムの急速に増大する複雑性に取り組んでいます。強化学習エージェントの非自明な設定での不安全な行動を診断、予測、制御することは、低レベルの構成だけを見てすでに非常に難しいです。この研究では、安全性問題を調査する上で、より高いレベルの抽象化の必要性を強調しています。人間の行動問題に対する科学的アプローチからインスピレーションを得て、AIとAGIの出現する有害な行動をモデル化および分析するための有用な抽象化として、精神病理学を提案します。実証として、クラシック・ゲームのスネークをプレイする強化学習エージェントの報酬・ハッキングのAIの安全性問題を研究します。私たちは、環境に「薬」の種を追加すると、エージェントは、神経科学的アドディクション・モデルで説明できるサブ・オプティマルな行動を学習することを示します。この研究では、精神医学で使用される治療アプローチに基づく制御方法も提案します。例えば、エージェントの有害な行動を変更するための「薬」のような人工的に生成された報酬シグナルを使用することを提案します。

自律走行車のAIの安全性について、どのような懸念がありますか。

自律走行車は、サイバーフィジカル・システムにAIを展開する著名な例となっています。現在のマシン・ラーニング・テクノロジーの基本的な脆弱性とアドバーサリアル・アタックに対する懸念から、私は自律走行車、あるいは半自律走行車の安全性とセキュリティについて深刻な懸念を持っています。また、自律走行車の分野は、安全性と評価プロトコルの重大な欠如に苦労しています。ただし、私は希望的です。自然な知能と同様に、AIも間違いを犯す可能性があります。しかし、自律走行車の目標は、人間の運転者よりも間違いと影響が少ない場合に達成できます。業界と学術界、政府においても、これらの問題に対処するための努力が増えています。

ストリート・サインにステッカーを貼ることで、自律走行車のコンピュータ・ビジョン・モジュールを混乱させることができます。この問題はどのくらいの大きさですか。

これらのステッカーと、アドバーサリアル・エクスプロイトの一般的な問題は、マシン・ラーニング・モデルにおけるロバスト性の基本的な課題を提起します。ジョージ・E・P・ボックスの言葉を引用します。「すべてのモデルは間違っているが、有用なものもあります」。アドバーサリアル・エクスプロイトは、モデルが間違っていることを利用します。これは、抽象的な性質と、トレーニングに使用されるデータの制限によるものです。アドバーサリアル・マシン・ラーニングの分野における最近の努力は、ディープ・ラーニング・モデルをアドバーサリアル・アタックに対する耐性を高めるための大きな進歩をもたらしました。セキュリティの観点から、マシン・ラーニング・モデルを欺く方法は常に存在します。しかし、マシン・ラーニング・モデルをセキュアにする実用的な目標は、アタックの実施コストを経済的に非実行可能なレベルまで高めることです。

あなたの焦点は、ディープ・ラーニングとディープ・強化学習の安全性とセキュリティの特徴にあります。なぜこれが重要なのでしょうか。

強化学習（RL）は、制御問題にマシン・ラーニングを適用するための主要な方法です。これは、環境の操作を伴うため、他のマシン・ラーニング・方法よりも実世界での重大な損害をもたらすリスクが高くなります。ディープ・ラーニングをRLに統合すると、RLをより複雑な設定で採用できるようになります。さらに、RLフレームワークは人間の認知メカニズムの基礎的なメカニズムに密接に関連しており、RLの安全性と脆弱性を研究することで、人間の意思決定の限界に対する洞察を得ることができます。

人工一般知能（AGI）を達成するには、どのくらいの距離が残っていますか。

これは、答えるのが非常に難しい質問です。私は、AGIの出現を促進するアーキテクチャの構成要素を持っていることを信じています。ただし、これらのアーキテクチャを改善し、トレーニングと維持のコスト効率を高めるには、数年、あるいは数十年の時間がかかるかもしれません。来るべき年々で、私たちのエージェントは急速に知能を高めていきます。私は、AGIの出現が科学的に妥当な見出しの形で発表されるのではなく、漸進的な進歩の結果であると考えています。さらに、AGIの存在をテストおよび検出するための、広く受け入れられた方法論がまだないため、AGIの最初のインスタンスを認識するのが遅れる可能性があります。

AGIシステムが自己思考を可能にし、人間よりもはるかに高度な知能を持つようになった場合、安全性をどのように維持しますか。

私は、知能的な行動の統一理論は経済学であり、エージェントが何を達成したいか、どのような情報を持っているか、どのようなリソースが利用可能かによって決定されるという信念を持っています。人間の意思決定は、目標、情報、利用可能なリソースによって決定されます。社会や協力的な取り組みは、グループの個々のメンバーにとっての利益から生じます。例えば、刑法は、社会に害を及ぼす可能性のある行動に高いコストを課すことで、決定を抑制します。同様に、私は、インセンティブとリソースを制御することで、人間とAGIのインスタンスの間で均衡状態の出現を可能にできると考えています。現在、AI安全性コミュニティは、価値の整列問題の下でこのテーゼを調査しています。

テロ対策の分野もご覧のところ、テロリストがAIまたはAGIシステムを乗っ取ることについて、懸念がありますか。

AIテクノロジーの悪用については、多くの懸念があります。テロ作戦の場合、主な懸念は、テロリストが自律的な攻撃を容易に開発し、実行できることです。私の多くの同僚は、自律的な兵器（https://autonomousweapons.org/）のリスクについて警告しています。AI兵器の主な問題は、根本的な技術を制御することの難しさです。AIはオープンソースの研究の最前線にあり、誰でもインターネットと消費者向けハードウェアにアクセスできれば、有害なAIシステムを開発できます。私は、自律的な兵器の出現は不可避であると考えています。テロリストが自律的な兵器を開発し、使用することを阻止するために、新しい技術的解決策が必要になるでしょう。これにより、AI兵器の進化を促進する猫とねずみのゲームが生じる可能性があり、長期的には深刻な存在的リスクをもたらす可能性があります。

これらのアドバーサリアル・エージェントからAIシステムを保護するために、どのようなことができますか。

第一に、教育が必要です。すべてのAIエンジニアと実践者は、AIテクノロジーの脆弱性について学び、システムの設計と実装において関連するリスクを考慮する必要があります。より技術的な推奨事項については、さまざまな提案と解決策の概念が利用できます。例えば、アドバーサリアルな設定でマシン・ラーニング・エージェントをトレーニングすることで、回避とポリシー操作攻撃に対する耐性とロバスト性を向上させることができます（例：私の論文「Whatever Does Not Kill Deep Reinforcement Learning, Makes it Stronger」）。別の解決策は、エージェントのアーキテクチャにアドバーサリアル・アタックのリスクを直接考慮することです（例：ベイジアン・アプローチによるリスク・モデリング）。ただし、この分野には、すべてのタイプのアタックに対するAIエージェントのロバスト性を評価するための普遍的なメトリックと方法論の必要性があります。現在の解決策はほとんどアドホックであり、すべてのアタックに対する一般的な耐性の尺度を提供できません。

これらのトピックについて、他に共有したいことがありますか。

2014年、Scully et al.は、NeurIPSカンファレンスで、非常に啓発的なトピックを持つ論文を発表しました。「マシン・ラーニング：テクニカル・デットの高金利クレジット・カード」。この分野の進歩にもかかわらず、この発言はまだその妥当性を失っていません。現在のAIとマシン・ラーニングの状態は、感嘆すべきものですが、AIの基礎とエンジニアリングの側面で、重大なギャップがまだ多くあります。この事実は、私たちの会話の最も重要な要点です。私は、AIテクノロジーの商業的な採用を阻止したいわけではありません。ただし、エンジニアリング・コミュニティが、AIテクノロジーのリスクと限界を考慮する必要があると考えています。

さまざまなタイプのAIシステムの安全性とセキュリティの課題について学ぶことをとても楽しみました。これは、個人、企業、政府が認識する必要があるものです。さらに学びたい読者は、セキュア＆アシュアード・インテリジェント・ラーニング（SAIL）ラボを訪問してください。