Yaron Singer, Robust IntelligenceのCEOおよびハーバード大学のコンピューターサイエンス教授 – インタビューシリーズ

Yaron Singerは、Robust IntelligenceのCEOであり、ハーバード大学のコンピューターサイエンスおよび応用数学の教授です。Yaronは、マシンラーニング、アルゴリズム、最適化におけるブレークスルーな結果で知られています。以前、YaronはGoogle Researchで働き、UC Berkeleyから博士号を取得しました。

コンピューターサイエンスとマシンラーニングの分野に最初に惹かれたのは何ですか?

私の旅は数学から始まり、コンピューターサイエンスに続き、マシンラーニングへと導かれました。数学は最初に私の興味を引いたのは、その公理的システムが新しい世界を作る能力を与えてくれたからです。コンピューターサイエンスでは、存在証明について学びましたが、それらの背後にあるアルゴリズムについても学びました。創造的な観点から見ると、コンピューターサイエンスは、私たちができることとできないことの境界を描くことです。

マシンラーニングへの私の興味は、常に実データ、あるいは物理的な側面への興味に根ざしています。現実世界から事物を取り出し、有意義なものを作るためにそれらをモデル化することです。私たちは、有意義なモデル化によって、より良い世界をエンジニアリングすることができます。したがって、数学は私に証明するための基礎を与え、コンピューターサイエンスは私にできることとできないことを示し、マシンラーニングは私にこれらの概念を世界でモデル化する能力を与えます。

最近までハーバード大学のコンピューターサイエンスおよび応用数学の教授だったので、その経験から得た主な教訓は何ですか?

ハーバード大学の教員として働いたことから得た私の最大の教訓は、偉大なことを成し遂げるための欲求を育むことです。ハーバード大学は伝統的に小さな教員団を抱えており、テニュアトラックの教員からの期待は、大きな問題に取り組み、新しい分野を作り出すことです。私たちは大胆でなければなりません。これは、カテゴリを作成するスタートアップを立ち上げ、新しいスペースを定義するための優れた準備となります。私は必ずしもハーバード大学のテニュアトラックを最初に経験することを勧めるわけではありませんが、それを乗り越えた後は、スタートアップを構築することはより簡単です。

洗練されたAIシステムが悪いデータに対して脆弱であること、そしてそれが遠くまで及ぶ影響をもたらす可能性があることを理解した、あなたの「aha」モーメントについて説明してください。

UCバークレー大学の大学院生だったとき、私はソーシャルネットワークのマーケティングのためのマシンラーニングモデルを構築するスタートアップを始めるために少し時間を取りました。これは2010年でした。私たちはソーシャルメディアから大量のデータを持ち、それらをすべてスクラッチからコード化しました。小売業者にとっての財務的影響はかなり大きかったので、私たちはモデル性能を密接に追跡しました。ソーシャルメディアからのデータを使用していたので、入力に多くのエラーがあり、またドリフトもありました。私たちは、非常に小さなエラーがモデル出力の大きな変化につながり、製品を使用する小売業者にとって悪い財務的結果につながる可能性があることを確認しました。

その後、Google+（私たちが覚えている人にとって）で働いたとき、私は同じ効果を見ました。より劇的に、AdWordsのようなシステムでは、キーワードの広告をクリックする可能性について予測を行いましたが、モデルへの入力の小さなエラーが非常に悪い予測につながることを確認しました。Googleの規模でこの問題を目撃すると、問題は普遍的であることを実感します。

これらの経験は私の研究の焦点を大幅に形作り、ハーバード大学での私の時間を、AIモデルが間違える理由を調査し、また、モデルが間違えるのを防ぐアルゴリズムを設計することに費やしました。これは当然、さらに多くの「aha」モーメントをもたらし、最終的にRobust Intelligenceの創設につながりました。

Robust Intelligenceの創設物語を共有してください。

Robust Intelligenceは、当初は理論的な問題として始まりました: AIモデルを使用して下された決定について、どのような保証が可能か。Kojinはハーバード大学の学生でしたが、私たちは一緒に研究論文を書き始めました。したがって、それは研究論文の書き方から始まりますが、そこでは理論的に何が可能で何が不可能かをアウトラインします。後で、これらの結果は、AIの失敗に耐性のあるアルゴリズムとモデルを設計するためのプログラムに続きました。次に、私たちはこれらのアルゴリズムを実践で実行できるシステムを構築しました。その後、組織がこのようなシステムを使用できる会社を立ち上げることは、自然な次のステップでした。

Robust Intelligenceが扱う多くの問題はサイレントエラーであるが、それらは何であり、それらがとても危険なものとなる理由は何ですか?

技術的な定義を提供する前に、AIがエラーを起こす理由と、それが私たちに与える影響について理解する必要があります。私たちがAIモデルがエラーを起こす理由を気にするのは、そのエラーの結果です。私たちの世界では、AIを使用して重要な決定を自動化しています: 誰がビジネスローンを得るか、またどの金利で、誰が医療保険の適用を受けるか、またどの金利で、どの地域を警察がパトロールするか、誰が仕事の最も適切な候補者であるか、空港のセキュリティをどのように組織するかなどです。AIモデルが極めてエラーを起こしやすいということは、これらの重要な決定を自動化することで、多大なリスクを引き受けることになります。Robust Intelligenceでは、これを「AIリスク」と呼び、会社の使命はAIリスクを排除することです。

サイレントエラーは、AIモデルが入力を受け取り、誤った、または偏った出力、つまり予測または決定を生成するエラーです。表面上では、すべてのシステムが機能的に正常に動作しているように見えます。ただし、予測または決定は誤りです。これらのエラーはサイレントです。なぜなら、システムはエラーが発生していることを認識できないからです。これは、AIモデルが出力を生成していない場合よりもはるかに悪い場合があります。なぜなら、組織がそのAIシステムに問題があることを認識するのに長い時間がかかる可能性があるからです。すると、AIリスクはAIの失敗につながり、深刻な結果をもたらす可能性があります。

Robust Intelligenceは、以前は不可能と考えられていたAIファイアウォールを実質的に設計しました。なぜこれは技術的な課題となるのでしょうか?

AIファイアウォールが課題となる理由の1つは、それが従来のMLコミュニティのパラダイムに反するためです。MLコミュニティの従来のパラダイムは、エラーを排除するには、モデルに悪いデータを含むすべてのデータを提供する必要があるというものでした。そうすることで、モデルはそれ自体をトレーニングし、間違いを自己修正することができます。このアプローチの問題は、モデルが精度を大幅に低下させることです。画像の最もよく知られた結果では、AIモデルの精度が98.5％から約37％に低下します。

AIファイアウォールは、代替の解決策を提供します。私たちは、エラーを特定する問題と予測を作成する役割を切り離し、ファイアウォールが特定のタスクに集中できるようにしました: エラーを生じさせるデータポイントを決定することです。

これ自体が課題でした。なぜなら、単一のデータポイントに対する予測を行うことは困難だからです。モデルがエラーを生じさせる理由は多数あるため、エラーを予測する技術を構築することは簡単ではありませんでした。私たちは幸運で、優れたエンジニアたちを擁しています。

システムはAIの偏りを防ぐのにどのように役立ちますか?

モデルバイアスは、モデルがトレーニングされたデータと予測に使用するデータとの不一致から生じます。AIリスクに戻ると、バイアスはサイレントエラーの主要な問題です。たとえば、これは表現されていない集団の問題であることがよくあります。モデルは、その集団からのデータが少ないためバイアスを持つ可能性があり、それはモデルのパフォーマンスと予測の精度に大きな影響を与える可能性があります。AIファイアウォールは、組織にこれらのデータの不一致を警告し、モデルが正しい決定を下せるように支援できます。

AIファイアウォールが防ぐその他の組織へのリスクは何ですか?

重要な決定を自動化するためにAIを使用する会社は、自動的にリスクを引き受けます。入力の0と1の間違いなど、わずかな悪いデータでも重大な結果をもたらす可能性があります。医療の誤った予測や融資の誤った予測など、AIファイアウォールは組織がリスクを完全に防ぐのに役立ちます。

Robust Intelligenceについてさらに共有したいことはありますか?

Robust Intelligenceは急速に成長しており、優れた候補者が多数応募しています。ただし、私が強調したいのは、候補者に求める最も重要な資質は、ミッションへの情熱です。技術的に優れた候補者に会うことが多いのですが、それはあなたが本当にAIリスクを排除して、世界をより安全で良い場所にすることに情熱を持っているかどうかです。

私たちが向かっている世界では、現在人間が行っている多くの決定が自動化されることになります。私たちがそれを好むかどうかは別として、それが事実です。Robust Intelligenceのすべてのメンバーは、自動化された決定が責任を持って行われることを望んでいます。したがって、影響を与えること、人々の生活に影響を与える方法について理解している人は、Robust Intelligenceに参加するための素晴らしい候補者です。私たちは、その情熱を探しています。私たちは、世界中が使用するこの技術を作成する人々を探しています。

素晴らしいインタビュー、ありがとうございました。AIの偏りを防ぐこと、AIファイアウォールの必要性についてのあなたの見解を学ぶことができて楽しかったです。詳細については、Robust Intelligenceを訪問してください。