ヤロン・シンガー、Robust IntelligenceのCEOおよびハーバード大学のコンピューター科学教授 – インタビュー・シリーズ

ヤロン・シンガーは、Robust IntelligenceのCEOであり、ハーバード大学のコンピューター科学および応用数学の教授です。ヤロンは、機械学習、アルゴリズム、最適化における突破的な成果で知られています。以前は、Google (GOOGL ) Researchで働き、UC Berkeleyから博士号を取得しました。

コンピューター科学と機械学習の分野に最初に惹かれたのは何ですか?

私の旅は数学から始まり、コンピューター科学に続き、機械学習に至りました。数学が最初に私の興味を引いたのは、その公理的システムが新しい世界を作る能力を与えてくれたからです。コンピューター科学では、存在証明について学び、その背後にあるアルゴリズムについても学びました。創造的な観点から見ると、コンピューター科学は、私たちができることとできないことの境界を描くことです。

機械学習に対する私の興味は、常に現実世界のデータ、あるいはその物理的な側面に対する興味に根ざしています。現実世界からものを取り出し、有意義なものを作るためにモデル化すること。私たちは、有意義なモデル化によって、より良い世界を設計することができます。数学が私に証明するための基礎を与えてくれた、コンピューター科学が私に何ができるか、何ができないかを見せることを教えてくれた、機械学習が私にこれらの概念を世界でモデル化する能力を与えてくれた。

最近までハーバード大学のコンピューター科学および応用数学の教授だったので、その経験から得た主な教訓は何ですか?

ハーバード大学の教員としての私の最大の教訓は、大きなことを成し遂げるという欲求を育むことです。ハーバード大学は伝統的に教員の数が少なく、テニュア・トラックの教員は大きな問題に取り組み、新しい分野を作ることが求められます。挑戦する必要があります。これは、カテゴリを作成するスタートアップを立ち上げ、新しいスペースを定義するために非常に良い準備になります。私は必ずしもハーバード大学のテニュア・トラックを最初に経験することを勧めませんが、それを経験した後、スタートアップを立ち上げることは簡単です。

高度なAIシステムが悪いデータに対して脆弱であることを実感した、あなたの「aha」モーメントについて説明してください。悪いデータの潜在的な結果については?

私はUC Berkeleyの大学院生だったとき、2010年にソーシャルネットワークのマーケティングのための機械学習モデルを構築するスタートアップをしました。私たちはソーシャルメディアから大量のデータを取得し、すべてのモデルをスクラッチからコードしました。小売業者にとっての金融的影響はかなり大きかったので、モデルを密接に追跡しました。ソーシャルメディアからのデータを使用していたので、入力に多くのエラーがあり、またドリフトもありました。私たちは、非常に小さなエラーがモデル出力の大きな変化につながり、また小売業者にとって悪い金融的結果につながる可能性があることを確認しました。

私はGoogle+（私たちが覚えている人にとって）に移行したとき、同じ効果を確認しました。より劇的に、AdWordsのようなシステムでは、キーワードに対する広告のクリックの可能性について予測を行いました。入力データの小さなエラーが予測の悪化につながることを確認しました。Googleの規模でこの問題を目にすると、問題は普遍的であることを実感します。

これらの経験は、私の研究の焦点を形作りました。私は、AIモデルが間違いを犯す理由と、間違いを犯さないようにアルゴリズムを設計する方法を調査する時間をハーバード大学で過ごしました。これは、もちろん、さらに多くの「aha」モーメントと、最終的にはRobust Intelligenceの創設につながりました。

Robust Intelligenceの創設について説明してください。

Robust Intelligenceは、当初は理論的な問題としての研究から始まりました。AIモデルが下す決定に対する保証とは何か。コジンはハーバード大学の学生でした。私たちは一緒に研究論文を書き始めました。したがって、これは論文の書き始めから始まります。そこでは、理論的に何が可能で何が不可能かを説明します。これらの結果は後に、AIの失敗に対してロバストなアルゴリズムとモデルを設計するためのプログラムに続きました。次に、実際にこれらのアルゴリズムを実行できるシステムを構築しました。その後、組織がこのようなシステムを使用できる会社を設立することは自然な次のステップでした。

Robust Intelligenceが取り組む問題の多くは、サイレント・エラーです。サイレント・エラーとは何ですか? それらは何が危険です?

サイレント・エラーの技術的な定義を提供する前に、AIがエラーを犯す理由を理解する必要があります。私たちがAIモデルがエラーを犯すことを心配する理由は、そのエラーの結果です。私たちの世界は、AIを使用して重要な決定を自動化しています。誰がビジネス・ローンを取得し、どの金利で、誰が健康保険の適用を受け、どの金利で、どの地域を警察がパトロールするか、誰が仕事の最優秀候補者であるか、空港のセキュリティをどのように組織するかなどです。AIモデルが非常にエラーが発生しやすいということは、重要な決定を自動化することで、多大なリスクを引き受けることになります。Robust Intelligenceでは、これを「AIリスク」と呼びます。会社の使命は、AIリスクを除去することです。

サイレント・エラーは、AIモデルが入力を受け取り、誤った、または偏った予測または決定を出力するエラーです。表面的に見ると、システムは機能的に正常に動作しているように見えます。しかし、予測または決定は誤りです。これらのエラーはサイレントです。システムはエラーが発生していることを認識していないからです。これは、AIモデルが出力を行わない場合よりもはるかに悪い場合があります。組織がAIシステムに問題があることを認識するまでに長い時間がかかる可能性があるからです。すると、AIリスクはAIの失敗につながり、深刻な結果をもたらす可能性があります。

Robust Intelligenceは、以前は不可能と考えられていたAIファイアウォールを設計しました。なぜこれは技術的な課題ですか?

AIファイアウォールが課題である理由の1つは、機械学習コミュニティが持っていたパラダイムに反することです。以前のパラダイムは、エラーを除去するには、モデルに悪いデータを含むすべてのデータを与える必要があるというものでした。モデルはそれ自体をトレーニングし、間違いを自己修正するでしょう。ただし、このアプローチには、モデルの精度が大幅に低下するという問題があります。画像の場合、最もよく知られている結果は、AIモデルの精度を98.5％から約37％に低下させることです。

AIファイアウォールは、異なる解決策を提供します。エラーを識別する問題と、予測を作成する役割を切り離します。ファイアウォールは、特定のタスクに集中できます。データポイントが誤った予測を生み出すかどうかを判断することです。

これ自体が、単一のデータポイントについて予測を行うことの難しさにより、課題でした。モデルがエラーを犯す理由は多数あるため、エラーを予測できるテクノロジーを構築することは簡単ではありませんでした。私たちは幸運で、優れたエンジニアを擁しています。

システムは、AIバイアスを防止するのにどのように役立ちますか?

モデルバイアスは、モデルがトレーニングされたデータと予測に使用するデータとの不一致から生じます。AIリスクに戻ると、バイアスはサイレント・エラーの主要な問題です。たとえば、代表性の低い集団の場合、モデルはその集団からのデータを少なく見たため、バイアスを持つ可能性があります。これにより、モデルのパフォーマンスと予測の精度が大幅に影響を受ける可能性があります。AIファイアウォールは、組織にこれらのデータの不一致を警告し、モデルが正しい決定を下すのを支援できます。

AIファイアウォールが防止する組織へのその他のリスクについて説明してください。

重要な決定、特に重要な決定を自動化するためにAIを使用する会社は、自動的にリスクを引き受けます。入力データがゼロではなく1である場合でも、重大な結果をもたらす可能性があります。医療予測の誤りや融資予測の誤りに関係なく、AIファイアウォールは組織がリスクを完全に防止するのに役立ちます。

Robust Intelligenceについてさらに何か共有したいことはありますか?

Robust Intelligenceは急速に成長しており、優秀な候補者が多数応募しています。しかし、私が強調したいのは、候補者に求める最も重要な資質は、ミッションに対する情熱です。技術的に優れた候補者に会うことが多いですが、最終的には、彼らが本当にAIリスクを除去して世界をより安全で良い場所にすることに情熱を傾けているかどうかを理解することです。

私たちが向かっている世界では、現在人間が行っている多くの決定が自動化されるでしょう。私たちがそれを好むかどうかは別として、それが事実です。Robust Intelligenceのすべての人が、自動化された決定が責任を持って行われることを望んでいます。したがって、影響を与えること、人々の生活にどのように影響するかを理解している人、誰でも歓迎です。私たちはその情熱を求めています。私たちは、世界中で使用されるテクノロジーを作成する人々を求めています。

素晴らしいインタビュー、ありがとうございました。AIバイアスを防止し、AIファイアウォールの必要性についてのあなたの見解を学ぶことができて、嬉しく思います。さらに詳しく知りたい読者は、Robust Intelligenceを訪問してください。