Mona Labs CEO 兼共同創設者 Yotam Oren – インタビュー シリーズ

Yotam Oren は CEO 兼共同創設者です。 モナ研究所は、ML モデルが実際のビジネス プロセスやアプリケーションでどのように動作するかを真に理解することで、企業が AI の取り組みを実験室での実験からスケーラブルなビジネス運営に変えることを可能にするプラットフォームです。

Mona は、潜在的な AI バイアスを検出するために、保護されたデータ セグメント全体およびビジネス機能のコンテキストで機械学習モデルの動作を自動的に分析します。 Mona は、業界の標準と規制を満たす完全な公平性レポートを生成する機能を提供し、AI アプリケーションが準拠しておりバイアスがないことを確信できます。

最初にコンピューター サイエンスに惹かれたのは何ですか?

コンピューターサイエンスは私の家族の中で人気の高いキャリアパスなので、実行可能な選択肢として常に頭の片隅にありました。 もちろん、イスラエルの文化は非常にハイテク寄りです。 私たちは革新的な技術者を称賛しており、私は常に CS が成長と成果への道を提供してくれるだろうと感じていました。

それにもかかわらず、それが個人的な情熱になったのは、大学生になってからでした。 私は中学生からコーディングを始めたような子供ではありませんでした。 若い頃、私はバスケットボールをするのに忙しすぎて、コンピューターに注意を払うことができませんでした。 高校卒業後、私は軍隊で作戦/戦闘の指導的役割を担って5年近くを過ごしました。 つまり、ある意味、実際にコンピュータ サイエンスについて学び始めたのは、大学で学術専攻を選択する必要が生じたときになってからです。 すぐに私の注意を引いたのは、コンピューターサイエンスが問題解決と言語学習を組み合わせているということでした。 私が特に興味を持ったのは XNUMX つです。それ以来、私は夢中になってしまいました。

2006 年から 2008 年まで、あなたは小規模なスタートアップ企業のマッピングとナビゲーションに取り組みましたが、この時代から得た重要な点は何ですか?

Telmap での私の役割は、地図と位置データに基づいて検索エンジンを構築することでした。

これらは、企業における「ビッグ データ」のごく初期の時代でした。 私たちはそう呼んでさえいませんでしたが、膨大なデータセットを取得し、最も影響力があり関連性の高い洞察を引き出してエンドユーザーに提示しようとしていました。

私が感じた印象的な認識の XNUMX つは、企業 (当社を含む) が自社のデータ (公開されている外部データは言うまでもなく) をほとんど活用していないということでした。 新しい洞察、より良いプロセス、エクスペリエンスが得られる可能性がたくさんありました。

もう XNUMX つの重要な点は、より多くのデータを取得できるようにするには、当然のことながら、より優れたアーキテクチャ、より優れたインフラストラクチャなどが必要であるということです。

Mona Labs の誕生の経緯を教えていただけますか?

共同創設者である私たち XNUMX 人は、キャリアを通じてデータ製品に携わってきました。

最高技術責任者のニモは私の大学の友人でありクラスメートであり、Google Tel Aviv の最初の従業員の XNUMX 人です。 そこで彼は、検索エンジンのデータに基づいた高度な分析と機械学習を備えた Google トレンドと呼ばれる製品を立ち上げました。 もう一人の共同創設者兼最高製品責任者であるイタイ氏は、Google の Nemo チームに所属していました (そして、彼と私は Nemo を通じて知り合いました)。 XNUMX 人は、AI 駆動システムが初期の開発とテスト後に監視されないまま放置されていることに常に不満を感じていました。 実稼働前にこれらのシステムを適切にテストするのは難しいにもかかわらず、チームは予測モデルが時間の経過とともにどれだけうまく機能するかをまだ知りませんでした。 さらに、AI システムに関するフィードバックを聞くことができるのは、物事がうまくいかず、致命的な問題を解決するために開発チームが「消防訓練」に呼ばれたときだけであるようでした。

同じ頃、私はマッキンゼー・アンド・カンパニーでコンサルタントをしていましたが、大企業での AI およびビッグデータ プログラムの拡張に対する最大の障壁の 1 つは、ビジネス関係者がこれらのプログラムに対して抱いている信頼の欠如でした。

ここでの共通点は、ニモ、イタイ、そして私にとって会話の中で明らかになりました。 業界は、本番環境で AI/ML システムを監視するためのインフラストラクチャを必要としていました。 私たちは、ビジネス関係者の信頼を高めるためにこの可視性を提供し、AI チームがシステムの動作状況を常に把握し、より効率的に反復できるようにするというビジョンを思いつきました。

そしてそれがMonaが設立されたときです。

AI の透明性の欠如による現在の問題にはどのようなものがありますか?

多くの業界では、組織はすでに AI プログラムに数千万ドルを費やしており、実験室や小規模な導入で初期の成功を収めています。 しかし、スケールアップして広範な導入を実現し、実際にビジネスを AI に依存させることは、ほとんどすべての人にとって大きな課題となっています。

なぜこうなった？ それは、優れた研究が自動的に優れた製品につながるわけではないという事実から始まります (ある顧客は、「ML モデルは車のようなもので、研究室から出た瞬間にその価値の 20% を失ってしまう」と言ったことがあります)。 優れた製品にはサポートシステムが備わっています。 長期にわたって品質を維持し、問題を早期に発見して効率的に対処するためのツールとプロセスがあります。 優れた製品には継続的なフィードバック ループがあり、改善サイクルとロードマップがあります。 したがって、優れた製品には、深く一定したパフォーマンスの透明性が必要です。

透明性が欠如していると、次のような結果になります。

• しばらくは隠蔽されたままで、その後突然表面化して「消防訓練」を引き起こす問題
• 長時間にわたる手作業による調査と軽減
• ビジネス ユーザーやスポンサーから信頼されず、最終的には拡張できない AI プログラム

予測モデルを透明性と信頼性のあるものにする背後にある課題にはどのようなものがありますか?

もちろん、透明性は信頼を得る上で重要な要素です。 透明性にはさまざまな形があります。 予測の透明性は XNUMX つだけで、これにはユーザーに対する信頼レベルの表示、または予測の説明/根拠の提供が含まれる場合があります。 単一予測の透明性は、ユーザーが予測に慣れることを主な目的としています。 さらに、予測精度、予期せぬ結果、潜在的な問題に関する情報を含む、全体的な透明性もあります。 AI チームには全体的な透明性が必要です。

全体的な透明性の最も難しい部分は、問題を早期に検出し、関連するチームメンバーに警告を発して、大惨事が発生する前に是正措置が取れるようにすることです。

問題を早期に検出することが難しい理由:

• 多くの場合、問題は小さく始まり、くすぶり始めて、最終的に表面に飛び出すことがあります。
• 問題は多くの場合、データ ソースなどの制御不能な要因または外部要因によって始まります。
• 「世界を分割する」方法はたくさんあり、小さなポケットの中の問題を徹底的に探すと、少なくとも素朴なアプローチで行われた場合、多くのノイズ（警告疲労）が発生する可能性があります。

透明性の提供におけるもう XNUMX つの課題は、AI ユースケースの急増です。 このため、画一的なアプローチはほぼ不可能になっています。 すべての AI ユースケースには、さまざまなデータ構造、さまざまなビジネス サイクル、さまざまな成功指標、さらにはさまざまな技術的アプローチやスタックが含まれる場合があります。

したがって、これは途方もない仕事ですが、透明性は AI プログラムの成功にとって非常に基本的なものであるため、これを実行する必要があります。

NLU / NLP モデルとチャットボットのソリューションについて詳しく教えていただけますか?

会話型 AI は Mona の中核分野の XNUMX つです。 私たちは、言語モデルやチャットボットなどを含む、幅広い会話型 AI のユースケースで革新的な企業をサポートできることを誇りに思っています。

これらのユースケースに共通する要因は、モデルが顧客の近くで (場合によっては目に見えて) 動作するため、一貫性のないパフォーマンスや不正な動作のリスクが高くなるということです。 会話型 AI チームにとって、システムの動作を詳細なレベルで理解することが非常に重要になっており、これが Mona の監視ソリューションの強みの領域です。

Mona のソリューションが行う非常にユニークな点は、会話のグループを体系的に選別し、モデル (またはボット) が誤動作するポケットを見つけることです。 これにより、会話型 AI チームは問題を顧客が気づく前に早期に特定できるようになります。 この機能は、会話型 AI チームが監視ソリューションを選択する際の重要な意思決定要因となります。

要約すると、Mona は会話型 AI モニタリングのためのエンドツーエンドのソリューションを提供します。 これは、長期にわたるシステムの動作に関する単一の情報源を確保することから始まり、重要なパフォーマンス指標の継続的な追跡と、一部の不正動作に関する事前の洞察を継続して行い、チームが先制的かつ効率的な是正措置を講じることができるようにします。

Mona のインサイト エンジンについて詳しく教えていただけますか?

もちろん。 まずは動機から始めましょう。 インサイト エンジンの目的は、適切な量のコンテキスト情報を使用して、ノイズを発生させたりアラート疲労を引き起こしたりすることなく、異常をユーザーに明らかにすることです。

インサイト エンジンは、他に類を見ない分析ワークフローです。 このワークフローでは、エンジンがデータのすべてのセグメントで異常を検索し、問題がまだ「小さい」段階で、データセット全体や下流のビジネス KPI に影響を与える前に、問題を早期に検出できるようにします。 次に、独自のアルゴリズムを使用して異常の根本原因を検出し、ノイズを回避するためにすべての異常が XNUMX 回だけ警告されるようにします。 サポートされる異常タイプには、時系列異常、ドリフト、外れ値、モデル劣化などが含まれます。

インサイト エンジンは、Mona の直感的なノーコード/ローコード構成を通じて高度にカスタマイズ可能です。 エンジンの構成可能性により、Mona は市場で最も柔軟なソリューションとなり、幅広いユースケース (バッチとストリーミング、ビジネス フィードバック/グラウンド トゥルースの有無、モデル バージョン間またはトレーニングと推論間など) をカバーします。 ）。

最後に、このインサイト エンジンは、インサイトを表示できる視覚化ダッシュボードと、根本原因の分析とコンテキスト情報のさらなる調査を可能にする一連の調査ツールによってサポートされています。 また、インサイト エンジンは通知エンジンと完全に統合されており、電子メールやコラボレーション プラットフォームなどのユーザー自身の作業環境にインサイトを提供できます。

31月XNUMX日、 モナがお披露目 新しい AI 公平性ソリューションですが、この機能が何なのか、そしてなぜそれが重要なのかについて詳しく教えていただけますか?

AI の公平性とは、一般にアルゴリズムと AI 駆動システムが公平で公平な意思決定を行うことを保証することです。 AI システムのバイアスに対処して防止することは、現実世界に重大な影響をもたらす可能性があるため、非常に重要です。 AI の台頭により、運転の自動化、病気のより正確な検出、世界への理解の向上、さらには芸術の創造など、人々の日常生活への影響はますます多くの場所で目に見えるようになるでしょう。 それが公平で偏りのないものであると信頼できない場合、どうやってそれが広がり続けることを許すことができるでしょうか?

AI におけるバイアスの主な原因の XNUMX つは、単純に、モデルのトレーニング データが現実世界を完全に表現できるかどうかです。 これは、歴史的な差別、特定のグループの過小評価、さらにはデータの意図的な操作に起因する可能性があります。 たとえば、主に肌の色が白い人を対象にトレーニングされた顔認識システムでは、肌の色が濃い人の認識エラー率が高くなる可能性があります。 同様に、限られたソースからのテキスト データでトレーニングされた言語モデルは、データが宗教、文化などのトピックに関する特定の世界観に偏っている場合、バイアスが発生する可能性があります。

Mona の AI 公平性ソリューションは、AI チームとビジネス チームに、自社の AI にバイアスがないという自信を与えます。 規制された分野では、Mona のソリューションを利用してチームがコンプライアンス対応に備えることができます。

Mona の公平性ソリューションは、AI データとモデル、およびそれらが現実世界に与える影響との間の架け橋である Mona プラットフォーム上にあるため、特別です。 Mona は、AI モデルが本番環境で機能するビジネス プロセスのすべての部分を調べて、トレーニング データ、モデルの動作、実際の現実世界の結果を相関させて、最も包括的な公平性の評価を提供します。

第 XNUMX に、データを柔軟にセグメント化して関連パラメータを制御できる独自の分析エンジンを備えています。 これにより、適切なコンテキストでの正確な相関評価が可能になり、シンプソンのパラドックスを回避し、あらゆるパフォーマンス メトリックおよびあらゆる保護された機能に対して実際の深い「バイアス スコア」を提供します。

したがって、総合的に見て、Mona は責任ある AI を構築および拡張する必要があるチームにとっての基礎的な要素であると言えます。

AI の将来についてのビジョンは何ですか?

これは大きな質問です。

AI の使用が今後も拡大し、さまざまな産業分野や人々の生活の側面に影響を与えることは簡単に予測できると思います。 しかし、詳細でありながら、将来の AI のすべてのユースケースと影響を網羅しようとするビジョンを真剣に受け止めることは困難です。 なぜなら、その絵を信頼できるものとして描くのに十分な知識を持っている人は誰もいないからです。

そうは言っても、私たちが確かに知っているのは、AI がより多くの人々の手に渡り、より多くの目的を果たせるようになるということです。 したがって、ガバナンスと透明性の必要性が大幅に高まるでしょう。

AI とその仕組みを実際に可視化することは、主に XNUMX つの役割を果たします。 まず、人々に信頼を植え付け、抵抗の障壁を取り除き、より迅速な導入を促進します。 第二に、AI を運用する人が手に負えなくなることがないようにするのに役立ちます。

素晴らしいインタビューをありがとうございました。さらに詳しく知りたい読者は、こちらをご覧ください。 モナ研究所.