レベッカ・チアン、Patronus AIの共同創設者兼CTO – インタビュー・シリーズ

レベッカ・チアンは、Patronus AIの共同創設者兼CTOです。彼女は、NLP、エンボディッドAI、インフラストラクチャの交差点で、約10年の経験を持つプロダクションマシンラーニングシステムの構築に従事しています。Facebook AIでは、研究と展開の両方で働き、FairBERTaという大規模な言語モデルを開発し、Wikipediaコンテンツの書き換えのための人口統計学的パートurbationモデルを開発し、ロボットアシスタントのためのセマンティックパーシングをリードしました。また、エンボディッドエージェントのためのヒューマン・イン・ザ・ループ・パイプラインを構築し、Facebookのインフラストラクチャチーム全体で採用されたContinuous Contrast Set Miningというインフラストラクチャツールを開発しました。彼女は、FacebookResearch/fairoやDroidletセマンティックパーシングノートブックなどのオープンソースプロジェクトに貢献しています。創業者として、彼女は現在、スケーラブルな監視、強化学習、安全で環境に応じたAIエージェントの展開に焦点を当てています。

Patronus AIは、サンフランシスコを拠点とする企業で、開発者が信頼性の高いジェネレーティブAI製品を出荷できるように、LLMやAIエージェントを評価、監視、最適化するための研究に基づいたプラットフォームを提供しています。プラットフォームは、自動評価ツール、ベンチマーク、分析、カスタムデータセット、エージェント固有の環境を提供し、幻覚、セキュリティリスク、または論理的エラーなどのパフォーマンスの問題を特定し、チームがリアルワールドのユースケースでAIシステムを継続的に改善およびトラブルシューティングできるようにします。Patronusは、エンタープライズ顧客とテクノロジーパートナーに、モデル動作をスコアする、エラーを大規模に検出する、信頼性とパフォーマンスを生産AIアプリケーションで向上させることを可能にすることでサービスを提供しています。

あなたはFacebook AIでのMLシステム構築の深いバックグラウンドを持っています。FairBERTaやヒューマン・イン・ザ・ループ・パイプラインに関する作業などです。その経験は、リアルワールドでのAI展開と安全性に関するあなたの視点をどのように形作ったでしょうか。

Meta AIでの仕事は、実践でモデルを信頼性の高いものにするために何が必要か、特に責任あるNLPについて焦点を当てるようになりました。フェアネスに焦点を当てた言語モデリング、LLMをフェアネス目標でトレーニングすることについて働き、モデル出力の評価と解釈がどれほど難しいかを直接見ました。那は安全性についてどう考えているかを形作りました。如果モデル出力の測定と理解ができない場合、リアルワールドでAIを自信を持って展開することは難しいです。

あなたは研究エンジニアリングから起業家に転身し、Patronus AIを共同創設しました。なぜこの問題を解決することに最も緊急性を感じたのですか。

評価がAIにおけるブロッカーになりました。私はMeta AIを離れて、AnandとPatronusを始めました。AI出力の評価と解釈がどれほど難しいかを直接見たからです。ジェネレーティブAIがエンタープライズワークフローに移行し始めたとき、それはもうラボの問題ではなくなったことは明らかでした。

企業から同じことを聞き続けました。LLMを採用したいと考えていますが、信頼性の高いテスト、監視、または失敗モードの理解ができないためです。特に規制された業界では、エラーに対する耐性は非常に低いです。

したがって、最初の緊急な問題は、モデル評価を自動化およびスケーラブルにする方法を構築することでした。リアルワールドシナリオでモデルをスコアし、対抗的なテストケースを生成し、ベンチマークをとることで、チームが推測ではなく自信を持って展開できるようにします。

Patronusは最近、AIエージェントのためのジェネレーティブシミュレーターを導入しました。従来の評価またはトレーニングアプローチのどのような限界がこの方向に導いたのでしょうか。

AIエージェントが評価される方法と実際のパフォーマンスが期待される方法の間で、成長するミスマッチを見続けました。従来のベンチマークは、特定の時点での分離された機能を測定しますが、実際の作業は動的です。タスクは中断され、要件は実行中変更され、決定は長い時間にわたって蓄積されます。エージェントは静的なテストで強いですが、展開されるとひどく失敗する可能性があります。エージェントが改善されると、固定ベンチマークを飽和させ、学習が停滞します。ジェネレーティブシミュレーターは、静的なテストを代わりに動的な環境で置き換える方法として登場しました。

ジェネレーティブシミュレーターは、静的なベンチマークまたは固定データセットと比較して、AIエージェントのトレーニングと評価方法をどのように変えるでしょうか。

ベンチマークはテストではなく環境になります。エージェントに固定の質問セットを提示するのではなく、シミュレーターは割り当て、周囲の条件、評価ロジックを生成します。エージェントが行動し改善するにつれて、環境は適応します。那は従来のトレーニングと評価の境界を崩します。エージェントがベンチマークに合格するかどうかではなく、動的なシステムで信頼性の高い方法で動作できるかどうかを尋ねるのです。

技術的な観点から、ジェネレーティブシミュレーターの背後にあるコアアーキテクチャのアイデアは何ですか。特にタスク生成、環境ダイナミクス、報酬構造についてです。

高レベルでは、ジェネレーティブシミュレーターは強化学習と適応的な環境生成を組み合わせます。シミュレーターは新しいタスクを生成し、世界のルールを動的に更新し、エージェントの行動をリアルタイムで評価できます。重要なコンポーネントは、カリキュラム・アジャスターと呼ばれるもので、エージェントの行動を分析し、シナリオの難易度と構造を変更して、学習を生産的に維持します。報酬構造は、表面的なショートカットではなく、正しい行動に向けてエージェントを導くように設計されています。

AI評価とエージェント・ツールのスペースがより混雑するようになると、Patronusのアプローチは何が最も明確に異なりますか。

私たちの焦点は、生態学的妥当性にあります。私たちは、人間のワークフローを反映した環境を設計します。中断、コンテキストの切り替え、ツールの使用、多段階の推論が含まれます。事前に定義されたテストでエージェントを最適化するのではなく、生産環境で重要な失敗を暴露することに焦点を当てています。シミュレーターは、分離された出力ではなく、時間の経過にわたる行動を評価します。

どのようなタスクまたは失敗モードが従来のテストと比較してシミュレーターを使用した評価から最も恩恵を受けますか。

長時間、多段階のタスクが最も恩恵を受けます。小さなステップごとのエラー率は、複雑なタスクで大きなエラー率に蓄積する可能性がありますが、静的なベンチマークはこれを捉えることができません。シミュレーターを使用した評価により、タスクの途中でトラックを維持する、中断を処理する、ツールの使用を調整する、タスク中の条件の変更に適応することに関連する失敗を浮き彫りにすることができます。

環境ベースの学習は、AIの安全性についてどう考えているかを変えるでしょうか。また、ジェネレーティブシミュレーターは、報酬のハッキングや新しい失敗モードなどの新しいリスクを引き起こしますか。

環境ベースの学習は、実際には多くの安全性の問題を検出することをより簡単にします。報酬のハッキングは、エージェントが固定のループホールを利用できる静的な環境で繁栄します。ジェネレーティブシミュレーターでは、環境自体が動的なターゲットですので、これらのショートカットを維持することはより困難になります。ただし、報酬と監視については、慎重な設計が依然として必要です。環境の利点は、静的なベンチマークよりも、エージェントの行動に対する制御と可視性を大幅に高めることです。

5年先を見て、Patronus AIは技術的な野心と業界への影響の両面でどこにありますか。

私たちは、環境がAIの基礎となるインフラストラクチャになると考えています。エージェントが質問に答えるのではなく、実際の作業をするにつれて、学習する環境が、どれほど能力と信頼性があるかを形作ります。私たちの長期的な野心は、リアルワールドのワークフローを、エージェントが継続的に学習できる構造化された環境に変えることです。評価とトレーニングの間の伝統的な分離が崩壊し、次のAIシステムの波を定義するであろうと考えています。

素晴らしいインタビュー、ありがとうございました。もっと学びたい読者は、Patronus AIを訪問してください。