Rebecca Qian、Patronus AI 共同創業者兼CTO – インタビューシリーズ

Rebecca Qianは、Patronus AIの共同創業者兼CTOであり、NLP、エンボディードAI、インフラストラクチャの交差点において、プロダクション機械学習システムを構築する約10年の経験を持っています。Facebook AIでは、研究とデプロイメントの両方に携わり、公平性を目的として設計された大規模言語モデルFairBERTaのトレーニング、Wikipediaコンテンツを書き換えるための人口統計的摂動モデルの開発、ロボットアシスタントのための意味解析のリードを担当しました。また、エンボディードエージェントのためのヒューマンインザループパイプラインを構築し、Facebookのインフラストラクチャチーム全体で採用されICSEで発表されたContinuous Contrast Set Miningなどのインフラストラクチャツールを作成しました。やDroidlet意味解析ノートブックを含むオープンソースプロジェクトにも貢献しています。創業者として、現在はスケーラブルな監視、強化学習、安全で環境を認識するAIエージェントのデプロイメントに焦点を当てています。 Patronus AIは、サンフランシスコを拠点とする企業で、大規模言語モデル（LLM）とAIエージェントを評価、監視、最適化するための研究主導のプラットフォームを提供し、開発者が信頼性の高い生成AI製品を自信を持ってリリースできるよう支援します。このプラットフォームは、自動評価ツール、ベンチマーキング、分析、カスタムデータセット、およびエージェント固有の環境を提供し、幻覚、セキュリティリスク、論理障害などのパフォーマンス問題を特定することで、チームが実世界のユースケース全体でAIシステムを継続的に改善し、トラブルシューティングできるようにします。Patronusは、企業顧客とテクノロジーパートナーに対し、モデルの動作をスコアリングし、大規模にエラーを検出し、プロダクションAIアプリケーションにおける信頼性とパフォーマンスを向上させる力を与えることでサービスを提供しています。 Facebook AIでのFairBERTaやヒューマンインザループパイプラインを含むMLシステム構築の深いバックグラウンドをお持ちです。その経験は、実世界でのAIデプロイメントと安全性についてのご見解をどのように形作りましたか？ Meta AIでの仕事は、特に責任あるNLPの分野で、モデルを実践的に信頼できるものにするために何が必要かに焦点を当てさせました。公平性に焦点を当てた言語モデリング、例えば公平性の目的を持ってLLMをトレーニングする作業に携わり、モデルの出力を評価し解釈することがいかに難しいかを直接目にしました。それが安全性についての考え方を形作っています。モデルの動作を測定し理解できなければ、実世界でAIを自信を持ってデプロイすることは困難です。 研究エンジニアリングから起業家精神へ、Patronus AIを共同創業するに至った動機は何ですか？また、当時最も緊急性の高いと感じた問題は何でしたか？ 当時、評価はAIにおける障害となっていました。私は4月にMeta AIを離れ、Anandと共にPatronusを立ち上げました。なぜなら、AIの出力を評価し解釈することがいかに難しいかを直接目にしていたからです。そして、生成AIが企業のワークフローに組み込まれ始めると、これはもはや単なる研究室の問題ではないことが明らかになりました。 私たちは企業から同じことを繰り返し聞いていました。彼らはLLMを採用したいが、特にエラーに対する許容度が非常に低い規制産業において、幻覚などの障害モードを確実にテスト、監視、理解することができなかったのです。 したがって、当初の緊急の問題は、モデル評価を自動化しスケールさせる方法、つまり実世界のシナリオでモデルをスコアリングし、敵対的テストケースを生成し、ベンチマーキングを行う方法を構築することでした。それにより、チームは推測ではなく自信を持ってデプロイできるようになります。 Patronusは最近、AIエージェントのための適応環境として生成シミュレーターを導入しました。既存の評価やトレーニング手法のどのような限界が、この方向性に導いたのですか？ AIエージェントの評価方法と、実世界で期待されるパフォーマンスとの間のミスマッチが拡大し続けているのを目にしていました。従来のベンチマークは、固定された時点での孤立した能力を測定しますが、実際の仕事は動的です。タスクは中断され、要件は実行途中で変更され、意思決定は長い期間にわたって複合します。エージェントは静的なテストでは強く見えても、いったんデプロイされるとひどく失敗することがあります。エージェントが向上するにつれ、固定されたベンチマークを飽和させ、学習が停滞する原因にもなります。生成シミュレーターは、静的なテストを、エージェントが学習するにつれて適応する生きた環境に置き換える方法として登場しました。 生成シミュレーターは、静的ベンチマークや固定データセットと比較して、AIエージェントのトレーニングと評価の方法をどのように変えるとお考えですか？ 変化は、ベンチマークがテストではなく環境になることです。固定された一連の質問を提示する代わりに、シミュレーターは課題、周囲の条件、評価ロジックをその場で生成します。エージェントが行動し改善するにつれて、環境は適応します。これにより、トレーニングと評価の間の従来の境界が崩壊します。もはやエージェントがベンチマークに合格するかどうかを問うのではなく、動的なシステムにおいて時間をかけて確実に動作できるかどうかを問うのです。 技術的な観点から、生成シミュレーターの背後にある中核的なアーキテクチャのアイデア、特にタスク生成、環境ダイナミクス、報酬構造について教えてください。 大まかに言えば、生成シミュレーターは強化学習と適応的環境生成を組み合わせたものです。シミュレーターは新しいタスクを作成し、世界のルールを動的に更新し、エージェントの行動をリアルタイムで評価できます。重要なコンポーネントは、カリキュラム調整器と呼んでいるもので、エージェントの行動を分析し、学習が生産的であるようにシナリオの難易度と構造を変更します。報酬構造は検証可能でドメイン固有に設計されており、エージェントは表面的な近道ではなく、正しい行動に向けて導かれます。 AI評価とエージェントツールの分野が混雑してくる中で、Patronusのアプローチを最も明確に差別化するものは何ですか？ 私たちの焦点は生態学的妥当性にあります。中断、コンテキストスイッチ、ツールの使用、多段階の推論を含む、実際の人間のワークフローを反映した環境を設計します。事前定義されたテストで良く見えるようにエージェントを最適化するのではなく、プロダクションで重要な種類の障害を明らかにすることに焦点を当てています。シミュレーターは、孤立した出力だけでなく、時間をかけた行動を評価します。 従来のテストと比較して、シミュレーターベースの評価が最も効果を発揮するタスクや障害モードの種類は何ですか？ 長期的で多段階のタスクが最も恩恵を受けます。複雑なタスクでは、ステップごとの小さなエラー率でさえも、主要な障害率に複合することがあり、これは静的ベンチマークでは捉えられません。シミュレーターベースの評価により、時間をかけて軌道を維持すること、中断への対応、ツール使用の調整、タスク途中での条件変化への適応に関連する障害を表面化させることが可能になります。 環境ベースの学習は、AI安全性についての考え方をどのように変えますか？また、生成シミュレーターは、報酬ハッキングや創発的障害モードなどの新しいリスクを導入しますか？ 環境ベースの学習は、実際には多くの安全性の問題を検出しやすくします。報酬ハッキングは、エージェントが固定された抜け穴を悪用できる静的な環境で繁栄する傾向があります。生成シミュレーターでは、環境自体が移動する標的であるため、そのような近道を維持することは難しくなります。とはいえ、報酬と監視については依然として注意深い設計が必要です。環境の利点は、静的ベンチマークでは決してできなかったよりもはるかに多くの制御と可視性をエージェントの行動に対して与えられることです。 今後5年先を見据えて、Patronus AIが技術的な野心と業界への影響の両面でどのような位置にあるとお考えですか？ 私たちは、環境がAIのための基盤インフラストラクチャになりつつあると信じています。エージェントが質問に答えることから実際の仕事を行うことに移行するにつれて、彼らが学習する環境が、彼らがいかに有能で信頼性が高くなるかを形作るでしょう。私たちの長期的な野心は、実際のワークフローを、エージェントが継続的に学習できる構造化された環境に変えることです。評価とトレーニングの間の従来の分離は崩壊しつつあり、私たちはその変化が次の波のAIシステムを定義すると考えています。 素晴らしいインタビューをありがとうございました。さらに詳しく知りたい読者は、Patronus AIをご覧ください。