アナンド・カンナパン、Patronus AIのCEO兼共同創設者 – インタビュー・シリーズ

アナンド・カンナパンは、Patronus AIの共同創設者兼CEOです。Patronus AIは、企業がLLMのミスを大規模に検出できるように支援する、業界初の自動化されたAI評価およびセキュリティ・プラットフォームです。以前、アナンドはMeta Reality Labsで、機械学習の説明可能性と高度な実験の取り組みを率いていました。

コンピューター・サイエンスに最初に惹かれたのは何ですか?

子供の頃から、技術とそれが現実世界の問題を解決するためにどのように使用できるかについて興味を持っていました。コンピューターとコードだけを使用して何かを作成することができるという考えは、私を魅了しました。コンピューター・サイエンスをより深く学ぶにつれて、そのさまざまな業界で革新と変革をもたらす可能性を認識しました。この革新と違いをもたらすという欲求が、私をコンピューター・サイエンスに最初に惹かせました。

Patronus AIの創設ストーリーを共有してください。

Patronus AIの創設は、かなり興味深い旅です。当OpenAIがChatGPTを発表したとき、それは2か月で1億人以上のユーザーを獲得し、最も急成長している消費者向け製品となりました。この大量な採用は、生成的なAIの潜在力を強調しましたが、企業がAIをそのような急速なペースで展開することに対する躊躇も明らかになりました。多くの企業は、LLMの潜在的なミスや予測不可能な動作について懸念していました。

レベッカと私は、共にコンピューター・サイエンスを学んだシカゴ大学の同窓生です。Metaでは、私たちは両者ともに、機械学習の出力の評価と解釈の課題に直面しました。レベッカは研究の観点から、私は応用の観点からです。ChatGPTが発表されたとき、私たちは両者ともに、LLMの変革的な潜在性を認識しましたが、企業が行っている慎重さも理解しました。

転換点は、私の兄弟の投資銀行、パイパー・サンドラーが、社内でOpenAIへのアクセスを禁止したときでした。これにより、私たちは、AIが著しく進歩したにもかかわらず、企業の採用において、信頼性とセキュリティに関する懸念のギャップがあることを認識しました。私たちは、企業が生成的なAIに自信を持って採用できるように、LLMの評価とセキュリティ・レイヤーを提供するために、Patronus AIを設立しました。

Patronus AIのプラットフォームの核となる機能を説明してください。LLMを評価および保護するプラットフォームについては?

私たちの使命は、企業が生成的なAIに自信を持って採用できるように支援することです。私たちは、LLM用の業界初の自動化された評価およびセキュリティ・プラットフォームを開発しました。私たちのプラットフォームは、企業がLLMの出力を大規模に評価し、AI製品を安全に自信を持って採用できるように支援します。

私たちのプラットフォームは、複数の重要なプロセスを自動化します:

• スコアリング: 私たちは、現実世界のシナリオにおけるモデル・パフォーマンスを評価し、幻覚やセキュリティなどの重要な基準に焦点を当てています。
• テスト生成: 私たちは、モデル能力を厳しく評価するために、大規模な対抗的なテスト・スイートを自動的に生成します。
• ベンチマーク: 私たちは、さまざまなモデルを比較して、顧客が特定のユースケースに最適なモデルを特定できるように支援します。

企業は、進化するモデル、データ、およびユーザーのニーズに適応するために、頻繁な評価を好みます。私たちのプラットフォームは、AI空間におけるムーディーズのような信頼できる第三者評価者として機能し、偏見のない視点を提供します。私たちの初期パートナーには、MongoDB (MDB ) 、Databricks、Cohere、Nomic AIなどの主要なAI企業が含まれます。また、従来の業界のいくつかの高プロファイル企業と協議を進めており、プラットフォームのパイロットを開始する予定です。

Patronus AIのLynxモデルは、LLMの出力で何種類のミスや「幻覚」を検出しますか? また、これらの問題を企業に対してどのように解決しますか?

LLMは確かに強力なツールですが、その確率的な性質により、不正確または無関係な情報を生成する「幻覚」に陥る可能性があります。これらの幻覚は、特に精度が重要なビジネス環境では、特に問題です。

従来、企業はLLMの出力を評価するために、手動での検査に頼っていました。これは時間がかかり、拡張性もありません。Patronus AIは、Lynxと呼ばれる専用モデルを開発しました。これは、プラットフォームの機能を強化し、幻覚の自動検出を提供します。Lynxは、ビジネス運用に重大な影響を及ぼす可能性のある、重要なエラーを特定することに重点を置いています。

Lynxを使用して、人間の評価者の注意を逃れる可能性のある問題を検出するために、自動対抗テストを実行します。これにより、企業はLLMを重要なアプリケーションで採用する際に、信頼性と自信を高めることができます。

FinanceBenchは、金融質問に対するLLMのパフォーマンスを評価するための業界初のベンチマークと説明されています。金融部門でLLMを採用する際に、どのような課題がFinanceBenchの開発を促しましたか?

FinanceBenchは、金融部門でLLMを採用する際に直面する独自の課題に応じて開発されました。金融アプリケーションでは、高度な精度と信頼性が必要です。誤りは重大な財務損失や規制上の問題につながる可能性があります。LLMが大量の財務データを処理するという約束にもかかわらず、私たちの研究では、GPT-4やLlama 2などの最先端モデルが財務質問で苦労し、正確な情報を取得できないことが多かったことを示しました。

FinanceBenchは、財務コンテキストにおけるLLMのパフォーマンスを評価するための包括的なベンチマークとして作成されました。FinanceBenchには、数値的推論、情報の取得、論理的推論、および世界の知識を含む分野の10,000の質問と回答のペアが含まれており、すべてが公開されている財務文書に基づいています。企業は、FinanceBenchを使用して、現在のモデルの限界をよりよく理解し、改善が必要な領域を特定できるようになります。

私たちの初期分析では、多くのLLMが財務アプリケーションに必要な高い基準を満たさないことを示しました。これは、さらなる改良とターゲット評価の必要性を強調しています。FinanceBenchを提供することで、企業がLLMの財務部門におけるパフォーマンスを評価および強化するための貴重なツールを提供することを目指しています。

あなたの研究は、特にOpenAIのGPT-4が、人気の本の抜粋を提示されたときに、著作権で保護されたコンテンツを重大な割合で生成することを示しています。AI開発および技術業界全体、特にAIと著作権法に関する継続的な議論を考慮すると、これらの発見の長期的な影響についてはどう考えていますか?

AIモデルが著作権で保護されたコンテンツを生成する問題は、AI業界における複雑で緊急な懸念事項です。私たちの研究では、GPT-4などのモデルが、人気の本の抜粋を提示されたときに、著作権で保護されたコンテンツを頻繁に再生産することを示しました。これにより、知的財産権とAI生成コンテンツの法的影響について重要な質問が提起されます。

長期的には、これらの発見は、AIと著作権に関するより明確なガイドラインと規制の必要性を強調しています。業界は、知的財産権を尊重しながら創造性を維持するAIモデルを開発する必要があります。これには、トレーニング・データセットを著作権で保護されたコンテンツを除外するように精査することや、著作権で保護されたコンテンツの再生産を検出および防止するメカニズムを実装することが含まれます。

技術業界全体は、法的専門家、政策立案者、利害関係者と協力して、イノベーションと既存の法令の尊重のバランスをとる枠組みを確立する必要があります。AIが進化を続けるにつれて、これらの課題に対処するためにプロアクティブに取り組むことが重要です。

あなたの研究は、LLMが著作権で保護されたコンテンツを再生産することを示しています。AI開発者と業界全体がこれらの懸念を解決するために、どのようなステップを取るべきだと考えていますか? また、Patronus AIは、これらの発見の光に、より責任ある法令遵守AIモデルを作成するためにどのように貢献する予定ですか?

AIモデルが著作権で保護されたコンテンツを生成する問題に対処するには、多面的アプローチが必要です。AI開発者と業界全体は、AIモデル開発における透明性と説明責任を優先する必要があります。これには、

• データの選択の改善: 訓練データセットが著作権で保護されたコンテンツを除外するように慎重に作成すること、適切なライセンスが取得されている場合は除きます。
• 検出メカニズムの開発: ユーザーに潜在的に著作権で保護されたコンテンツを生成していることを通知し、変更または削除するオプションを提供するシステムを実装します。
• 業界標準の確立: 法的専門家や業界の利害関係者と協力して、知的財産権を尊重するAI開発のためのガイドラインと標準を確立します。

Patronus AIでは、評価とコンプライアンスに重点を置いて、責任あるAI開発に貢献することを目指しています。私たちのプラットフォームには、EnterprisePIIのような製品が含まれており、これにより、企業はAIの出力で潜在的なプライバシー問題を検出および管理できます。これらのソリューションを提供することで、企業がAIを責任を持って倫理的に使用できるように支援します。

EnterprisePIIやFinanceBenchのようなツールを使用して、企業がAIを特に金融や個人データなどの機密性の高い分野で展開する方法にどのような変化が予想されますか?

これらのツールにより、企業はAIの出力をより効果的に評価および管理できます。特に金融や個人データなどの機密性の高い分野でです。

金融部門では、FinanceBenchにより、企業はLLMのパフォーマンスを高い精度で評価できます。これにより、企業はデータ分析や意思決定などのタスクでAIをより自信を持って採用できます。

同様に、EnterprisePIIのようなツールは、企業がデータのプライバシーに関する複雑さを乗り越えるのに役立ちます。潜在的なリスクを特定し、軽減するためのソリューションを提供することで、企業はAIをより安全に責任を持って採用できます。

全体として、これらのツールは、AIの採用に対するより情報に基づいた戦略的アプローチを可能にし、企業がAIの利点を享受しながら関連するリスクを最小限に抑えるのに役立ちます。

Patronus AIは、企業がこれらのツールを既存のLLMの展開やワークフローに統合するためにどのように協力していますか?

Patronus AIでは、AIの採用におけるシームレスな統合の重要性を理解しています。企業は私たちのツールを既存のLLMの展開やワークフローに統合するために、以下の点で協力しています:

• カスタマイズされた統合計画: 各企業と協力して、特定のニーズと目標に合わせた統合計画を開発します。
• 包括的なサポート: 統合プロセス全体で、企業に継続的なサポートを提供し、スムーズな移行を確実に行います。
• トレーニングと教育: 企業が私たちのツールを完全に理解し、活用できるように、トレーニング・セッションと教育リソースを提供します。

AIの出力がセキュアで、正確で、さまざまな法令に準拠していることを保証する複雑さを考えると、LLMの開発者と企業にどのようなアドバイスを提供しますか?

協力とサポートを優先することで、私たちは統合プロセスをできるだけ簡素化し、ストレスフリーにします。

AIの出力がセキュアで、正確で、さまざまな法令に準拠していることを保証する複雑さは、重大な課題です。LLMの開発者にとって、透明性と説明責任を開発プロセス全体で優先することが重要です。

データの質は基礎的な側面です。開発者は、トレーニング・データセットが著作権で保護されたコンテンツを除外されていることを確認し、適切なライセンスが取得されている場合は除きます。これにより、潜在的な法的問題を防ぎ、AIが信頼性の高い出力を生成することが保証されます。また、偏見と公平性に対処することも重要です。偏見を特定し、軽減するために積極的に取り組み、多様で代表的なトレーニング・データを開発することで、偏見を減らし、公平な結果を保証できます。

堅牢な評価プロセスは不可欠です。徹底的なテストを実装し、FinanceBenchのようなベンチマークを使用して、AIモデルのパフォーマンスと信頼性を評価することで、特定のユースケースの要件を満たしていることを保証できます。また、倫理的考慮が前面に出る必要があります。倫理ガイドラインやフレームワークに従うことで、AIシステムが責任を持って開発されることを保証できます。

企業がLLMを採用する場合、AIの能力を理解することが重要です。現実的な期待を設定し、AIを効果的に組織内で使用することを保証する必要があります。シームレスな統合とサポートも不可欠です。信頼できるパートナーと協力することで、企業はAIソリューションを既存のワークフローに統合し、チームがAIを効果的に活用できるようにトレーニングとサポートを提供できます。

コンプライアンスとセキュリティを優先し、関連する規制とデータ保護法に従う必要があります。EnterprisePIIのようなツールは、潜在的なリスクを監視および管理するのに役立ちます。AIのパフォーマンスの継続的な監視と定期的な評価も、精度と信頼性を維持するために必要であり、必要に応じて調整を行うことができます。

素晴らしいインタビュー、詳しく知りたい読者はPatronus AIを訪問してください。