Anand Kannappan, CEO & Co-founder of Patronus AI – Interview Series

Anand Kannappanは、Patronus AIの共同創設者兼CEOです。Patronus AIは、企業が大規模にLLMのミスを検出できる、業界初の自動化されたAI評価およびセキュリティプラットフォームです。以前は、AnandはMeta Reality LabsでMLの説明可能性と高度な実験の取り組みを主導していました。

コンピューターサイエンスに最初に惹かれたのは何でしたか？

子供の頃から、技術とそれが現実世界の問題を解決するためにどのように使用できるかということに興味を持っていました。コンピューターとコードだけを使用して何かを作成するという考えは私を魅了しました。コンピューターサイエンスをより深く学ぶにつれて、イノベーションと変革を各業界にもたらすための巨大な潜在力を認識しました。このイノベーションと違いをもたらすという欲求が、私をコンピューターサイエンスに最初に惹かせました。

Patronus AIの創設ストーリーを共有できますか？

Patronus AIの創設は、かなり面白い旅です。当時、OpenAIがChatGPTを発表し、2ヶ月で1億人以上のユーザーを獲得し、最も急成長している消費者向け製品となりました。この大量な採用は、ジェネレーティブAIの潜在力を明らかにしましたが、企業がAIを så迅速に導入することに対するためらいも浮き彫りになった。多くの企業は、大規模言語モデル（LLM）の潜在的なミスや予測不可能な動作について心配していました。

レベッカと私は、シカゴ大学でコンピューターサイエンスを一緒に学んだ経緯があります。Metaでは、私たちは両者ともに、機械学習の出力の評価と解釈に取り組んでいました。レベッカは研究の観点から、私は適用された観点からです。ChatGPTが発表されたとき、私たちは両者ともに、LLMの変革的な潜在性を認識しましたが、企業が行っている慎重さも理解しました。

転換点は、私の兄弟の投資銀行、Piper Sandlerが、内部でOpenAIへのアクセスを禁止したときでした。これにより、私たちは、AIが大幅に進歩したにもかかわらず、企業の採用にはまだ信頼性とセキュリティに関する懸念があることを認識しました。私たちは、企業のジェネレーティブAIへの信頼を高めるために、LLM用の評価およびセキュリティ層を提供することで、このギャップを埋めるためにPatronus AIを設立しました。

Patronus AIのプラットフォームのコア機能を説明できますか？

私たちの使命は、企業のジェネレーティブAIへの信頼を高めることです。私たちは、LLM用の業界初の自動化された評価およびセキュリティプラットフォームを開発しました。私たちのプラットフォームは、企業がLLMの出力を大規模に検証できるように支援し、AI製品を安全に自信を持って導入できるようにします。

私たちのプラットフォームは、複数の重要なプロセスを自動化しています。

• スコアリング: 私たちは、重要な基準である幻覚やセキュリティなどを考慮して、モデルパフォーマンスを現実世界のシナリオで評価します。
• テスト生成: 私たちは、モデル能力を徹底的に評価するために、大規模なテストスイートを自動的に生成します。
• ベンチマーク: 私たちは、さまざまなモデルを比較して、顧客が特定のユースケースに最適なモデルを特定できるようにします。

企業は、進化するモデル、データ、およびユーザーのニーズに適応するために、頻繁な評価を好みます。私たちのプラットフォームは、AI分野におけるムーディーズのような第三者評価者として機能し、偏見のない視点を提供します。私たちの初期パートナーには、MongoDB、Databricks、Cohere、Nomic AIなどの先進的なAI企業が含まれており、従来の業界のいくつかの高プロファイル企業と話し合いをして、プラットフォームを試験的に導入しています。

Patronus AIのLynxモデルは、LLMの出力でどのような種類のミスや「幻覚」を検出しますか？また、企業に対してこれらの問題をどのように解決しますか？

LLMは確かに強力なツールですが、その確率的な性質により、「幻覚」、つまりモデルが不正確または無関係な情報を生成するエラーが発生しやすいです。これらの幻覚は、特に精度が重要なビジネス環境では、特に問題です。

従来、企業はLLMの出力を評価するために、手動での検査に頼ってきましたが、このプロセスは時間がかかり、スケーラビリティも低いです。Patronus AIは、Lynxと呼ばれる専用モデルを開発しました。このモデルは、プラットフォームの機能を強化し、幻覚の自動検出を可能にします。プラットフォーム内に統合されたLynxは、包括的なテストカバレッジと堅牢なパフォーマンス保証を提供し、重要なエラー、たとえば財務計算の不正確さや法的文書のレビューでのエラーなど、ビジネス運用に大きな影響を与える可能性のあるエラーに焦点を当てています。

Lynxを使用して、手動評価の限界を緩和し、広範な潜在的な障害シナリオを探索することで、人間の評価者が見逃す可能性のある問題を検出できるようにします。これにより、企業は信頼性と、重要なアプリケーションでLLMを導入する自信を高めることができます。

FinanceBenchは、金融関連の質問に対するLLMのパフォーマンスを評価するための業界初のベンチマークと説明されています。金融部門でLLMを採用する際に生じる課題は何でしたか？

FinanceBenchは、金融部門でLLMを採用する際に生じる課題に応じて開発されました。金融アプリケーションでは、高度な精度と信頼性が求められます。誤りは重大な財務損失や規制上の問題につながる可能性があるためです。LLMが大量の金融データを処理するという約束にもかかわらず、私たちの研究では、GPT-4やLlama 2などの最先端モデルが金融関連の質問で苦労し、正確な情報を取得できないことが多かったことを示しました。

FinanceBenchは、金融コンテキストにおけるLLMのパフォーマンスを評価するための包括的なベンチマークとして作成されました。FinanceBenchには、公開されている金融文書に基づく10,000の質問と回答のペアが含まれており、数値的推論、情報の取得、論理的推論、世界知識などの分野をカバーしています。このベンチマークを提供することで、企業が現在のモデルの限界をよりよく理解し、改善すべき分野を特定できることを目指しています。

私たちの初期分析では、多くのLLMが金融アプリケーションに必要な高水準の基準を満たしていないことを示し、さらに改良とターゲット評価の必要性を強調しました。FinanceBenchを提供することで、金融部門におけるLLMのパフォーマンスを評価および強化するための貴重なツールを提供します。

あなたの研究は、OpenAIのGPT-4を含む主要なAIモデルが、人気本の抜粋を提示されたときに、著作権で保護されたコンテンツを重大な割合で生成することを示しています。AIの開発と、特にAIと著作権法に関する継続的な議論を考えると、これらの発見の長期的な影響についてはどう考えていますか？

AIモデルが著作権で保護されたコンテンツを生成する問題は、AI業界における複雑で緊急な懸念事項です。私たちの研究では、GPT-4などのモデルが人気本の抜粋を提示されたときに、著作権で保護された資料を頻繁に再生産することを示しました。これにより、知的財産権とAI生成コンテンツの法的影響について重要な質問が提起されます。

長期的には、これらの発見は、AIと著作権に関する明確なガイドラインと規制の必要性を強調しています。業界は、知的財産権を尊重しながら創造的な能力を維持するAIモデルを開発する必要があります。これには、著作権で保護された資料を除外した精査されたトレーニングデータセットの作成や、保護されたコンテンツの再生産を検出および防止するメカニズムの実装が含まれる場合があります。

より広い技術業界は、法的専門家、政策立案者、利害関係者と協力して、イノベーションと既存の法律の尊重のバランスをとる枠組みを確立する必要があります。AIが進化を続けるにつれて、これらの課題に対処するために積極的に取り組むことが重要です。責任あるおよび倫理的なAI開発を確実に行うためです。

あなたの研究は、主要なAIモデルが著作権で保護されたコンテンツを生成することを示しています。AI開発者と業界全体がこれらの懸念に対処するためにどのような措置を講じるべきですか？また、Patronus AIは、これらの発見の光で、より責任あるおよび法的に遵守されたAIモデルを作成するためにどのように貢献する予定ですか？

AIモデルが著作権で保護されたコンテンツを生成する問題に対処するには、多面的なアプローチが必要です。AI開発者と業界全体は、AIモデルの開発において透明性と説明責任を優先する必要があります。これには、次の点が含まれます。

• データの選択の改善: 訓練データセットを慎重に作成して、適切なライセンスが取得されていない限り、著作権で保護された資料を含めないようにすること。
• 検出メカニズムの開発: AIモデルが潜在的に著作権で保護されたコンテンツを生成していることを検出するシステムを実装し、ユーザーがそのようなコンテンツを変更または削除するオプションを提供すること。
• 業界標準の確立: 法的専門家や業界の利害関係者と協力して、知的財産権を尊重するAI開発のガイドラインと標準を確立すること。

Patronus AIでは、評価とコンプライアンスに重点を置いて、責任あるAI開発に貢献しています。私たちのプラットフォームには、EnterprisePIIなどの製品が含まれており、企業がAIの出力で潜在的なプライバシー問題を検出および管理するのに役立ちます。これらのソリューションを提供することで、企業がAIを責任を持って倫理的に使用することができ、法的リスクを最小限に抑えることを目指しています。

EnterprisePIIやFinanceBenchのようなツールを使用して、企業がAIを導入する方法にどのような変化が予想されますか？特に金融や個人データなどのデリケートな分野ではどうですか？

これらのツールにより、企業はAIの出力をより効果的に評価および管理できるようになります。特に金融や個人データなどのデリケートな分野でです。

金融部門では、FinanceBenchにより、企業はLLMのパフォーマンスを高い精度で評価できるようになります。モデルが金融アプリケーションの厳格な要件を満たしていることを保証し、企業がAIをデータ分析や意思決定などのタスクに使用する際に、より自信と信頼性を持つことができます。

同様に、EnterprisePIIのようなツールは、企業がデータプライバシーの複雑さを切り抜けるのを支援します。潜在的なリスクを特定し、軽減するためのソリューションを提供することで、企業はAIをより安全に、より責任を持って導入できるようになります。

全体として、これらのツールは、AIの採用に対するより情報に基づいた戦略的アプローチを開拓し、企業がAIの利点を活かし、関連するリスクを最小限に抑えることを可能にします。

Patronus AIは、企業がこれらのツールを既存のLLMの導入とワークフローに統合するためにどのように協力していますか？

Patronus AIでは、AIの採用におけるシームレスな統合の重要性を理解しています。私たちは、顧客と密接に協力して、ツールを既存のLLMの導入とワークフローに統合することを保証します。これには、次の点が含まれます。

• カスタマイズされた統合計画: 各顧客と協力して、特定のニーズと目標に合ったカスタマイズされた統合計画を開発します。
• 包括的なサポート: 統合プロセス全体で、ガイダンスと支援を提供して、スムーズな移行を確実に行います。
• トレーニングと教育: ツールを完全に理解し、活用できるように、トレーニングセッションと教育リソースを提供します。

AIの出力がセキュアで、正確で、さまざまな法律に準拠していることを保証する複雑さを考えると、LLMの開発者と、これらのモデルを使用しようとしている企業にどのようなアドバイスを提供しますか？

協力とサポートを優先することで、私たちは統合プロセスをできるだけ簡素化し、効率化することを目指しています。

AIの出力がセキュアで、正確で、さまざまな法律に準拠していることを保証する複雑さは、重大な課題を提起します。LLMの開発者にとって、透明性と説明責任を開発プロセス全体で優先することが重要です。

基礎となる重要な側面は、データの質です。開発者は、トレーニングデータセットがよく整理され、適切なライセンスが取得されていない限り、著作権で保護された資料を含まないようにする必要があります。これにより、潜在的な法的問題を防ぐとともに、AIが信頼性の高い出力を生成することも保証できます。さらに、偏見と公平性に取り組むことが重要です。偏見を特定し、軽減することで、開発者は偏見を減らし、すべてのユーザーにとって公平な結果を確保できます。

堅牢な評価手順が不可欠です。徹底的なテストの実施と、FinanceBenchのようなベンチマークの利用により、AIモデルのパフォーマンスと信頼性を評価し、特定のユースケースの要件を満たしていることを保証できます。さらに、倫理的考慮が前面に出るべきです。倫理ガイドラインとフレームワークに従うことで、開発者は責任ある開発を保証し、社会的価値観と一致することを保証できます。

LLMを活用しようとしている企業にとって、AIの能力を理解することが重要です。現実的な期待を設定し、組織内でAIを効果的に使用することを保証する必要があります。シームレスな統合とサポートも不可欠です。信頼できるパートナーと協力することで、企業はAIソリューションを既存のワークフローに統合し、チームがAIを効果的に活用できるようにすることができます。

コンプライアンスとセキュリティを優先し、関連する規制とデータ保護法に従う必要があります。EnterprisePIIのようなツールは、潜在的なリスクを監視および管理するのに役立ちます。AIのパフォーマンスを継続的に監視し、必要に応じて調整することも必要です。これにより、精度と信頼性を維持することができます。

素晴らしいインタビュー、詳しく知りたい読者はPatronus AIを訪問してください。