Edo Liberty、Pineconeの創設者兼チーフサイエンティスト – インタビューシリーズ

エド・リバティは、Pineconeの創設者兼チーフサイエンティストです。彼は、大規模なデータシステムと機械学習の分野で第一人者です。Pineconeを立ち上げる前は、AWSの研究ディレクターであり、Amazon (AMZN ) AI Labsの責任者でした。彼のチームは、SageMaker、OpenSearch、Kinesisなどのコアテクノロジーを開発しました。また、ヤフーのニューヨーク研究ラボの責任者でもあり、検索、広告、セキュリティなどの分野で機械学習プラットフォームとアプリケーションを進化させました。彼の研究は、次元削減、クラスタリング、ストリーミング、大規模線形代数などの手法を使用して大量のデータセットを処理するアルゴリズムと数学的基礎に焦点を当てています。

Pineconeは、パフォーマンスとスケーラビリティに特化したベクトルデータベースです。密なベクトルと疎なベクトルの両方をサポートし、リアルタイムのインデックス作成とメタデータベースのフィルタリングを提供します。また、主要なクラウド、モデル、フレームワークとシームレスに統合されています。サーバーレス自動スケーリング、エンタープライズグレードのセキュリティ、SOC 2、ISO 27001、GDPR、HIPAAなどのコンプライアンス標準を提供し、大規模なAIアプリケーションの信頼できる基盤を提供します。

Pineconeを2019年に創設したとき、Amazon AI Labsでの研究とSageMakerの開発の経験から、ベクトルデータベースに特化することを決めた理由は何ですか?

AWSでの私のチームは、素晴らしいシステムを構築しましたが、メモリに関しては、膨大な量の構造化されていないデータを意味的に検索する方法がありませんでした。非常に特殊なエンジニアが必要でした。ベクトル検索ベースのソリューションを構築する方法を知っているエンジニアでした。私は、ベクトルが捉える意味の豊かさを簡単にアクセスできるようにし、複雑なモデルと組み合わせることができれば、誰でもAIの価値を高めることができるということを知っていました。そこで、AWSを離れて、プロプライエタリな構造化されていないデータの価値を最も簡単に引き出す方法を変えることを目指しました。

Pineconeは、ベクトルデータベースの分野で第一人者となりました。技術的な課題や市場の障壁を乗り越えて、この新しい分野を確立するために、最も大きな課題は何でしたか?

最大の課題は、誰もベクトルデータベースが何であるかを知らなかったことです。私たちは、市場に何を構築しているか、それが重要である理由を教育する必要がありました。顧客に何を呼んでいるかを尋ねると、ベクトルデータベースと答えました。

他の人も気付くようになると、オープンソースを使用できないかと尋ねられました。オープンソースの限界とスケーラビリティのトレードオフについて説明する必要がありました。さらに、経験豊富なエンジニアがインフラストラクチャを構築する必要があります。そのため、私たちは常にマネージドサービスを提供し、ユーザーエクスペリエンスに焦点を当てています。私たちのシステムは、内部的には非常に複雑です。ビリオンスケールの類似検索に必要な特殊なインフラストラクチャです。しかし、API呼び出しによって誰でもアクセスできるようにしています。

これには、近似最近傍探索アルゴリズム、インデックス管理、分散システムの複雑さを抽象化することが必要でした。開発者はHNSWパラメータについて考える必要がないはずです。ただし、動作するようにする必要があります。

最近、CEOからチーフサイエンティストに役職を変更し、アシュ・アシュトッシュを会社の指導者に迎えました。この決定の動機は何ですか? Pineconeの次の章で役割の進化をどのように見ていますか?

Pineconeは、AIと研究に重点を置いた会社です。私たちがここまで到達したのは、検索、システム、アルゴリズムを再定義したからです。さらに、技術的な報告書や論文を公開し、講演を行い、市場に教育しています。さらに、AIとメモリについての教科書や大学コースも作成しています。会社が成長するにつれて、これらの努力をビジネスの他の部分から分離された研究ラボに正式にまとめる必要があります。DeepMindとGoogleを例に挙げます。将来的には、研究に重点を置き、AIの知識を深め、Pineconeの次の製品群を構築することにエネルギーを集中します。

同時に、アシュはPineconeのための素晴らしいCEOおよびリーダーになります。彼はインフラストラクチャ会社を創設し、成長させました。Pineconeのような会社を効果的に運営する方法を知っています。また、技術と市場について深く理解しています。さらに、顧客に強いこだわりを持っています。アシュと私は、会社とビジネスの成長に密接に協力することになります。

ブログ投稿で「AIに知識を与える」ことに焦点を当てていると書きました。このことの具体的な意味と、Pineconeの技術がこれを可能にする方法について説明してください。

メモリのないAIは、記憶喪失の天才の人と同じです。知識はありますが、コンテキストがありません。「AIに知識を与える」とは、AIシステムに膨大な量の情報にアクセスし、理解し、リアルタイムで推論する能力を与えることを意味します。

AI駆動型アプリケーションが、意味的に理解されたデータからリアルタイムで関連性の高い洞察を提供できるようにします。さらに、AIシステムが単に推測するのではなく、データに基づいて知識を取得および合成できるようにします。これにより、エンドユーザーには、より正確で、情報に基づいた、最新の出力が提供されます。

高品質のエンドツーエンドの検索を可能にするすべてのコンポーネントと機能を、業界をリードするパフォーマンスとともに提供します。

プリンストン大学で「AIの長期メモリ」を教えた経験から、ベクトルデータベースとAIモデルの将来についてどう考えていますか。メモリとコンテキストは、今日の大規模モデルの欠けている要素だと思いますか?

確かに。LLMはパターンマッチングマシンです。素晴らしいものですが、基本的にトレーニングデータのカットオフとコンテキストウィンドウによって制限されています。私がMatthijs Douze氏と共に教えたコースは、巨大なデータセット上でベクトル検索を可能にするアルゴリズムに焦点を当てていました。未来は、より大きなモデルではありません。より多くのデータ上で、より賢い検索です。

多くの企業は、AIのパイロットプロジェクトから本格的な導入まで、難しいと感じています。Pineconeは、このギャップをどのように埋めますか? 成功している顧客からどのようなベストプラクティスを学びましたか?

ギャップは通常、パフォーマンス（およびコスト）、セキュリティ、複雑さの 3 つの要因に帰着します。10 万件のドキュメントで動作するデモは、10 億件で壊れる可能性があります。1 時間実行することは、24 時間 7 日間、ダウンタイムを許容せずに実行することとは異なります。したがって、私たちはサーバーレスアーキテクチャ、エンタープライズグレードの機能、使いやすさにこだわりました。

最も重要なことは、ただ始めることです。私たちの顧客は、話し合いをする必要なく多くのことができることに驚かれることがあります。そうすることを目的として設計しましたが、必要なときには常にサポートしています。

あなたは学術界、ビッグテックの研究（ヤフー、AWS）、起業家の間を移り変わりながらキャリアを積んできました。これらの異なる環境は、Pineconeを構築するあなたのアプローチをどのように形作ってきましたか?

学術界では、第一原理から考えることを学びました。素晴らしいソリューションを設計する方法を学びました。ヤフーとAWSでは、エンジニアが構築するのを好むシンプルなデータプラットフォームを構築する方法を学びました。

起業家精神は、最良のテクノロジーが実際の問題を解決する方法で勝つことを教えてくれました。開発者の生活を容易にし、企業のアプリケーションを強力にするようなイノベーションに重点を置く必要があります。

検索とAIの収束は、コンピューティングの最も大きな変化の1つのように感じられます。次の5年でどこへ向かっているのか、Pineconeの取り組みがその未来を形作る方法についてどう考えていますか?

検索は会話的でコンテキストに基づいたものになります。5年後には、AIシステムと会話をすることになります。検索は行わないでしょう。検索は、質問、意図、コンテキスト、履歴を理解するAIシステムと会話することになります。すべてのやり取りは、リアルタイムで更新される膨大な知識ベースによって情報を提供されます。

私たちは、そのインフラストラクチャを構築しています。ベクトルデータベースはただの始まりです。将来、すべてのアプリケーションに組み込まれたコンテキスト、AIが妄想するのではなくデータに基づいたもの、検索と知識の境界が消える未来を見ています。

チーフサイエンティストとして、データ、モデル、プロトタイピングに直接関与することになります。現在、どの研究分野に最も興味がありますか?

短期的には、効率と使いやすさに深く関与します。ベクトル検索を10倍高速化し、10倍コスト削減することができますか? APIをさらに簡素化することができますか? これらは難しい問題です。

長期的には、検索と推論の交差点に執着しています。関連性のある事実を見つけるだけでなく、それらの関係を理解するシステムを構築する方法について考えています。さらに、コンテキストを使用して知識に基づいたAIとより強力なエージェントを作成する方法について考えています。

最後に、個人的なレベルで、CEOの役割から一歩下がったことについて、最も興奮することは何ですか? Pineconeの次の段階でどのようなブレークスルーを解き放つことを希望していますか?

私は、コードの中で、研究チームと共に、2時に「これは本当に動作する!」という瞬間を経験するときに最も幸せです。

私の夢は、検索をあまりにも優れたものにすることです。開発者は、埋め込み、インデックス、またはその他のものについて考えることなく、コンテキストを伴うアプリケーションを構築できるようになるでしょう。そうすれば、ただ動作するでしょう。

私たちは、AIとデータが収束するこの驚くべき瞬間を経験しています。潜在性は無限大であり、私はその未来を作るために毎日を費やしています。

素晴らしいインタビュー、ありがとうございます。詳しく知りたい読者は、Pineconeを訪問してください。