Dr. Ram Sriharsha, VP of Engineering at Pinecone – Interview Series

Dr. Ram Sriharsha, はPineconeのエンジニアリングおよび研究開発のVPです。

Pineconeに入社する前、RamはYahoo、Databricks、SplunkでVPを務めていました。Yahooでは、プリンシパルソフトウェアエンジニアおよび研究科学者を務め、Databricksでは、ゲノミクスの統一されたアナリティクスプラットフォームの製品およびエンジニアリングリードを務め、Splunkでは3年間、シニアプリンシパルサイエンティスト、エンジニアリングVP、ディスティングイッシュドエンジニアなどの役割を果たしました。

Pineconeは、ベクターデータベースをフルマネージドで提供し、プロダクションアプリケーションにベクターサーチを追加することを容易にします。ベクターサーチライブラリ、フィルタリングなどの機能、および分散インフラストラクチャを組み合わせて、任意のスケールで高パフォーマンスと信頼性を提供します。

あなたを機械学習に引き付けたのは何でしたか?

高次元統計、学習理論、などのトピックが私を機械学習に引き付けたものです。これらは数学的に厳密に定義されており、学習の意味や、効率的に学習できるアルゴリズムを設計する方法について基本的な洞察を提供するものです。

以前、SplunkのエンジニアリングVPでした。Splunkでの経験から得た主な教訓は何ですか?

私は、Splunkに着任するまで、エンタープライズサーチのユースケースの多様性に気付いていませんでした。人々は、ログ分析、観測可能性、セキュリティ分析など、Splunkを様々な用途で使用しています。これらのユースケースの多くで共通するのは、非構造化データ内で類似したイベントまたは異常なイベントを検出するというアイデアです。これは、伝統的な検索手法では解決できない難しい問題です。Splunkでの私の在任中、私はこれらの分野でのログマイニング、セキュリティ分析などに機械学習（およびディープラーニング）を使用する研究を開始しました。その作業を通じて、ベクターエンベディングとベクターサーチがこれらのドメインへの新しいアプローチの基本的なプリミティブになることを実感しました。

ベクターサーチについて説明してください。

伝統的な検索（キーワード検索とも呼ばれる）では、クエリとドキュメント（これはツイート、Webドキュメント、法的ドキュメントなど何でもかまいません）間のキーワード一致を探します。クエリをトークンに分割し、指定されたトークンを含むドキュメントを取得し、結合してランク付けして、指定されたクエリの最も関連性の高いドキュメントを決定します。

もちろん、主要な問題は、関連する結果を得るには、クエリがドキュメント内にキーワード一致を持たなければならないということです。伝統的な検索の古典的な問題は、もし「pop」を検索すると「pop music」に一致しますが、「soda」に一致しないということです。なぜなら、「pop」と「soda」の間にキーワードの一致がないからです。ただし、米国の多くの地域では、「pop」と「soda」は同じ意味です。

ベクターサーチでは、クエリとドキュメントの両方を高次元空間のベクターに変換することから始めます。これは、通常、OpenAIのLLMや他の言語モデルなどのディープラーニングモデルを使用してテキストを通過させることで行われます。結果として得られるのは、浮動小数点数の配列であり、高次元空間のベクターと見なすことができます。

主なアイデアは、この高次元空間の近くのベクターは、意味的に似ているということです。「soda」と「pop」の例に戻ると、モデルが適切なコーパスでトレーニングされている場合、「pop」と「soda」は意味的に似ていると見なされ、対応するエンベディングはエンベディング空間で近くにあることになります。そうであれば、指定されたクエリの近くのドキュメントを取得することは、この高次元空間で対応するクエリベクターの最も近い隣接ベクターを検索する問題になります。

ベクターデータベースについて説明し、ベクターサーチアプリケーションの構築をどのように可能にするかについて説明してください。

ベクターデータベースは、これらのエンベディング（またはベクター）を格納、索引、管理します。ベクターデータベースが解決する主な課題は次のとおりです。

• ベクター上の効率的な検索インデックスを構築して、最も近い隣接ベクターのクエリに答える
• フィルタリングをサポートするための効率的な補助インデックスとデータ構造を構築する。たとえば、コーパスのサブセット上で検索したい場合、検索インデックスを再構築せずに既存の検索インデックスを活用できるはずです

データと検索インデックスの両方を効率的に更新し、最新の状態、整合性、耐久性などを維持します。

Pineconeでは、どのようなタイプの機械学習アルゴリズムが使用されていますか?

一般に、近似最も近い隣接ベクター検索アルゴリズムに取り組み、効率的に更新、クエリ、または大規模なデータセットを扱うための新しいアルゴリズムを開発しています。

また、検索の関連性を向上させるために、密な検索と疎な検索を組み合わせるアルゴリズムにも取り組んでいます。

拡張可能な検索の構築の背後にある課題について説明してください。

近似最も近い隣接ベクター検索は数十年前から研究されてきましたが、まだ解明されていないことが多くあります。

特に、大規模な最も近い隣接ベクター検索をコスト効率の高い方法で設計したり、フィルタリングを大規模に行ったり、アルゴリズムを設計して、大量の更新をサポートし、インデックスを最新の状態に保つなどの課題は、現在でも難しい問題です。

このテクノロジーを使用できるさまざまなタイプのユースケースについて説明してください。

ベクターデータベースのユースケースの範囲は、毎日拡大しています。意味的な検索以外にも、画像検索、画像検索、生成的なAI、セキュリティ分析などで使用されています。

検索の将来についてのあなたのビジョンは何ですか?

私は、検索の将来はAIによって推進されるものであり、遠い将来の話ではないと思います。その将来では、ベクターデータベースがコアプリミティブになることを期待しています。ベクターデータベースを、AIの長期的な記憶（または外部の知識ベース）と考えることができます。

素晴らしいインタビュー、詳細については Pinecone を訪問してください。