パインコーンのエンジニアリング担当VP、ラム・スリハルシャ博士 – インタビュー・シリーズ

ラム・スリハルシャ博士は、パインコーンのエンジニアリングおよび研究開発担当VPです。

パインコーンに参加する前、ラムはヤフー、データブリックス、スプランクでVPを務めていました。ヤフーでは、プリンシパル・ソフトウェア・エンジニアおよび研究科学者を務め、データブリックスでは、ゲノミクスの統合分析プラットフォームの製品およびエンジニアリング・リードを務め、スプランクでは、3年間でシニア・プリンシパル・サイエンティスト、エンジニアリング・VP、ディスティングイッシュド・エンジニアなどの役割を果たしました。

パインコーンは、ベクトル検索をプロダクション・アプリケーションに簡単に追加できる、フルマネージドのベクトルデータベースです。ベクトル検索ライブラリ、フィルタリングなどの機能、および分散インフラストラクチャを組み合わせて、任意のスケールで高パフォーマンスと信頼性を提供します。

あなたが最初に機械学習に惹かれたのは何ですか?

高次元統計、学習理論、その他のトピックが私を機械学習に惹きつけたものです。これらは数学的に厳密に定義されており、学習の意味について基本的な洞察を提供し、効率的に学習できるアルゴリズムを設計する方法について推論できます。

以前、スプランクのエンジニアリング・VPでしたが、そこでの経験から得た主な教訓は何ですか?

スプランクに行くまで、エンタープライズ・サーチのユースケースの多様性を実感していませんでした。人々は、ログ分析、可観測性分析、セキュリティ分析など、さまざまなユースケースでスプランクを使用しています。これらのユースケースの多くに共通するのは、非構造化データで類似のイベントまたは異常なイベントを検出するというアイデアです。これは、従来の検索手法では解決できない難しい問題です。スプランクでの私の経験から、機械学習（およびディープラーニング）をログ・マイニング、セキュリティ分析などに使用する研究を開始しました。そこで、ベクトル埋め込みとベクトル検索がこれらのドメインへの新しいアプローチの基本的なプリミティブになることを実感しました。

ベクトル検索について説明してください。

伝統的な検索（キーワード検索とも呼ばれる）では、クエリとドキュメントのキーワード一致を探します。クエリをトークンに分割し、指定されたトークンを含むドキュメントを取得し、結合してランク付けして、最も関連するドキュメントを決定します。

伝統的な検索の大きな問題は、関連する結果を得るために、クエリとドキュメントの両方にキーワードの一致が必要であることです。伝統的な検索の典型的な問題は、検索クエリに「pop」というキーワードが含まれている場合、「pop music」というドキュメントは一致しますが、「soda」というドキュメントは一致しません。アメリカの多くの地域では、「pop」と「soda」は同じ意味ですが、キーワードの一致がないため、検索結果には表示されません。

ベクトル検索では、クエリとドキュメントの両方を高次元空間のベクトルに変換します。これは、OpenAIのLLMやその他の言語モデルを使用して行うことができます。結果として得られるのは、浮動小数点数の配列で、高次元空間のベクトルと見なすことができます。

ベクトル検索の基本的な考え方は、高次元空間の近くのベクトルは、意味的に類似しているということです。先ほどの「soda」と「pop」の例に戻すと、モデルが適切なコーパスでトレーニングされている場合、「pop」と「soda」は意味的に類似しているため、埋め込みは空間の中で近くなります。そうであれば、特定のクエリの近傍ドキュメントを取得することは、高次元空間の対応するクエリ・ベクトルの近傍探索問題になります。

ベクトル・データベースとは何ですか?また、高パフォーマンスのベクトル検索アプリケーションを構築するにはどう役立ちますか?

ベクトル・データベースは、これらの埋め込み（またはベクトル）を格納、インデックス、および管理します。ベクトル・データベースが解決する主な課題は、次のとおりです。

• ベクトル上の効率的な検索インデックスを構築して、近傍探索クエリに回答する
• フィルタリングをサポートするための効率的な補助インデックスとデータ構造を構築する。たとえば、コーパスのサブセット上で検索したい場合、既存の検索インデックスを再構築せずに利用できるはずです

また、データと検索インデックスの両方を最新の状態に保ち、整合性、耐久性などを確保するための効率的な更新をサポートする必要があります。

パインコーンでは、どのような種類の機械学習アルゴリズムが使用されていますか?

近傍探索アルゴリズムの近似と、大量のデータを効率的に更新、検索、および操作するための新しいアルゴリズムの開発に重点を置いています。

また、検索の関連性を向上させるために、密な検索と疎な検索の組み合わせを使用するアルゴリズムにも取り組んでいます。

検索をスケーラブルにすることの背後にある課題について説明してください。

近傍探索は数十年前から研究されてきましたが、まだ多くの未解決の問題があります。

特に、大規模な近傍探索をコスト効率よく設計したり、フィルタリングをスケーラブルに実行したり、更新が頻繁に行われるインデックスを新鮮に保つアルゴリズムを設計したりすることは、現在も課題です。

このテクノロジーが使用できるさまざまなユースケースについて説明してください。

ベクトル・データベースのユースケースの範囲は、日に日に増えています。意味的な検索以外にも、画像検索、画像検索、生成的なAI、セキュリティ分析などで使用されています。

検索の将来像についてはどう考えていますか?

私は、検索の将来はAIによって推進されるものになると考えています。これは、遠い将来の話ではありません。検索の将来では、ベクトル・データベースが基本的なプリミティブになることを期待しています。ベクトル・データベースは、AIの長期記憶（または外部知識ベース）と考えることができます。

素晴らしいインタビュー、詳細についてはパインコーンを訪れてください。