最新の生成 AI アプリケーションにおけるベクトル データベースの役割

大規模な Generative AI アプリケーションが効果的に動作するには、大量のデータを処理する優れたシステムが必要です。 そのような重要なシステムの XNUMX つがベクトル データベースです。 このデータベースの特徴は、テキスト、音声、画像、ビデオなどのさまざまなタイプのデータを数値/ベクトル形式で処理できることです。

ベクトルデータベースとは何ですか?

ベクトル データベースは、高次元ベクトルを効率的に処理できるように設計された特殊なストレージ システムです。 これらのベクトルは、多次元空間内の点と考えることができ、多くの場合、画像、テキスト、音声などのより複雑なデータの埋め込みまたは圧縮表現を表します。

ベクトル データベースを使用すると、これらのベクトル間の類似性検索を迅速に行うことができ、膨大なデータセットから最も類似した項目を迅速に検索できます。

従来のデータベースとベクター データベースの比較

ベクトルデータベース:

• 高次元データを扱う: ベクトル データベースは、データを高次元空間で管理および保存するように設計されています。これは、データ ポイント (画像やテキストなど) を多次元空間内のベクトルとして表現できる機械学習などのアプリケーションに特に役立ちます。
• 類似性検索用に最適化: ベクトル データベースの際立った機能の XNUMX つは、類似性検索を実行できることです。 これらのデータベースを使用すると、完全一致に基づいてデータをクエリする代わりに、ユーザーは特定のクエリに「類似した」データを取得できるため、画像やテキストの検索などのタスクに非常に役立ちます。
• 大規模なデータセットに拡張可能: AI および機械学習アプリケーションが成長し続けるにつれて、処理されるデータの量も増加します。 ベクター データベースはスケールに合わせて構築されており、パフォーマンスを犠牲にすることなく大量のデータを処理できるようになります。

従来のデータベース:

• 構造化データストレージ: リレーショナル データベースなどの従来のデータベースは、構造化データを保存するように設計されています。 これは、データが事前定義されたテーブル、行、列に編成され、データの整合性と一貫性が確保されることを意味します。
• CRUD操作用に最適化: 従来のデータベースは主に CRUD 操作用に最適化されています。 つまり、データ エントリを効率的に作成、読み取り、更新、削除できるように設計されており、Web サービスからエンタープライズ ソフトウェアまで幅広いアプリケーションに適しています。
• 固定スキーマ: 多くの従来のデータベースの特徴の XNUMX つは、固定スキーマです。 データベース構造を定義した後の変更は複雑で時間がかかる場合があります。 この堅牢性によりデータの一貫性が保証されますが、一部の最新のデータベースのスキーマレスまたは動的スキーマの性質に比べて柔軟性が劣る場合があります。

生成 AI とベクトル データベースの必要性

生成 AI には埋め込みが含まれることがよくあります。たとえば、自然言語処理 (NLP) における単語埋め込みを考えてみましょう。単語や文章は、意味論的な意味を捉えるベクトルに変換されます。人間のようなテキストを生成する場合、モデルは関連するエンベディングを迅速に比較して取得し、生成されたテキストが文脈上の意味を確実に維持する必要があります。

ベクトルエンベディングとデータベース

同様に、画像やサウンドの生成において、エンベディングはパターンや特徴をエンコードする上で重要な役割を果たします。 これらのモデルが最適に機能するには、類似したベクトルを瞬時に検索できるデータベースが必要であり、ベクトル データベースは生成 AI パズルの重要なコンポーネントとなっています。

自然言語のエンベディングを作成するには、通常、次のような事前トレーニングされたモデルを使用する必要があります。

• GPT-3 および GPT-4: OpenAIのGPT-3 (Generative Pre-trained Transformer 3) は、175 億のパラメーターを備えた NLP コミュニティの記念碑的なモデルです。 それに続き、さらに多くのパラメーターを備えた GPT-4 は、高品質の埋め込み生成の限界を押し広げ続けています。 これらのモデルは多様なデータセットでトレーニングされており、さまざまな言語のニュアンスを捉えるエンベディングを作成できます。
• BERT とそのバリアント: ベルト GoogleのBERT（Bidirectional Encoder Representations from Transformers）は、RoBERTaやDistillBERTと同様に、様々なアップデートやイテレーションを経てきた重要なモデルです。双方向にテキストを読み取るBERTの双方向トレーニングは、単語の周囲の文脈を理解するのに特に優れています。
• エレクトロニクス: 効率的で、GPT-3 や BERT などのはるかに大規模なモデルと同等のパフォーマンスを発揮しながら、必要なコンピューティング リソースが少ない、より新しいモデル。 エレクトロニクス 事前トレーニング中に本物のデータと偽のデータを区別し、より洗練された埋め込みを生成するのに役立ちます。

ソース

上記のプロセスを理解すると、次のようになります。

最初に、埋め込みモデルを使用して、目的のコンテンツをベクトル埋め込みに変換します。 これらの埋め込みは生成されると、ベクトル データベース内に保存されます。 追跡可能性と関連性を容易にするために、これらの保存された埋め込みは、派生元の元のコンテンツへのリンクまたは参照を維持します。

その後、ユーザーまたはシステムがアプリケーションに質問を投げかけると、同じ埋め込みモデルが起動します。このモデルは、クエリを対応する埋め込みに変換します。生成された埋め込みは、ベクトルデータベースを検索し、類似のベクトル表現を探します。一致すると特定された埋め込みは、元のコンテンツと直接関連付けられているため、ユーザーのクエリに対して関連性が高く正確な結果が得られます。

Vector Database の新規参入者への資金提供の拡大

AIの人気の高まりに伴い、多くの企業がアルゴリズムの改良と高速化を目指してベクターデータベースへの投資を拡大しています。これは、ベクターデータベースのスタートアップ企業への最近の投資からも明らかです。 松毬, クロマDB, ウィビエイト.

ベクトルデータベースの風景

Microsoft のような大規模な協力会社も独自のツールを持っています。 例えば、 Azure コグニティブ検索 企業はベクトル データベースを使用して AI ツールを作成できます。

オラクルも最近、その新機能を発表しました。 データベース 23c、統合ベクトル データベースを導入します。 「AI Vector Search」と名付けられたこのサービスには、ベクトルを使用して文書や画像などのデータを保存および検索するための新しいデータ型、インデックス、検索ツールが搭載されています。 サポートします 検索拡張生成 (RAG)、大規模な言語モデルとビジネス データを組み合わせて、プライベート データを共有せずに言語に関する質問に対するより適切な回答を提供します。

ベクター データベースの主な考慮事項

距離メトリック

類似性検索の有効性は、選択した距離メトリックによって異なります。 一般的な指標には次のものがあります。 ユークリッド距離 および コサイン類似性、それぞれが異なるタイプのベクトル分布に対応します。

インデキシング

ベクトルの高次元性を考慮すると、従来のインデックス手法では不十分です。ベクトルデータベースでは、次のような手法が用いられます。 階層型ナビゲート可能なスモールワールド (HNSW) グラフまたは 木を困らせる、ベクトル空間の効率的な分割と迅速な最近傍検索が可能になります。

迷惑木 (ソース)

Annoy は二分探索木と呼ばれるものを使用する手法です。 データ空間を何度も分割し、その一部だけを調べて近くのデータを見つけます。

階層型ナビゲート可能スモールワールド (HNSW) グラフ (ソース)

一方、HNSW グラフはネットワークに似ています。 検索を高速化するために特別な方法でデータ ポイントを接続します。 これらのグラフは、データ内の近い点をすばやく見つけるのに役立ちます。

拡張性

データセットが増大するにつれて、高速な取得時間を維持するという課題も増大します。 分散システム、GPU アクセラレーション、最適化されたメモリ管理は、ベクトル データベースがスケーラビリティに取り組む方法の一部です。

ベクター データベースの役割: 意味と機会

1. 最先端の学習データ 生成 AI モデル: DALL-EやGPT-3などの生成AIモデルは、膨大な量のデータを用いて学習されます。これらのデータは、画像、テキスト、コード、その他の領域を含む、無数のソースから抽出されたベクトルで構成されることがよくあります。ベクトルデータベースはこれらのデータセットを綿密にキュレーション・管理することで、AIモデルがベクトル内のパターンや関係性を特定することで、世界の知識を統合・分析することを可能にします。

2. フューショット学習の推進: フューショット学習は、限られたデータを使用してモデルをトレーニングする AI トレーニング手法です。 ベクトル データベースは、堅牢なベクトル インデックスを維持することでこのアプローチを強化します。 モデルが少数のベクトル (たとえば、数枚の鳥の画像) にさらされると、これらのベクトル間の類似点と関係を認識することで、鳥のより広範な概念を迅速に推定できます。

3. レコメンダーシステムの強化: レコメンデーションシステムは、ベクターデータベースを用いて、ユーザーの嗜好に合致するコンテンツを提案します。ユーザーの行動、プロフィール、クエリを分析することで、ユーザーの興味を示すベクターを抽出します。システムはベクターデータベースをスキャンし、これらの興味ベクターに類似するコンテンツベクターを見つけることで、正確なレコメンデーションを実現します。

4. セマンティック 情報検索: 従来の検索方法は、キーワードの完全一致に依存していました。しかし、ベクターデータベースは、システムが意味的な類似性に基づいてコンテンツを理解し、検索できるようにします。つまり、検索はより直感的になり、単なる単語の一致ではなく、クエリの根底にある意味に焦点を当てるようになります。例えば、ユーザーがクエリを入力すると、対応するベクターがデータベース内のベクターと比較され、クエリの表現だけでなく、クエリの意図に共鳴するコンテンツが検索されます。

5. マルチモーダル検索: マルチモーダル検索 は、テキスト、画像、音声、ビデオなどの複数のソースからのデータを統合する新しい技術です。 ベクター データベースは、さまざまなモダリティからのベクターの組み合わせ分析を可能にすることで、このアプローチのバックボーンとして機能します。 これにより、ユーザーが単一のクエリに基づいてさまざまなソースから情報を取得できる総合的な検索エクスペリエンスが実現し、より豊富な洞察とより包括的な結果が得られます。

結論

AIの世界は急速に変化しています。多くの業界に影響を与え、良い成果と新たな問題をもたらしています。生成AIの急速な進歩は、多次元データの管理と分析におけるベクトルデータベースの重要性を浮き彫りにしています。