最新の生成 AI アプリケーションにおけるベクトル データベースの役割

大規模な Generative AI アプリケーションが効果的に動作するには、大量のデータを処理する優れたシステムが必要です。 そのような重要なシステムの XNUMX つがベクトル データベースです。 このデータベースの特徴は、テキスト、音声、画像、ビデオなどのさまざまなタイプのデータを数値/ベクトル形式で処理できることです。

ベクトルデータベースとは何ですか?

ベクトル データベースは、高次元ベクトルを効率的に処理できるように設計された特殊なストレージ システムです。 これらのベクトルは、多次元空間内の点と考えることができ、多くの場合、画像、テキスト、音声などのより複雑なデータの埋め込みまたは圧縮表現を表します。

ベクトル データベースを使用すると、これらのベクトル間の類似性検索を迅速に行うことができ、膨大なデータセットから最も類似した項目を迅速に検索できます。

従来のデータベースとベクター データベースの比較

ベクトルデータベース:

• 高次元データを扱う: ベクトル データベースは、データを高次元空間で管理および保存するように設計されています。これは、データ ポイント (画像やテキストなど) を多次元空間内のベクトルとして表現できる機械学習などのアプリケーションに特に役立ちます。
• 類似性検索用に最適化: ベクトル データベースの際立った機能の XNUMX つは、類似性検索を実行できることです。 これらのデータベースを使用すると、完全一致に基づいてデータをクエリする代わりに、ユーザーは特定のクエリに「類似した」データを取得できるため、画像やテキストの検索などのタスクに非常に役立ちます。
• 大規模なデータセットに拡張可能: AI および機械学習アプリケーションが成長し続けるにつれて、処理されるデータの量も増加します。 ベクター データベースはスケールに合わせて構築されており、パフォーマンスを犠牲にすることなく大量のデータを処理できるようになります。

従来のデータベース:

• 構造化データストレージ: リレーショナル データベースなどの従来のデータベースは、構造化データを保存するように設計されています。 これは、データが事前定義されたテーブル、行、列に編成され、データの整合性と一貫性が確保されることを意味します。
• CRUD操作用に最適化: 従来のデータベースは主に CRUD 操作用に最適化されています。 つまり、データ エントリを効率的に作成、読み取り、更新、削除できるように設計されており、Web サービスからエンタープライズ ソフトウェアまで幅広いアプリケーションに適しています。
• 固定スキーマ: 多くの従来のデータベースの特徴の XNUMX つは、固定スキーマです。 データベース構造を定義した後の変更は複雑で時間がかかる場合があります。 この堅牢性によりデータの一貫性が保証されますが、一部の最新のデータベースのスキーマレスまたは動的スキーマの性質に比べて柔軟性が劣る場合があります。

生成 AI とベクトル データベースの必要性

生成 AI には埋め込みが含まれることがよくあります。たとえば、自然言語処理 (NLP) における単語埋め込みを考えてみましょう。単語や文章は、意味論的な意味を捉えるベクトルに変換されます。人間のようなテキストを生成する場合、モデルは関連するエンベディングを迅速に比較して取得し、生成されたテキストが文脈上の意味を確実に維持する必要があります。

ベクトルエンベディングとデータベース

同様に、画像やサウンドの生成において、エンベディングはパターンや特徴をエンコードする上で重要な役割を果たします。 これらのモデルが最適に機能するには、類似したベクトルを瞬時に検索できるデータベースが必要であり、ベクトル データベースは生成 AI パズルの重要なコンポーネントとなっています。

自然言語のエンベディングを作成するには、通常、次のような事前トレーニングされたモデルを使用する必要があります。

• GPT-3 および GPT-4: OpenAI の GPT-3 (Generative Pre-trained Transformer 3) は、175 億のパラメーターを備えた NLP コミュニティの記念碑的なモデルです。 それに続き、さらに多くのパラメーターを備えた GPT-4 は、高品質の埋め込み生成の限界を押し広げ続けています。 これらのモデルは多様なデータセットでトレーニングされており、さまざまな言語のニュアンスを捉えるエンベディングを作成できます。
• BERT とそのバリアント: ベルト Google の (Bidirectional Encoder Representations from Transformers) は、RoBERTa や DistillBERT など、さまざまな更新と反復が行われたもう XNUMX つの重要なモデルです。 BERT の双方向トレーニングはテキストを両方向に読み取り、単語の周囲のコンテキストを理解することに特に優れています。
• エレクトロニクス: 効率的で、GPT-3 や BERT などのはるかに大規模なモデルと同等のパフォーマンスを発揮しながら、必要なコンピューティング リソースが少ない、より新しいモデル。 エレクトロニクス 事前トレーニング中に本物のデータと偽のデータを区別し、より洗練された埋め込みを生成するのに役立ちます。

ソース

上記のプロセスを理解すると、次のようになります。

最初に、埋め込みモデルを使用して、目的のコンテンツをベクトル埋め込みに変換します。 これらの埋め込みは生成されると、ベクトル データベース内に保存されます。 追跡可能性と関連性を容易にするために、これらの保存された埋め込みは、派生元の元のコンテンツへのリンクまたは参照を維持します。

その後、ユーザーまたはシステムがアプリケーションに質問をすると、同じ埋め込みモデルが動作を開始します。 このクエリは、対応する埋め込みに変換されます。 これらの新しく形成された埋め込みは、ベクトル データベースを検索して、類似したベクトル表現を探します。 一致として識別された埋め込みは元のコンテンツと直接関連付けられており、ユーザーのクエリに関連性のある正確な結果が得られることが保証されます。

Vector Database の新規参入者への資金提供の拡大

AI の人気の高まりに伴い、多くの企業がアルゴリズムをより良く、より高速にするためにベクトル データベースにさらに多くの資金を投入しています。 これは、次のようなベクター データベースのスタートアップへの最近の投資からもわかります。 松毬, クロマDB, ウィビエイト.

ベクトルデータベースの風景

Microsoft のような大規模な協力会社も独自のツールを持っています。 例えば、 Azure コグニティブ検索 企業はベクトル データベースを使用して AI ツールを作成できます。

オラクルも最近、その新機能を発表しました。 データベース 23c、統合ベクトル データベースを導入します。 「AI Vector Search」と名付けられたこのサービスには、ベクトルを使用して文書や画像などのデータを保存および検索するための新しいデータ型、インデックス、検索ツールが搭載されています。 サポートします 検索拡張生成 (RAG)、大規模な言語モデルとビジネス データを組み合わせて、プライベート データを共有せずに言語に関する質問に対するより適切な回答を提供します。

ベクター データベースの主な考慮事項

距離メトリック

類似性検索の有効性は、選択した距離メトリックによって異なります。 一般的な指標には次のものがあります。 ユークリッド距離 & コサイン類似性、それぞれが異なるタイプのベクトル分布に対応します。

インデキシング

ベクトルの高次元性を考慮すると、従来のインデックス作成方法では対応できません。 ベクター データベースでは次のような手法が使用されます。 階層型ナビゲート可能なスモールワールド (HNSW) グラフまたは 木を困らせる、ベクトル空間の効率的な分割と迅速な最近傍検索が可能になります。

迷惑木 (ソース)

Annoy は二分探索木と呼ばれるものを使用する手法です。 データ空間を何度も分割し、その一部だけを調べて近くのデータを見つけます。

階層型ナビゲート可能スモールワールド (HNSW) グラフ (ソース)

一方、HNSW グラフはネットワークに似ています。 検索を高速化するために特別な方法でデータ ポイントを接続します。 これらのグラフは、データ内の近い点をすばやく見つけるのに役立ちます。

スケーラビリティ

データセットが増大するにつれて、高速な取得時間を維持するという課題も増大します。 分散システム、GPU アクセラレーション、最適化されたメモリ管理は、ベクトル データベースがスケーラビリティに取り組む方法の一部です。

ベクター データベースの役割: 意味と機会

1. 最先端の学習データ 生成 AI モデル: DALL-E や GPT-3 などの生成 AI モデルは、膨大な量のデータを使用してトレーニングされます。 このデータは多くの場合、画像、テキスト、コード、その他のドメインを含む無数のソースから抽出されたベクトルで構成されます。 ベクトル データベースはこれらのデータセットを細心の注意を払って厳選および管理し、AI モデルがこれらのベクトル内のパターンと関係を特定することによって世界の知識を同化および分析できるようにします。

2. フューショット学習の推進: フューショット学習は、限られたデータを使用してモデルをトレーニングする AI トレーニング手法です。 ベクトル データベースは、堅牢なベクトル インデックスを維持することでこのアプローチを強化します。 モデルが少数のベクトル (たとえば、数枚の鳥の画像) にさらされると、これらのベクトル間の類似点と関係を認識することで、鳥のより広範な概念を迅速に推定できます。

3. レコメンダーシステムの強化: レコメンダー システムはベクトル データベースを使用して、ユーザーの好みに密接に一致したコンテンツを提案します。 ユーザーの行動、プロフィール、クエリを分析することにより、ユーザーの興味を示すベクトルが抽出されます。 次に、システムはベクトル データベースをスキャンして、これらの関心ベクトルによく似たコンテンツ ベクトルを見つけ、正確な推奨を保証します。

4. セマンティック 情報検索: 従来の検索方法は、キーワードの完全一致に依存しています。 ただし、ベクトル データベースにより、システムは意味上の類似性に基づいてコンテンツを理解し、取得できるようになります。 これは、単に単語を一致させるだけでなく、クエリの根底にある意味に焦点を当て、検索がより直感的になることを意味します。 たとえば、ユーザーがクエリを入力すると、対応するベクトルがデータベース内のベクトルと比較され、語句だけでなくクエリの意図と共鳴するコンテンツが検索されます。

5. マルチモーダル検索: マルチモーダル検索 は、テキスト、画像、音声、ビデオなどの複数のソースからのデータを統合する新しい技術です。 ベクター データベースは、さまざまなモダリティからのベクターの組み合わせ分析を可能にすることで、このアプローチのバックボーンとして機能します。 これにより、ユーザーが単一のクエリに基づいてさまざまなソースから情報を取得できる総合的な検索エクスペリエンスが実現し、より豊富な洞察とより包括的な結果が得られます。

まとめ

AI の世界は急速に変化しています。 それは多くの業界に影響を及ぼし、良いことと新たな問題をもたらしています。 Generative AI の急速な進歩は、多次元データの管理と分析におけるベクトル データベースの重要な役割を浮き彫りにしています。