チャールズ・シェイ、Zillizの創設者兼CEO – インタビュー・シリーズ

チャールズ・シェイは、Zillizの創設者兼CEOです。Zillizでは、AIおよびLLMアプリケーション向けの次世代データベースと検索技術の開発に注力しています。Zillizでは、また、世界で最も人気のあるオープンソースベクトルデータベースであるMilvusを発明しました。現在、LF AI & Data Foundationの理事会員であり、2020年と2021年には理事長を務めています。チャールズは以前、OracleでOracle 12cクラウドデータベースプロジェクトの創設エンジニアとして働いていました。チャールズは、ウィスコンシン大学マディソン校でコンピューターサイエンスの修士号を取得しています。

Zillizは、LF AI Milvus®の背後にあるチームです。Milvusは、広く使用されているオープンソースベクトルデータベースです。この会社は、データインフラストラクチャ管理の簡素化に焦点を当てており、AIを企業、組織、個人にとってよりアクセスしやすくすることを目指しています。

Zillizの創設とMilvusの開発の背景を共有できますか？また、ベクトルデータベースに焦点を当てた理由についてもお話しください。

私はデータベース分野で15年以上のキャリアを持ち、そのうち6年間はOracleでソフトウェアエンジニアとして働きました。そこで私は、Oracle (ORCL ) 12cマルチテナントデータベースチームの創設メンバーでした。その間、私は重要な制限に気づきました。構造化データはうまく管理されていましたが、構造化データの90%を占める非構造化データは、ほとんど利用されていませんでした。しかも、分析可能なデータは1%以下でした。

2017年、AIが非構造化データを処理する能力が向上し、転機となりました。NLPの進歩により、非構造化データをベクトル埋め込みに変換することができ、意味を解釈することができるようになりました。これが私をZillizの創設に導き、”zillions of data”を管理するというビジョンを掲げました。ベクトル埋め込みは、非構造化データと有意義な洞察の間のギャップを埋めるための基盤となりました。私たちは、Milvusを目的のベクトルデータベースとして開発し、このビジョンを実現しました。

過去2年間で、業界はこのアプローチを検証し、ベクトルデータベースを非構造化データ管理の基盤として認識しています。私たちにとって、これは技術だけではなく、AI時代の非構造化データの潜在能力を人間が活用できるようにすることについてです。

Zillizの創設から6年が経過しました。Zillizの旅はどのように進化しましたか？ベクトルデータベースのスペースを先駆的に開発する上で、どのような課題に直面しましたか?

旅は変革的でした。私たちがZillizを7年前に創設したとき、本当の課題は資金調達や採用ではなく、未知の領域で製品を開発することでした。既存のロードマップ、ベストプラクティス、または確立されたユーザー期待がなかったため、自分たちで道を切り開く必要がありました。

私たちのブレークスルーは、Milvusのオープンソース化でした。採用の障壁を下げ、コミュニティの関与を促進することで、貴重なユーザーフィードバックを得て、製品を改良することができました。Milvusが2019年にリリースされたとき、年末には約30人のユーザーがいたことがありました。これは2020年には200人以上に、すぐに1000人以上に増えました。

現在、ベクトルデータベースは、AI時代の重要なインフラストラクチャに変わりました。私たちが始めたビジョンが検証されました。

Zillizは、モダンなAIアプリケーションをサポートするための、マルチモーダルベクトル検索をどのようにサポートしていますか？Zillizが提供する技術的な能力について詳しくお話しください。

Zillizは、マルチモーダルベクトル検索をサポートするための、先進的な技術的な能力を開発しました：

1. ハイブリッド検索：異なるモダリティ間の同時検索を可能にします。たとえば、画像の視覚的な特徴とテキストの説明を組み合わせることができます。
2. 最適化されたアルゴリズム：独自の量子化技術により、クロスモーダル検索のリコール精度とメモリ効率をバランスさせます。
3. リアルタイムおよびオフライン処理：デュアルトラックシステムにより、低遅延のリアルタイム書き込みと高スループットのオフラインインポートをサポートし、データの新鮮性を確保します。
4. コスト効率：拡張容量インスタンスは、インテリジェントな階層化ストレージを利用してストレージコストを大幅に削減し、高性能を維持します。
5. 埋め込みAIモデル：マルチモーダル埋め込みとランキングモデルを統合することで、複雑な検索アプリケーションの実装のハードルを下げました。

これらの機能により、開発者はさまざまなデータタイプを効率的に処理し、モダンなAIアプリケーションをより強力で多様にできます。

Multimodal RAGは、AIが複雑なリアルワールドデータを画像、オーディオ、ビデオとともにテキストで処理する能力をどのように進化させますか?

Multimodal RAG（Retrieval-Augmented Generation）は、AIの重要な進化を表します。テキストベースのRAGが優勢だったのに対し、企業データの大部分は画像、ビデオ、オーディオで構成されています。AIワークフローにこれらのさまざまなフォーマットを統合する能力は、重要です。

このシフトは適切なタイミングです。AIコミュニティは、利用可能なインターネットテキストデータの限界について議論しています。テキストデータは有限ですが、マルチモーダルデータは未利用のままです。企業のビデオからハリウッド映画、オーディオレコーディングまで、利用可能なデータは膨大です。

Multimodal RAGは、この未利用のデータを解放し、AIシステムがこれらの豊富なデータタイプを処理および活用できるようにします。データの不足に対処するだけでなく、AIの能力を拡大し、リアルワールドとの関わりを向上させることについてです。

Zillizは、急成長を遂げているベクトルデータベース市場で、競合他社とどのように差別化していますか?

Zillizは、以下のユニークな側面で競合他社と差別化しています：

1. デュアルアイデンティティ：私たちはAI会社であり、データベース会社でもあり、データ管理とAI統合の境界を押し広げています。
2. クラウドネイティブ設計：Milvus 2.0は、最初の分散ベクトルデータベースで、ストレージとコンピューティングの分離アーキテクチャを採用しました。100億以上のベクトルに対するスケーラビリティとコスト効率を実現します。
3. 独自の強化：私たちのCardinalエンジンは、オープンソースのMilvusの3倍のパフォーマンスと、競合他社の10倍のパフォーマンスを実現します。ディスクベースのインデックスとインテリジェントな階層化ストレージも提供し、コスト効率の高いスケーリングを実現します。
4. 継続的なイノベーション：ハイブリッド検索機能からVTSのような移行ツールまで、ベクトルデータベース技術を不断に進化させています。

私たちのオープンソースへの取り組みにより、柔軟性が保証され、Zilliz Cloudというマネージドサービスでは、運用の複雑さを最小限に抑えながらエンタープライズグレードのパフォーマンスを提供します。

Zilliz Cloudの重要性と、AIおよびベクトル検索サービスを小規模開発者や企業にまでアクセス可能にする役割について、詳しくお話しください。

ベクトル検索は2015年からテクノロジー大手によって使用されてきましたが、独自の実装により、より広範な採用が制限されていました。Zillizでは、2つの補完的なアプローチでこのテクノロジーを民主化しています：

1. オープンソース：Milvusにより、開発者はベクトル検索インフラストラクチャを構築および所有することができ、技術的な障壁が下がります。
2. マネージドサービス：Zilliz Cloudは、運用のオーバーヘッドを排除し、ビジネスがベクトル検索を採用するためのシンプルでコスト効率の高いソリューションを提供します。

このデュアルアプローチにより、ベクトル検索が開発者と企業の両方にアクセス可能になり、革新的なAIアプリケーションの構築に集中できるようになります。

LLMとファウンデーションモデルにおける進歩とともに、AIデータインフラストラクチャの次の大きな変化は何だと思いますか?

次の大きな変化は、AIデータインフラストラクチャの全面的変革であり、非構造化データを処理する能力を備えることです。現在のシステムは、構造化データ向けに設計されており、この変化に適していません。

この変革は、データスタックのすべての層に影響を及ぼします：

• 基礎となるデータベースシステム
• データパイプラインとETLプロセス
• データクリーンと変換メカニズム
• セキュリティと暗号化プロトコル
• コンプライアンスとガバナンスフレームワーク
• データ観測可能性システム

私たちは、単に既存のシステムをアップグレードするのではなく、新しいパラダイムを構築することについて話しています。図書館で本を整理する世界から、インターネット全体を管理、理解、処理する世界への移行です。この変革は、データインフラストラクチャのすべてのコンポーネントを根本から再構築する必要がある、新しい世界を表します。

この革命は、データを保存、管理、処理する方法を再定義し、AIイノベーションの巨大な機会を解放するでしょう。

NVIDIA (NVDA ) GPUの統合は、ベクトル検索のパフォーマンスとスケーラビリティにどのような影響を与えましたか?

NVIDIA GPUの統合は、ベクトル検索のパフォーマンスを2つの重要な分野で大幅に向上させました。

まず、インデックス構築においてです。ベクトルインデックス構築は、従来のデータベースインデックス構築よりも数桁の計算能力を必要とします。GPUアクセラレーションを利用することで、インデックス構築時間を大幅に短縮し、データの取り込みと可視性を向上させました。

2つ目は、高スループットのクエリ用途です。Eコマースのようなアプリケーションでは、システムが1秒あたり数千または数万のクエリを処理する必要があります。GPUの並列処理能力は、低遅延でベクトル類似性検索を効率的に処理する上で不可欠でした。

2021年以来、NVIDIAと協力して、アルゴリズムをGPUアーキテクチャに最適化し、異なるプロセッサアーキテクチャ間のヘテロジニアスコンピューティングをサポートするシステムを開発しています。これにより、顧客は自分の特定のニーズに最も適したハードウェアインフラストラクチャを選択できます。

ベクトルデータベースはAIで重要な役割を果たしていますが、従来の用途であるレコメンデーションシステムや検索以外の業界、たとえばヘルスケアにも応用される可能性がありますか?

ベクトルデータベースは、従来の用途であるレコメンデーションシステムや検索を超えて、医療や製薬研究などの業界にも応用されています。分子をベクトル化し、特定の症状や疾患に対する潜在的な薬剤候補を特定することができます。従来のトップk検索とは異なり、範囲検索により、ターゲットの近傍にあるすべての分子を特定し、候補の包括的なビューを提供できます。

自動運転では、ベクトルデータベースは車両の安全性とパフォーマンスを向上させています。エッジケースの処理は、システムが大量のデータベースを検索して、異常なシナリオに適したトレーニングデータを見つけることができます。

金融サービスにおける不正検出、サイバーセキュリティにおける脅威検出、ターゲット広告における顧客エンゲージメントの向上など、革新的な応用例もあります。たとえば、銀行では、トランザクションをベクトル化し、歴史的なパターンと比較して潜在的な不正行為を検出できます。

ベクトルデータベースの力は、どのドメインでも類似性を理解し、処理する能力にあります。分子構造、運転シナリオ、金融パターン、セキュリティ脅威などです。AIが進化するにつれて、可能なことの表面に触れているだけです。大量の非構造化データを効率的に処理し、パターンを見つける能力は、まだ探索されていない可能性を開きます。

開発者や企業は、ZillizとMilvusを使用してAIプロジェクトでベクトルデータベース技術を活用するための最良の方法は何ですか?

ZillizとMilvusを使用してベクトルデータベース技術を活用するには、2つの主なパスがあります。それぞれが異なるニーズと優先順位に適しています。カスタマイズと柔軟性を重視する場合は、Milvusのオープンソースソリューションが最適です。Milvusを使用すると、以下のことができます：

• 自由に実験し、技術を自分のペースで学ぶ
• ソリューションを特定の要件に合わせてカスタマイズする
• 開発に貢献し、コードベースを変更する
• インフラストラクチャを完全に管理する

ただし、インフラストラクチャの管理を最小限に抑えたい場合は、Zilliz Cloudが最適です。Zilliz Cloudでは、以下のことができます：

• ワンクリックでデプロイ可能な、即時使用可能なソリューション
• エンタープライズグレードのセキュリティとコンプライアンス
• 高可用性と安定性
• 運用のオーバーヘッドを最小限に抑えながら、最適化されたパフォーマンス

これは、自分で「組み立てる」ことを楽しむか、すぐにアプリケーションを構築し始めるか、ということです。どちらのパスを選択しても、目的地に到達することができます。ただし、どのくらいの旅を制御したいか、どのくらいのスピードで到着したいか、ということです。

どちらのパスを選択しても、目的地に到達することができます。ただし、どのくらいの旅を制御したいか、どのくらいのスピードで到達したいか、ということです。

素晴らしいインタビュー、詳しく知りたい読者は、ZillizまたはMilvusを訪問してください。