Rob Giardina, Co-Founder and CEO of Claritype

ジェネレーティブ増強型検索がデータ分析の次のフロンティアである理由

4人に3人が自分の組織がAIを使用していることを示しています。ただし、その大部分の活動はまだ構造化されていないコンテンツに集中しています。会議のまとめ、メールの草案作成、またはカスタマーサポートの自動化などです。しかし、皮肉にも、実際のビジネス上の意思決定を推進するデータの大部分 – 財務報告書、倉庫テーブル、KPIなど – はまだAIの影響を受けていません。その理由は、野心の欠如ではなく、信頼の欠如です。モデルが文章を妄想することはよくありますが、数字を妄想することは災難です。CFOは検証できない答えに署名できないからです。現在、構造化データは数十のシステムにわたって存在し、それぞれ独自のルールと関係性を持っています。AIがその複雑さを横断して正しく推論することは、チャットボットよりも難しい課題です。企業とそのチーム – 非技術的なユーザーを含む – は、ボトルネックを減らし、迅速で正確な洞察を取得するために、データと簡単にやり取りする必要があります。SQLを学ぶ必要はありません。いくつかのソリューションが登場しています – 有名な例を見てみましょう、それらの利点と欠点について。AIと構造化データ – 手に負えない課題過去2年間で、AIの洞察と構造化データの間を橋渡しするためのいくつかの取り組みが行われてきました。多くは、重要なリソースとデータを持つテクノロジー企業から来ています。Snowflakeは、Cortex Analystを導入しました。これは、Snowflakeのデータウェアハウスに対して自然言語の質問をユーザーに許可することを目指しています。精度を向上させるために、Cortexにはセマンティックメタデータを提供する方法がありますが、モデルは大幅に制限されています。1つは、手動で構築する必要があり、さらに、最大10個のテーブルでのみ動作し、メディアサイズの会社には十分ではありません。以上になると、精度が低下し、信頼が崩壊します。Databricksの試みは、AI/BI GenieでテキストからSQLへのアプローチを取りました。このソリューションは、小規模なドメインでのみ効果的に展開でき、データセットが増加すると精度が低下します。Microsoft Power BI Copilotは、表面レベルのジェネレーティブアプローチを取り、AIをダッシュボード内に直接埋め込み、視覚的な説明、測定値の提案、レポートの草案作成を提供します。探索を強化しますが、分析がどのように推論または検証されるかは変わりません。各応答は依然としてモデルの判断に依存しており、その判断が失敗すると、フォールバックするための監査証跡や決定論的ロジックはありません。これらのシステムは、全体として正しい方向を指しています。企業の構造化データにAIを展開しています。ただし、重要な欠陥を共有しています。自然言語からSQLを生成するAIモデルに依存していますが、SQLが間違っている場合は、ビジネスユーザーは行き詰まります。SQLを読むことができないエグゼクティブには、結果を診断または修正する方法はありません。会話は完全に止まります。問題に取り組む別の方法は、予想される質問と回答のペアを事前にインデックスすることです。AdaのGARAGeを含むいくつかのシステムは、この方法に従います。これは、質問が予測可能な狭いドメインでは機能しますが、データの複雑さが増加するとパフォーマンスが低下します。テーブルやスキーマが増えると、事前にインデックスを作成することはすぐに管理不能になります。別のアプローチ: ジェネレーティブ増強型検索ジェネレーティブ増強型検索 (GAR)は、現在のRAGアプローチを逆転させます (Retrieval-Augmented Generationは関連情報を取得し、LLMに組み込んで精度を向上させます)。LLMにSQLを書くことを要求するのではなく、GARは、ジェネレーティブAIを使用してユーザーのクエリの意図を理解し、答えを生成するための推論ステップを作成します。GARでは、クエリは直接知識ベースとやり取りします。クエリはコンパイルされるのではなく、生成されるので、同じ質問は常に同じ答えを生成します。GARの推論チェーンは、一過性のチャットではなく、恒久的なレビューアブルなアーティファクトです。したがって、推論の全チェーンを再現できます。その結果、結果は、一般化されたgenAIエンジンよりも指数関数的に正確になります。GARの核心では、3つのことが行われます： セマンティックレイヤーを自動的に構築します。GARは、AIを使用してシステム全体の関係とビジネス定義を発見し、データを単一のモデルに統一します ビジネス意図を高レベルの分析言語に翻訳します。この言語は、ビジネス概念レベル（「プロバイダーによるQ2の訪問あたりの収益」）でクエリを取得し、直接SQLにコンパイルします。 各推論ステップを監査可能性のためにログします。各応答の起源は追跡可能です。 なぜこれが重要かビジネスの内部知識モデルに推論を制限することで、GARは妄想を排除し、証明可能に正しい答えを提供できます。定義、メトリック、クエリパターンは時間の経過とともに蓄積し、将来の答えはさらに特定のユーザーにカスタマイズされます。信頼は、構造化データに依存してビジネス上の決定を下すビジネスユーザーにとって非常に重要です。さらに多くの組織が高度なAIソリューションを実装するにつれて、妄想やエラーのリスクをほぼゼロに抑えるフレームワークを要求するようになります。これは、クエリが直接データに接続され、AIが大規模なデータセットで動作することなく、答えが一貫性と証明可能性で提供される場合に発生します。