ソートリーダー

エンティティ解決はデータ整理を超え、AIインフラになりつつある

Steven Renwick
Unite.AI を Google の優先ソースに追加
要点エンティティ解決は、定期的なクリーンアップから実行時インフラストラクチャへと移行する。なぜなら、エージェントは解決済みのアイデンティティに対して即座に行動するからである。
もっと見る
  • エンティティ解決は、定期的なクリーンアップから実行時インフラストラクチャへと移行する。なぜなら、エージェントは解決済みのアイデンティティに対して即座に行動するからである。
  • 検索拡張型エージェントは、断片化された、あるいは誤って統合されたレコードを引き継ぎ、その曖昧さを確定した事実として扱う。
  • ほとんどの組織は自律型エージェントを導入しているが、自らのインフラストラクチャがそれらを統治するのに真に準備ができていると考慮している組織はほとんどない。

少し前、私はAIエージェントが、ごくありふれた理由で自信満々に間違った答えを出すのを見た。ある企業には、同じ法人顧客のレコードが二つあった。一方には旧商号と財務担当の連絡先が入っていた。もう一方には、買収後に採用した新しい正式名称と、異なる請求先住所が入っていた。エージェントへの質問は単純だった。「この顧客の支払い状況に問題はないか」。エージェントは一つのレコードを見つけ、支払期限を過ぎた請求書がないことを確認して「問題ありません」と答えた。延滞している請求書は、もう一方の名前で登録されていた。

何も幻覚として生成されたわけではない。モデルは、与えられたデータに基づいて筋の通った推論をした。データが、現実には一社の顧客を二社として記述していただけだ。誤りは言語モデルではなく、レコードの結合にあった。

私はこれを、企業AIで最も過小評価され、最も議論されていないリスクの一つだと考えるようになった。モデルの精度、プロンプト設計、ガバナンスについては延々と語られる。しかし、システムが現実世界のどの顧客、供給業者、顧客アカウントに対して行動しているかを、本当に把握しているかどうかはあまり語られない。この問いには名前がある。エンティティ解決、つまり名寄せだ。60年間、裏方だったこの技術が、静かにリアルタイムのインフラへと変わりつつある。

問題の時制が変わった

その歴史の大半において、「この二つのレコードは同じ実体を表すのか」はデータ整理のための問いだった。マスターデータ管理の取り組み、データウェアハウス、分析パイプラインのどこかで、予定された時刻にバッチ処理していた。完璧ではなかったが、出力は翌週に誰かが読むレポートだったので、何とか対処できた。同じ供給業者のレコードを二つ結合し損ねても、支出額が少しずれ、分析担当者が気づき、次の処理で修正された。システムには余裕があり、時間が誤りを吸収していた。

AIエージェントはその余裕を取り除く。問いの時制を「いずれ」から「今」に変えるのだ。返金を承認し、案件を振り分け、プロフィールを更新し、コンプライアンス上の質問に答えようとする時、解決済みのエンティティはもはやダッシュボードではなく、行動の入力になる。誤った結合の代償は、数値の小さなずれから、現実世界で直ちに起こる出来事へと変わる。しかも多くの場合、人間が介在して誤りを発見することもない。

この変化には、立ち止まって考える価値がある。根本の問題は古く、よく理解されている。新しいのは、それを自律的に行動するシステムへ直接つないだことだ。

1960年代の統計学の問題

エンティティ解決は大規模言語モデルとともに登場したのではない。パンチカードの時代に生まれた。1959年、H. B. Newcombeと同僚たちはScience誌に人口動態記録の自動リンクについて短い論文を発表し、出生記録と婚姻記録が同じ人物を指すかどうかをコンピューターが判断する方法を説明した。10年後、Ivan FellegiとAlan Sunterはこの考えに形式的な数学理論を与え、今もあらゆる照合システムが出す三つの結果を定義した。一致、不一致、そして人間による確認が必要な一致の可能性だ。

この系譜には、掘り下げるべき点がある。人々が最も誤解しやすい部分だからだ。レコードのリンクは、単にメールアドレスや共通IDを完全一致させることでは決してなかった。最初から確率的な手法だった。二つのレコードの姓、日付、場所が一致するという証拠を重み付けし、スコアを出していた。人間が入力するデータは雑然としており、厳密なキーだけではしばしば照合に失敗するからだ。現代のエンティティ解決も同じように機能する。共通の安定した識別子が決め手になる決定論的ルールと、確率的・あいまいな機械学習による照合を組み合わせる。これにより、入力ミス、愛称、フィールドの入れ替わり、略称など、同じ人や企業がシステムごとに異なる姿で現れる十数通りの小さな違いに対処する。優れたこの分野の概説は、1950年代の人口動態記録から、現在のクラスタリングや機械学習の手法へと続く途切れない流れをたどっている。

本当に変わったのは、答えが必要になるタイミングだ。研究者は現在のAIブームよりはるか以前から、事前処理だけでなくクエリ実行時にエンティティを解決することについて論じていた。当時は興味深い最適化だったが、今では必須条件に近づいている。

エージェントがそれをインフラに変える理由

企業のAIシステムの多くはモデルの記憶から答えるのではなく、情報を検索する。検索拡張生成として広まった方式では、エージェントが質問された時点で関連する文脈を取得し、それに基づいて推論する。総じてこれは望ましい。答えの根拠を、モデルの学習内容ではなく組織のデータに置けるからだ。

ただし、見落としやすい帰結がある。エージェントは、検索処理から渡されたものをそのまま引き継ぐ。検索結果が、つながっていない三つの部分レコードに分断された顧客なら、エージェントは三者の顧客として推論する。別々の二社が一つのプロフィールに誤って統合されていれば、一社として推論する。元のシステムにすでにある曖昧さが、そのまま確定した事実としてモデルに渡される。モデルには結合が誤っていると知る手段がない。見たこともないレコードを整然とまとめた要約を読んでも、あなたにそれが分からないのと同じだ。

したがって、エンティティ解決を四半期に一度実行して別のテーブルに格納するだけの後付け処理にはできない。データを取り込む時点でエンティティを組み立て、その最新の解決済みビューを、エージェントが求めた瞬間に取得できなければならない。これは実行時の依存関係だ。定期的なデータ整理プロジェクトよりも、データベースや認証サービスにはるかに近い。アプリケーションがリアルタイムで呼び出す他のシステムと同様に設計し、監視し、信頼性を確保する必要がある。

誰も正確に名付けていない準備状況のギャップ

業界はすでに、何かが欠けていると感じている。CiscoのAI Readiness Index 2025によると、組織の83%が自律エージェントの導入を計画している。一方、インフラが本当に対応できると感じているのは約3分の1で、エージェントの実際の行動を制御・統治する体制が整っていると感じているのは約4分の1にすぎない。McKinseyの最新のState of AI調査は、反対側から同様のギャップを示している。約88%の組織が少なくとも一つの業務機能でAIを使っているが、ほとんどは全社規模に拡大できていない。

このギャップを説明する時、人々は「データ品質」と「ガバナンス」という二つの言葉に頼りがちだ。どちらも重要であり、省略できない。しかし、その下には、クリーンで適切に統治されたデータだけでは答えられない、もっと絞られた問いがある。今この瞬間、あるレコードが置かれたすべての場所を横断して、それが現実世界のどの実体を指すのかをシステムは判断できるだろうか。個々のシステムすべてに高品質なデータがあっても、このテストに失敗することはある。問題はどれか一つのシステムの内部ではなく、同じ顧客が少しずつ違う三つの顔で現れる、システム間の隙間にあるからだ。

エージェントに行動させる前の確認事項

エンティティ解決をリアルタイムのインフラと捉えれば、インフラとして点検できる。運用上の障害は具体的で、テストできる。本来一つであるべきアイデンティティの分断、分けておくべきレコードの誤統合、古い住所を優先し続ける陳腐化した採用値選択ルール、永続的識別子の欠落、そして元のシステムの曖昧さを解決済みの真実としてエージェントが引き継ぐことだ。

実践的な準備状況テストに、新しいモデルや新種のベンダーは必要ない。正しい状態を確実に把握しているエンティティの正解データセットを作る。デモ向けに別途整えたコピーではなく、エージェントが実際に使うのと同じ検索経路に通す。そして、結果を本当に左右する項目を測定する。誤統合と誤分割の件数、真に曖昧な場合の扱い、確信度のしきい値、推測せず人間に判断を委ねるタイミング、既存のマスターデータ管理やガバナンスの制御へどれだけ円滑に引き継げるかだ。チームがこれらに答えられないなら、エージェントは検証できないアイデンティティに基づいて行動しており、その出力への信頼は見当違いだ。

これは、マスターデータ管理、ガバナンス、顧客データ基盤、データウェアハウスの代わりにはならない。それぞれ別の問いに答えるもので、引き続き必要だ。ガバナンスはエージェントが何をしてよいかを決める。エンティティ解決は、それを誰に、何に対して行うのかを決める。前者はほとんどの大規模組織で成熟している。後者は、エージェントに助言ではなく行動を任せた瞬間、多くの組織が前者の隣にリアルタイムで必要だと気づく層である。

私が見たエージェントは、より賢いモデルを必要としていたのではない。自信のある声で答えることを許される前に、二つの名前が一社の顧客を指すと知る必要があった。こうしたシステムに実際の行動権限を渡すにつれ、この静かな60年の歴史を持つ技術は、データ整理を超えて全体を支える基盤になる。

スティーブン・レンウィックは、Tilores(tilores.io)の共同創設者兼CEOです。Tiloresは、AIとデータチーム向けのAPIを介したリアルタイムエンティティ解決を提供しています。彼は、エンジニアリングとデータリーダーと協力して、分散システム全体で顧客、サプライヤー、口座のアイデンティティを解決しています。