Лидеры мнений

Сопоставление сущностей становится инфраструктурой ИИ, а не просто очисткой данных

Steven Renwick
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыРазрешение сущностей переходит от периодической очистки к инфраструктуре времени…
Показать больше
  • Разрешение сущностей переходит от периодической очистки к инфраструктуре времени выполнения, поскольку агенты мгновенно действуют на основе разрешённых идентичностей.
  • Агенты с дополненной выборкой наследуют фрагментированные или ошибочно объединённые записи и воспринимают эту неоднозначность как установленный факт.
  • Большинство организаций развёртывают автономных агентов, тогда как лишь немногие считают свою инфраструктуру действительно готовой к управлению ими.

Некоторое время назад я наблюдал, как агент ИИ дал уверенно неправильный ответ по совершенно банальной причине. У компании были две записи для одного и того же корпоративного клиента. Одна запись содержала старое торговое название компании и контактную информацию финансового отдела. Другая запись содержала новое юридическое название компании, которое она приняла после поглощения, а также другой адрес для выставления счетов. Агенту был задан простой вопрос: в порядке ли платежи по этому клиентскому счету? Он нашел одну запись, увидел, что нет просроченных счетов, и сказал да. Просроченные счета были оформлены на другое название.

Ничего не было вымышлено. Модель рассуждала логически над данными, которые были ей предоставлены. Данные просто описывали двух клиентов, где в реальном мире был один. Ошибка не была в языковой модели. Она была в соединении.

Я пришел к выводу, что это один из самых недооцененных рисков в корпоративном ИИ, и один из наименее обсуждаемых. Мы бесконечно говорим о точности модели, проектировании промптов и управлении. Мы говорим гораздо меньше о том, знает ли система, к какому реальному клиенту, поставщику или счету относятся ее действия. Этот вопрос имеет название. Это называется сопоставлением сущностей (entity resolution), и после шестидесяти лет работы на заднем плане оно тихо превращается в элемент живой инфраструктуры.

Проблема изменила время

На протяжении большей части истории этого подхода вопрос “являются ли эти две записи одной и той же сущностью?” был вопросом очистки. Вы запускали его в пакетном режиме, по расписанию, где-то внутри программы управления мастер-данными, хранилища данных или аналитического конвейера. Это не было идеальным, но это было терпимо, потому что вывод был отчетом, который кто-то читал на следующей неделе. Если две записи для одного и того же поставщика не были объединены, цифра расходов была немного неверной, аналитик заметил это, и это было исправлено в следующем запуске. Система имела запас по времени. Время поглощало ошибки.

Агент ИИ удаляет этот запас. Он меняет время вопроса с “в конце концов” на “сейчас”. Когда агент собирается одобрить возврат, направить дело, обновить профиль или ответить на вопрос о соблюдении требований, идентифицированная сущность больше не служит источником для панели показателей. Она служит основой для действия. Стоимость неправильного соединения переходит от цифры, которая немного неверна, к чему-то, что происходит в мире, сразу и часто без участия человека, который мог бы поймать это.

Это сдвиг, который стоит рассмотреть. Основная проблема старая и хорошо понятная. Что нового, так это то, что мы напрямую подключили ее к системам, которые действуют самостоятельно.

Статистическая проблема 1960-х годов

Сопоставление сущностей не появилось с большими языковыми моделями. Оно появилось с перфокартами. В 1959 году Х. Б. Ньюкомб и его коллеги опубликовали короткую статью в журнале Science об автоматическом связывании записей актов гражданского состояния, описывая, как компьютер может решить, относятся ли запись о рождении и запись о браке к одному и тому же человеку. Через десятилетие Иван Феллеги и Алан Сунтер дали этой идее формальную математическую теорию, определяющую три результата, которые любая система сопоставления до сих пор производит сегодня: соединение, несоединение и возможное соединение, которое человеку нужно просмотреть.

Есть деталь в этом наследии, на которую стоит обратить внимание, потому что именно эту часть люди чаще всего понимают неправильно. Соединение записей никогда не было просто точным совпадением по электронному адресу или общему идентификатору. С самого начала это было вероятностным. Оно взвешивало доказательства того, что две записи совпадают по фамилии, дате и месту, и выдавало оценку, потому что данные, введенные человеком, беспорядочны, и точные ключи постоянно терпят неудачу. Современное сопоставление сущностей все еще работает таким образом. Оно сочетает детерминированные правила, где общий стабильный идентификатор является решающим, с вероятностным и нечетким сопоставлением на основе машинного обучения, которое справляется с опечатками, прозвищами, переставленными полями, аббревиатурами и дюжиной небольших способов, которыми один и тот же человек или компания появляется по-разному в разных системах. Хороший обзор области проводит непрерывную линию от записей актов гражданского состояния 1950-х годов до методов кластеризации и машинного обучения, используемых сейчас.

Что действительно изменилось, так это когда нам нужен ответ. Исследователи писали о сопоставлении сущностей во время запроса, а не только заранее, задолго до текущей волны ИИ. Тогда это было интересным оптимизационным методом. Теперь это ближе к требованию.

Почему агенты превращают это в инфраструктуру

Большинство корпоративных систем ИИ не отвечают из памяти модели. Они извлекают. Шаблон, популяризированный как генерация с извлечением, предполагает, что агент получает нужный контекст в момент вопроса и рассуждает на его основе. Это в целом хорошая вещь. Она основывает ответы на ваших данных, а не на обучении модели.

Но это имеет последствие, которое легко упустить из виду. Агент наследует все, что ему передает шаг извлечения. Если извлечение возвращает фрагментированного клиента, три частичные записи, которые никогда не были соединены, агент будет рассуждать о трех клиентах. Если извлечение возвращает неправильно объединенную запись, две разные компании, слипшиеся в один профиль, агент будет рассуждать об одном. Неоднозначность, уже присутствующая в ваших исходных системах, передается напрямую и представляется модели как устоявшийся факт. Модель никак не может узнать, что соединение было ошибочным, как не смогли бы узнать этого и вы, читая аккуратное резюме записей, которых никогда не видели.

Итак, сопоставление не может быть второстепенной добавкой, которая запускается раз в квартал и сохраняет результат в отдельной таблице. Сущность должна быть собрана, когда данные вводятся, и ее текущее представление с установленными связями должно быть доступно в момент, когда агент спрашивает. Это зависимость во время выполнения. Оно ведет себя гораздо больше как база данных или служба аутентификации, чем как периодический проект очистки данных, и оно должно быть спроектировано и контролироваться, а его надежность должна обеспечиваться так же, как у любой другой системы, которую ваше приложение вызывает в реальном времени.

Разрыв в готовности, который никто не называет точно

Отрасль уже чувствует, что что-то не так здесь. Индекс готовности ИИ Cisco 2025 года показал, что 83 процента организаций планируют развернуть автономных агентов, в то время как только около трети чувствуют, что их инфраструктура действительно готова к этому, и только около четверти чувствуют себя оснащенными для контроля и управления тем, что эти агенты на самом деле делают. Последний опрос McKinsey о состоянии ИИ описывает подобный разрыв с другой стороны: примерно 88 процентов организаций сейчас используют ИИ хотя бы в одной функции, но большинство из них не масштабируют его на все предприятие.

Когда люди объясняют этот разрыв, они склонны прибегать к двум словам: качество данных и управление. Оба важны, и ни одним нельзя пренебречь. Но есть более узкий вопрос, лежащий под ними, на который чистые, хорошо управляемые данные сами по себе не отвечают. Может ли система сказать, к какой реальной сущности относится данная запись, во всех местах, где эта запись существует, прямо сейчас? Вы можете содержать высококачественные данные в каждой отдельной системе и все равно не пройти этот тест, потому что неудача не живет внутри какой-либо одной системы. Она живет в пространствах между ними, где один и тот же клиент носит три немного разных лица.

Что проверить, прежде чем позволить агенту действовать

Если вы рассматриваете сопоставление сущностей как живую инфраструктуру, вы можете проверить ее как инфраструктуру. Операционные режимы неисправностей являются конкретными и тестируемыми: разделенные идентичности, которые должны быть одной, ложные объединения записей, которые должны оставаться отдельными, устаревшие правила выбора приоритетного значения, которые продолжают отдавать предпочтение уже замененному адресу, отсутствующие постоянные идентификаторы, и агенты, наследующие неоднозначность исходной системы так, будто это установленная истина.

Практический тест готовности не требует новой модели или новой категории поставщиков. Соберите эталонный набор сущностей, реальное положение которых вам хорошо известно. Запустите его через тот же путь извлечения, который использует ваш агент, а не отдельную чистую копию, созданную для демонстрации. Затем измерьте вещи, которые действительно решают результаты: сколько ложных объединений и ложных разделений, как система обрабатывает настоящую неоднозначность, где находятся ее пороги уверенности, когда она передает управление человеку вместо того, чтобы угадывать, и насколько плавно она передает результаты существующим средствам контроля мастер-данных и управления. Если команда не может ответить на эти вопросы, агент действует на основе идентификатора, который он не может проверить, и уверенность в его выводе является ошибочной.

Ни одна из этих вещей не заменяет управление мастер-данными, управление, платформы данных клиентов или хранилище данных. Они отвечают на разные вопросы и остаются необходимыми. Управление решает, что агент имеет право делать. Сопоставление сущностей определяет, по отношению к кому или чему агент выполняет действие. Первое направление является зрелым в большинстве крупных организаций. Второе — слой, необходимость которого рядом с первым многие вскоре осознают, в реальном времени, в момент, когда они позволят агенту действовать, а не советовать.

Агент, которого я наблюдал, не нуждался в более умной модели. Ему нужно было знать, что два названия были одним клиентом, прежде чем ему позволили уверенно отвечать. Когда мы передаем этим системам реальную власть действовать, эта тихая, шестидесятилетняя дисциплина перестает быть очисткой и становится несущей конструкцией.

Стивен Ренвик является сооснователем и генеральным директором Tilores (tilores.io). Компания предоставляет сопоставление записей об одних и тех же сущностях (entity resolution) в режиме реального времени через API для команд ИИ и данных. Он работает с руководителями инженерных команд и команд по работе с данными по решению проблем идентификации клиентов, поставщиков и учетных записей в фрагментированных системах.