Лідери думок

Зіставлення сутностей стає інфраструктурою ШІ, а не просто очищенням даних

Steven Renwick
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиРозв'язання сутностей переходить від періодичного очищення до інфраструктури часу…
Показати більше
  • Розв'язання сутностей переходить від періодичного очищення до інфраструктури часу виконання, оскільки агенти діють негайно на основі розв'язаних ідентичностей.
  • Агенти з доповненим пошуком успадковують фрагментовані або неправильно об'єднані записи й сприймають цю неоднозначність як встановлений факт.
  • Більшість організацій розгортають автономних агентів, тоді як мало хто вважає свою інфраструктуру справді готовою керувати ними.

Деякий час тому мені довелося побачити, як агент штучного інтелекту дав впевнену, але неправильну відповідь з досить банальної причини. У компанії були два записи про одного й того самого корпоративного клієнта. Один запис містив стару торгову назву та контактну інформацію фінансового відділу. Інший запис містив нову юридичну назву компанії, яку вона прийняла після придбання, разом з іншою платіжною адресою. Агентові було поставлене просте питання: чи все гаразд із платежами за цим клієнтським рахунком? Він знайшов один запис, побачив, що немає заборгованості з оплатою рахунків, і сказав «так». Заборгованість з оплати рахунків була записана під іншим ім’ям.

Нічого не було вигадано. Модель логічно виводила висновки на основі отриманих даних. Дані просто випадково описували двох клієнтів, де в реальному світі був лише один. Помилка не була в мовній моделі. Вона була в з’єднанні.

Мій висновок такий, що це один із найбільш недооцінених ризиків у корпоративному штучному інтелекті, і один із найменш обговорюваних. Ми безупинно говоримо про точність моделей, проєктування промптів і управління. Ми говоримо набагато менше про те, чи знає система, на якого реального клієнта, постачальника чи рахунок спрямовані її дії. Це питання має назву – зіставлення сутностей, і після шістдесяти років на другому плані воно тихо перетворюється на елемент живої інфраструктури.

Проблема змінила час

Протягом більшої частини історії цього підходу «чи ці два записи належать одній сутності?» було питанням очищення. Ви запускали його в пакетному режимі, за розкладом, десь всередині програми управління майстер-даними, сховища даних або аналітичного конвеєра. Це ніколи не було ідеальним, але із помилками можна було миритися, оскільки результатом була звітність, яку хтось читав наступного тижня. Якщо два записи одного й того самого постачальника не були об’єднані, сума витрат вийшла трохи неправильною, аналітик помітив це, і все виправили в наступному циклі. Система мала певний запас часу. Час поглинав помилки.

Агент штучного інтелекту усуває цей запас часу. Він змінює час питання з «згодом» на «зараз». Коли агент готується схвалити повернення коштів, направити справу, оновити профіль або відповісти на питання про дотримання вимог законодавства, ідентифікована сутність уже не надає дані для інформаційної панелі. Вона надає їх для дії. Вартість неправильного з’єднання переходить від числа, яке трохи неправильне, до чогось, що відбувається у світі відразу ж, часто без участі людини, яка могла б це помітити.

Це той зсув, про який варто подумати. Сама проблема стара і добре зрозуміла. Що нового, так це те, що ми підключили її безпосередньо до систем, які діють самостійно.

Статистична проблема 1960-х років

Зіставлення сутностей не з’явилося разом з великими мовними моделями. Воно з’явилося разом з перфокартами. У 1959 році Г. Б. Ньюкомб і його колеги опублікували коротку статтю у виданні Science про автоматичне зв’язування записів актів цивільного стану, описуючи, як комп’ютер може вирішити, чи належать запис про народження і запис про шлюб одній і тій самій людині. Через десятиліття Іван Феллегі та Алан Сантер дали цій ідеї формальну математичну теорію, визначаючи три результати, які будь-яка система зіставлення все ще видає сьогодні: зв’язок, незв’язок і можливий зв’язок, який людина повинна переглянути.

Є одна деталь у цьому походженні, про яку варто подумати, оскільки це частина, яку люди найчастіше неправильно розуміють. Зв’язування записів ніколи не було просто точним збігом за електронною адресою або спільним ідентифікатором. З самого початку це було ймовірнісним. Воно зважувало докази того, що два записи збігалися за прізвищем, датою і місцем, та видавало оцінку, оскільки дані, введені людиною, були невпорядкованими, а точні ключі постійно не спрацьовують. Сучасне зіставлення сутностей все ще працює таким чином. Воно поєднує детерміновані правила, де спільний стабільний ідентифікатор є вирішальним, з імовірнісним і наближеним зіставленням на основі машинного навчання, яке справляється з друкарськими помилками, прізвиськами, переставленими полями, абревіатурами та дюжиною дрібних способів, як одна й та сама людина чи компанія виглядає по-різному в різних системах. Гарний огляд галузі проводить безперервну лінію від записів актів цивільного стану 1950-х років до методів кластеризації та машинного навчання, які використовуються зараз.

Що дійсно змінилося, так це те, коли нам потрібна відповідь. Дослідники писали про зіставлення сутностей під час виконання запиту, а не лише заздалегідь, задовго до поточної хвилі штучного інтелекту. Тоді це було цікавою оптимізацією. Тепер це ближче до вимоги.

Чому агенти перетворюють це в інфраструктуру

Більшість корпоративних систем штучного інтелекту не відповідають з пам’яті моделі. Вони витягують. Шаблон, популяризований як генерація, доповнена витяганням, передбачає, що агент отримує відповідний контекст у момент запитання та робить висновки на його основі. Це, в цілому, хороша справа. Воно ґрунтує відповіді у ваших даних, а не у навчанні моделі.

Але це має наслідок, який легко пропустити. Агент успадковує все, що йому передає етап пошуку. Якщо витягування повертає фрагментованого клієнта, три неповних записи, які ніколи не були пов’язані, агент буде виводити висновки про трьох клієнтів. Якщо витягування повертає неправильно об’єднаний запис, два різних підприємства, злиплених у один профіль, агент буде виводити висновки про одного клієнта. Неоднозначність, яка вже сидить у ваших джерельних системах, передається прямо далі та подається моделі як встановлений факт. Модель не має жодного способу знати, що з’єднання було неправильним, так само, як і ви, читач, не знаєте, прочитавши охайний підсумок записів, яких ви ніколи не бачили.

Таким чином, зіставлення сутностей не може бути доданим насамкінець процесом, який запускається раз на квартал і зберігає результати в окремій таблиці. Сутність повинна бути зібрана під час надходження даних, а її поточне представлення з установленими зв’язками має бути доступним у той самий момент, коли агент запитує. Це залежність часу виконання. Воно поводиться набагато більше, як база даних або служба аутентифікації, ніж як періодичний проект очищення даних, і воно повинно бути спроєктованим і контрольованим, а його надійність має забезпечуватися так само, як у будь-якої іншої системи, яку ваше застосування викликає в режимі реального часу.

Розрив у готовності, який ніхто не назвав точно

Галузь вже відчуває, що щось відсутнє тут. Індекс готовності штучного інтелекту Cisco 2025 року виявив, що 83 відсотка організацій планують розгортати автономних агентів, тоді як лише близько третини відчувають, що їхня інфраструктура дійсно готова до цього, і лише близько чверті відчувають, що вони обладнані для контролю та управління тим, що ці агенти насправді роблять. Останнє опитування McKinsey щодо стану штучного інтелекту описує подібний розрив з іншого боку: близько 88 відсотків організацій зараз використовують штучний інтелект хоча б в одній функції, проте більшість із них не розгорнули його на всьому підприємстві.

Коли люди пояснюють цей розрив, вони схильні вживати два слова: якість даних та управління. Обидва важливі, і жодне з них не є необов’язковим. Але є вужче питання, яке лежить під ними, на яке чисті, добре керовані дані самі по собі не відповідають. Чи може система визначити, на яку реальну сутність певний запис посилається, у всіх місцях, де цей запис існує, прямо зараз? Ви можете тримати високоякісні дані в кожній окремій системі та все одно не пройти цей тест, оскільки провал не живе всередині однієї системи. Він живе в просторі між ними, де той самий клієнт має три трохи різні обличчя.

Що перевірити, перш ніж дозволити агенту діяти

Якщо ви ставитеся до зіставлення сутностей як до живої інфраструктури, ви можете перевірити її як інфраструктуру. Операційні режими відмов є конкретними та піддаються перевірці: розділені ідентичності, які повинні бути однією, неправильні злиття записів, які повинні залишатися окремими, застарілі правила вибору пріоритетного значення, які досі віддають перевагу вже заміненій адресі, відсутні постійні ідентифікатори, а агенти успадковують неоднозначність джерельних систем, ніби це встановлена істина.

Практичний тест готовності не вимагає нової моделі чи нової категорії постачальників. Зберіть еталонний набір сутностей, реальний стан яких ви добре знаєте. Пропустіть його через той самий шлях витягування, який використовує ваш агент, а не окрему чисту копію, створену для демонстрації. Потім виміряйте речі, які дійсно визначають результати: скільки неправильних злиттів і неправильних розділень, як система обробляє справжню неоднозначність, де розташовані її пороги впевненості, коли вона передає управління людині замість того, щоб здогадуватися, і наскільки плавно система передає результати наявним засобам контролю майстер-даних та управління. Якщо команда не може відповісти на ці питання, агент діє на основі ідентичності, яку він не може підтвердити, і довіра до його результату є необґрунтованою.

Ніщо з цього не замінює управління майстер-даними, управління, платформи клієнтських даних або сховище даних. Вони відповідають на різні питання та залишаються необхідними. Управління визначає, що агенту дозволено робити. Зіставлення сутностей визначає, кому або чому він це робить. Перший напрям уже зрілий у більшості великих організацій. Другий — це шар, потребу в якому поряд із першим багато організацій ось-ось усвідомлять, в режимі реального часу, у той самий момент, коли вони дозволять агенту діяти, а не радити.

Агент у цьому прикладі не потребував розумнішої моделі. Йому потрібно було знати, що два імена належать одному клієнтові, перш ніж йому було дозволено звучати впевнено. Коли ми наділяємо ці системи реальною владою діяти, та тиха, шістдесятирічна дисципліна перестає бути очищенням та стає несучою конструкцією. [1] [2]

Стівен Ренвік є співзасновником і генеральним директором Tilores (tilores.io). Компанія надає рішення для зіставлення записів про одні й ті самі сутності в режимі реального часу через API для команд штучного інтелекту та даних. Він працює з керівниками інженерних команд і команд із роботи з даними щодо вирішення питань ідентифікації клієнтів, постачальників та облікових записів у фрагментованих системах.