Liderzy opinii

Rozwiązywanie tożsamości podmiotów staje się infrastrukturą AI, a nie tylko czyszczeniem danych

Steven Renwick
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyRozstrzyganie tożsamości encji przenosi się z okresowego porządkowania danych do…
Zobacz więcej
  • Rozstrzyganie tożsamości encji przenosi się z okresowego porządkowania danych do infrastruktury działającej w czasie rzeczywistym, ponieważ agenci natychmiast działają na podstawie rozstrzygniętych tożsamości.
  • Agenci wspomagani wyszukiwaniem dziedziczą rozdrobnione lub błędnie scalone rekordy i traktują tę niejednoznaczność jako ustalony fakt.
  • Większość organizacji wdraża autonomicznych agentów, podczas gdy niewiele z nich uznaje swoją infrastrukturę za naprawdę gotową do zarządzania nimi.

Jakiś czas temu obserwowałem, jak agent AI z przekonaniem udzielił błędnej odpowiedzi z całkowicie błahych powodów. Firma miała dwa rekordy dla tego samego klienta korporacyjnego. Jeden z nich zawierał starą nazwę handlową i kontakt finansowy. Drugi zawierał nową nazwę prawną, którą firma przyjęła po przejęciu, wraz z innym adresem rozliczeniowym. Agentowi zadano proste pytanie: czy płatności na tym koncie klienta są uregulowane? Znalazł jeden rekord, zobaczył brak zaległych faktur i powiedział tak. Zaległe faktury były jednak zapisane pod inną nazwą.

Nic nie było zmyślone. Model rozumował poprawnie nad danymi, które otrzymał. Dane po prostu opisywały dwóch klientów, gdzie w rzeczywistości był tylko jeden. Błąd nie polegał na modelu językowym. Polegał na połączeniu.

Doszedłem do wniosku, że jest to jedno z najbardziej niedocenianych zagrożeń związanych z AI w przedsiębiorstwach i jedno z najrzadziej omawianych. Rozmawiamy nieustannie o dokładności modelu, projektowaniu promptów i zarządzaniu. Mówimy znacznie mniej o tym, czy system naprawdę wie, jaki rzeczywisty klient, dostawca lub konto jest obiektem jego działania. To pytanie ma nazwę. Nazywa się rozwiązaniem problemu tożsamości, a po sześćdziesięciu latach w tle cicho staje się częścią infrastruktury działającej w czasie rzeczywistym.

Problem zmienił czas

Przez większość swojego życia “czy te dwa rekordy są tym samym podmiotem?” było pytaniem o czyszczenie. Wykonywało się je w partii, według harmonogramu, gdzieś w programie zarządzania danymi podstawowymi, hurtowni danych lub potoku analitycznym. Nigdy nie było idealne, ale dało się tolerować błędy, ponieważ wynik był raportem, który ktoś przeczytał tydzień później. Jeśli dwa rekordy dla tego samego dostawcy nie zostały połączone, wynik wydatków był nieco błędny, analityk zauważył to i poprawił w następnym przebiegu. System miał luz. Czas pochłonął błędy.

Agent AI usuwa ten luz. Zmienia czas pytania z “kiedyś” na “teraz”. Kiedy agent ma zatwierdzić zwrot, przekierować sprawę, zaktualizować profil lub udzielić odpowiedzi na pytanie zgodności, rozwiązany podmiot nie jest już wykorzystywany do pulpitu informacyjnego. Jest wykorzystywany do działania. Koszt błędnego połączenia przechodzi od liczby, która jest nieco błędna, do czegoś, co dzieje się na świecie, natychmiast i często bez udziału człowieka w pętli, który mógłby to złapać.

To jest zmiana, nad którą warto się zastanowić. Podstawowy problem jest stary i dobrze znany. Co nowe, to fakt, że podłączyliśmy go bezpośrednio do systemów, które działają samodzielnie.

Problem statystyczny z lat 60.

Rozwiązanie problemu tożsamości nie przybyło z dużymi modelami językowymi. Przybyło z kartami perforowanymi. W 1959 roku H. B. Newcombe i jego koledzy opublikowali krótki artykuł w Science na temat automatycznego łączenia aktów stanu cywilnego, opisując, jak komputer może zdecydować, czy rekord urodzenia i rekord małżeństwa odnoszą się do tej samej osoby. Dekadę później Ivan Fellegi i Alan Sunter dali tej idei formalną teorię matematyczną, definiując trzy wyniki, które każdy system dopasowania nadal produkuje dzisiaj: połączenie, brak połączenia i możliwe połączenie, które wymaga przeglądu przez osobę.

W tej historii rozwoju jest szczegół, nad którym warto się zastanowić, ponieważ jest to część, którą ludzie najczęściej mylą. Połączenie rekordów nigdy nie było tylko dokładnym dopasowaniem do adresu e-mail lub wspólnego identyfikatora. Od samego początku było to probabilistyczne. Oceniało dowody zgodności nazwiska, daty i miejsca w dwóch rekordach i wyliczało wynik punktowy, ponieważ dane wprowadzane przez ludzi są brudne i dokładne klucze zawodzą ciągle. Współczesne rozwiązanie problemu tożsamości nadal działa w ten sposób. Łączy reguły deterministyczne, gdzie wspólny stabilny identyfikator jest decydujący, z probabilistycznym i rozmytym dopasowaniem za pomocą uczenia maszynowego, które radzi sobie z literówkami, przezwiskami, przestawionymi polami, skrótami oraz tuzinem drobnych sposobów, w jakie ta sama osoba lub firma pojawia się inaczej w systemach. Dobry przegląd tej dziedziny śledzi nieprzerwany szlak od tych aktów stanu cywilnego z lat 50. do metod klastryzacji i uczenia maszynowego stosowanych obecnie.

Co się naprawdę zmieniło, to kiedy potrzebujemy odpowiedzi. Badacze pisali o rozwiązywaniu podmiotów w czasie zapytania, a nie tylko z wyprzedzeniem, zanim nastąpiła obecna fala AI. Wtedy była to interesująca optymalizacja. Teraz jest to bliżej wymogu.

Dlaczego agenci przekształcają to w infrastrukturę

Większość systemów AI przedsiębiorstw nie odpowiada z pamięci modelu. Pobierają. Wzorzec popularny jako generowanie wspomagane wyszukiwaniem ma agenta, który pobiera istotny kontekst w momencie pytania i rozumuje nad nim. To jest, ogólnie rzecz biorąc, dobra rzecz. Ugruntowuje odpowiedzi w Twoich danych, a nie w treningu modelu.

Ale niesie to konsekwencję, której łatwo nie zauważyć. Agent dziedziczy wszystko, co krok pobierania mu podaje. Jeśli pobieranie zwraca fragmentarycznego klienta, trzy częściowe rekordy, które nigdy nie były połączone, agent będzie rozumował o trzech klientach. Jeśli pobieranie zwraca błędnie scalony profil klienta, dwie różne firmy scalone w jeden profil, agent będzie rozumował o jednym. Niejednoznaczność już obecna w Twoich systemach źródłowych jest przekazywana prosto i przedstawiana modelowi jako ustalony fakt. Model nie ma sposobu, aby wiedzieć, że połączenie było błędne, tak samo jak Ty nie wiedziałbyś tego, czytając uporządkowane podsumowanie rekordów, których nigdy nie widziałeś.

Więc rozwiązanie problemu tożsamości nie może być dodatkiem, o którym myśli się dopiero później i który uruchamia się raz na kwartał i ląduje w oddzielnej tabeli. Podmiot musi być złożony, gdy dane trafiają do systemu, a bieżący widok rozwiązania musi być dostępny w momencie, gdy agent pyta. To jest zależność czasu wykonywania. Zachowuje się znacznie bardziej jak baza danych lub usługa uwierzytelniania niż jak okresowy projekt czyszczenia danych i musi być projektowane i monitorowane, a jego niezawodność zapewniana tak samo jak w przypadku każdego innego systemu, który Twoja aplikacja wywołuje w czasie rzeczywistym.

Luka w gotowości, której nikt nie nazywa precyzyjnie

Przemysł już czuje, że czegoś brakuje. Indeks gotowości AI 2025 Cisco wykazał, że 83 procent organizacji planuje wdrożyć autonomiczne agenty, podczas gdy tylko około jedna trzecia uważa, że ich infrastruktura jest naprawdę gotowa do nich, a tylko około jedna czwarta uważa, że potrafi kontrolować i nadzorować to, co ci agenci naprawdę robią. Najnowsze badanie stanu AI McKinsey opisuje podobną lukę z innego kierunku: około 88 procent organizacji używa AI w co najmniej jednej funkcji, a jednak większość z nich nie rozszerzyła go na całe przedsiębiorstwo.

Gdy ludzie wyjaśniają tę lukę, tendencja jest taka, że sięgają po dwa słowa: jakość danych i zarządzanie. Oba elementy są ważne i żadnego nie można pominąć. Ale jest węższe pytanie ukryte pod nimi, na które czyste, dobrze zarządzane dane same nie odpowiedzą. Czy system może powiedzieć, do jakiego rzeczywistego podmiotu odnosi się dany rekord, we wszystkich miejscach, w których ten rekord żyje, teraz? Można trzymać dane wysokiej jakości w każdym indywidualnym systemie i nadal zawieść ten test, ponieważ awaria nie mieszka wewnątrz jednego systemu. Mieszka w przestrzeniach między nimi, gdzie ten sam klient nosi trzy nieco różne twarze.

Co sprawdzić, zanim pozwolisz agentowi działać

Jeśli traktujesz rozwiązanie problemu tożsamości jako infrastrukturę, możesz ją sprawdzić jak infrastrukturę. Tryby awarii operacyjnej są szczegółowe i możliwe do przetestowania: podziały tożsamości, które powinny być jednym, fałszywe połączenia rekordów, które powinny pozostać oddzielne, przestarzałe reguły wyboru wartości nadrzędnej, które nadal preferują adres już zastąpiony nowszym, brakujące trwałe identyfikatory, agenci dziedziczący niejasność systemu źródłowego, jak gdyby była to ustalona prawda.

Praktyczny test gotowości nie wymaga nowego modelu ani nowej kategorii dostawców. Zbierz zestaw referencyjny podmiotów, których rzeczywistą sytuację dobrze znasz. Przepuść go przez tę samą ścieżkę pobierania, z której korzysta Twój agent, a nie przez osobną, oczyszczoną kopię przygotowaną na potrzeby demonstracji. Następnie zmierz rzeczy, które naprawdę decydują o wynikach: ile fałszywych połączeń i fałszywych podziałów, jak system radzi sobie z prawdziwą niejasnością, gdzie jego progi ufności się znajdują, kiedy eskaluje do człowieka zamiast zgadywać i jak sprawnie przekazuje wyniki do istniejących mechanizmów kontroli danych podstawowych i ładu danych. Jeśli zespół nie może odpowiedzieć na te pytania, agent działa na tożsamości, której nie może zweryfikować, a zaufanie do jego wyjścia jest mylne.

Nic z tego nie zastępuje zarządzania danymi podstawowymi, ładu danych, platform danych klientów ani hurtowni danych. Odpowiadają one na inne pytania i pozostają konieczne. Zarządzanie decyduje, co agent jest upoważniony do zrobienia. Rozwiązanie problemu tożsamości decyduje, wobec kogo lub czego agent podejmuje działanie. Pierwsze jest dojrzałe w większości dużych organizacji. Drugie to warstwa, której wiele organizacji wkrótce odkryje, że potrzebuje obok pierwszej, w czasie rzeczywistym, gdy tylko pozwoli agentowi działać, a nie jedynie doradzać.

Agent, którego obserwowałem, nie potrzebował mądrzejszego modelu. Potrzebował wiedzy, że dwie nazwy to jeden klient, zanim mógł brzmieć pewnie. Gdy dajemy tym systemom prawdziwą władzę do działania, ta cicha, sześćdziesięcioletnia dyscyplina przestaje być czyszczeniem i staje się konstrukcją nośną.

Steven Renwick jest współzałożycielem i dyrektorem generalnym Tilores (tilores.io). Firma zapewnia dopasowywanie rekordów odnoszących się do tych samych podmiotów w czasie rzeczywistym za pomocą interfejsów API dla zespołów AI i danych. Współpracuje z liderami inżynierii i danych w celu rozwiązania problemu identyfikacji klienta, dostawcy i konta w systemach fragmentowanych.