Ajatusjohtajat
Entiteettien tunnistuksesta ja yhdistämisestä tulee tekoälyn infrastruktuuria, ei vain datan siivousta

Keskeiset kohdatEntiteettien resoluutio siirtyy määräaikaisesta siivouksesta ajonaikaiseksi…
Näytä lisää
- Entiteettien resoluutio siirtyy määräaikaisesta siivouksesta ajonaikaiseksi infrastruktuuriksi, koska agentit toimivat välittömästi ratkaistujen identiteettien perusteella.
- Hakua hyödyntävät agentit perivät pirstoutuneita tai virheellisesti yhdistettyjä tietueita ja kohtelevat tätä epäselvyyttä vahvistettuna tosiasiana.
- Useimmat organisaatiot ottavat käyttöön autonomisia agentteja, kun taas harvat pitävät infrastruktuuriaan todella valmiina hallitsemaan niitä.
Jokin aika sitten näin tekoälyagentin antavan itsevarmasti väärän vastauksen varsin arkisesta syystä. Yrityksellä oli samasta yritysasiakkaasta kaksi tietuetta. Toisessa oli vanha toiminimi ja talousasioiden yhteyshenkilö. Toisessa oli yrityskaupan jälkeen käyttöön otettu uusi virallinen nimi sekä eri laskutusosoite. Agentilta kysyttiin yksinkertainen kysymys: ovatko tämän asiakkaan maksuasiat kunnossa? Se löysi yhden tietueen, ei nähnyt erääntyneitä laskuja ja vastasi kyllä. Erääntyneet laskut oli kirjattu toiselle nimelle.
Mitään ei hallusinoitu. Malli päätteli johdonmukaisesti saamansa datan perusteella. Data vain kuvasi kahta asiakasta, vaikka todellisessa maailmassa heitä oli yksi. Virhe ei ollut kielimallissa vaan tietueiden yhdistämisessä.
Olen alkanut pitää tätä yhtenä yritysten tekoälyn aliarvioiduimmista ja vähiten käsitellyistä riskeistä. Puhumme loputtomasti mallien tarkkuudesta, kehotteiden suunnittelusta ja hallinnasta. Puhumme paljon vähemmän siitä, tietääkö järjestelmä todella, mihin todellisen maailman asiakkaaseen, toimittajaan tai asiakastiliin sen toiminta kohdistuu. Tällä kysymyksellä on nimi: entiteettien tunnistus ja yhdistäminen eli entity resolution. Kuusikymmentä vuotta taustalla toiminut menetelmä on hiljalleen muuttumassa reaaliaikaisen infrastruktuurin osaksi.
Ongelman aikamuoto muuttui
Suurimman osan historiastaan kysymys ”viittaavatko nämä kaksi tietuetta samaan entiteettiin?” liittyi datan siivoukseen. Se käsiteltiin ajastettuna eräajona jossakin perustietojen hallinnan ohjelmassa, tietovarastossa tai analytiikkaputkessa. Tulos ei koskaan ollut täydellinen, mutta sen kanssa pärjättiin, koska tuotoksena oli raportti, jonka joku luki seuraavalla viikolla. Jos saman toimittajan kahta tietuetta ei yhdistetty, ostojen summa oli hieman väärä, analyytikko huomasi sen ja virhe korjattiin seuraavassa ajossa. Järjestelmässä oli pelivaraa. Aika tasasi virheiden vaikutuksia.
Tekoälyagentti poistaa tämän pelivaran. Se muuttaa kysymyksen aikamuodon ”aikanaan” muotoon ”nyt”. Kun agentti on hyväksymässä hyvitystä, ohjaamassa tapausta käsittelyyn, päivittämässä profiilia tai vastaamassa sääntelyn noudattamista koskevaan kysymykseen, tunnistettu entiteetti ei enää syötä tietoa koontinäyttöön vaan toimintaan. Väärän yhdistämisen hinta muuttuu hieman virheellisestä luvusta joksikin, joka tapahtuu todellisessa maailmassa heti ja usein ilman ihmistä, joka voisi havaita virheen.
Tätä muutosta on syytä pysähtyä pohtimaan. Taustalla oleva ongelma on vanha ja hyvin ymmärretty. Uutta on se, että olemme kytkeneet sen suoraan itsenäisesti toimiviin järjestelmiin.
1960-luvun tilastotieteellinen ongelma
Entiteettien tunnistus ja yhdistäminen ei syntynyt suurten kielimallien mukana vaan reikäkorttien aikaan. Vuonna 1959 H. B. Newcombe kollegoineen julkaisi Science-lehdessä lyhyen artikkelin väestötietueiden automaattisesta linkittämisestä ja kuvasi, miten tietokone voisi päätellä, viittaavatko syntymä- ja avioliittotietue samaan henkilöön. Kymmenen vuotta myöhemmin Ivan Fellegi ja Alan Sunter loivat ajatukselle muodollisen matemaattisen teorian, jossa määriteltiin kolme tulosta, joita vastaavuuksia etsivät järjestelmät tuottavat yhä: yhteys, ei yhteyttä ja mahdollinen yhteys, joka ihmisen on tarkistettava.
Tässä kehityskulussa on yksityiskohta, jota kannattaa pohtia, koska juuri se ymmärretään useimmin väärin. Tietueiden linkittäminen ei koskaan perustunut vain sähköpostiosoitteen tai yhteisen tunnisteen täsmälliseen vastaavuuteen. Se oli alusta asti todennäköisyyksiin perustuvaa. Menetelmä punnitsi näyttöä siitä, että kahdessa tietueessa olivat samat sukunimi, päivämäärä ja paikka, ja tuotti pistemäärän. Ihmisten syöttämä data on nimittäin sotkuista, ja täsmälliset avaimet pettävät jatkuvasti. Nykyaikainen entiteettien tunnistus ja yhdistäminen toimii edelleen näin. Se yhdistää deterministiset säännöt, joissa yhteinen pysyvä tunniste ratkaisee, todennäköisyyksiin perustuvaan ja sumeaan koneoppimispohjaiseen vastaavuuksien tunnistukseen. Tämä käsittelee kirjoitusvirheitä, lempinimiä, väärään järjestykseen joutuneita kenttiä, lyhenteitä ja noin tusinaa pientä tapaa, jolla sama henkilö tai yritys esiintyy eri tavoin eri järjestelmissä. Hyvä alan katsaus kuvaa katkeamattoman kehityskulun 1950-luvun väestötietueista nykyisiin klusterointi- ja koneoppimismenetelmiin.
Todella muuttunut asia on se, milloin tarvitsemme vastauksen. Tutkijat kirjoittivat entiteettien tunnistamisesta kyselyn suoritushetkellä pelkän ennakkokäsittelyn sijaan jo kauan ennen nykyistä tekoälyaaltoa. Silloin se oli kiinnostava optimointikeino. Nyt se on lähempänä välttämätöntä vaatimusta.
Miksi agentit tekevät siitä infrastruktuuria
Useimmat yritysten tekoälyjärjestelmät eivät vastaa mallin muistista vaan hakevat tietoa. Hakuavusteisena generointina tunnetuksi tullut toimintamalli antaa agentin hakea olennaisen kontekstin kysymyksen esittämishetkellä ja päätellä sen pohjalta. Kokonaisuutena tämä on hyvä asia. Vastaukset perustuvat organisaation dataan eivätkä mallin koulutusaineistoon.
Siihen liittyy kuitenkin seuraus, joka jää helposti huomaamatta. Agentti perii sen, mitä hakuvaihe sille antaa. Jos haku palauttaa hajanaisen asiakkaan eli kolme osittaista tietuetta, joita ei koskaan yhdistetty, agentti päättelee kolmen asiakkaan pohjalta. Jos haku palauttaa väärin yhdistetyn asiakkaan eli kaksi eri yritystä koottuna yhteen profiiliin, agentti päättelee yhden asiakkaan pohjalta. Lähdejärjestelmissä jo oleva monitulkintaisuus välittyy suoraan mallille vakiintuneena tosiasiana. Malli ei voi tietää yhdistämisen olleen väärä, sen enempää kuin sinäkään voisit lukiessasi siistiä yhteenvetoa tietueista, joita et ole koskaan nähnyt.
Siksi entiteettien tunnistus ja yhdistäminen ei voi olla jälkikäteen lisätty toiminto, joka ajetaan kerran vuosineljänneksessä ja jonka tulos tallennetaan erilliseen tauluun. Entiteetti on koottava datan sisäänoton yhteydessä, ja sen ajantasainen yhdistetty näkymä on voitava hakea heti agentin sitä pyytäessä. Se on ajonaikainen riippuvuus. Se muistuttaa paljon enemmän tietokantaa tai todennuspalvelua kuin ajoittaista datan siivousprojektia. Se on suunniteltava ja sitä on valvottava, ja sen luotettavuudesta on huolehdittava samalla tavoin kuin minkä tahansa järjestelmän kohdalla, jota sovellus kutsuu reaaliajassa.
Valmiuskuilu, jota kukaan ei nimeä täsmällisesti
Alalla jo aavistetaan, että jotakin puuttuu. Ciscon AI Readiness Index 2025 -raportin mukaan 83 prosenttia organisaatioista aikoo ottaa käyttöön autonomisia agentteja. Vain noin kolmannes kuitenkin kokee infrastruktuurinsa olevan niihin aidosti valmis, ja vain noin neljännes katsoo pystyvänsä valvomaan ja hallitsemaan sitä, mitä agentit todellisuudessa tekevät. McKinseyn tuorein State of AI -kysely kuvaa vastaavaa kuilua toisesta suunnasta: noin 88 prosenttia organisaatioista käyttää nyt tekoälyä vähintään yhdessä toiminnossa, mutta useimmat eivät ole laajentaneet sitä koko yritykseen.
Kuilua selitettäessä turvaudutaan yleensä kahteen käsitteeseen: datan laatuun ja hallintaan. Molemmat ovat tärkeitä, eikä kumpikaan ole valinnainen. Niiden alla on kuitenkin rajatumpi kysymys, johon puhdas ja hyvin hallittu data ei yksin vastaa. Osaako järjestelmä juuri nyt tunnistaa, mihin todellisen maailman entiteettiin tietue viittaa kaikissa niissä paikoissa, joissa tietue on? Jokaisessa yksittäisessä järjestelmässä voi olla laadukasta dataa ja silti tämä testi voi epäonnistua. Vika ei nimittäin ole missään yksittäisessä järjestelmässä vaan niiden välissä, missä sama asiakas esiintyy kolmella hieman erilaisella tavalla.
Mitä tarkistaa ennen kuin agentin antaa toimia
Jos entiteettien tunnistusta ja yhdistämistä käsitellään reaaliaikaisena infrastruktuurina, sitä voidaan myös tarkastella infrastruktuurin tavoin. Toiminnalliset virhetilat ovat täsmällisiä ja testattavia: erillisiksi jäävät identiteetit, joiden pitäisi olla yksi; virheelliset yhdistämiset, joissa erillisinä pidettävät tietueet yhdistetään; vanhentuneet säännöt, joilla valitaan voimaan jäävä arvo ja joiden vuoksi käytöstä poistunut osoite nousee yhä ensisijaiseksi; puuttuvat pysyvät tunnisteet; sekä agentit, jotka perivät lähdejärjestelmien monitulkintaisuuden ikään kuin se olisi ratkaistua totuutta.
Käytännön valmiustesti ei vaadi uutta mallia eikä uutta toimittajakategoriaa. Kootkaa vertailujoukko entiteeteistä, joiden oikeat tiedot ja keskinäiset suhteet tunnette varmasti. Ajakaa se saman hakupolun läpi, jota agenttinne käyttää, eikä demoa varten tehdyn erillisen siivotun kopion kautta. Mitatkaa sitten tuloksen todella ratkaisevat asiat: virheellisten yhdistämisten ja erottamisten määrä, aidon monitulkintaisuuden käsittely, järjestelmän varmuuskynnykset, tilanteet joissa se siirtää asian ihmiselle arvaamisen sijaan sekä se, miten sujuvasti se liittyy olemassa oleviin perustietojen hallinnan ja muun hallinnan kontrolleihin. Jos tiimi ei osaa vastata näihin kysymyksiin, agentti toimii sellaisen identiteetin varassa, jota se ei voi varmistaa, ja sen tuotokseen luotetaan perusteetta.
Tämä ei korvaa perustietojen hallintaa, hallintamalleja, asiakasdata-alustoja eikä tietovarastoa. Ne vastaavat eri kysymyksiin ja ovat yhä välttämättömiä. Hallinta ratkaisee, mitä agentti saa tehdä. Entiteettien tunnistus ja yhdistäminen ratkaisee, kenelle tai mille se tekee sen. Ensimmäinen on useimmissa suurissa organisaatioissa kypsä käytäntö. Jälkimmäinen on kerros, jonka monet huomaavat pian tarvitsevansa sen rinnalle reaaliajassa heti, kun agentin annetaan neuvojen antamisen sijasta toimia.
Näkemäni agentti ei tarvinnut älykkäämpää mallia. Sen piti tietää kahden nimen tarkoittavan yhtä asiakasta ennen kuin sen annettiin kuulostaa varmalta. Kun annamme näille järjestelmille todellista toimivaltaa, tämä hiljainen, kuusikymmentävuotias menetelmä lakkaa olemasta siivousta ja muuttuu kantavaksi rakenteeksi.












