Miksi 95%:ssa AI-hankkeista ei ole mitään tuottoa

MIT:n tuore tutkimus osoitti, että 95 %:ssa organisaatioista ei ole mitään tuottoa generatiivisista AI-hankkeista; ei mitään merkittävää P&L-vaikutusta huolimatta merkittävistä investoinneista. Otsikot keskittyivät epäonnistumisprosenttiin, mutta todellinen kysymys ei ole siinä, toimivatko teknologiat. Suuret kielimallit ovat voimakkaita, helposti saatavilla ja nopeasti paranevia. Ongelma on siinä, miten yritykset yrittävät käyttää niitä.

Useimmat organisaatiot lähestyvät AI-virkailijoita samalla tavalla kuin he lähestyvät muita teknologiaratkaisuja. He ottavat olemassa olevat prosessit, lisäävät siihen AI:ta ja odottavat ihmeitä. Kun se ei toimi, he syyttävät malleja. Mutta epäonnistuminen tapahtuu jo ennen kuin AI:lla on mahdollisuus osallistua.

Olen nähnyt tämän mallin toistuvasti yhtiöissä, jotka rakentavat AI-työnkulkuja. Tiimit innostuvat mahdollisuuksista, ryntäävät kehitykseen ja osuvat samoihin ennustettaviin esteisiin. Ero 5 %:n ja 95 %:n välillä ei johdu onnesta tai budjetista; se johtuu siitä, että he välttävät kuusi kriittistä virhettä, jotka tappavat AI-virkailijan arvon ennen kuin se alkaa.

Tietosi ovat sekavampia kuin luulet

Useimmat tiimit luulevat, että heillä on valmiudet AI:lle, koska heillä on datajärvi, CRM, huolellisesti ylläpidetty tietokanta, ja olettavat, että menestys on taattu. Sitten he kaatavat kaiken LLM:ään ja ihmettelevät, miksi heidän agenttinsa tuottaa roskaa tai palaa heidän budjettinsa muutamassa päivässä.

Sekavat tiedot luovat sekavia agenteja. Jos lähetät raakoja tietokantavientejä, HTML-täyttämiä viennin, tai rakenteettomia tekstiblokkeja AI-virkailijalle, asetut epäonnistumiselle. Mallit hämmentyvät merkityksettömistä kentistä, häirityvät muotoilufragmenteista ja ylirasittuvat pelkästään määrästä.

Tiimit lähettävät asiakastietoja, joissa on 47 kenttää, kun vain 3 ovat päätöksenteon kannalta kriittisiä. He sisällyttävät UUID:t, jotka eivät lisää mitään semanttista arvoa, mutta kuluttavat arvokkaita symboleja. He syöttävät agenteille HTML:ää, joka on skannattu sisäisistä työkaluista, sen sijaan, että he antaisivat puhdasta, rakenteista tietoa.

Tulet törmäämään rajoituksiin nopeammin kuin odotit

Jokainen tiimi uskoo, ettei heidän tarvitse koskaan törmätä kontekstirajoituksiin. “Käsittelemme vain muutamia asiakastietoja”, he sanovat. “Miten vaikeaa se voi olla?” Sitten heidän agenttinsa tarvitsee analyysin 500 tukipyyntöä, joissa on koko keskusteluhistoria, ja yhtäkkiä he törmävät miljoonan symbolin kattoihin.

Suuret kontekstit kertyvät nopeammin kuin kukaan odottaa. Asiakastukivirkailija, joka käsittelee eskaloita, tarvitsee pääsyn lipun historiaan, tietopankkiohjeisiin, aiempiin vuorovaikutuksiin ja tuotetietoihin. Se on helposti satoja tuhansia symboleja pyynnöstä. Kerro se rinnakkaisilla käyttäjillä, ja infrastruktuurikustannukset kasvavat nopeasti.

Viattoman lähestymistavan mukaan vain lähetetään kaikki mallille ja toivotaan parasta. Älykkäät tiimit jakavat pyynnöt palasiin, tiivistävät jokaisen palan ja toimivat tiivistelmien tiivistelmissä. Tämä hierarkkinen tiivistäminen pitää pyynnöt hallittavina säilyttäen kriittisen tiedon, jota agenteille tarvitaan hyvien päätösten tekemiseen.

Turvallisuus muodostuu nopeasti monimutkaiseksi

Tiimit innostuvat AI-virkailijan persoonallisuudesta ja kyvyistä, kirjoittavat joitain perusohjeita ja luulevat olevansa suojattuja. Todellisuudessa AI-virkailijat vaativat perustavanlaatuisesti erilaista turvallisuusajattelua kuin perinteiset sovellukset.

AI-virkailijat voidaan huijata, manipuloida ja pakottaa tapoja, jotka rikkovat perinteiset turvallisuusmallit. Käyttäjän syötteet voivat sisältää piilotettuja ohjeita, jotka ohittavat huolellisesti luodut ohjeistukset. Agentit voidaan saada toimimaan ohjeiden vastaisesti, päästä tietoihin, joita ei pitäisi nähdä, tai tehdä toimia, jotka ovat toiminta-alueen ulottumattomissa.

Älykkäät toteutukset vaativat tiukkoja rajoja siitä, mitä agenteille on sallittua ja mitä ei. Kaikissa tapauksissa, joissa tila muuttuu; kirjoitetaan dataa, lähetetään sähköposteja, tehdään API-kutsuja; tarvitaan ehdotus-perustelu-hyväksyntä-työnkulkua. Agentti selittää, mitä se haluaa tehdä ja miksi, ja odottaa ihmisen hyväksyntää ennen toimintaa. Tämä estää päättymättömän automaation samalla, kun ylläpidetään AI-avun hyödyt.

Mitä todella toimii

Havainnoimalla satoja AI-virkailijoiden toteutuksia, kuusi käytäntöä erottaa onnistuneet käyttöönotot kalliista epäonnistumista.

Ensimmäinen on tietojen hygienia. Lähetä tiivis, tyypitetty JSON kiinteillä skeemoilla. Poista UUID:t, HTML, duplikaatit ja kaikki arkaluontoiset tiedot, ellei niitä ole ehdottomasti päätöksenteon kannalta kriittisiä. Korvaa arkaluontoiset tiedot metadataksi, kun mahdollista. Tämä pitää mallit keskittyneinä leikkaamalla payloadin koon, kustannuksen ja viiveen.

Toinen on kontekstin hallinta. Tulet törmäämään symbolirajoituksiin nopeammin kuin odotit. Jakaa pyynnöt pienempiin palasiin, tiivistä jokainen ja toimi tiivistelmien tiivistelmissä. Tämä hierarkkinen lähestymistapa pitää pyynnöt hallittavina säilyttäen tarvittavan kontekstin.

Kolmas on ohjeiden turvallisuus. Määrittele tiukat rajat sille, mitä agenttisi voi ja mitä ei voi tehdä. Toteuta ehdotus-perustelu-hyväksyntä-työnkulku kaikissa tapauksissa, joissa tila muuttuu. Käsitle kaikkia käyttäjän sisältöä epäluotettavina; poista koodi ja linkit ja muista malleja koskaan seuraamasta käyttäjän tekstin piilotettuja ohjeita. Seuraa jatkuvasti ohjeita ja tulosteita epäilyttävän tai rikkoontuneen käyttäytymisen varalta, jotta rajat säilyvät tehokkaina ajan myötä.

Neljäs on kustannusten hallinta. Aseta symboli- ja kustannusbudjetit pyynnöstä ja työnkulusta. Kirjaa symbolien käyttö työkaluittain ja ohjeistuksittain, jotta havaitset regressiot varhain. Ilman kuria kohtaat pakolliset laskut tai viivepiikit juuri silloin, kun omaksuminen kasvaa.

Viides on laadun varmistus. Pidä yksityinen arviointijoukko todellisista tapauksista ja reunatapauksista. Seuraa tarkkuutta, kutsua ja regressioita. Uudet mallit yllättävät sinua, yleensä pahalla tavalla. Kriittisissä työnkuluissa käytä lämpötilaa lähellä nollaa ja siemennettyjä taustoja johdonmukaisiin tuloksiin.

Kuudes on hallinto. Lukitse tietojen jakosopimukset ennen kuin mitään tietoa virtaa. Selkiytä, mitä jaetaan, miten se suojataan ja kuka on vastuussa. Tämä ei ole vain oikeudellinen suojelu; se on luottamusmerkki, joka osoittaa, että otat tietosuojan tosissaan.

Miksi useimmat tiimit epäonnistuvat

AI-virkailijahankkeet eivät tuota tuottoa, koska tiimit keskittyvät väärään asiaan. He ovat kiinnostuneita siitä, mitä mallia käyttää, kun taas he laiminlyövät tietojen laadun. He rakentavat monimutkaisia työnkuluja ja ohittavat perusturvallisuusohjaudet. He käyttävät agenteja ilman kustannusohjausta ja panikoidaan, kun laskut nousevat.

Onnistuneet 5 % ymmärtävät, että AI-virkailijat eivät ole vain ohjelmisto; ne ovat uusi kategoria digitaalista työntekijää, joka vaatii erilaisia johtamiskäytäntöjä. He tarvitsevat puhdasta dataa, selkeitä rajoja ja jatkuvaa valvontaa. Sait saat nämä perusasiat oikein, ja AI-virkailijat muuttuvat voimallisiksi tuottavuuden moninkertaajiksi. Sait ne väärin, ja liityt 95 %:iin, jotka miettivät, miksi heidän kalliit AI-investoinninsa eivät tuottaneet mitään mitattavaa tuottoa.