Tekoälyagentit tarvitsevat tehtävänkuvaukset, eivät parempia kehotteita

Kun yritykseltä kysyy, mitä uusi ostoreskontran analyytikko saa tehdä, saa tarkan vastauksen. Hän käyttää näitä järjestelmiä ja työskentelee näiden toimittajien kanssa, ja kaikki esimerkiksi 10 000 dollarin hyväksymisrajan ylittävä menee hänen esihenkilölleen allekirjoitettavaksi. Hän on koeajalla ensimmäiset muutaman kuukauden. Kaikki tämä kirjataan yleensä toimivallan delegointitaulukkoon, jonka sisäinen tarkastus käy läpi joka vuosi.

Kun samalta yritykseltä kysyy, mitä sen uusi laskujen käsittelyyn tarkoitettu agentti saa tehdä, vastaukseksi saa usein kuvakaappauksen kehotteesta.

Tämä kuilu huolestuttaa minua enemmän kuin mikään mallien vertailutesti. Palkkaamme digitaalista työvoimaa ilman johtamisjärjestelmää, jonka rakentamiseen ihmisille olemme käyttäneet vuosisadan: kukaan ei kirjaa sen toimivaltuuksia, kukaan ei testaa sen harkintakykyä ennen työn aloittamista, eikä kukaan ole harjoitellut sen sammuttamista.

Miksi kehote ei riitä tehtävän hoitamiseen

Kehote kuvaa tarkoitusta. Se kertoo, mitä varten agentti on. Siinä harvoin sanotaan, mitä agentti ei saa missään tapauksessa tehdä, missä sen rajat kulkevat tai milloin sen on pysähdyttävä ja jätettävä päätös ihmiselle.

Ja vaikka kehotteessa sanottaisiin nämä asiat, mikään ei takaa niiden noudattamista. Agentille annettu ohje olla maksamatta yli 500 dollarin hyvityksiä on vain pyyntö todennäköisyyksiin perustuvalle järjestelmälle. Yksikään tilintarkastaja ei hyväksyisi ihmiselle asetetuksi valvontakeinoksi sitä, että ”pyysimme analyytikkoa nätisti”, joten en ymmärrä, miksi hyväksymme sen ohjelmiston kohdalla.

Tietoturva-asiantuntijoilla on jo nimi tälle ilmiölle. OWASP Top 10 for LLM Applications -luettelossa liiallinen toimijuus mainitaan keskeisenä riskinä, joka johtuu liian laajoista toiminnoista, käyttöoikeuksista tai autonomiasta. Yksinkertaisesti sanottuna kyse on työntekijästä, jolle annetaan heti ensimmäisenä päivänä avaimet kaikkeen. OWASP:n ohjeistus on kuin hyvän esihenkilön tarkistuslista: anna agentille vain sen tarvitsemat työkalut, rajaa sen käyttöoikeudet, edellytä ihmisen hyväksyntää merkittäviä vaikutuksia aiheuttaville toimille ja varmista valtuuksien tarkistus jatkojärjestelmissä sen sijaan, että luottaisit mallin valvovan itse itseään.

Korostaisin tuota viimeistä kohtaa. Valtuutuksen on oltava siellä, missä toiminta tapahtuu: agentin omassa palveluidentiteetissä, sen työkalujen käyttöoikeuksissa ja API-yhdyskäytävän kulutusrajassa. Agenttien ajaminen yhteisellä palvelutilillä on kuin viisi ihmistä jakaisi yhden kulkukortin. Kun jokin menee pieleen, auditointilokissa lukee, että sen teki palvelutili, ja jäljelle jää vain arvailu siitä, mikä agenteista oli asialla.

Peruutukset näyttävät johtamisongelmalta

Gartner ennustaa, että yli 40 prosenttia agenttisen tekoälyn hankkeista perutaan vuoden 2027 loppuun mennessä. Syiksi mainitaan kustannusten kasvu, liiketoimintahyödyn epäselvyys ja puutteelliset riskienhallintakeinot.

Ylihypetys ja keskeneräiset tuotteet ovat osa tätä tarinaa. Kokeile silti tarkastella näitä kolmea syytä operatiivisen johtajan näkökulmasta. Kustannukset kasvavat, kun kukaan ei ole asettanut budjettia. Arvo jää epäselväksi, kun kukaan ei ole kirjannut, mitä työn oli tarkoitus tuottaa. Riskienhallinta pettää, kun rajoja ja arviointeja ei ole eikä kukaan ole selvästi vastuussa. Gartner ei esitä asiaa näin; tämä on oma tulkintani. Kyse on samasta ilmiöstä, joka syntyy, kun ihmiset päästetään toimimaan ilman johtamisjärjestelmää – ja tämä ongelma on paljon vanhempi kuin tekoäly.

Viitekehykset tunnistavat saman puutteen. NISTin tekoälyn riskienhallinnan viitekehys käsittelee hallinnointia toimintona, joka läpäisee kartoittamisen, mittaamisen ja hallinnan, ja sen generatiivisen tekoälyn profiili soveltaa tätä myös generatiivisiin järjestelmiin. Viitekehykset eivät kuitenkaan tarjoa käytännön toimintamalleja – valtuutuksia, testejä ja arviointeja, joita tiimi todella käyttää tavallisena tiistaina. Ilman niitä hallinnointi jää yhteiselle levyasemalle tallennetuksi PDF-tiedostoksi.

Vanhojen johtamiskeinojen soveltaminen agentteihin

Aloita tehtävänkuvauksesta, joka agentin tapauksessa muuttuu valtuutukseksi. Ennen kuin agentti pääsee käsiksi tuotantojärjestelmään, jonkun pitäisi pystyä laatimaan sivun mittainen kuvaus siitä, mitä agentti saa tehdä, mitä se ei saa missään tapauksessa tehdä, mitkä ovat sen hyväksymisrajat, kuka vastaa siitä ja kuka voi laajentaa sen toimivaltuuksia. RACI-mallissa tilivelvollisen tahon on oltava henkilö. Jos et pysty laatimaan tätä sivua, rooli ei ole valmis täytettäväksi – ja sanoisit saman myös ihmistä palkatessasi.

Kaksi vanhaa toimivallan delegointiin liittyvää sääntöä pätee sellaisinaan myös tässä. Et voi delegoida toimivaltaa, jota sinulla ei ole, joten aliagentti ei saa koskaan saada laajempia valtuuksia kuin sen käynnistänyt agentti. Myös tehtävien eriyttämistä koskeva periaate pätee edelleen. Jos agentti voi sekä lisätä toimittajan järjestelmään että maksaa tälle, kyseessä on sama auditointihavainto kuin ihmisen kohdalla.

Sitten on vuorossa rekrytointitesti. Testaamme agentteja enimmäkseen kuten laskimia: tarkistamme, onko vastaus oikea. Työntekijälle tehtävässä testissä tarkistettaisiin, pysyikö se valtuuksiensa rajoissa, pyysikö se hyväksyntää silloin kun piti, veisikö se asian eteenpäin tilanteen ylittäessä sen toimeksiannon ja pysähtyikö se silloin kun olisi pitänyt.

Olen itse rakentanut tutkimustyössäni vertailutestiä, johon kuuluu 50 skenaariota juuri näiden virheiden ympäriltä: hyväksymisrajojen ylittäminen, vanhentuneeseen tietoon perustuva toiminta, toimivaltuuksia laajentavien syötettyjen ohjeiden noudattaminen ja käyttöoikeuksien säilyttäminen roolin muututtua. Toistaiseksi olen ajanut testin vain skriptatuilla agenteilla varmistaakseni, että skenaariot toimivat suunnitellusti, joten minulla ei ole raportoitavia mallien tuloksia. Niitä kirjoittaessani minua yllätti niiden tavanomaisuus. Ne ovat tavallisia tapoja, joilla työntekijät poikkeavat toimeksiannostaan, mutta ohjelmistoille sovitettuina. Useimmat julkiset tulostaulukot mittaavat yhä tehtävien suorittamista, ja vain harvat arvioivat, noudattiko agentti sille annettuja toimivaltuuksia.

Koeaika ja ylennys kääntyvät melko suoraan. Ihmisten kohdalla aloitamme rajatusta tehtäväkentästä ja laajennamme sitä, kun he osoittavat harkintakykynsä hyväksi. Agentit voivat ansaita rajansa samalla tavalla näyttämällä, että ne pysyvät toimivaltansa puitteissa, eskaloivat asiat asianmukaisesti ja pysähtyvät hallitusti. Tällainen näyttö voi yhtä hyvin oikeuttaa valtuutuksen kaventamiseen.

Agentteihin liittyy mutka, jota ihmisissä ei ole. Kun toimittaja päivittää taustalla olevan mallin, kyseessä on käytännössä uusi työntekijä, jolla on vanha tunniste. Käsittelisin tätä muutostapahtumana ja testaisin agentin uudelleen ennen kuin valtuutus siirtyy sille.

Työsuhteen päättäminen on harjoiteltava ennen kuin sitä tarvitaan. Jos sinun pitäisi pysäyttää tämä agentti ja poistaa sen käyttöoikeudet seuraavan tunnin aikana, pystyisitkö siihen? Kenellä on valtuudet tehdä päätös kello kahdelta yöllä? Mikä lakkaa toimimasta myöhemmissä vaiheissa, ja mitkä käynnissä olevat sitoumukset jonkun on purettava käsin? Jos kukaan ei ole harjoitellut tätä, voit vain toivoa, että hätäpysäytyskytkin toimii.

Työntekijän voi asettaa vastuuseen. Agenttia ei voi asettaa vastuuseen mistään, ja tähän vertaus lakkaa toimimasta. Siksi valtuutus on myös pantava täytäntöön järjestelmissä ja jokaiselle agentille on nimettävä siitä vastaava henkilö. Joku joutuu joka tapauksessa kantamaan vastuun. Yleensä se on henkilö, joka hyväksyi asian, tiesipä hän hyväksyvänsä sen tai ei.

Mitä tapahtuman jälkiarvioinnissa kysytään

Jotkin näistä agenteista tekevät ennemmin tai myöhemmin jotain, mitä niiden ei pitäisi tehdä. Kun näin käy, tapahtuman jälkiarvioinnissa kysytään samat asiat kuin ihmisten kohdalla. Mitä agentti sai tehdä, ja missä siitä on kirjattu? Kuka hyväksyi sen käyttöoikeuksien laajentamisen? Kuinka kauan pysäyttäminen kesti? Kuka oli siitä vastuussa?

Jos rehelliset vastaukset ovat ”kehote”, ”kukaan ei muista”, ”tunteja” ja ”epäselvää”, parempi malli ei olisi pelastanut sinua.

Mihin etulyöntiasema lopulta päätyy

Malleista on tulossa vuokrattavia tuotantopanoksia, joita vaihdetaan ja päivitetään toimittajan aikataulun mukaan. Kaksi yritystä voi käyttää samaa mallia ja päätyä hyvin erilaisiin tuloksiin. Toisella on agentteja, joilla on budjetit, rajat ja vastuuhenkilöt sekä tarkastusjälki jokaisesta merkittävästä toimesta. Toisella taas on kallis pilottihanke, joka on matkalla jonkun peruutustilastoihin.

Ero on mallia ympäröivässä johtamisjärjestelmässä. Se rakentuu hitaasti, pääasiassa sellaisten ihmisten työnä, jotka ovat aiemmin johtaneet organisaatioita.

Jos uusin agenttisi ylittäisi huomenna toimivaltansa, huomaisiko mikään yrityksessänne? Ja pystyisitkö osoittamaan kirjallisesti tilintarkastajalle, missä raja kulki?