AI-agentit ovat valmiita toimimaan. Useimmat yritykset eivät ole valmiita antamaan niiden toimia.

Suurimman osan generatiivisen tekoälyn aikakaudesta olemme keskittyneet siihen, mitä mallit sanovat ja mitä niihin syötämme. Tarkastelemme kehotteita, suodatamme vastauksia, teemme punatiimityötä malleilla ja rakennamme valvontaa syötteiden ja tulosten ympärille. Nämä suojaukset ovat yhä merkityksellisiä, mutta ne on suunniteltu maailmaan, jossa tekoäly tuotti ensisijaisesti jotain ihmisen kulutettavaksi.

Agentit muuttavat tätä yhtälöä. Ne eivät vain kuluta tai tuota tietoa. Ne toimivat.

Agentti voi suorittaa työkaluja, kutsua al-agentteja, tehdä yhteistyötä muiden agenttien kanssa, kutsua API-rajapintoja, käyttää dataa, hyödyntää tunnistetietoja, kutsua MCP-palvelimia, luoda ja suorittaa koodia sekä tehdä sarjan päätöksiä itsenäisesti tavoitteen saavuttamiseksi. Päättymätön pyrkimys. Kun näin tapahtuu, keskeinen kysymys ei enää ole pelkästään, tuottiko malli turvallisen vastauksen. Kyse on siitä, ovatko sen tekemät toimet turvallisia toteuttaa.

OpenAI:n viimeaikaiset paljastukset tekevät tästä erottelusta yhä tärkeämmän. OpenAI on alkanut järjestelmällisesti raportoimaan odottamattomasta tai huolestuttavasta mallin käyttäytymisestä, kun sen laajempi turvallisuustyö käsittelee yhä enemmän riskejä, jotka nousevat esiin, kun mallit saavat enemmän autonomiaa ja pääsyn työkaluihin.

Opetus ei ole, että agentit olisivat luontaisesti turvattomia. Se on, että turvallisuusraja on siirtynyt.

Agenttipohjaiset järjestelmät vaativat erilaista toimintamallia

Agenttipohjainen tekoäly ei ole pelkästään toinen sovellusarkkitehtuuri. Ohjelmisto itse määrittelee yhä enemmän, miten työ toteutetaan.

Agentti voi kohdata esteen, tulkita tapahtuneen ja valita toisen reitin. Se voi yhdistää työkaluja tavoilla, joita ei ole etukäteen nimenomaisesti suunniteltu. Se voi luoda koodia ja suorittaa sen osana samaa työnkulkua. Toimintojen järjestys voi muuttua jokaisella agentin suorituskerralla.

Samaan aikaan tätä ohjelmistoa luova väestö laajenee dramaattisesti. Kuten olemme kirjoittaneet kansalaiskehittäjän noususta, tekoäly muuttaa ihmiset, jotka eivät ole koskaan pitäneet itseään kehittäjinä, ohjelmistojen tekijöiksi. Markkinoija, talousanalyytikko tai operatiivinen johtaja voi nyt kuvata haluamansa ja luoda agentin, joka kykenee vuorovaikuttamaan todellisten liiketoimintajärjestelmien kanssa.

Tämä on poikkeuksellinen laajentuminen siitä, kuka voi rakentaa ohjelmistoja ja mitä nämä ohjelmistot voivat tehdä. Se tarkoittaa myös, että organisaatioilla on paljon enemmän autonomista ohjelmistoa, joka toimii monilla liiketoiminnan osa-alueilla.

Vastaus ei voi olla pelkästään soveltaa eilisen päivän hallintaa tähän uuteen ympäristöön. Jos yritykset eivät pysty turvallisesti käyttämään näitä järjestelmiä, vaihtoehto on rajoittaa niitä ja lopulta hidastaa niitä tuottavuusparannuksia, joita ne pyrkivät saavuttamaan.

Valvonnan on oltava siellä, missä agentit toimivat

Kun tekoälystä tulee autonomisempaa, haaste siirtyy malliin syötettävän hallinnasta siihen, mitä tapahtuu, kun sen päätökset muuttuvat toimiksi.

Agentti voi aloittaa hyväksytyllä käyttäjällä, hyväksyttävällä kehotteella, laillisilla tunnistetiedoilla ja valtuutetulla pääsyllä työkaluun. Mikään näistä ei takaa, että jokainen myöhempi toimenpide tulisi suorittaa.

Tässä vaiheessa ajoaika (runtime) on ratkaisevaa. Organisaatioiden on ymmärrettävä, kuka agentti on, ja esitettävä kysymyksiä siitä, mitä se tekee juuri nyt:

• Mitkä työkalut se kutsuu,
• Mitkä resurssit se käyttää, mitä koodia se yrittää suorittaa, 
• Mitkä al-agentit ja muut agenttien väliset viestinnät tapahtuvat,
• Mitä tapahtui välittömästi ennen kyseistä toimintoa ja pysyykö sen käyttäytyminen hyväksyttävien rajojen sisällä,
• Mitä agentti tekee piilossa ajoaikana.

Ja kun näin ei tapahdu, järjestelmän on pystyttävä puuttumaan reaaliaikaisesti ennen suoritusta.

Tämä on tärkeä ero. Havainnoitavuus kertoo, mitä tapahtui. Ajoaikainen hallinta antaa mahdollisuuden rajoittaa agentin suoritustasoa.

Tämä on erityisen tärkeää, koska agenttien käyttäytyminen on sekä epädeterminististä että monidimensionaalista. Estetty toiminto saa agentin kokeilemaan toista lähestymistapaa tavoitteensa saavuttamiseksi. Näennäisesti harmiton työkalukutsu voi muuttua riskialttiiksi edeltävän tapahtuman vuoksi. Pelkkä havainnointi tai “havaitseminen ja reagointi” on pelissä liian myöhäistä, jotta agentin pääsyä ja suoritusta voitaisiin todella hallita.  

Ajoaikainen hallinta on oltava linjassa ja synkroninen, jotta se pysyy tekoälyn nopeuden tahdissa.  Perushaaste tällaisia lähestymistapoja omaksuttaessa on ennen‑tekoälyaikaa vallalla ollut ajattelu, joka perustui pidempään analyysi‑ ja havaitsemismetodiikkaan.  Nämä periaatteet eivät enää päde nykymaailmassa..

Ajoaikainen turvallisuus vaatii kontekstia, ei pelkästään hallintaa

On taipumus vastata nouseviin AI‑riskeihin rajoittamalla autonomiasta: antaa agenteille vähemmän oikeuksia, vaatia ihmisen hyväksyntää useammin tai rajoittaa ympäristöjä, joissa ne toimivat. Nämä kontrollit ovat joskus perusteltuja, erityisesti korkean riskin toiminnoissa.

Mutta ne eivät voi olla pitkän aikavälin toimintamalli.

Jos ihmisen täytyy hyväksyä jokainen merkittävä päätös, olemme poistaneet suuren osan autonomisen agentin arvosta. Luottamalla tiukkoihin ihmisen‑vuorovaikutus‑prosesseihin, olemme muuttaneet joitakin lahjakkaita henkilöitä “napinpainajiksi”. Tämä vaikuttaa suoraan kykyyn ymmärtää koodipohjan laajuutta ja riippuvuuksia, joilla agenttipohjaiset organisaatiot toimivat.

Agenttipohjaisen AI:n taloudellinen lupaus perustuu juuri siihen, että ohjelmisto pystyy suorittamaan merkityksellistä työtä itsenäisesti ja jatkuvasti – 24/7. Tavoitteena ei siis ole poistaa autonomiaa, vaan tehdä suurempi autonomia turvalliseksi käyttää.

Tämä vaatii itsenäisiä kontrollia agentin omien päättelyprosessien ulkopuolella. Anthropicin tutkimus agenttien epäsynkronisuudesta, joka on toteutettu tarkoituksellisesti rakennetussa simulaatiossa, havainnollistaa, miksi tämä on tärkeää. Kun järjestelmät muuttuvat autonomisemmiksi, niiden käyttäytyminen voi poiketa siitä, mitä operaattorit odottavat, vaikka alkuperäinen tavoite vaikuttaisi selkeältä.

Käytännön implikaatio on yksinkertainen: organisaatiot eivät voi luottaa pelkästään siihen, mitä agentilta on pyydetty tekemään. Niiden on ymmärrettävä ja hallittava, mitä se todellisuudessa tekee.

Agentti ei ole enää vaikein osa

Toimiala on käyttänyt valtavaa energiaa agenttien kyvykkyyden parantamiseen. Olemme nopeasti lähestymässä hetkeä, jolloin kyvykkyys ei enää ole ensisijainen rajoite yritysten omaksumisessa.

Rajoite on hallinta.

Kun agentit tulevat autonomisemmiksi, niiden toimien seuraukset kasvavat – ja ennustettavalle ohjelmistolle suunnitellut kontrollit menettävät tehonsa. Yritykset tarvitsevat jatkuvaa näkyvyyttä siihen, mitä agentit tekevät, kontekstin, jonka avulla ymmärretään, miksi toimet ovat merkityksellisiä, sekä mahdollisuuden puuttua tilanteisiin ilman, että ihmisen täytyy olla jokaisen päätöksen keskellä.

Tämä muuttaa sitä, mitä ohjelmiston käyttö tarkoittaa.

• Kehittäjien on ymmärrettävä, miten agentit todella käyttäytyvät, ei vain miten ne on suunniteltu käyttäytymään.
• Alusta‑ ja turvallisuustiimien on luotava rajat, jotka pysyvät toteutettavina, kun agentit toimivat eri järjestelmien ja työkalujen yli.
• Liiketoimintajohtajien on oltava varmoja, että suurempi autonomia ei tarkoita hallinnan menettämistä.

Tämä on olennaisesti erilaista kuin toisen sovelluksen suojaaminen tai toisen mallin hallinta. Otamme käyttöön autonomisia toimijoita yritysympäristöissä: järjestelmiä, jotka voivat tehdä päättelyä, päätöksiä ja toimia. Jos organisaatiot eivät näe ja hallitse näitä toimia niiden tapahtuaessa, niiden on lopulta rajoitettava, mitä agentit voivat tehdä, mikä rajoittaa suurta osaa autonomian tuottamasta arvosta.

Vastaus ei ole olettaa, että voimme estää jokaisen huonon päätöksen. Kun järjestelmät muuttuvat autonomisemmiksi ja epädeterministisemmaksi, tämä käy yhä vaikeammaksi taata.

Tavoitteena on varmistaa, ettei huono tai tuhoisa toiminta johtaisi haitalliseen lopputulokseen.

Tämä edellyttää uutta operatiivista kerrosta agenttien ympärille: sellaista, joka voi jatkuvasti tarkkailla käyttäytymistä, ymmärtää toimia kontekstissa, valvoa rajoja koko agenttipohjaisen suorituksen pinossa ja puuttua ennen kuin tahaton tai hyväksymätön toiminta muuttuu palautumattomaksi seuraukseksi.

Yritysten AI:n seuraava vaihe ei määrittyisi pelkästään siitä, kuinka kykeneviä agentit tulevat. Se määrittyy siitä, kuinka paljon autonomiaa organisaatiot voivat turvallisesti antaa niille.