Mitä tietokonetta käyttävät agentit ovat? Näin tekoäly näkee, napsauttaa, kirjoittaa ja käyttää ohjelmistoja

Tietokonetta käyttävät agentit ovat tekoälyjärjestelmiä, jotka pystyvät havainnoimaan ohjelmiston käyttöliittymää ja käyttämään sitä esimerkiksi napsauttamalla, kirjoittamalla, vierittämällä, vetämällä ja käyttämällä pikanäppäimiä. Sen sijaan, että jokaiselle sovellukselle tarvittaisiin oma API, agentit käyttävät monia samoja visuaalisia käyttöliittymiä kuin ihmisetkin.

Tämän ansiosta agentit voivat käyttää monenlaisia vanhoja ohjelmistoja, verkkosivustoja ja työpöytäsovelluksia. Samalla siihen liittyy uudenlaisia riskejä. Pieni väärinkäsitys käyttöliittymässä voi ohjata pitkän tehtävän väärille raiteille, ja käyttöliittymän kautta agentti voi päästä käsiksi kaikkeen, mitä sisäänkirjautunut käyttäjä voi nähdä tai muuttaa.

Miksi tietokoneen käyttö on tärkeää

Suuri osa maailman tärkeistä ohjelmistoista on suunniteltu ihmisille, ei agenteille. Sovelluksella ei ehkä ole julkista API:a, sen toiminnoista vain osa voi olla ohjelmallisesti käytettävissä tai työ voi edellyttää useiden käyttöliittymien käyttöä.

Perinteisellä robottiprosessiautomaatiolla voidaan käyttää käyttöliittymiä, mutta se perustuu yleensä ennalta määritettyihin valitsimiin ja työnkulkuihin. Tietokonetta käyttävä agentti lisää kokonaisuuteen mallin, joka pystyy tulkitsemaan ennestään tuntemattomia näyttöjä, päättelemään tarvittavan seuraavan vaiheen ja mukautumaan käyttöliittymän muutoksiin tai odottamatta avautuvaan valintaikkunaan.

Näin tietokoneen käytöstä tulee yleiskäyttöinen työkalu. Sama havainnoinnin ja toiminnan sykli voi mahdollistaa esimerkiksi taulukkolaskentaohjelman, asiakkuudenhallintajärjestelmän, suunnittelusovelluksen, selaimen tai sisäisen portaalin käytön.

Näin tietokonetta käyttävä agentti toimii

Kohdistaminen on vaikea välivaihe. Agentin on yhdistettävä käsitteellinen ohje, kuten ”avaa uusin lasku”, tiettyyn näytöllä näkyvään riviin tai ohjaimeen. Tekstimuotoiset tunnisteet ja saavutettavuustiedot voivat auttaa, mutta dynaamiset asettelut, piirtoalustaan perustuvat käyttöliittymät, päällekkäiset elementit ja monitulkintaiset kuvakkeet voivat pakottaa mallin päättelemään kohteen pikselien perusteella.

Perussykli muistuttaa sitä, miten ihminen käyttää ohjelmistoja.

1. Havainnointi: ota näyttökuva ja kerää saavutettavuuspuu, asiakirjan rakenne, kohdistimen sijainti sekä muita ympäristön tilaa koskevia tietoja.
2. Tulkinta: tunnista näkyvät ohjaimet, sisältö ja varoitukset sekä nykyisen näytön ja tehtävän välinen yhteys.
3. Toiminnon valinta: päätä, napsautetaanko, kirjoitetaanko, vieritetäänkö, painetaanko näppäintä, odotetaanko vai pyydetäänkö apua.
4. Suoritus: suoritusympäristö toteuttaa toiminnon käyttöjärjestelmän, selaimen tai virtuaalikoneen käyttöliittymän kautta.
5. Varmistus: ota muuttuneesta näytöstä kuva ja selvitä, tuottiko toiminto toivotun tuloksen.
6. Jatkaminen tai pysähtyminen: etene kohti tavoitetta, korjaa virhe tai pysähdy suojatulle rajalle.

OpenAI kuvailee tietokonetta käyttävän agentin kykynä yhdistää visuaalinen havainnointi, päättely sekä hiiren ja näppäimistön käyttö. Olennaista ei ole yksittäisen napsautuksen ennustaminen, vaan havainnoinnin, toiminnan ja uudelleen havaitun tilan muodostama suljettu kehä.

Mitä agentti voi ”nähdä”

Tietokoneen käyttöön tarkoitetut järjestelmät voivat vastaanottaa käyttöliittymästä erilaisia esitysmuotoja.

Näyttökuvat tarjoavat yleiskuvan pikselitasolla ja toimivat silloinkin, kun käyttöliittymästä ei ole saatavilla rakenteisia metatietoja. Niihin voi tallentua kaavioita, kuvia, piirtoalustasovelluksia ja visuaalisia asetteluja. Pieniä kohteita, piilotettua tilaa ja monitulkintaisia kuvakkeita voi kuitenkin olla vaikea tulkita.

Saavutettavuuspuut tai asiakirjan rakenteet esittävät ohjaimet ja tekstin rakenteisemmassa muodossa. Ne voivat auttaa valitsemaan elementtejä tarkemmin, mutta niistä saattaa puuttua visuaalisia tietoja tai niiden toiminta voi vaihdella sovelluksesta toiseen.

Hybridijärjestelmät yhdistävät pikselit, rakenteiset elementit ja sovelluksen tilan sekä toisinaan suorat API-rajapinnat. Tämä toimii usein paremmin kuin kaikkien ongelmien käsitteleminen puhtaana visuaalisena jäljittelynä.

Tietokoneen käyttö ja selaimen automatisointi

Perinteisessä selaimen automatisoinnissa käytetään koodia ja vakaita valitsimia ennalta tunnetun toimintasarjan suorittamiseen. Se on nopeaa ja ennakoitavaa, kun sivun rakennetta voidaan hallita. Tietokonetta käyttävä agentti tulkitsee käyttöliittymää dynaamisesti ja pystyy päättämään, mitä toimintasarjaa se käyttää.

Nämä lähestymistavat täydentävät toisiaan. Vankassa järjestelmässä agentti voi päättää, mitä on tehtävä, ja suorittaa sen jälkeen tunnetut toiminnot deterministisen automaation tai API-rajapintojen avulla. Pikselitason vuorovaikutuksesta on eniten hyötyä silloin, kun rakenteista käyttöliittymää ei ole saatavilla tai toimintapolkua ei voida määrittää etukäteen.

Tietokoneen käyttö vs. API-rajapinnat ja työkalukutsut

Tämä yhdistelmälähestymistapa vähentää sekä virheitä että kustannuksia. Agentti voi hakea tietoja API:n kautta, avata työpöytäsovelluksen vain vanhan lomakkeen täyttämistä varten ja tarkistaa sitten lopullisen tietueen toisella jäsennellyllä kyselyllä. Kun visuaalista ohjausta käsitellään yhtenä työkaluna muiden joukossa, jokaista vaihetta ei tarvitse pakottaa vähiten luotettavan käyttöliittymän kautta.

API tarjoaa koneille suunnatun käyttöliittymän, jossa toiminnot ja tietotyypit on määritelty täsmällisesti. Se on yleensä nopeampi, tarkempi ja helpommin validoitavissa kuin näytöllä napsauttelu. Tietokoneen käyttö on yhteensopivampaa, mutta siihen liittyy enemmän monitulkintaisuutta.

Agentti voi esimerkiksi hakea varastotiedot API:n kautta mutta käyttää toimittajan verkkoportaalia käsitelläkseen poikkeustilanteen, jota API ei tue. Työkalukutsujen avulla mallille voidaan tarjota molemmat toimintamahdollisuudet, ja suoritusaikainen järjestelmä voi valita luotettavimman reitin.

Yleisiä käyttötapauksia

• Taustatoiminnot: tietojen siirtäminen portaalien välillä, rutiinilomakkeiden käsittely ja tietueiden valmistelu hyväksyttäväksi.
• Tutkimus: verkkosivustojen selaaminen, tulosten suodattaminen, näytön kerääminen ja työasiakirjan päivittäminen.
• Ohjelmistotestaus: käyttäjäpolkujen läpikäynti, virheiden kirjaaminen ja visuaalisten muutosten tarkistaminen.
• IT-tuki: asetusten tarkistaminen, diagnostiikkatietojen kerääminen sekä hyväksyttyjen korjausten opastaminen tai suorittaminen.
• Henkilökohtainen tuottavuus: tiedostojen, verkkosovellusten, kalenterien ja asiakirjojen yhteensovittaminen.
• Esteettömyys: käyttäjien auttaminen sellaisten käyttöliittymien käytössä, joita on muuten vaikea navigoida, tiukkojen tietosuojakäytäntöjen mukaisesti.

Miksi tietokoneen käyttötehtävät ovat yhä vaikeita

Käyttöliittymissä on dynaamisia valikoita, viiveellä latautuvia sisältöjä, ponnahdusikkunoita, vieritettäviä alueita ja pieniä kohteita sekä tiloja, jotka näyttävät samankaltaisilta mutta johtavat erilaisiin seurauksiin. Tehtävä voi edellyttää kymmenien vaiheiden suorittamista oikein, joten jo melko pieni virhetodennäköisyys yksittäisessä vaiheessa kasautuu.

Esimerkiksi OSWorld-testit arvioivat agentteja todellisissa tietokoneympäristöissä yksittäisten napsautusten sijaan. OSWorld 2.0 laajentaa tätä ajatusta pidempiin työnkulkuihin, joissa tila muuttuu ja vaihtelua on enemmän. Stanfordin vuoden 2026 AI Index -raportin teknistä suorituskykyä käsittelevä luku kertoo nopeasta kehityksestä mutta osoittaa samalla, että suorituskyvyssä on yhä eroa ihmisten tasoon verrattuna OSWorldissä. Tämä korostaa, etteivät vaikuttavat demot tarkoita yleistä luotettavuutta.

Tavallisimmat virhetilanteet

• Visuaalisen kohdistuksen virheet: napsautetaan lähellä olevaa tai samannäköistä ohjainta.
• Tilan sekoittuminen: oletetaan sivun latautuneen, tallennuksen onnistuneen tai aktiivisen ikkunan vaihtuneen, vaikka näin ei ole tapahtunut.
• Poikkeaminen tavoitteesta pitkissä tehtävissä: tehtävän tavoite unohtuu monien pienten toimintojen jälkeen.
• Piilevät sivuvaikutukset: lähetetään lomake tai tehdään ostos, vaikka agentin oli tarkoitus vain esikatsella sitä.
• Kehoteruiskutus: noudatetaan verkkosivulle, asiakirjaan tai viestiin upotettuja haitallisia ohjeita.
• Tunnistetietojen paljastuminen: paljastetaan kirjautuneessa istunnossa saatavilla olevia tietoja tai käytetään niitä väärin.
• Peruuttamattomat virheet: poistetaan, julkaistaan, lähetetään tai ostetaan ilman riittävää tarkistusta.

Tietoturvan ja hallinnan periaatteet

Käyttöliittymän sisältöön ei voi luottaa. Verkkosivu, sähköposti tai asiakirja voi sisältää agenttia harhauttamaan tarkoitettuja ohjeita, ja haitallinen valintaikkuna voi jäljitellä tuttua vahvistuskehotetta. Järjestelmän tulee pitää sivun sisältö erillään toimintaperiaatteista, rajoittaa kohteita ja tunnistetietoja sekä pysähtyä, jos näyttöön tulee odottamaton käyttöoikeuspyyntö tai merkittäviä seurauksia aiheuttava vahvistuskehotus.

Tietokoneen käyttö tulee toteuttaa mahdollisimman rajatussa ympäristössä, jossa tehtävä voidaan silti suorittaa. Erillinen selainprofiili, virtuaalikone tai hiekkalaatikko rajoittaa pääsyä asiaan kuulumattomiin tileihin ja tiedostoihin. Istunnoissa tulee käyttää tehtäväkohtaisia tunnistetietoja ja vähimmän oikeuden periaatteen mukaisia käyttöoikeuksia sen sijaan, että niissä hyödynnettäisiin käyttäjän kaikkia työpöytäympäristön käyttöoikeuksia.

Merkittäviä seurauksia aiheuttaville toimille tarvitaan selkeä vahvistusraja. Järjestelmän tulee pysähtyä juuri ennen lähettämistä, viestin lähettämistä, ostamista, poistamista, julkaisemista tai arkaluonteisten asetusten muuttamista ja näyttää käyttäjälle täsmällisesti, mihin toiminto kohdistuu ja mitä siitä seuraa.

Agenttien tulee myös käsitellä näytön sisältöä epäluotettavana tietona. Verkkosivulta löytyvät ohjeet eivät saa syrjäyttää järjestelmän toimintaperiaatteita tai käyttäjän tehtävää. Lataukset, kopioidut komennot ja ulkoinen viestintä on tarkistettava erikseen.

Näin arvioit tietokonetta käyttävää agenttia

Tehtävän onnistunut suorittaminen on välttämätöntä, mutta ei riitä. Tiimien tulee mitata vaiheiden tarkkuutta, palautumista odottamattomista tilanteista, tarpeettomia toimia, ajankäyttöä, kustannuksia, arkaluonteisten tietojen paljastumista, hyväksyntävaatimusten noudattamista ja tulosten yhdenmukaisuutta toistetuissa suorituksissa.

Arviointiympäristöissä tulee vaihdella näytön tarkkuutta, asettelua, tietoja, ajoitusta ja sovelluksen tilaa. Muuten agentti voi mukautua liikaa ennalta käsikirjoitettuun vertailutestiin mutta epäonnistua tavallisissa ohjelmistoissa esiintyvän vaihtelun vuoksi.

Näin luet tietokoneen käyttöä kuvaavia kaavioita

Lue tietokoneen käyttöä kuvaavia kaavioita numeroidusta syötteestä kohti havaittavaa lopputulosta. Vertailu tuo esiin rajan, joka erottaa tietokoneen käytön sitä lähimmästä oikotiestä, ja ohjauspolku osoittaa, missä toimivalta tai epävarmuus on tarkistettava ennen todellisia seurauksia. Merkinnät ovat tavallista mukautuvaa verkkosivutekstiä, joten niitä voidaan kääntää, rivittää ja asetella uudelleen puhelimen näytöllä.

Artikkelissa ”Mitä ovat tietokonetta käyttävät agentit? Miten tekoäly näkee, napsauttaa, kirjoittaa ja navigoi ohjelmistoissa” kuva toimii karttana, ei takeena. Todellisessa toteutuksessa vaiheita voidaan yhdistää tai toistaa, tai mukaan voidaan lisätä ihmisen hyväksyntää edellyttävä vaihe. Olennaista on, pystyykö tiimi tunnistamaan samat toiminnot käyttöön otetussa järjestelmässä, nimeämään kullekin rajalle vastuuhenkilön ja testaamaan siirtymät niiden välillä. Jos jotakin vaihetta ei voida havainnoida tai mitata, siinä ilmeneviä virheitä on vaikea diagnosoida.

Mitä tietokonetta käyttävistä agenteista kannattaa muistaa

Tietokonetta käyttävät agentit mahdollistavat ohjelmistojen ihmiskäyttöliittymän hyödyntämisen yleiskäyttöisenä työkaluna. Ne voivat käyttää järjestelmiä, joissa ei ole sopivia ohjelmointirajapintoja, ja mukautua tehtäviin, joiden kaikkia vaiheita kiinteä automaatio ei pysty helposti ennakoimaan.

Tähän yleiskäyttöisyyteen liittyy epäselvyyksiä ja mahdollisesti laajoja vaikutuksia. Parhaissa ratkaisuissa suositaan rakenteisia ohjelmointirajapintoja aina, kun niitä on saatavilla, tietokoneympäristö pidetään erillään, jokainen tilanmuutos tarkistetaan ja ihmiset säilyttävät päätäntävallan merkittäviä seurauksia aiheuttavissa toimissa.