Miksi tekoälyn on vaikea jatkaa puolivalmista tehtävää

Vaikka tekoälyagentit pystyvät ratkaisemaan monimutkaisia tehtäviä, uusi tutkimus viittaa siihen, että niiden on vaikea jatkaa toisen aloittamaa työtä. Seurauksena on päällekkäistä työtä, hitaampaa edistymistä ja suurempia kustannuksia.

Tekoälyagenttien ja käyttöliittymien kanssa työskenneltäessä yksi uuvuttavimmista mutta välttämättömistä tehtävistä on tekoälyn perehdyttäminen tilanteeseen lähes jokaisen keskustelun alussa. ^[1]

Vaikka suositut kielimallit, kuten ChatGPT, tarjoavat jonkin verran mahdollisuuksia käyttää pysyviä, käyttäjäkohtaisia muistoja, toteutus toimii yleensä vaihtelevasti. Lopulta on tavallisesti turvallisempaa nähdä vaivaa tehtävän taustan selittämiseksi* tekoälylle, jotta se ei ainakaan arvaa väärää kontekstia koulutuksessa muodostuneesta latenttiavaruudesta.

Toisen kesken jättämän työn jatkaminen

Haaste on tietenkin tekoälyä vanhempi. Monet yritykset edellyttävät jo, että työntekijät dokumentoivat kehittämänsä tai parantamansa prosessit. Tällä helpotetaan osaltaan uusien työntekijöiden perehdytystä, mutta tarkoituksena voi myös olla työntekijöiden neuvotteluaseman vahvistumisen estäminen.

Käytännössä yleensä vain suuremmat ja paremmin rahoitetut organisaatiot pitävät kiinni dokumentaation laatimisesta, päivittämisestä ja ylläpidosta. Hyvin usein toisten työtä jatkava työntekijä saa sen sijaan eräänlaisen salapoliisitehtävän: hänen on selvitettävä huolellisesti tapahtumaketju, joka johti hänelle nyt annettuun kesken jääneeseen työhön.

Moitteeton dokumentaatio säästäisi tietenkin päiviä, viikkoja tai jopa kuukausia työtä, jos sen laatiminen vain olisi taloudellisesti järkevää. ^[1]

Kun työn suorittajina ovat tekoälyagentit, ongelman ratkaisemiseen saattaa kuitenkin olla enemmän mahdollisuuksia.

Työn siirtäminen seuraajalle

Yhdysvalloissa laadittu uusi tutkimus mittaa tämän dokumentaation puuttumisesta aiheutuvan taakan ja kutsuu ongelmaa siirtovelaksi.

Jos tekninen velka tarkoittaa tilannetta, jossa tämän päivän nopeat, hätäiset ja halvat tekniset ratkaisut johtavat myöhemmin hauraisiin tai vaikeasti ylläpidettäviin toteutuksiin, siirtovelka tarkoittaa uudelleenselvittämisen kustannuksia: työntekijän tai muun toimijan työvaiheiden jäljittämistä silloin, kun tämä ei ole tavoitettavissa neuvomaan esimerkiksi riitaisan irtisanomisen, kiireen tai kuoleman vuoksi tai ei muuten pysty neuvomaan. Jälkimmäisestä esimerkki on kielimalli, joka on jo kauan sitten menettänyt työn nykytilaan johtaneen kontekstin.

Uusi raportti^† on riippumattomien ja Georgia State Universityyn kuuluvien tutkijoiden yhteistyötä. Se käsittelee siirtovelkaa sellaisten koodausagenttien yhteydessä, joiden tehtävänä on jatkaa koodipohjan työstämistä siitä, mihin toinen istunto, henkilö tai muu toimija jäi.

Yksi tutkimuksen tavoitteista on selvittää, kuinka paljon dokumentaatiota siirtovelan vähentäminen edellyttää ja millaisia menettelyjä ja käytäntöjä voitaisiin tulevaisuudessa suositella vakiokäytännöiksi ongelman minimoimiseksi.

Taloudelliset huolenaiheet

Ihannetilanteessa voisi asettaa lokituksen tilaan verbose ja antaa tehtävää jatkavalle uudelle agentille keskeneräiseen työhön liittyvät lokit.

Näin suuren tietomäärän jäsentäminen hyödylliseksi tiedoksi vie kuitenkin aikaa ja kuluttaa tokenibudjettia sekä tuo esiin tallennustilan rajoitukset.

Tämä on budjettiongelma: raakojen tietovedosten käsittely on raskasta, kun taas valikoidut lokit ovat selkeämpiä mutta vaativat resurssien varaamista etukäteen.

Huolelliset, juuri tätä tarkoitusta varten laaditut muistiinpanot perehdyttäisivät työn jatkajan tehokkaasti. Ne vaatisivat kuitenkin vielä enemmän vaivannäköä, joka saattaisi osoittautua tarpeettomaksi, jos työn logiikka olisi lopulta itsestään selvä, työ hylättäisiin tai sitä ei enää koskaan muokattaisi.

Tutkimuksen Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks kirjoittajat tarkastelivat kaikkia näitä tilanteita ja sovelsivat olemassa olevia tehtävämalleja uusiin tapoihin mitata ja vähentää siirtovelkaa. Vaikka tutkimus koskee nimenomaan koodausagentteja, se voi viitoittaa hyödyllisiä suuntia myös laajempaan tekoälyn käyttöön ja dokumentointikäytäntöjen järjestämiseen.

Kirjoittajat toteavat:

”Siirtovelkaa syntyy, kun agentti edistyy näkyvästi mutta jättää jälkeensä tilan, josta seuraajan on vaikea jatkaa. Tällaisia ovat esimerkiksi selittämättömät muokkaukset, tilapäiset työtiedostot, piilevät oletukset tai puuttuva näyttö validoinnista.

”Pelkkään lopulliseen ratkaisuun perustuva mittari ei pysty erottamaan kallista uudelleenselvittämistä tehokkaasta jatkamisesta.

”Kaksi edeltävää agenttia voi jättää jälkeensä saman tarkistuspisteeseen tallennetun koodivaraston, mutta niiden seuraajille jatkamisen kustannukset voivat olla hyvin erilaiset. Toinen voi jatkaa heti, kun taas toinen joutuu tekemään lukuisia työkalukutsuja selvittääkseen aiemman tarkoituksen tilapäisistä työtiedostoista ja puutteellisesta komentohistoriasta.”

Menetelmä

Kirjoittajat määrittelevät edeltäjän aiemmaksi agentiksi, joka aloitti työn tai teki sitä viimeksi, ja seuraajan nykyiseksi agentiksi, jonka tehtävänä on jatkaa työtä.

Keskeneräisten ohjelmistokehitystehtävien siirtämisen kustannuksia mittaavaa vertailua varten 75 tehtävää SWE-bench Verified -aineistosta muunnettiin 181 työnsiirtotilanteeksi. Jokainen niistä edusti kohtaa, jossa työ keskeytettiin ja siirrettiin seuraaja-agentille. Kolmea eri seuraajamallia testattiin yhteensä 2 172 jatkamisyrityksessä.

Työnsiirtotesteissä käytettiin eri yhdistelminä seuraavia malliperheitä: Qwen, Gemma ja Devstral.

Kokeissa tutkittiin neljää perityn tiedon tasoa. Rajoittavimmassa asetelmassa seuraaja sai vain koodivaraston tilan — kuin astuisi dokumentoimattomalle katastrofialueelle. Muut asetelmat tarjosivat asteittain enemmän kontekstia toimintajäljistä ja komentohistoriasta tiiviisiin yhteenvetoihin siitä, mitä oli jo yritetty ja opittu.

Tutkimuksessa ei tarkasteltu pelkästään tehtävän ratkeamista, vaan itse jatkamisen kustannuksia: työkalujen käyttöä, tokenien kulutusta ja aiemman työn perustelujen uudelleenselvittämiseen tarvittavaa vaivaa.

Kolme työnsiirtokohdan tunnistamisen määritelmää ja kolme työnsiirtotilaa määriteltiin kokeisiin:

Data ja testit

Realististen työnsiirtotilanteiden luomiseksi tutkijat rakensivat vertailuaineiston 75 SWE-bench Verified -ohjelmistokehitystehtävästä. Painopiste oli ongelmissa, joiden ratkaiseminen vie yleensä 15 minuutista neljään tuntiin.

Tutkijat eivät arvioineet ainoastaan valmiita tehtäviä, vaan he tallensivat useita välitarkistuspisteitä työn aikana, luoden tilanteita, joissa toinen tekoälyagentti joutui jatkamaan toisen työtä:

Tehtävän jatkamisen vertailuaineiston rakenne: 75 SWE-bench Verified -tehtävästä muodostettiin 181 luovutuskohtaa työn kolmessa vaiheessa. Ne luokiteltiin luovutushetken koodivaraston tilan mukaan ja arvioitiin neljällä tiedonjakotavalla. Tuloksena oli yhteensä 2 172 seuraaja-agentin jatkosuoritusta. Lähde

Koska yhdestä tehtävästä saattoi syntyä useita työnsiirtokohtia ja jokainen siirto testattiin neljällä tiedonsiirtotavalla, vertailuaineisto laajeni nopeasti. Lopulliseen aineistoon kuului 181 erillistä työnsiirtotehtävää ja 724 jatkamisarviointia kutakin seuraajamallia kohti. Kolmella testatulla tekoälyjärjestelmällä tehtiin näin yhteensä 2 172 jatkosuoritusta.

OpenHands-tyylistä koodausagenttiympäristöä käytettiin testeissä. Siihen kuuluivat terminaalitoiminnot, koodivaraston jäädyttäminen työnsiirtokohdissa, tiedostojen muokkaaminen ja SWE-bench-vertailun virallinen validointi.

Päätutkimuksessa kaikki työnsiirtokohdat olivat peräisin Qwen-pohjaisten edeltäjien suorituksista. Näin saatiin kiinteä lähtökohta eri agenttiyhdistelmien ja tilanteiden välisten erojen arviointiin.

Testatut yhdistelmät olivat Qwen-Qwen; Qwen-Gemma; ja Qwen-Devstral.

Täydellinen tapahtumaloki vähensi seuraajan vaivannäköä eniten: agenttitapahtumat vähenivät 57–59 prosenttia, kun taas yhteenvetomuistiinpanot ja jäsennellyt muistiinpanot vähensivät tapahtumia 20–46 prosenttia. Myös kehotetokenien kulutus väheni kaikilla kolmella lähestymistavalla, 42–63 prosenttia:

Kun työnsiirrossa annettiin vain koodivarasto, seuraaja-agenttien piti käyttää ylimääräisiä vuorovaikutuksia edeltäjän tarkoituksen, aiemman näytön ja epäonnistuneiden lähestymistapojen selvittämiseen. Täydellinen tapahtumaloki, yhteenvetomuistiinpanot ja jäsennellyt muistiinpanot välittivät osan näistä tiedoista suoraan. Ne vähensivät uudelleenselvittämisen tarvetta, mutta edellyttivät suurempia aloituskehotteita.

Hyötyjen varmistamiseksi jokainen runsaammin kontekstia sisältävä työnsiirto paritettiin samasta kohdasta alkavaan siirtoon, jossa annettiin vain koodivarasto. Kaikissa mallipareissa runsaampi siirtotieto vähensi johdonmukaisesti seuraaja-agentin työmäärää.

Täydelliset tapahtumajäljet tuottivat suurimmat vähennykset, mutta myös yhteenvedot ja strukturoidut muistiinpanot toivat huomattavia säästöjä. Vaikutus näkyi koko vertailuaineistossa eikä johtunut muutamasta poikkeavasta tapauksesta:

Varmistaakseen, ettei vaikutus johtunut muutamasta poikkeustapauksesta, tutkijat vertasivat jokaista työnsiirtoa samasta kohdasta alkavaan vastaavaan pelkän koodivaraston siirtoon. Vähennykset olivat johdonmukaisia kaikissa mallipareissa. Hyödyt kuvastavat siten laajempaa ilmiötä eivätkä vain yksittäisiä poikkeuksia.

Mitä tästä seuraa?

Lyhyesti^†, kirjoittajat havaitsivat, että kun tekoäly siirtää tehtävän toiselle, jo yksinkertaiset muistiinpanot auttavat jälkimmäistä jatkamaan tehokkaammin.

Täydelliset tapahtumalokit toimivat parhaiten, mutta mikä tahansa siirtotieto on parempi kuin kaiken uudelleenselvittäminen pelkän koodin perusteella. Yllä olevat tulokset myös havainnollistavat, että täydellisiin raakalokeihin perustuva lähestymistapa kuluttaa väistämättä enemmän tokeneita.

Johtopäätös

Vaikka tutkimus on suunnattu nimenomaan muille tutkijoille eikä juuri houkuttele satunnaista lukijaa, se käsittelee silti yhtä ihmisen ja tekoälyn nykyisten käyttöliittymien ja vuorovaikutuskäytäntöjen kiinnostavimmista ja kiireellisimmistä ongelmista.

Toivoa sopii, että tällaisessa tutkimuksessa kehitetyt toimintamallit ja saadut oivallukset ulottuvat aikanaan laajempaan tekoälyn käyttöön kuin vain agenttien suorittamaan koodaukseen.

Tulevissa hankkeissa voitaisiin myös tutkia, kuinka tietyn projektin ominaisuuksien ja käyttötarkoituksen perusteella arvioidaan dokumentaation vähimmäistarve. Tämäkin ajan ja rahan käytön järkeistämistä helpottava toiminto kuitenkin maksaa aikaa ja rahaa. Dokumentointiin liittyvää budjettipulmaa on siksi edelleen vaikea välttää.

* Omissa ChatGPT-istunnoissani, jotka alkavat hidastella ja kuormittua liiallisesta kontekstista, olen viime aikoina vienyt keskustelun selkeäksi PDF-tiedostoksi — vaivannäköä sekin vaatii — ja käyttänyt sitä uuden, ”osa 2” -istunnon lähtökohtana.

^† Valitettavasti tämä ei kuulu tänä vuonna lukemieni tutkimusten helppolukuisimpiin. Siksi en voi suositella alkuperäistutkimusta lukijalle, vaikka sen tiivistetyt tulokset ovatkin kiinnostavia.

Julkaistu ensimmäisen kerran keskiviikkona, 3. kesäkuuta 2026