Miksi tekoäly ei pysty jatkamaan puolivalmista tehtävää

Vaikka tekoälyjärjestelmät voivat ratkaista monimutkaisia tehtäviä, uusi tutkimus osoittaa, että ne kamppailevat edellisen työn jatkamisessa, mikä johtaa työn moninkertaistumiseen, hitaampiin edistymiseen ja suurempiin kustannuksiin.

Yksi uupuvimmista ja välttämättömimmistä tehtävistä tekoälyjärjestelmien ja -liittymien kanssa on, että tekoälyä on “päivitettävä” alusta alkaen, lähes jokaisessa tapauksessa.

Koska suosittujen kielimallien, kuten ChatGPT, tarjoavat jonkinlaista “pysyvää” muistia, toteutus on yleensä epävakaa; lopulta on turvallisempaa hyväksyä tehtävän kontekstualisointi* tekoälylle – ainakin, estääkseen sen “arvaamasta” väärää kontekstia koulutetusta latenttiavaruudesta.

Puolivalmista tehtävää

Haaste on edeltänyt tekoälyä; monet yritykset vaativat jo henkilöstöltään ylläpitämään asiakirjoja prosesseista, joita he kehittävät tai jalostavat (osittain sileämmän rekrytoinnin vuoksi, mutta myös estääkseen työntekijöiden saamasta etua).

Käytännössä suuret ja paremmin rahoitetut organisaatiot sitoutuvat yleensä sitoutumaan asiakirjojen luomiseen, päivittämiseen ja ylläpitämiseen. Usein työntekijöille, jotka joutuvat jatkamaan toisten työtä, annetaan “etsivän” tyylinen tehtävä, joka vaatii heidän oleskelemaan aikaa “purkamassa” aikajanaa, joka johti hylättyyn työhön, jonka heidän on nyt annettu.

On tarpeen sanoa, että täydellinen asiakirja säästäisi päiviä, viikkoja tai jopa kuukausia työtä – jos se olisi taloudellisesti järkevä ehdotus.

Kuitenkin, kun tekoälyagentit ovat kyseessä, on mahdollista, että ongelmaa voidaan ratkaista.

Luovuta se

Tämä “asiakirjaamattomuuden” taakka on määritelty uudessa tutkimusraportissa Yhdysvalloista, joka kutsuu ongelmaa luovutusvelaksi.

Jos tekninen velka on oireyhtymä, jossa nopeat ja halvat tekniset ratkaisut johtavat hauraisiin tai hankaliin ratkaisuihin tulevaisuudessa, luovutusvelka määrittelee uudelleenlöytämisen kustannuksen – edellisen työntekijän tai yksikön askelten jäljittämisen.

Uusi raportti^† – yhteistyö itsenäisten ja Georgian osavaltion yliopiston tutkijoiden välillä – käsittelee luovutusvelkaa, joka liittyy koodausagenteihin, jotka joutuvat jatkamaan siitä, mihin toinen istunto, henkilö tai yksikkö on jäänyt koodipohjassa.

Yksi työn tavoitteista on määritellä, kuinka paljon asiakirjoja tarvitaan luovutusvelan vähentämiseksi, ja mitkä menetelmät ja protokollat voidaan suositella vakiintuneiksi tulevaisuuden käytännöiksi vähentämään ongelmaa.

Taloudelliset huolenaiheet

Ideaaliolosuhteissa voisi asettaa lokin verbose ja antaa uudelle agentille liittyvät lokit epätäydellisestä tehtävästä.

Tämä on kuitenkin taloudellinen ongelma, koska raakalokien käyttäminen on aikaa vievää, ja niiden käyttäminen vie myös tallennustilaa.

Oikeat, omistautuneet muistiinpanot olisivat erittäin tehokkaita saadakseen “jatkaja”-agentin nopeasti käyntiin, mutta se vaatisi myös suurempaa sitoutumista – sitoutumista, joka ei välttämättä ole tarpeen, jos työn logiikka osoittautuu itsestään selväksi tai jos työ hylätään tai ei koskaan muuteta uudelleen.

Raportin kirjoittajat ovat tarkastelleet kaikkia näitä skenaarioita ja soveltaneet olemassa olevia tehtävämalleja uusien tavoitteiden määrittelyyn ja luovutusvelan ratkaisemiseen. Vaikka työ keskittyy nimenomaan koodausagenteihin, se voi kuitenkin osoittaa hyödyllisiä keinoja laajemmissa tekoälykonteksteissa ja asiakirjapolitiikassa.

Kirjoittajat toteavat:

‘Luovutusvelka syntyy, kun agentti tekee näkyvän edistymisen, mutta jättää tilan, josta seuraaja ei voi jatkaa helposti, kuten selittämättömiä muutoksia, scratch-tiedostoja, piileviä oletuksia tai puuttuvia validointitodisteita.

‘Mitattava perusteena lopulliseen ratkaisuun ei voi erottaa kalliita uudelleenlöytämisiä ja tehokkaita jatkamisia.

‘Kaksi edeltävää agenttia voi jättää saman varastointipisteen, mutta heidän seuraajansa voivat kohdata erilaisia jatkamiskustannuksia: toinen voi jatkaa välittömästi, kun taas toinen joutuu viettämään monia työkaluvaiheita uudelleenlöytämään alkuperäisen työn taustan ja kontekstin.

Menetelmä

Kirjoittajat määrittelevät edeltävän agentin alkuperäiseksi agentiksi (joka aloitti tai viimeksi teki työtä) ja seuraajan agentiksi (joka jatkaa työtä).

Tutkimuksessa kehitettiin mittari, jolla mitataan tehtävien siirtämisen kustannusta eri agenteille, ja 75 tehtävää SWE-bench Verified -tietokannasta muunnettiin 181 luovutus -skenaarioksi, joista jokainen edusti pistettä, jossa työ oli keskeytynyt ja siirretty seuraavalle agentille. Kolmea eri seuraajamallia testattiin 2 172 kertaa.

Mallejen perheisiin, jotka käytettiin ja yhdistettiin näissä luovutustesteissä, kuuluivat Qwen, Gemma ja Devstral.

Kokeet tutkivat neljää eri periytymistilaa: rajoittavimmassa asetelmassa seuraaja sai vain varastointipisteen ja tehtävakuvaus, ilman mitään tietoa aiemmista toimista, päätöksistä tai epäonnistumisista.

Tutkimus ei keskittynyt ainoastaan siihen, onnistuiko tehtävä, vaan sen sijaan sen kustannukseen itsessään, kiinnittäen huomiota työkalujen käyttöön, tokenien kulutukseen ja vaadittavaan vaivannäköön edellisen työn taustan ja kontekstin jäljittämiseksi.

Kolme luovutuspisteen havainnointi -määritelmää ja kolme luovutustilaa määriteltiin kokeisiin:

Data ja testit

Luoja realistisia luovutusskenaarioita varten, tutkijat rakensivat benchmarkin 75 ohjelmistosuunnittelutehtävän avulla SWE-Bench Verified -tietokannasta, keskittyen ongelmiiin, jotka yleensä vaativat 15 minuuttia ja 4 tuntia ratkaisemaan.

Tutkijat eivät arvioineet ainoastaan valmiita tehtäviä, vaan he tallensivat useita välikohdauksia työn aikana, luoden tilanteita, joissa toinen tekoälyagentti joutui jatkamaan toisen työtä:

<img class="wp-image-426039" src="https://www.unite.ai/wp-content/uploads/2026/06/table-1-1.jpg" alt="Vaihtoehtoisen benchmarkin rakentaminen. Seitsemänkymmentäviisi SWE-bench Verified -tehtävää laajennettiin 181 luovutuspisteeseen, jaetaan kolmeen työvaiheeseen, merkitty luovutusaikana varastointitilan mukaan, ja arvioitiin neljän tiedonjakotilan alaisena, tuottaen 2 172 yhteensä seuraajan agentin yliotetta.

koska jokainen tehtävä voi tuottaa useita luovutuspisteitä, ja jokainen luovutus testattiin neljän eri tiedonsiirtotavan kautta, benchmark laajeni nopeasti, ja lopullinen tietokanta koostui 181 erillisestä luovutustehtävästä ja 724 seuraajan arviointitilanteesta kullekin seuraajamallille, tuottaen 2 172 yhteensä seuraajan agentin yliotetta kolmen testatun tekoälyjärjestelmän yli.

Avoin käsi -tyyppinen koodausympäristö käytettiin testeissä, jossa oli mukana terminaali-toiminnot, varastoinnin jäädytys luovutuspisteissä, tiedostojen muokkaus ja virallinen validointi SWE-Bench -benchmarkista.

Pääasiallisessa tutkimuksessa kaikki luovutuspisteet olivat peräisin Qwen-pohjaisista edeltävistä suorituksista, jotta voitiin arvioida eroa eri agenttiyhdistelmien ja erilaisten skenaarioiden välillä.

Testatut yhdistelmät olivat Qwen-Qwen; Qwen-Gemma; ja Qwen-Devstral.

Raakajälki tuotti suurimmat vähennykset seuraajan vaivannäöstä, vähentäen agenttitoimia 57-59 prosentilla, kun taas yhteenveto ja strukturoidut muistiinpanot vähensivät tapahtumia 20-46 prosentilla. Myös ohjelmointisanomien käyttö väheni kaikissa kolmessa lähestymistavassa, vähentäen 42-63 prosentilla:

Luovutuspisteissä, joissa seuraajat saivat vain varastointipisteen, heidän oli kulutettava lisää vuorovaikutuksia edeltävän agentin aikomusten, aiempien todisteiden ja epäonnistuneiden lähestymistapojen jäljittämiseksi. Raakajälki, yhteenveto ja strukturoidut muistiinpanot siirsivät osan tätä tietoa suoraan, vähentäen tarvetta uudelleenlöytämiseen, vaikka kustannuksella suuremmista alkuperäisistä ohjelmoinneista:

Jotta voitiin testata, olivatko edut aitoja, kunkin rikkaamman luovutuksen kohdistettiin vastaavaan varastointipisteeseen alkavalle luovutukselle. Kaikissa mallipareissa rikkaammat luovutukset vähensivät johdonmukaisesti työtä, jota seuraajat joutuvat tekemään:

Vähennykset säilyivät johdonmukaisina kaikkien malliparien yli, osoittaen, että hyödyt heijastavat merkityksellistä mallia, eikä niiden ole ajateltava johtuvan muutamasta poikkeuksellisesta tapauksesta:

Otetaan pois…

Lyhyesti^†, kirjoittajat totesivat, että kun yksi tekoäly luovuttaa tehtävän toiselle, jopa yksinkertaiset muistiinpanot auttavat toista tekoälyä jatkamaan tehokkaammin.

Täydelliset tapahtumalokit toimivat parhaiten, mutta mikä tahansa luovutustieto on parempi kuin jättää seuraaja rakentamaan kaiken uudelleen koodista; ja yllä olevat tulokset osoittavat, että “täysipainoinen” raakalokitapa on väistämättä kalliimpi tokenkustannuksiltaan.

Johtopäätös

Vaikka itse raportti on tarkoitettu ainoastaan vertaisarvioituja tutkijoita varten, ja sillä on rajoitettu veto voimassa tavallisille lukijoille, uusi tutkimus kuitenkin käsittelee yhtä mielenkiintoisimmista ja kiireellisimmistä ongelmista nykyisen tekoälyteknologian ja -liittymien kehityksessä.

Toivottavasti paradigmat, jotka on kehitetty ja havainnot, jotka on tehty tämänkaltaisessa tutkimuksessa, voivat lopulta laajentaa soveltamistaan laajempaan tekoälykäytön kontekstiin kuin ainoastaan agenteille koodaamiseen.

Toinen tutkimussuunta voisi olla tulevaisuuden hankkeiden arviointi siitä, mikä asiakirjojen minimimäärä voisi olla kussakin projektiin perustuen sen ominaisuuksiin ja käyttötarkoituksiin. Mutta jopa tämä toiminto, joka auttaisi ajan ja rahan käytön järkeistämistä, vaatii itse asiassa aikaa ja rahaa; ja näin ollen asiakirjojen aiheuttama taloudellinen ongelma on edelleen vaikea välttää.

* Henkilökohtaisesti minulla on ollut ongelmia ChatGPT-istunnoissa, jotka ovat olleet raskaita ja täynnä kontekstia, ja olen viime aikoina kokeillut (jonkin vaikeuden kautta) viemään puhdas PDF: n keskustelusta ja käyttämään sitä uuden istunnon aloittamiseen, josta tulee “osa 2”.

^† Valitettavasti tämä ei ole helpoimmin lähestyttävä raportti, jonka olen lukenut tänä vuonna, ja tästä syystä en voi suositella lukijalle alkuperäistä tutkimusta, vaikka tiivistetyt tulokset ovat edelleen mielenkiintoisia.

Julkaistu ensimmäisen kerran keskiviikkona, 3. kesäkuuta 2026