Tekoälyn kiertotiet, joista sinun ei pitäisi joutua maksamaan

Ei ole niin, etteivätkö johtavat tekoälyyritykset voisi yrittää keplotella tokenien hinnoittelussa edukseen, jos pääsisivät siitä pälkähästä. Anthropic toteutti kesäkuussa tosiasiallisen 30 prosentin hinnankorotuksen, DeepSeek korotti API-hintojaan elokuussa, ja OpenAI perui vastahakoisesti syyskuun lopussa keskitason tokenikiintiönsä heikennyksen eli perui heikennyksen. Säästölinjan yleistyminen on siis nyt varsin ilmeistä.

Tämä ajatus nousee mieleen etenkin silloin, kun tekoälyagenttisi polttaa päivittäisen tokenikiintiösi loppuun 45 minuutissa ja suoltaa koodia, joka ei välttämättä ole loistokasta, minkä jälkeen se kehottaa sinua palaamaan 3–4 tunnin kuluttua. Tällaisella turhauttavalla hetkellä ei voi olla miettimättä, onko jotkin prosessin taustalla olevat toiminnot viritetty palveluntarjoajien eduksi. Se on nimittäin hyvä tapa saada meidät maksamaan tokenien erillisestä lisätäydennyksestä – tai jopa ottamaan käyttöön automaattisen latauksen.

Jos näin todella on, johtavat yritykset voivat tässä vaiheessa aivan uskottavasti vedota siihen, ettemme ymmärrä täysin, miten tokeneita käytetään agenttipohjaisissa työnkuluissa eri mallien ja kehysten yhteydessä. Eivätkä ne itsekään ymmärrä. Maksun käynnistämiseen liittyviä prosesseja lukuun ottamatta – ne ovat kyllä erittäin sujuvia – kaikki on vasta esialfavaiheessa ja edelleen huippututkimuksen aiheena, vaikka tuote on jo laajalti kaupallistunut.

Hukan hallinta

Se, että tekoälyagentit tuhlaavat tokeneita (ja siten rahojasi), kun ne päättelevät agenttipohjaisissa työnkuluissa, on jo hyvin tunnettua: täsmälleen vuosi sitten kirjoitin uudesta tutkimuksesta, joka osoitti, missä määrin päättelyä käyttävät tekoälymallit olivat alttiita kuluttamaan tokeneita jaarittelemalla; aiemmin tänä vuonna kirjoitin lisätutkimuksesta, jonka mukaan ketjuajattelu on ”koristeellista”; ja viime viikolla Tsugan tuotejohtaja Nils Bunge totesi täällä julkaistussa ajatusjohtajuutta käsittelevässä kirjoituksessa:

”Tiimi, joka kuluttaa kaksi kertaa enemmän tokeneita, ei välttämättä tuota kaksi kertaa enemmän arvoa. Se saattaa käsitellä vaikeampia tehtäviä, käyttää tarpeettoman tehokasta mallia tai luottaa agenttiin, joka yrittää toistuvasti uudelleen epäonnistuneita tehtäviä.”

Vähemmän tunnettua on tapa, jolla tokeneita kuluu hukkaan tarpeettomissa tehtävissä tai prosesseissa. Juuri tähän aiheeseen huomioni kiinnitti tänään uusi tutkimusartikkeli.

Tämä uusi yhdysvaltalainen akateeminen yhteistyötutkimus* on nimeltään Miten tekoälyagentit tuhlaavat rahojasi?. Se tarjoaa yhtenäisen viitekehyksen, jolla voidaan mitata, kuinka paljon agenttipohjaiset prosessit todella tuhlaavat tokeneita. Kun mallit ovat suljetun lähdekoodin malleja, ”varjomenetelmässä” palveluntarjoajien viralliset tilastot ja mittarit yhdistetään vastaavan yksityiskohtaisen tapahtumakuvauksen laatimiseksi siitä, mitä tokeneille tapahtui tekoälyn päätellessä ja toimiessa:

Uusi menetelmä tekoälytokenien hukan mittaamiseen. Kunkin agentin päättely, toiminnot ja kustannukset kirjataan, minkä jälkeen niitä tarkastellaan toiston, tarpeettomien pyyntöjen ja vältettävissä olevien kiertoteiden varalta. Havaitut hukkakulut poistetaan, ja agentin kyky suorittaa alkuperäinen tehtävä testataan uudelleen. Lähde

Kuten yllä esitetään, agentin annetaan työskennellä normaalisti samalla, kun sen ja tekoälypalveluntarjoajan välistä viestintää siepataan ja tallennetaan. Tähän sisältyvät päättely, työkalujen käyttö, tokenien kulutus ja kustannukset. Tämän jälkeen Large Language Model (LLM) -arvioijat käyvät tallenteet läpi ja erottelevat hyödyllisen työn toistosta, tarpeettomista hauista ja kiertoteistä. Sen jälkeen epäilty hukka poistetaan, tokenisäästöt lasketaan ja agentti jatkaa työtään, jotta voidaan nähdä, pystyykö se edelleen suorittamaan tehtävän onnistuneesti.

Tutkijat havaitsivat kokeissa, että noin 18 % agenttien tulostetokeneista meni hukkaan. Yli 45 prosentissa tehtävistä yksi agentti tuhlasi enemmän tokeneita kuin toinen tarvitsi saman tehtävän onnistuneeseen suorittamiseen. Lisäksi he havaitsivat, että 41–46 prosentin vähentäminen tarpeettomasta päättelystä vaikutti suorituskykyyn hyvin vähän. Tämä viittaa siihen, että huomattaviin säästöihin voidaan päästä tuloksia merkittävästi heikentämättä.

Tutkimusartikkelissa todetaan:

”Kaikista kerätyistä toimintaketjuista noin 18 % tulostetokeneista tunnistetaan hukaksi.

”Huomionarvoista on, että yli 45 prosentissa tehtävistä yhden agentin hukkaan mennyt tuloste on suurempi kuin toisen agentin koko tuloste, vaikka tämä toinen agentti ratkaisee saman tehtävän onnistuneesti.”

Lisäksi tutkimuksessa havaittiin, että agentit tuhlasivat eniten resursseja käyttäessään vieraita työkaluja ja yrittäessään lähestymistapoja, jotka eivät lopulta johtaneet mihinkään. Päättelytehon lisääminen ei myöskään parantanut tuloksia johdonmukaisesti: suurimmalla päättelyteholla Kimi-K3:n havaittiin tuottavan 6,6 kertaa enemmän päättelytokeneita kuin pienellä teholla, mutta tämä ei taannut parempia tuloksia.

Testitulokset osoittavat, miten Kimi-K3 suoriutui neljällä päättelyponnistuksen tasolla viidessä vertailutestissä. Suurempi päättelyponnistus ei parantanut onnistumisprosenttia johdonmukaisesti, ja suurimmalla ponnistuksella tulokset olivat joskus heikompia kuin pienemmillä asetuksilla.

Vertauskuvallisesti nämä agenttiset käyttökerrat eivät ole kuin tehokkaalla autolla ajamista niin, ettei sen suorituskykyä koskaan todella hyödynnetä, vaan pikemminkin kuin autolla ajamista, jolloin se kiihdyttää huippunopeuteensa jokaisella matkalla, vaikka siitä ei olisi hyötyä ja mahdollisista kielteisistä seurauksista huolimatta.

Tutkimuksessa tarkastellaan myös eri agenttikehysten osuutta tokenien tuhlaantumiseen. Siinä havaittiin, että sama tekoälymalli, Kimi-K3, saattoi tuottaa identtisissä tehtävissä yli neljä kertaa enemmän päättelyä käytetystä agenttikehyksestä riippuen, eikä tämä välttämättä johtanut parempiin tuloksiin.

Osa tuhlauksesta johtui perustavanlaatuisista ohjelmistovirheistä: OpenCode, Kimi Code CLI ja OpenClaw käynnistivät toistuvasti tehtäviä väärässä Python-ympäristössä, mikä aiheutti virheitä ja tokeneita kuluttavia uusia yrityksiä. Kimi Code CLI antoi tekoälyn myös pyytää aikakatkaisuja, jotka sen oma ohjelmisto hylkäsi, mikä johti entistä useampiin kalliisiin yrityksiin.

Vastoin intuitiota useampia työkaluja tarjoavat agenttikehykset eivät välttämättä tuhlanneet enemmän tokeneita, ja jotkin toistuvat tehottomuudet näyttivät olevan peräisin itse malleista riippumatta siitä, mikä agenttikehys niitä ohjasi.

‘[Several] agenttikehysten näennäisen ilmeiset ominaisuudet eivät johdonmukaisesti selitä havaittuja eroja tokenien tuhlauksessa. Esimerkiksi, kuten [below] osoittaa, useampia työkaluja tarjoavat agenttikehykset eivät välttämättä tuhlaa enemmän tokeneita. OpenClaw tarjoaa huomattavasti enemmän työkaluja kuin muut agenttikehykset, mutta sen tokenien tuhlaus on vain kohtalaista. Lisäksi kaikki tuhlaus ei riipu agenttikehyksestä.

‘[Below right] osoittaa, että SWE-bench Verified -vertailutestissä toistuu harhapolku, jossa Kimi-K3 kirjoittaa auki sen, mitä se pitää projektin alkuperäisenä korjauksena, ja hylkää sen myöhemmin. ‘

Testitulokset vertailevat tekoälyagenttien agenttikehysten tuhlaamia tokeneita. Vasemmalla: useampien työkalujen tarjoaminen ei välttämättä lisää tuhlausta. Oikealla: Kimi-K3 yrittää toistuvasti tehdä oletetun alkuperäisen ohjelmistokorjauksen ja hylkää sen sitten agenttikehyksestä riippumatta, mutta tekee näin harvoin erityyppisessä tehtävässä.

Ongelman ratkaisemiseksi kirjoittajat ehdottavat, että agenttikehysten pitäisi tunnistaa, milloin ympäristörajoitukset tekevät etenemisen mahdottomaksi, kertoa näistä rajoituksista selkeästi tekoälymallille ja pysäyttää suoritus sen sijaan, että toistuvat epäonnistuneet yritykset kuluttaisivat lisää tokeneita. He ehdottavat myös, että tokenien tuhlausta koskevia mittauksia hyödynnetään mallien koulutuksen, päättelystrategioiden ja agenttikehysten suunnittelun parantamisessa.

Menetelmä

Tekoälyagentin toiminnan rekonstruoimiseksi tutkijat seurasivat jokaista mallin ja sitä ohjaavan ohjelmiston välistä viestinvaihtoa ja kirjasivat sen päättelyn, vastaukset, työkalupyynnöt ja tokenikustannukset. Tietojen yksityiskohtaisuus vaihteli palveluntarjoajan mukaan: Kimi-K3 paljastaa koko päättelyprosessinsa, Gemini 3.1 Pro vain yhteenvedot, eikä Claude paljasta mitään.

Kunkin työkalun tulokset palautettiin agentille, minkä ansiosta tutkijat pystyivät seuraamaan prosessia sen valmistumiseen saakka tai siihen asti, kunnes agentin toimintaraja tuli vastaan.

Neljä esimerkkiä siitä, miten tekoälyagentit käyttävät tokeneita. Tunnetun tiedon toistaminen, samojen hakujen tekeminen ja turhat anteeksipyynnöt lasketaan tuhlaukseksi. Epäonnistunut haku ei kuitenkaan välttämättä ole tuhlausta, sillä agentilla on saattanut olla hyvä syy yrittää sitä.

Agenttien pyynnöt välitettiin välityspalvelimen kautta niiden toiminnan seuraamiseksi, ja tämä vaati vain vähäisiä koodimuutoksia. Jokaiseen pyyntöön liitettiin vertailutestin, ajon, tehtävän ja kokeen tunniste. OpenClaw ei tue tällaisia tunnisteita, joten tässä tapauksessa kussakin testissä käytettiin erillistä välityspalvelinta, joka perustui LiteLLM:ään.

Neljä osatekijää

Tutkimuksessa tokenien tuhlaus jaetaan neljään toistuvaan toimintamalliin: Toisto (tunnetun tiedon toistaminen), Päällekkäinen haku (tarpeettomien työkalupyyntöjen toistaminen), Täyte (asiaankuulumattoman tekstin lisääminen) ja Harhapolku (uskottavilta vaikuttavien mutta lopulta tuloksettomien lähestymistapojen jatkaminen).

Jokaisen tallennetun istunnon arvioi LLM-as-a-Judge (LLMaJ**), jolle annettiin alkuperäinen tehtävä, koko tallenne ja kriteerit kaikkien neljän hukkakäytön mallin tunnistamiseen. Mahdolliseksi hukaksi epäilty sisältö merkittiin ja poistettiin, minkä jälkeen jäljelle jääneet tokenit laskettiin uudelleen hukkaan menneen osuuden ja kustannusten määrittämiseksi. Laskentatuloksia verrattiin sitten kunkin palveluntarjoajan omiin tokenisaattoreihin tai laskentatyökaluihin sekä ilmoitettuun tulosteen tokenimäärään (raportoidut erot koskivat vain vähäisiä muotoiluseikkoja).

Testit

Tutkimuksessa testattuihin malleihin kuuluivat Kimi-K3, Gemini 3.1 Pro, GPT-5.6 Terra, GPT-6 Astra, Claude Sonnet 5 ja Claude Fable 5.1. Niitä testattiin seuraavilla vertailutesteillä: τ²-bench (lentoyhtiöiden ja vähittäiskaupan asiakaspalvelu), SWE-bench Verified (ohjelmistokehitys), Claw-Eval ja MCP-Atlas (yleiskäyttöisten työkalujen käyttö).

Lisäksi Kimi-K3 testattiin eri päättelytasoilla, ja viittä agenttikehystä vertailtiin keskenään: OpenCode, OpenClaw, OpenHands, Hermes ja Kimi Code CLI. Näitä jälkimmäisiä vertailuja käytettiin sen arvioimiseen, miten mallit, tehtävät, päättelyyn käytetty työ ja agenttikehyksen rakenne vaikuttavat tokenien hukkaan; lisätesteissä epäilty hukka poistettiin, jotta voitiin selvittää sen vaikutus suorituskykyyn.

Kunkin mallin aiheuttaman rahallisen hukan määrittämiseksi tarpeettoman tekstin ja työkalukutsujen kustannuksia verrattiin tulosteiden kokonaiskustannuksiin, ja tulokset laskettiin keskiarvona neljän vertailutestin perusteella. Sisäistä päättelyä arvioitiin erikseen Kimi-K3:n osalta, sillä se oli ainoa malli, joka paljasti koko päättelyprosessinsa:

Testitulokset, joissa verrataan kuuden tekoälymallin hukkaan menneiden tulosteiden kustannuksia neljän vertailutestin keskiarvona. Vasemmalla näkyvät kokonaishukkaosuudet, ja Kimi-K3:n sisäinen päättely esitetään erikseen. Oikealla näkyvät onnistuneiden ja epäonnistuneiden tehtävien hukkaosuudet; epäonnistumiset aiheuttivat yleensä enemmän hukkaa.

Kuten yllä olevasta käy ilmi, vastausten tuottamiseen ja työkalujen käyttöön kuluneista rahoista 11–24,9 % arvioitiin menneen hukkaan. Parhaiten suoriutui GPT-6 Astra ja heikoimmin Claude Sonnet 5. Kimi-K3:n vastausten tuottamiseen ja työkalujen käyttöön kuluneista tokeneista noin joka kuudes meni hukkaan; sisäisessä päättelyssä osuus nousi yli joka neljänteen.

Hukkaa havaittiin yleensä enemmän tehtävissä, jotka epäonnistuivat, mutta Kimi-K3:n päättelyn kohdalla tilanne oli päinvastainen. Selkeää näyttöä ei myöskään löytynyt siitä, että tarpeettomaan työhön käytettyjen tokenien määrän kasvattaminen olisi parantanut onnistumisen todennäköisyyttä.

Toisessa testissä yritettiin vähentää hukkaan meneviä tokeneita tekoälyn työskentelyn aikana: kussakin vaiheessa tekoälytuomari** poisti mallin päättelystä toistuvaa tietoa ja turhaa tekstiä, minkä jälkeen tehtävän annettiin jatkua:

Testitulokset osoittavat, miten tarpeettoman tekoälyn päättelyn poistaminen vaikutti onnistumisasteisiin kahdessa vertailutestissä. Päättelystä poistettiin 41–46 %, mikä vaikutti suorituskykyyn vain vähän, kun taas kaiken päättelyn poistaminen johti huomattavasti useampiin epäonnistumisiin.

SWE-bench Verified -testissä päättelystä karsittiin 41 % ilman, että suorituskyky heikkeni; onnistumisaste jopa nousi hieman 89 prosentista 89,5 prosenttiin. MCP-Atlas-testissä poistettiin 46 %, ja onnistumisaste laski vain maltillisesti 65 prosentista 62,3 prosenttiin.

Toisin sanoen lähes puolet päättelystä voitiin poistaa tekoälyn työskennellessä heikentämättä vakavasti sen kykyä saada tehtävä valmiiksi.

Lopuksi^† Kimi-K3 testattiin samoilla tehtävillä eri agenttikehyksiä käyttäen. Päättelyn tuotos vaihteli tällöin yli nelinkertaisesti ilman, että suorituskyky parani johdonmukaisesti, kuten alla näkyy:

Testitulokset vertaavat Kimi-K3:n tokenien kulutusta eri agenttikehyksissä kahdessa vertailutestissä. Sisäinen päättely näkyy sinisellä ja vastaukset sekä työkalukutsut oranssilla. Koodaustehtävissä Mini-SWE tuotti päättelyä yli neljä kertaa niin paljon kuin Hermes.

Osa hukasta johtui yksinkertaisista ohjelmistovirheistä. OpenCode, Kimi Code CLI ja OpenClaw käynnistivät koodaustestit väärässä Python-ympäristössä, mikä aiheutti virheitä ja uusia yrityksiä.

Yhteenveto

Tämä on vain katsaus tutkimusartikkeliin, jonka pituus ja perusteellinen menetelmä voivat palkita syvällisemmän perehtymisen.

Aihe toi mieleeni asian, jota pohdin usein: kuilun sen välillä, mitä me ja eturintaman mallitoimittajat todella ymmärrämme näistä prosesseista, ja sen, miten halukkaasti yritykset paketoivat tuotteen ikään kuin se olisi juuri viettänyt viimeiset kolme kuukautta koodintarkistimessa ja läpäissyt tarkastuksen erinomaisin arvosanoin.

Nykyisellään voimme toistaiseksi syyttää huonosta lopputuloksesta vain itseämme, sillä ostamme tuotetta, jonka lähes kaikki meistä tietävät olevan syvästi kokeellinen ja arvaamaton.

* Ilmoituksen mukaan osuudet ovat olleet yhtä suuret: University of Illinois Urbana-Champaign, Northeastern University, University of California (Los Angeles) ja riippumaton tutkija.

* Tietääkseni artikkelissa ei kerrota, mitä mallia käytettiin.

^† Tätä artikkelia varten, ei tutkimuspaperia varten, joka on pidempi kuin mitä yleensä ehdin käsitellä ja sisältää enemmän testejä ja syvällisempää analyysia kuin mitä voimme tässä ottaa mukaan. Lisätietoja on yllä linkitetyssä lähde-PDF:ssä.

Julkaistu ensimmäisen kerran perjantaina 6. marraskuuta 2026