Uudet tutkimusartikkelit kyseenalaistavat ‘token’-hinnoittelun AI-keskusteluissa

Uusi tutkimus osoittaa, että AI-palvelujen laskutus tokenien perusteella piilottaa todelliset kustannukset käyttäjiltä. Palveluntarjoajat voivat hiljaisesti nostaa maksuja muuttamalla tokenien määrää tai lisäämällä piilotettuja vaiheita. Jotkin järjestelmät suorittavat lisäprosesseja, jotka eivät vaikuta tulokseen, mutta jotka kuitenkin näkyvät laskussa. On ehdotettu auditiotyökaluja, mutta ilman todellista valvontaa käyttäjät jäävät maksamaan enemmän kuin he toteavat.

Melkein kaikissa tapauksissa, mitä kuluttajat maksavat AI-pohjaisista chat-rajapinnoista, kuten ChatGPT-4o, mitataan nykyisin tokeneilla: näkymättömillä tekstiyksiköillä, jotka eivät huomata käytön aikana, mutta jotka laskutetaan tarkasti; ja vaikka jokainen vaihto on hinnoiteltu tokenien määrän mukaan, käyttäjällä ei ole suoraa tapaa vahvistaa lukumäärää.

Vaikka meidän (parhaimmillaan) epätäydellinen ymmärrys siitä, mitä saamme ostetusta ‘token’-yksiköstä, token-pohjainen laskutus on muodostunut standardiksi palveluntarjoajien keskuudessa, joka perustuu luottamuksen oletukseen, joka saattaa osoittautua epävakaauskaiseksi.

Token-sanat

Tokeni ei ole ihan sama kuin sana, vaikka se usein toimii samalla tavalla, ja useimmat palveluntarjoajat käyttävät termiä ‘token’ kuvaamaan pieniä tekstiyksiköitä, kuten sanoja, välimerkkejä tai sana-osia. Esimerkiksi sana ‘uskomaton’ saattaa laskuttaa yhtenä tokenina yhdellä järjestelmällä, kun taas toinen järjestelmä saattaa jakaa sen epä, usko ja maton osiin, joista jokainen lisää kustannuksia.

Tämä järjestelmä koskee sekä käyttäjän syöttämää tekstiä että mallin vastausta, ja hinta perustuu näiden yksiköiden kokonaismäärään.

Vaikeus johtuu siitä, että käyttäjät eivät näe tätä prosessia. Useimmat rajapinnat eivät näytä tokenien määrää keskustelun aikana, ja tokenien laskentatapa on vaikea toistaa. Vaikka tokenien määrä näytetään jälkeen vastaus, on liian myöhäistä sanoa, oliko se reilu, mikä luo epäsymmetrian siinä, mitä käyttäjä näkee, ja mitä he maksavat.

Viimeaikaiset tutkimukset osoittavat syvempiä ongelmia: yksi tutkimus osoittaa, miten palveluntarjoajat voivat laskuttaa liikaa ilman sääntöjen rikkomista, vain muuttamalla tokenien määrää tavoin, joita käyttäjä ei voi nähdä; toinen paljastaa epäsymmetrian siinä, mitä rajapinnat näyttävät, ja mitä todella laskutetaan, jättäen käyttäjät illusioon tehokkuudesta, jota ei välttämättä ole; ja kolmas paljastaa, miten mallit tuottavat sisäisiä päättelyaskelia, jotka eivät koskaan näytetä käyttäjälle, mutta jotka silti näkyvät laskussa.

Tulokset kuvaavat järjestelmää, joka vaikuttaa tarkalta, jossa tarkat numerot viittaavat selkeyteen, mutta jonka perustavanlaatuinen logiikka pysyy piilossa. Riippumatta siitä, onko tämä suunniteltu, tai rakenteellinen virhe, tuloksena on sama: käyttäjät maksavat enemmän kuin he voivat nähdä, ja usein enemmän kuin he odottavat.

Halvempaa kymmenen kappaleen pakkaus?

Ensimmäisessä tutkimuksessa – nimeltään Onko LLM:si ylihinnoiteltu? Tokenisointi, läpinäkyvyys ja kannustimet, neljältä tutkijalta Max Planck -instituutista ohjelmistojärjestelmien kehittämisessä – tutkijat väittävät, että token-pohjaisen laskutuksen riskit ulottuvat läpinäkyvyyden puutteesta, osoittaen sisäänrakennetun kannustimen palveluntarjoajille tokenien määrän lisäämiseksi:

‘Ongelman ydin on siinä, että tokenisointi on ei-uniikki. Esimerkiksi, kun käyttäjä lähettää kehotuksen “Missä seuraava NeurIPS järjestetään?” palveluntarjoajalle, palveluntarjoaja syöttää sen LLM:ään, ja malli tuottaa tuloksen “|San| Diego|”, joka koostuu kahdesta tokenista.

‘Koska käyttäjä on tietämätön generoivasta prosessista, itsekkäällä palveluntarjoajalla on mahdollisuus väärentää tokenisointia käyttäjälle ilman, että muuttaa perustavanlaatuista merkkijonoa. Esimerkiksi, palveluntarjoaja voisi jakaa tokenisoinnin “|S|a|n| |D|i|e|g|o|” ja laskuttaa käyttäjää yhdeksän tokenin sijaan kahden!

Tutkimus esittää heuristisen laskelman, joka voi suorittaa tämänkaltaisen epärehellisen laskelman ilman, että muuttaa näkyvää tulostetta, ja ilman, että rikkoa plausibiliteettia tyypillisissä dekoodausasetuksissa. Tutkimuksessa testattiin malleja LLaMA-, Mistral- ja Gemma-sarjoista, käyttäen todellisia kehotuksia, menetelmä saavutti mitattavissa olevia ylihinnoitteluita ilman, että näytti epänormaalilta:

Token-inflaatio ‘uskottavan väärentämisen’ avulla. Jokainen paneeli näyttää prosenttiosuuden ylihinnoitelluista tokenista, jotka johtuvat palveluntarjoajan soveltamisesta Algoritmi 1:stä 400 LMSYS-promptiin, vaihtelevien näyteparametrien (m ja p) osalta. Lähde: https://arxiv.org/pdf/2505.21627

Tutkijat ehdottavat laskutusta merkkimäärän perusteella, eikä tokenien perusteella, väittäen, että tämä on ainoa lähestymistapa, joka antaa palveluntarjoajille syyn raportoida käytöstä rehellisesti, ja väittäen, että jos tavoitteena on reilu hinnoittelu, sitä on sidottava näkyviin merkkeihin, eikä piilotettuihin prosesseihin.

Tässä on kuitenkin useita lisähuomioita (joita tutkijat useimmiten myöntävät). Ensinnäkin, ehdotettu merkkimääräperusteinen järjestelmä tuo lisää liiketoimintalogiikkaa, joka saattaa suosia myyjää kuluttajaa vastaan:

‘[P]alveluntarjoajalla, joka ei koskaan väärennä, on selkeä kannustim muodostaa lyhin mahdollinen token-sarja, ja parantaa nykyisiä tokenisointialgoritmeja, kuten BPE, jotta ne pakkaavat tulosteen token-sarjan mahdollisimman paljon’

Toiveikas teema tässä on, että myyjä on siten kannustettu tuottamaan tiiviitä ja arvokkaita tuloksia. Käytännössä on kuitenkin selvästi vähemmän hyveellisiä tapoja, joilla myyjä voi vähentää tekstinpituutta.

Toiseksi, on järkevää olettaa, tutkijat toteavat, että yritykset vaativat todennäköisesti lainsäädäntöä siirtymiseen token-järjestelmästä selkeämpään, tekstipohjaiseen laskutusmenetelmään. Jossain vaiheessa startup-yritys saattaa päättää erottaa tuotteen käyttämällä tällaista hinnoittelumallia; mutta kuka tahansa, jolla on kilpailukykyinen tuote (ja joka toimii alempaa tasoa kuin EEE-luokka), ei ole kannustettu tekemään näin.

Lopuksi, luvattomat algoritmit, kuten tutkijat ehdottavat, tulevat omalla kustannuksellaan; jos laskelman kustannus ylittää mahdollisen hyödyn, järjestelmä menettää merkityksensä. Tutkijat kuitenkin korostavat, että heidän ehdottamansa algoritmi on tehokas ja taloudellinen.

Tutkijat tarjoavat koodin teorioilleen GitHubissa.

Vaihdos

Toisessa tutkimuksessa – nimeltään Näkymättömät tokenit, näkyvät laskut: Kiireellinen tarve auditoimaan piilotetut toiminnot epäselvissä LLM-palveluissa, tutkijoilta Marylandin yliopistosta ja Berkeleyistä – väittävät, että kaupallisten kielen mallien API:iden kannustimien epäsymmetria ei rajoitu tokenien jakamiseen, vaan ulottuu koko luokkiin piilotettuihin toimintoihin.

Nämä käsittävät sisäisiä mallikutsuja, spekulatiivista päättelyä, työkalujen käyttöä ja monen agentin vuorovaikutuksia – kaikki nämä voivat laskuttaa käyttäjältä ilman näkyvyyttä tai muuta keinoa.

LLM-rajapintojen hinnoittelu ja läpinäkyvyys johtavien palveluntarjoajien keskuudessa. Kaikki luetellut palvelut laskuttavat käyttäjiä piilotetuista sisäisistä päättelytokeneista, eikä kukaan näytä näitä tokenia suoritusaikana. Lähde: https://www.arxiv.org/pdf/2505.18471

Toisin kuin perinteisessä laskutuksessa, jossa palvelun määrä ja laatu ovat verifiointikelpoisia, tutkijat väittävät, että nykyiset LLM-alustat toimivat struktuurisessa epäselvyydessä: käyttäjät laskutetaan tokenien ja API-kutsujen määrän perusteella, mutta heillä ei ole keinoja vahvistaa, että nämä mittarit heijastavat todellista tai tarpeellista työtä.

Tutkimus tunnistaa kaksi tärkeää manipulointimuotoa: määrän inflaatio, jossa tokenien tai kutsujen määrää lisätään käyttäjän hyödyttä ilman; ja laadun alennus, jossa alempien suorituskyvyn malleja tai työkaluja käytetään hiljaisesti korkeampien komponenttien sijaan:

‘LLM-rajapinnoissa palveluntarjoajat usein ylläpitävät useita variantteja samasta malliperheestä, jotka eroavat kapasiteetista, koulutusdatasta tai optimointistrategiasta (esim. ChatGPT o1, o3). Mallin alennus viittaa hiljaiseen alempien mallien korvaamiseen, mikä voi aiheuttaa epäsymmetrian odotetun ja todellisen palvelun laadun välillä.

‘Esimerkiksi, kehotus voidaan prosessoida pienemmällä mallilla, mutta laskutus ei muutu. Tämä käytäntö on vaikea havaita, koska lopputulos voi edelleen näyttää uskottavalta monissa tehtävissä.’

Tutkimus dokumentoi tapauksia, joissa yli 90% laskutetuista tokenista ei koskaan näytetty käyttäjille, ja sisäinen päättely inflatoi tokenien käytön tekijällä yli kaksikymmenkertaiseksi. Perusteltu tai ei, piilotettujen askelten epäselvyys kieltää käyttäjiltä mahdollisuuden arvioida niiden merkitystä tai laillisuutta.

Agenteissä epäselvyys lisääntyy, koska agenttien välinen viestintä voi aiheuttaa kustannuksia ilman, että vaikuttaa lopputulokseen:

‘Agenttien välisen viestinnän lisäksi agentit viestivät toisilleen kehoituksilla, yhteenvetoilla ja suunnitteluoohjeilla. Jokainen agentti tulkitsee syötteitä muilta ja tuottaa tuloksia ohjaamaan työnkulkua. Nämä väliset viestit voivat kuluttaa merkittäviä tokenia, jotka eivät ole suoraan näkyvissä loppukäyttäjille.

‘Kaikki agenttien koordinaatiossa kulutetut tokenit, mukaan lukien generoitetut kehotukset, vastaukset ja työkaluun liittyvät ohjeet, eivät yleensä ole näkyvissä käyttäjille. Kun agentit itse käyttävät päättelymalleja, laskutus muodostuu vielä epäselmämmäksi’

Tutkijat ehdottavat kerroksellista auditiopohjaa, joka sisältää kryptografiset todisteet sisäisestä toiminnasta, verifiointikelpoiset mallin tai työkalun tunnistimet ja riippumattoman valvonnan. Tutkijoiden perimmäinen huolenaihe on kuitenkin struktuurinen: nykyiset LLM-laskutusjärjestelmät perustuvat tiedon epäsymmetriaan, jättäen käyttäjät alttiina kustannuksille, joita he eivät voi vahvistaa tai jakaa.

Näkymättömien laskeminen

Viimeinen tutkimus, Marylandin yliopiston tutkijoilta, uudelleenmäärittää laskutusongelman ei niinkään väärinkäytön tai väärentämisen, vaan rakenteen ongelmana. Tutkimus – nimeltään CoIn: Näkymättömien päättelytokenien laskeminen kaupallisissa LLM-rajapinnoissa, kymmeneltä tutkijalta Marylandin yliopistosta – toteaa, että useimmat kaupalliset LLM-palvelut piilottavat välimuistiin päättelyn, joka vaikuttaa mallin lopputulokseen, mutta laskuttaa silti näistä tokenista.

Tutkimus väittää, että tämä luo näkymättömän laskutuspinnan, jossa koko token-sarjoja voidaan väärentää, lisätä tai inflatoida ilman havaitsemista:

‘[T]ämä näkymättömyys antaa palveluntarjoajille mahdollisuuden väärentää tokenien määrää tai lisätä matalakustannuksisia, väärennettyjä päättelytokenia tokenien määrän keinotekoiseen inflaatioon. Tätä käytäntöä kutsutaan tokenien määrän inflaatioksi.

‘Esimerkiksi, yksi ARC-AGI-suoritus OpenAI:n o3-mallilla kulutti 111 miljoonaa tokenia, maksaen 66 772,3 dollaria. Tällä mittakaavalla jopa pienet manipulaatiot voivat johtaa merkittäviin taloudellisiin vaikutuksiin.

‘Tällainen tiedon epäsymmetria antaa AI-yrityksille mahdollisuuden laskuttaa käyttäjiltä merkittävästi, siten heikentäen heidän etujaan.’

Tutkijat ehdottavat CoIn:ia, kolmannen osapuolen auditiopohjaa, joka on suunniteltu vahvistamaan piilotetut tokenit paljastamatta niiden sisältöä, ja joka käyttää hajautettuja sormenjälkiä ja semanttisia tarkistuksia havaitsemaan inflaation merkit.

CoIn-auditointijärjestelmän yleiskatsaus epäselville kaupallisille LLM-rajapinnoille. Paneeli A näyttää, miten päättelytokenien upotukset on hajautettu Merkle-puuun tokenien määrän vahvistamiseksi paljastamatta tokenien sisältöä. Lähde: https://arxiv.org/pdf/2505.13778

Toinen komponentti vahvistaa tokenien määrän kryptografisesti Merkle-puun avulla; toinen arvioi piilotetun sisällön merkitystä vertaamalla sitä lopputulokseen. Tämä antaa auditoijille mahdollisuuden havaita täytteitä tai merkityksettömyyden merkit – osoituksia siitä, että tokenit lisätään ainoastaan laskun nostamiseksi.

Kun se otettiin käyttöön testeissä, CoIn saavutti havaintojen onnistumisprosentin lähes 95% joillekin inflaation muodoille, vähäisellä altistumisella perustavanlaatuista dataa. Vaikka järjestelmä edelleen riippuu palveluntarjoajien vapaaehtoisesta yhteistyöstä ja on rajattu resoluutiossa reunatapauksissa, sen laajempi pointti on epäsekoitettavissa: nykyisten LLM-laskutusjärjestelmien arkkitehtuuri olettaa rehellisyyttä, jota ei voida vahvistaa.

Johtopäätös

Lisäksi ennakkomaksun edun saamisesta käyttäjiltä, kirjanpitojärjestelmä (kuten CivitAI:n “buzz”-järjestelmä) auttaa abstrahoida käyttäjiä todellisen rahan arvon tai oston kohteen arvon ymmärtämisen esteeksi. Samoin, antamalla myyjälle vapauden määritellä oman mittayksikkönsä, kuluttaja jää pimeään siitä, mitä he todella maksavat.

Samoin kuin kasinoissa ei ole kelloja tai ikkunoita, tällaiset toimenpiteet on usein suunniteltu saamaan kuluttaja huoleton tai välinpitämätön kustannuksista.

Vähän ymmärretty token, jota voidaan kuluttaa ja määritellä monin tavoin, ei ehkä ole sovelias yksikkö LLM-kulutukselle – ei ainakaan siksi, että se voi maksaa moninkertaisesti enemmän tokenia huonomman LLM-tuloksen laskemiseen ei-englanninkielisessä kielen ympäristössä verrattuna englanninkieliseen istuntoon.

Kuitenkin, merkkimääräperusteinen tulostus, kuten Max Planck -tutkijat ehdottavat, suosisi todennäköisesti tiiviimpiä kieliä ja rangaistaisi luonnollisesti turpeita kieliä. Koska visuaaliset osoittimet, kuten devalvoiva token-laskuri, saattavat tehdä meistä hieman tuhlareita LLM-istunnoissamme, näyttää epätodennäköiseltä, että tällaiset hyödylliset GUI-lisäykset tulevat pian – ainakaan ilman lainsäädännöllistä toimintaa.
 

* Tutkijoiden korostukset. Minun muunnos tutkijoiden sisäisistä viittauksista hyperlinkkeihin.

Julkaistu ensimmäisen kerran torstaina 29. toukokuuta 2025