Epäkohteliaat kyselyt voivat nostaa yritysten ChatGPT-kustannuksia

ChatGPT:n vastaukset kuluttavat enemmän tokenia, kun sinä olet epäkohtelias sille, mikä nostaa yritysten laskua; mutta “ole hyvä” -sanan käyttäminen voi pienentää kustannuksia.

Sanotaan, että kohteliaisuus ei maksa mitään; mutta mitä epäkohteliaisuus maksaa? Yhdysvaltain uuden tutkimuksen mukaan paljon, kun maksaa ChatGPT:stä. Tutkimus, joka on tehty Iowan yliopistossa, osoittaa, että epäkohteliaisuus ChatGPT:lle lisää vastausten kustannuksia – vaikka vastaukset ovat samat kohteliaiden ja epäkohtelaiden kyselyjen välillä.

Tutkijat toteavat:

‘[Tokenien] hinta on 12 dollaria miljoonalle tokenille GPT4:lle. Havaitsemme, että epäkohteliat kyselyt johtavat yli 14 tokenin lisäykseen, mikä vastaa 0,000168 dollarin lisäkustannusta keskimäärin jokaiselle kyselylle. Päivittäin OpenAI:n API:hin tehtävien kyselyjen määrä ylittää 2,2 miljardia.

‘Vertailtaessa tilannetta, jossa kaikki kyselyt ovat kohteliat, epäkohteliat kyselyt tuottavat 369 000 dollarin lisäliikevaihtoa päivittäin ainoastaan tokenien lisääntymisen vuoksi.’

Vaikka tulokset ovat itsessään mielenkiintoisia, tutkijat korostavat, että tämä epätavallinen käyttäytyminen voi osoittaa useita tuntemattomia ominaisuuksia ihmisen ja tekoälyjärjestelmän välisessä konfiguraatiossa, joista jotkut voivat vaikuttaa taloudellisesti. Tutkijat eivät spekuloi syytä, miksi epäkohteliaisuus aiheuttaa asiakkaille lisäkustannuksia.

Tutkijat muokkasivat oikeasti tehtyjä ChatGPT-kyselyjä vaihtamalla kohteliaisuuden arvoa säilyttäen merkityksen. Molemmat versiot syötettiin GPT-4-Turbo-malliin erillisin API-kutsuin, ja tokenien määrää, jota vastauksissa käytettiin, mitattiin, ja eroa pidettiin kohteliaisuuden vaikutuksen mittarina.

Tulokset ovat vastakohtaisia aiemmin vuoden alussa tapahtuneiden tapahtumien otsikoihin, joissa Sam Altman valitti, että kohteliaisuus maksoi OpenAI:lle mahdollisesti “kymmeniä miljoonia” dollareita tokenien prosessoinnin vuoksi (kuten “ole hyvä”). Samanaikaisesti julkaistu tutkimus osoitti, että kohteliaisuus ei ollut arvokasta parempien vastausten saamiseksi (vaikka se ei kommentoinut “halvempia” vastauksia).

Jos uuden tutkimuksen johtopäätökset ovat oikein, kaikki yrityksen ChatGPT-käyttäjät, jotka seurasivat tätä ajattelutapaa, olisivat kuluttaneet enemmän ChatGPT:hen vuonna 2025 kuin käyttäjät, jotka tarjosivat vähintään kohteliaisuutta ChatGPT-vaihdoissa.

Tutkijat ehdottavat, että yksi mahdollinen ratkaisu olisi asettaa token-rajat vastauksiin, vaikka se ei ole lähestymistapa, jota LLM-järjestelmät voivat helposti toteuttaa. He huomaavat, että kysely on heikko työkalu kustannusten hallintaan, koska LLM:t kamppailevat noudattamaan eksplisiittisiä pituusohjeita. Useimmissa tapauksissa tämä “rajoittava” ohje ei noudatettaisi; lisäksi vastaus voisi olla katkaistu, koska LLM:t tämän tyyppisistä ovat perustavasti arvioimassa seuraavaa todennäköistä sanaa lauseessa/ kappaleessa ja eivät tiedä, miten tarina päättyy – tai missä tarina päättyy – kunnes prosessi on valmis.

Ilman tarkkaa ratkaisua – vaikka ehdottaen, että avoimmat hinnoittelumallit olisi pakollisia tapauksissa, joissa tämäntyyppisiä ongelmia ilmenee – tutkijat johtavat:

‘Perinteinen viisaus sanoo, että kyselyiden kohteliaisuus on tarpeetonta LLM-järjestelmiä käytettäessä.

‘Toisin sanoen, työmme osoittaa, että epäkohteliat kyselyt lisäävät tokenien määrää, mikä tuottaa lisäkustannuksia yritysten tekoälysovelluksille.’

Uusi tutkimus, “Yritysten tekoälyadopotion hintatranspausuus”, on tehty kolmen Iowan yliopiston tutkijan toimesta.

Menetelmä

Järjestelmän data otettiin WildChat-aineistosta, joka koostuu yli miljoonasta ChatGPT-käyttäjän keskustelusta ja sisältää yli 2,5 miljoonaa vuorovaikutuksen käänteen:

WildChat-projektin tukisivulta, haettavissa olevat ChatGPT-vastaukset. Lähde

Tutkijat toteavat, että WildChat sisältää enemmän luonnollisia vuorovaikutuksia kuin joissakin muissa, tarkemmin kuratoiduissa aineistoissa.

He valitsivat 20 000 englanninkielistä kyselyä kokoelmasta, joka sisälsi GPT-4-vaihtoja, ja hylkäsivät jokaisen vastauksen (koska aikomus oli syöttää kyselyt uudelleen uusien vastausten saamiseksi). Vain ensimmäinen vuorovaikutus valittiin, vaikka pidemmistä vaihtoista,

Tulokset jaettiin kohteliaisiin tai epäkohtelaisiin kategorioihin, ja kaikki kyselyt luokiteltiin GPT-4-Turbo-mallilla. Tutkijat käyttivät itse mallia päättääkseen, oliko kysely kohtelias tai ei, koska mallin oma kohteliaisuuden havaitseminen oli keskeistä kokeessa.

Kyselyt, jotka luokiteltiin kohteliaiksi, voivat sisältää selviä vihjeitä, kuten sanan ‘ole hyvä’, tai voivat olla kohteliat epäsuorasti. Mitään, jota ei tunnistettu kohteliaaksi, luokiteltiin epäkohteliaaksi, vaikka sanamuoto olisi ollut neutraali eikä vastustava.

Tutkijat eivät voineet käyttää standardimenetelmiä (eli menetelmiä, jotka käsittelevät tekstiä mitattavina ominaisuuksina), koska kohteliaisuus oli upotettu itse sanamuotoon, ja kyselyn yhteenveto listaominaisuuksina olisi menettänyt tärkeää asiayhteyttä:

Sen sijaan jokainen kysely muokattiin kääntämään sen sävyä, kaikki muut elementit pidettiin mahdollisimman samanlaisina, mikä mahdollisti vertailun parien välillä, jotka erosivat ainoastaan kohteliaisuuden suhteen:

Esimerkkejä siitä, miten kohteliat ja epäkohteliat kyselyt muunnettiin vastakkaisiin versioihin säilyttäen semanttisen merkityksen. Lähde

Testit

Jokainen alkuperäinen kysely parioitiin uudelleenkirjoitetun version kanssa, joka erosivat ainoastaan kohteliaisuuden tasolla, ja molemmat versiot lähetettiin samaan GPT-4-Turbo-malliin erillisin API-kutsuin. Tokenien määrää, jota vastauksissa käytettiin, mitattiin, ja eroa pidettiin sävyn vaikutuksen mittarina.

Lämpötila pidettiin vakiona estämään satunnainen vaihtelu, ja kyselyparit säilytettiin ainoastaan, jos uudelleenkirjoitus muutti syötettä enintään viidellä tokenilla. Tämä varmisti, että tutkittava vaikutus johtui sävystä eikä laajemmista muutoksista sanamuodossa:

Yhteenvetotilastot, jotka osoittavat, että kohteliat kyselyt johtivat vähemmän tokenien määrään keskimäärin kuin epäkohteliat kyselyt, vaikka niissä oli hieman enemmän syötteitä.

Ensimmaisten testien päätulokset osoittivat, että kohtelias kysely vähentää tokenien määrää 14,426 tokenilla:

Arviotulokset, jotka osoittavat kohteliaan kyselyn vaikutuksen tokenien määrään.

Analyysi toistettiin kolmessa alijoukossa kohteliaista kyselyistä testaamaan robustisuutta: kyselyt, jotka käyttivät eksplisiittisiä merkkejä, kuten ‘ole hyvä’ tai ‘kiitos’; ne, jotka käyttivät ainoastaan ‘ole hyvä’; ja ne, joissa oli implisiittinen kohteliaisuus, kuten ‘voisitko’ tai ‘voisinko’:

Arviotulokset, jotka perustuvat kohteliaisuuden tyyppeihin.

Toinen luokitus kyselyiden kohteliaisuudesta tehtiin LIWC-kehyksellä, joka tarjoaa deterministisen ja toistettavissa olevan arvosanan kielellisille ominaisuuksille.

Toisin kuin GPT:n todennäköinen luokitus, LIWC voi antaa vakiotun kohteliaisuusarvon kullekin kyselylle, mikä mahdollistaa johdonmukaisuuden arvioinnin eri menetelmien välillä. Tässä testiosiossa kyselyt luokiteltiin kohtelias, jos LIWC-kohteliaisuusarvo oli suurempi kuin nolla, ja epäkohtelias muutoin.

Kun GPT:n ja LIWC:n luokitusyhtenevyyttä mitattiin, havaittiin 81 prosentin yhtenevyys. Vaikka se ei ollut tarkkuuden mittari, tämä sopimus tarjosi tuen järjestelmien väliselle johdonmukaisuudelle.

Kun ainoastaan kyselyt, joilla oli yhtenevät GPT- ja LIWC-kohteliaisuusluokitukset, analysoitiin, kohteliat kyselyt johtivat edelleen 14 vähemmän tokeniin; ja kun kohteliaisuus mitattiin liukuvalla asteikolla, jokainen askel kohteliaisuuden suuntaan vähensi tokenien määrää keskimäärin viidellä tokenilla:

Tokenien säästöt kohteliaisuudesta säilyivät, kun ne luokiteltiin uudelleen LIWC:llä, sekä binäärisenä luokkana että jatkuvana arvona.

Luotettavuus

Tutkijat arvioivat, vaikuttavatko kohteliaisuuden vaikutukset eri tyypin kyselyihin. Jokainen kysely luokiteltiin yhteen monista ennalta määritellyistä tehtävien luokista: tiedonhaku; tekstin generointi; muokkaus ja uudelleenkirjoittaminen; luokittelu; tiivistäminen; ja tekniset tehtävät.

Jokainen kysely sai tehtävänimetkeen vertaamalla sen upotusta ennalta määriteltyihin tehtävien kuvausten upotuksiin all-MiniLM-L6-v2 Sentence Transformers -mallilla.

Kosinussäteisyys laskettiin jokaisen kyselyn ja tehtävien määrittelyjen välillä, ja label, jolla oli korkein säteisyys, määriteltiin.

Tehtävät muunnettiin ohjaaviksi muuttujiksi regressioanalyysissä, jotta voitiin testata, vaikuttavatko kohteliaisuuden vaikutukset kyselytyypin mukaan, ja vuorovaikutuksia tehtävän ja kohteliaisuuden välillä tutkittiin, jotta voidaan tarkastella erilaisia vaikutuksia.

Molemmissa tapauksissa kohteliat kyselyt tuottivat johdonmukaisesti lyhyempiä vastauksia, eikä tehtävien välillä havaittu merkittävää vaihtelua:

Regressioanalyysin tulokset, jotka osoittavat, että kohteliat kyselyt vähensivät vastauksen pituutta kaikissa tehtävissä ilman merkittäviä vuorovaikutuksia.

Tutkijat testasivat, johtuuko lyhyemmistä vastauksista kohteliasista kyselyistä laadun lasku. Vastaukset alkuperäisistä ja vastakkaisista kyselyistä vertailtiin semanttisen samankaltaisuuden suhteen semanttisessa vektoritilassa, ja kosinussäteisyys laskettiin jokaisen parin välillä, josta saatiin keskimäärin 0,78, osoittaen vahvan yhtenevyyden merkityksessä ja viitatessa siihen, että sisältö säilyi johdonmukaisena, vaikka sävy muuttui.

Pysäytys sanat

Tutkijat tutkivat, mitä tyyppisiä sisältöjä vähennetään lyhyemmissä vastauksissa. Yleisimmin pudotetut sanat olivat yleisiä pysäytys sana, kuten ‘on’, ‘enemmän’, ‘missä’ ja ‘johon’, eli termit, jotka palvelevat enemmän kieliopillisia kuin semanttisia rooleja.

Tutkijat vahvistivat, ettei tokenien vähennys johtunut merkityksellisen sisällön menetyksestä, poistamalla pysäytys sanat ja analysoimalla järjestelmällisesti katoavan fraasien olemassaoloa; kuitenkaan ei havaittu johdonmukaista tai semanttisesti tärkeää katoamismallia, viitatessa siihen, että kohteliaisuuden aiheuttamat vähennykset eivät poistaneet merkityksellistä tai hyödyllistä sisältöä.

Näin ollen vaikuttaa siltä, että enemmän tokenia kulutetaan vastauksiin epäkohteliaisiin kyselyihin verrattuna kohteliasiin – kuin jonkinlainen “vero” karkeudesta.

Ihmistutkimus

Tutkijat testasivat, vaikuttaako vastauksen laatu kyselyn sävyyn. Ihmisten arviointi tehtiin satunnaisella otoksella 20 kohteliaasta ja 20 epäkohteliaasta kyselyparista.

401 osallistujaa arvioi vastauksia seitsemän pisteen asteikolla. Jokainen osallistuja näki vain yhden vastauksen, joka oli yksi neljästä ehdosta: kohtelias tai epäkohtelias, ja joko alkuperäinen tai vastakkainen.

Ei havaittu merkittäviä eroja havaittu laadun arvioissa minkään ehtojen välillä. Kohtelias ja epäkohtelias vastaukset saivat lähes identtiset arvosanat, kuten alkuperäiset ja vastakkaiset versiot.

Tutkijat väittävät, että nämä tulokset osoittavat, että tokenien määrän vähennys ei johtunut laadun laskusta, vaan uudelleenmuokkauksesta tai rakenteellisista siirtymistä, jotka säilyttivät kuitenkin merkityksen.

Kustannusero, joka havaittiin yritysten kyselyissä, ei siten ole todennäköisesti aiheuttanut muutoksia hyödyllisyydessä tai selkeydessä, ja “vero” on edelleen voimassa.

Johtopäätös

Vaikka uusi tutkimus keskittyy yritysten ChatGPT-käyttöön, myös alempien käyttäjien on huomioitava tämä ilmiö, koska jopa kahdella aleimmalla tasolla on käyttörajoitukset; ja – oletettavasti – epäkohtelias käyttäytyminen ChatGPT:lle nopeuttaa keskivertokäyttäjän päivittäisen tokenien kulutuksen.

Uusi tutkimus keskittyy otsikoinnin herättävään ja paljon tutkittuun avoimeen kysymykseen ihmisten ja tekoälyjärjestelmien vuorovaikutuksissa; mutta tutkijat korostavat, että kohteliaisuuden ympärillä olevat ongelmat tulisi tulkita mahdollisten, vielä tuntemattomien kielellisten erikoisuuksien osoituksina, jotka voivat vaikuttaa laskuihin.

Julkaistu ensimmäisen kerran keskiviikkona, 19. marraskuuta 2025