Uhyggelige spørsmål kan øke kostnadene for bedrifter som bruker ChatGPT

ChatGPT-forbrukere som er uhyggelige, kan få høyere kostnader for sine svar, mens å si “vær så god” kan redusere kostnadene.

Det sies at høflighet kostar ingenting, men hva koster uhyggelighet? Ifølge en ny studie fra USA, kan uhyggelige spørsmål til ChatGPT øke kostnadene for svarene, selv om svarene er de samme for både høflige og uhyggelige spørsmål.

Forfatterne skriver:

‘Prisen for utgangstoken er 12 dollar per 1 million utgangstoken for GPT4. Vi fant at uhyggelige spørsmål fører til mer enn 14 ekstra token, som tilsvarer en ekstra kostnad på 0,000168 dollar per spørsmål i gjennomsnitt. Gjennomsnittlig daglig spørsmål til OpenAIs API overstiger 2,2 milliarder.’

‘I sammenligning med en situasjon der alle spørsmål er høflige, genererer uhyggelige spørsmål en ekstra inntekt på 369 000 dollar per dag, kun på grunn av økningen i token som uhyggelige spørsmål genererer i svaret.’

Selv om resultatet er interessant i seg selv, understreker forfatterne at dette uvanlige mønsteret kan indikere en rekke ukjente feil i menneske/AI-konfigurasjonen, som kan ha økonomiske konsekvenser. Forfatterne spekulerer ikke om årsaken til at uhyggelighet kostar kunder ekstra token.

For å etablere gyldigheten av syndromet, skrev de om virkelige ChatGPT-spørsmål, med alternativ høflighet, mens de beholdt meningen. Begge versjoner ble deretter sendt til GPT-4-Turbo-modellen gjennom separate API-kall. Antall token som ble brukt i svaret på hver versjon, ble målt og forskjellen mellom dem behandlet som målet på hvordan tone påvirkte (token)kostnad.

Konklusjonene som ble dradd, er en skarp kontrast til overskriftshendelser tidligere i år, der Sam Altman klaget over at høflighet kostet OpenAI potensielt ‘ti millioner’ dollar i form av prosessering av høflighet-relaterte token (slik som ‘vær så god’). Forskning publisert i samme periode indikerte også at høflighet var uten verdi når det gjaldt å få bedre svar (selv om det ikke kommenterte på billigere svar).

Hvis den nye studiens konklusjoner er korrekte, ville noen bedrifter som bruker ChatGPT, ha brukt mer på ChatGPT-inferens i 2025 enn brukere som tilbyr minimum sivilisasjon i ChatGPT-utvekslinger.

Forfatterne foreslår at en mulig løsning kan være å sette en token-grense på svarene, selv om dette ikke er en enkel løsning for LLM-systemer. De observerer at spørsmål er et svakt verktøy for kostnadskontroll, siden LLM-er sliter med å følge eksplisitte lengdeinstruksjoner. I de fleste tilfeller ville denne ‘begrensningen’ ikke bli fulgt; i tillegg kunne svaret bli forkortet, siden LLM-er av denne typen i hovedsak gjettet på det neste sannsynlige ordet i en setning/paragraf, og som sådan ikke vet hvordan historien slutter – eller hvor historien slutter – før prosesseringen er fullført. De har derfor begrenset evne til å ‘avslutte’ noen maskineri i gang på forespørsel.

Uten en eksakt løsning – selv om de foreslår at mer transparente priser burde pålegges i slike tilfeller – konkluderer forfatterne:

‘Konvensjonell visdom foreslår at spørsmålshøflighet er unødvendig når man samhandler med LLM-er.

‘I motsetning til dette, viser vår arbeid at uhyggelige spørsmål øker utgangstoken, og genererer ekstra kostnader for bedrifter som bruker AI.’

Den nye studien har tittelen Kostnads透明het ved bedriftsbruk av AI, og kommer fra tre forskere ved University of Iowa.

Metode

Data for systemet ble hentet fra WildChat-datasetten, som består av en samling av 1 million bruker-ChatGPT-samtaler, og inneholder over 2,5 millioner interaksjoner:

Fra en støtteside for WildChat-prosjektet, søkbare eksempler på ChatGPT-samtaler. Kilde

Forfatterne bemerker at WildChat inneholder en større mengde naturlige interaksjoner enn i noen mer kurerte sett.

De valgte 20 000 engelske spørsmål fra samlingens GPT-4-utvekslinger, og forkastet utgangen i hvert tilfelle (siden det var meningen å sende spørsmålene igjen for nye svar). Bare det første spørsmålet ble valgt, selv fra lengre utvekslinger,

Den resulterende samlingen ble filtrert inn i høflige eller uhyggelige kategorier, med alle spørsmål klassifisert av GPT-4-Turbo. Forskerne brukte modellen selv til å bestemme om et spørsmål var høflig eller ikke, fordi modellens egen oppfatning av høflighet var sentral for eksperimentet.

Spørsmål som ble klassifisert som høflige kunne inneholde klare signaler som ordet ‘vær så god’, eller kunne være høflige på en mer indirekte måte. Alt som ikke ble gjenkjent som høflig ble klassifisert som uhyggelig, selv om formuleringen var nøytral snarere enn antagonistisk.

For å studere hvordan modellen svarte på høflighet, kunne standardmetoder (dvs. som behandler tekst som en mengde målbare egenskaper) ikke brukes: siden høflighet var innebygget i formuleringen selv, ville en sammenfatting av et spørsmål som en liste over egenskaper ha mistet viktig kontekst.

I stedet ble hvert spørsmål omskrevet for å reversere tonen, med alle andre elementer beholdt like så mulig, og tillot sammenligning mellom par som bare forskjellige i høflighet:

Eksempler på hvordan høflige og uhyggelige spørsmål ble transformert til deres kontrafaktiske versjoner, mens de beholdt semantisk mening. Kilde

Tester

Hvert opprinnelig spørsmål ble parret med en omskrevet versjon som bare forskjellige i høflighetsnivå, og begge versjoner ble sendt til samme GPT-4-Turbo-modell gjennom separate API-kall. Antall token som ble produsert i svaret på hver versjon, ble målt, og forskjellen mellom dem behandlet som målet på hvordan tone påvirkte (token)kostnad.

Temperatur ble holdt konstant for å forhindre tilfeldig variasjon, og spørsmålpar beholdt bare når omskrivningen endret inndata med ikke mer enn fem token. Dette sikret at effekten som ble studert, oppstod fra tone, snarere enn noen bredere endringer i formulering:

Sammendrag av statistikk som viser at høflige spørsmål resulterte i færre utgangstoken i gjennomsnitt, enn uhyggelige spørsmål, til tross for at de hadde litt flere inngangstoken.

Hovedresultatene for den første runden med tester indikerte at bruk av et høflig spørsmål reduserte token-utgangslengde med 14,426 token:

Estimerte resultater som viser effekten av høflig spørsmålsformulering på generert utgangslengde (token).

Analysen ble gjentatt over tre undergrupper av høflige spørsmål for å teste robusthet: spørsmål som brukte eksplisitte markører som ‘vær så god’ eller ‘takk’; de som bare brukte ‘vær så god’; og de med implisitt høflighet, som ‘kan du’ eller ‘kunne du’:

Estimerte resultater basert på typer høflighet.

For å validere robustheten av hovedfunn, ble en sekundær klassifisering av spørsmålshøflighet utført med LIWC-rammeverket, som gir en deterministisk og gjentakende score for lingvistiske egenskaper.

I motsetning til GPTs probabilistiske klassifisering, kan LIWC tildele en stabil høflighetsscore til hvert spørsmål, og tillate konsistens å bli vurdert over diverse metoder. I denne delen av testene, ble spørsmål klassifisert som høflige hvis deres LIWC-høflighetsscore var større enn null, og som uhyggelige ellers.

Når sammenligning mellom LIWC- og GPT-klassifiseringer ble målt, ble en overensstemmelse på 81% observert. Selv om dette ikke er en måling av nøyaktighet, ga denne overensstemmelsen støtte til konsistens mellom systemer.

Når bare spørsmål med sammenfallende GPT- og LIWC-høflighetsklassifiseringer ble analysert, førte høflige spørsmål fortsatt til 14 færre utgangstoken; og når høflighet ble målt på en glidende skala, reduserte hver økning i høflighet utgangen med fem token i gjennomsnitt:

Token-besparelse fra høflighet holdt når omdøpt med LIWC, både som en binær label og en kontinuerlig score.

Resiliens

For å vurdere om effekten av høflighet varierte over ulike typer spørsmål, ble hvert spørsmål tildelt en av flere forhåndsdefinerte oppgavekategorier: informasjonssøking; tekstgenerering; redigering og omskrivning; kategorisering; sammendrag; og tekniske oppgaver.

Hvert spørsmål ble tildelt en oppgavelabel ved å sammenligne dets innkapsling med de tilhørende oppgavedefinisjonene, ved hjelp av all-MiniLM-L6-v2 Sentence Transformers-modellen.

Kosin-ligning-poeng ble beregnet mellom hvert spørsmål og settet av oppgavedefinisjoner, og labelen med den høyeste ligningen ble tildelt.

Oppgavetypene ble deretter brukt som kontrollvariabler i regressjonen, for å teste om effekten av høflighet varierte med spørsmålskategori, og interaksjonsbegreper mellom oppgave og behandling ble også introdusert, for å sjekke for differensielle effekter.

I begge tilfeller produserte høflige spørsmål konsekvent kortere utganger, og ingen meningsfull variasjon over oppgavetyper ble funnet:

Regressionsresultater som viser at høflige spørsmål reduserte utgangslengde over alle oppgavetyper, uten noen signifikante interaksjonseffekter.

For å teste om kortere svar fra høflige spørsmål reflekterte redusert kvalitet, ble utgangene fra opprinnelige og kontrafaktiske spørsmål sammenlignet for semantisk likhet. Ved hjelp av all-MiniLM-L6-v2-modellen, ble hver utgang innkapslet i en semantisk vektorrom, og kosin-ligning beregnet mellom hver par, og ga en gjennomsnittlig ligning på 0,78, som indikerer sterk sammenheng i mening, og antyder at innholdet forble konsistent selv når tone endret.

Stoppord

For å forstå hva slags innhold som reduseres i kortere utganger, ble de mest hyppige droppede ordene undersøkt. Disse ble funnet å være vanlige stoppord som ‘har’, ‘mer’, ‘hvor’, og ‘inn i’, dvs. termer som tjener grammatiske snarere enn semantiske roller.

For å bekrefte at token-reduksjon ikke ble drevet av tap av meningsfullt innhold, ble stoppord fjernet, og fraser på opptil fire ord ble analysert for systematisk forsvinning; men ingen konsistente eller semantisk viktige mønster ble funnet, som antyder at reduksjoner fra høflig formulering ikke var ikke fjernet meningsfullt eller nyttig innhold.

Så det ser ut til at flere token ble brukt på svar til uhyggelige spørsmål enn høflige – som en slags ‘avgift’ på brusket.

Menneskestudie

For å teste om utgangskvalitet ble påvirket av spørsmålstone, ble en menneskevaluering også utført, med en tilfeldig utvalg av tyve høflige og tyve uhyggelige spørsmålpar.

Efter å ha ekskludert spørsmål om følsomme eller tekniske emner, ble svarene vurderert av 401 deltakere på en syv-punkts skala. Hver deltaker så bare ett svar, trukket fra en av fire betingelser: høflig eller uhyggelig, og enten opprinnelig eller kontrafaktisk.

Ingen signifikante forskjeller ble funnet i opplevd kvalitet over noen av disse betingelsene. Høflige og uhyggelige utganger mottok nesten identiske poeng, likeså opprinnelige og kontrafaktiske versjoner.

Forfatterne hevder at disse resultatene indikerer at reduksjonen i utgangstoken ikke ble forårsaket av noen kvalitetstap, men i stedet av omskrivning eller gjennom strukturelle endringer som likevel beholdt mening.

Kostnadsforskjellen som ble observert i bedrifts-spørsmål, er derfor usannsynlig å reflektere endringer i nyttighet eller klarhet, og ‘avgiften’ er fortsatt operativ.

Konklusjon

Selv om den nye studien konsentrerer seg om bedriftsbruk av ChatGPT, er også lavere nivå-brukere påvirket av dette syndromet, siden selv de to laveste nivåene har bruksbegrensninger; og – antageligvis – å behandle ChatGPT grovt, vil få den gjennomsnittlige brukeren til å nå slutten av dagens token-tildeling raskere.

Den nye studien konsentrerer seg om et overskrift-gjennombrudd og et mye studert åpent spørsmål i menneske/AI-interaksjoner; men forfatterne understreker at spørsmål om høflighet bør sees på som indikatorer for en mulig dypere kilde av lingvistiske eksentrisiteter, som ennå ikke er oppdaget, som kan ha innvirkning på kostnader for inferens.

Først publisert onsdag, 19. november 2025