Oartiga frågor kan öka kostnaderna för företagsanvändning av ChatGPT

ChatGPT svar förbrukar fler token när du är oartig mot den, vilket ökar din företagsräkning; men att säga “var så god” kan minska dina kostnader.

Det sägs att artighet kostar ingenting; men vad kostar oartighet? När det gäller att betala för ChatGPT, ganska mycket, enligt en ny studie från USA. Den nya rapporten, från University of Iowa, visar att att vara oartig mot ChatGPT ökar kostnaden för svaren – även om svaren är desamma för artiga och oartiga frågor.

Författarna skriver:

‘[Priset på] utdatatoken är 12 dollar per 1 miljon utdatatoken för GPT4. Vi finner att oartiga frågor leder till mer än 14 extra token, vilket motsvarar 0,000168 extra kostnad per fråga i genomsnitt. Den genomsnittliga dagliga frågorna till OpenAIs API överstiger 2,2 miljarder.

‘I jämförelse med ett scenario där all frågeställning är artig, genererar oartiga frågor en extra intäkt på 369 000 dollar per dag, enbart på grund av den ökade mängden token som oartiga frågor genererar i svaret.’

Även om resultatet i sig är intressant, betonar författarna att detta ovanliga beteende kan indikera en mängd ännu okända egenheter i konfigurationen av människa/AI, varav några eller alla kan ha ekonomiska implikationer. När det gäller varför oartighet kostar kunderna extra token, spekulerar författarna inte.

För att fastställa sanningen i detta fenomen, skrev de om riktiga ChatGPT-frågor, alternerande artighetsvärden, medan de behöll meningen. Båda versionerna matades sedan in i GPT-4-Turbo, och skillnaderna mättes i antalet utdatatoken som användes för svaren.

Slutsatserna som dras är en skarp kontrast till tidigare händelser tidigare i år, då Sam Altman klagade på att artighet kostade OpenAI potentiellt ‘tiotals miljoner’ dollar i form av bearbetning av artighetsrelaterade token (såsom ‘var så god’). Forskning publicerad under samma period indikerade också att artighet inte var av någon betydelse när det gällde att få bättre svar (även om den inte kommenterade ‘billigare’ svar).

Om den nya rapportens slutsatser är korrekta, skulle alla företagsanvändare av ChatGPT som följde den linjen ha spenderat mer på ChatGPT-inferens under 2025 än användare som erbjuder minimal artighet i ChatGPT-utbyten.

Författarna föreslår att en möjlig lösning vore att sätta en tak för antalet token i svaren, även om detta inte är en metod som LLM-system kan implementera lätt. De observerar att frågeställning är ett svagt verktyg för kostnadskontroll, eftersom LLM:er har svårt att följa explicita instruktioner om längd. I de flesta fall skulle denna “begränsande” direktiv inte följas; dessutom kunde svaret trunkeras, eftersom LLM:er av denna typ i princip gissar på nästa troliga ord i en mening/paragraf, och, som sådan, vet inte hur berättelsen slutar – eller var berättelsen slutar – förrän bearbetningen är klar. De har därför begränsad förmåga att “avsluta” några pågående processer på begäran.

Utan en exakt lösning – men föreslår att mer transparenta prissättningsmetoder bör tillämpas i fall av detta slag – drar författarna följande slutsats:

‘Den allmänna uppfattningen är att frågeartighet är onödig när man interagerar med LLM:er.

‘I kontrast till detta visar vår undersökning att oartiga frågor ökar utdatatoken, vilket genererar extra kostnader för företagsanvändare av AI.’

Den nya rapporten heter Kostnadstransparens för företagsanvändning av AI och kommer från tre forskare vid University of Iowa.

Metod

Data för systemet samlades in från WildChat-dataseten, som består av en samling av 1 miljon användar-ChatGPT-samtal, och innehåller mer än 2,5 miljoner interaktioner:

Från en stödwebbplats för WildChat-projektet, sökbara exempel på ChatGPT-interaktioner. Källa

Författarna noterar att WildChat innehåller en större mängd naturliga interaktioner än i vissa mer kuraterade samlingar.

De valde 20 000 engelska frågor från samlingens GPT-4-utbyten, och kasserade utdatat i varje fall (eftersom avsikten var att mata in frågorna igen för nya svar). Endast den första interaktionen valdes, även från längre utbyten,

Den resulterande samlingen filtrerades till artig eller oartig kategorier, med alla frågor klassificerade av GPT-4-Turbo. Forskarna använde modellen själv för att bestämma om en fråga var artig eller inte, eftersom modellens egen uppfattning om artighet var central för experimentet.

Frågor som klassificerades som artiga kunde innehålla tydliga ledtrådar som ordet ‘var så god’, eller kunde vara artiga på ett mer indirekt sätt. Allt som inte erkändes som artigt klassificerades som oartigt, även om formuleringen var neutral snarare än antagonistisk.

För att studera hur modellen svarade på artighet, kunde standardmetoder (dvs. som behandlar text som en uppsättning mätbara egenskaper) inte användas: eftersom artighet var inbäddad i formuleringen själv, skulle en sammanfattning av en fråga som en lista med egenskaper ha förlorat viktig kontext.

I stället skrevs varje fråga om för att vända på tonen, med alla andra element så lika som möjligt, vilket möjliggjorde en jämförelse mellan par som skiljde sig endast i artighet:

Exempel på hur artiga och oartiga frågor transformerades till sina kontrafaktiska versioner, medan de behöll semantisk mening. Källa

Tester

Varje ursprunglig fråga parades med en omskriven version som skiljde sig endast i sin artighetsnivå, och båda versionerna skickades till samma GPT-4-Turbo-modell via separata API-anrop. Antalet token som producerades i svaret på varje version registrerades, och skillnaden mellan dem behandlades som ett mått på hur tonen påverkade (token)kostnaden.

Temperatur hölls konstant för att förhindra slumpmässig variation, och frågepar behölls endast när omskrivningen ändrade inmatningen med högst fem token. Detta säkerställde att effekten som studerades uppstod från ton, snarare än några bredare förändringar i formulering:

Sammanfattningsstatistik som visar att artiga frågor resulterade i färre utdatatoken i genomsnitt, än oartiga frågor, trots att de hade något fler inmatningstoken.

Huvudresultaten för den första omgången tester indikerade att användningen av en artig fråga minskar utdatatokens längd med 14,426 token:

Uppskattning av effekten av artig frågeformulering på den genererade utdatatokens längd (token).

Analysen upprepades över tre undergrupper av artiga frågor för att testa robusthet: frågor som använde explicita markörer som ‘var så god’ eller ‘tack’; de som använde endast ‘var så god’; och de med implicit artighet, som ‘kan du’ eller ‘skulle du’:

Uppskattning av effekten av olika typer av artighet.

För att validera robustheten i huvudresultaten, genomfördes en sekundär klassificering av frågeartighet med hjälp av LIWC-ramverket, som tillhandahåller en deterministisk och upprepningsbar poäng för lingvistiska egenskaper.

Till skillnad från GPT:s probabilistiska klassificering, kan LIWC tilldela en stabil artighetspoäng till varje fråga, vilket möjliggör en bedömning av konsekvens över olika metoder. I denna del av testerna klassificerades frågor som artiga om deras LIWC-artighetspoäng var större än noll, och som oartiga annars.

När överensstämmelsen mellan LIWC- och GPT-klassificeringar mättes, observerades en överensstämmelse på 81 %. Medan detta inte är ett mått på noggrannhet, gav denna överensstämmelse stöd för konsekvens mellan system.

När endast frågor med matchande GPT- och LIWC-artighetsklassificeringar analyserades, ledde artiga frågor fortfarande till 14 färre utdatatoken; och när artighet mättes på en glidande skala, minskade varje steg upp i artighet utdatat med fem token i genomsnitt:

Tokenbesparingar från artighet kvarstod när de klassificerades om med LIWC, både som en binär etikett och en kontinuerlig poäng.

Resiliens

För att bedöma om effekten av artighet varierade över olika typer av frågor, tilldelades varje fråga en av flera fördefinierade uppgiftskategorier: informationsinsamling; textgenerering; redigering och omskrivning; klassificering; sammanfattning; och tekniska uppgifter.

Varje fråga tilldelades en uppgiftsetikett genom att jämföra dess inbäddning med de fördefinierade uppgiftsbeskrivningarna, med hjälp av all-MiniLM-L6-v2 Sentence Transformers-modellen.

Kosinlikhet-poäng beräknades mellan varje fråga och uppsättningen uppgiftsdefinitioner, och etiketten med den högsta likheten tilldelades.

Uppgiftstyperna användes sedan som kontrollvariabler i regressionen, för att testa om effekten av artighet varierade med frågetyp, och interaktionstermer mellan uppgift och behandling introducerades, för att kontrollera om det fanns några skillnader i effekter.

I båda fallen producerade artiga frågor konsekvent kortare utdata, och ingen meningsfull variation över uppgiftstyper hittades:

Regressionsresultat som visar att artiga frågor minskade utdatatokens längd över alla uppgiftstyper, utan några signifikanta interaktionseffekter.

För att testa om kortare svar från artiga frågor reflekterade reducerad kvalitet, jämfördes utdatat från ursprungliga och kontrafaktiska frågor för semantisk likhet. Med hjälp av all-MiniLM-L6-v2-modellen inbäddades varje svar i ett semantiskt vektorrum, och kosinlikhet beräknades mellan varje par, vilket resulterade i en genomsnittlig likhet på 0,78, vilket indikerar en stark överensstämmelse i mening, och tyder på att innehållet förblev konsekvent även när tonen ändrades.

Stop-ord

För att förstå vilken typ av innehåll som minskas i kortare utdata, undersöktes de vanligaste borttappade orden. Dessa visade sig vara vanliga stop-ord som ‘ha’, ‘mer’, ‘där’ och ‘in i’, dvs. termer som tjänar grammatiska snarare än semantiska roller.

För att bekräfta att tokenreduktionen inte drevs av förlust av meningsfullt innehåll, togs stop-ord bort, och fraser på upp till fyra ord analyserades för systematisk försvinnande; dock hittades inga konsekventa eller semantiskt viktiga mönster, vilket tyder på att reduktioner från artig formulering inte berövade meningsfullt eller användbart innehåll.

Således tycktes det fortfarande som att fler token spenderades på svar på oartiga frågor än artiga – som en sorts “skatt” på bruskerhet.

Människo-studie

För att testa om utdatas kvalitet påverkades av frågeton, genomfördes en människostudie, med en slumpmässig urval av tjugo artiga och tjugo oartiga frågepar.

Efter att ha uteslutit frågor om känsliga eller tekniska ämnen, bedömdes svaren av 401 deltagare på en sju-punkters skala. Varje deltagare såg endast ett svar, hämtat från en av fyra villkor: artig eller oartig, och antingen ursprunglig eller kontrafaktisk.

Inga signifikanta skillnader hittades i upplevd kvalitet över något av dessa villkor. Artiga och oartiga utdata fick nästan identiska poäng, liksom ursprungliga och kontrafaktiska versioner.

Författarna hävdar att dessa resultat indikerar att reduktionen av utdatatoken inte orsakades av någon förlust av kvalitet, utan snarare av omskrivning eller genom strukturella förändringar som ändå bevarade meningen.

Kostnadsdifferensen som observerades i företagsfrågor är därför osannolikt att reflektera förändringar i användbarhet eller tydlighet, och “skatten” är fortfarande verksam.

Slutsats

Även om den nya studien koncentrerar sig på företagsanvändning av ChatGPT, påverkas även lägre nivåanvändare av detta fenomen, eftersom även de två ingångsnivåerna har användningsbegränsningar; och – förmodligen – att behandla ChatGPT oartigt kommer att öka den genomsnittliga användarens utnyttjande av dagens tilldelning av token.

Den nya studien koncentrerar sig på en rubrikväckande och mycket studerad öppen fråga i människa/AI-interaktioner; men författarna betonar att frågor om artighet bör ses som indikatorer på en möjlig djup källa av lingvistiska egenheter, som ännu inte upptäckts, som kan visa sig ha en inverkan på kostnader för inferens.

Publicerad första gången onsdag, 19 november 2025