Uvenlige forespørgsler kan forøge omkostningerne for virksomheds-ChatGPT

ChatGPT-brændstof går igennem flere tokens, når du er uhøflig over for den, hvilket øger din virksomhedsregning; men at sige ‘venligst’ kan reducere dine omkostninger.

Det siges, at høflighed ikke koster noget; men hvad koster uhøflighed? Ifølge en ny undersøgelse fra USA koster uhøflighed over for ChatGPT mere end høflighed. Den nye rapport, fra University of Iowa, viser, at at være uhøflig over for ChatGPT øger omkostningerne for svarene – selv hvis svarene er de samme for høflige og uhøflige forespørgsler.

Forfatterne skriver:

‘[Prisen på] output-tokens er 12 dollar pr. 1 million output-tokens for GPT4. Vi finder, at uhøflige forespørgsler fører til mere end 14 ekstra tokens, hvilket svarer til en ekstra omkostning på 0,000168 dollar pr. forespørgsel i gennemsnit. Gennemsnitsantallet af daglige forespørgsler til OpenAIs API overstiger 2,2 milliarder.

‘I forhold til en situation, hvor alle forespørgsler er høflige, genererer uhøflige forespørgsler en ekstra indtægt på 369.000 dollar om dagen, udelukkende på grund af den øgede mængde tokens, som uhøflige forespørgsler genererer i svaret.’

Selv om resultaterne i sig selv er interessante, understreger forfatterne, at denne usædvanlige adfærd kunne indikere en række hidtil ukendte ejendommeligheder i menneske/AI-konfigurationen, hvoraf nogle eller alle kan have økonomiske implikationer. Forfatterne giver ikke nogen forklaring på, hvorfor uhøflighed koster kunderne flere tokens.

For at fastslå, om fænomenet var ægte, skrev de omvirksomheds-ChatGPT-forespørgsler, hvor de afvekslede høfligheds-værdierne, mens de fastholdt betydningen. Begge versioner blev herefter indsendt til GPT-4-Turbo-modellen via separate API-kald, og antallet af tokens, der blev brugt til svarene, blev målt, og forskellen mellem dem blev behandlet som målet for, hvordan tone påvirkede (token-)omkostningerne.

Konklusionerne modsiger de overskrifter, der tidligere på året havde Sam Altman klagende over, at høflighed koster OpenAI potentielt ‘ti millioner’ dollar i form af behandling af høfligheds-relaterede tokens (såsom ‘venligst’). Forskning offentliggjort i samme periode viste også, at høflighed ikke havde nogen værdi i forhold til at få bedre svar (selv om det ikke kommenterede på ‘billigere’ svar).

Hvis den nye rapports konklusioner er korrekte, ville enhver virksomheds-ChatGPT-bruger, der havde fulgt denne tænkemåde, brugt mere på ChatGPT-inferens i 2025 end brugere, der tilbød minimum høflighed i ChatGPT-udvekslinger.

Forfatterne foreslår, at en mulig løsning kunne være at sætte en token-grænse for svarene, selv om dette ikke er en tilgang, som LLM-systemer let kan implementere. De bemærker, at forespørgsler er et svagt værktøj til omkostningskontrol, fordi LLM’er kæmper med at adlyde eksplicitte længdeinstruktioner. I de fleste tilfælde ville denne ‘begrænsning’ ikke blive overholdt; desuden kunne svaret blive afkortet, fordi LLM’er af denne type grundlæggende gætter på det næste sandsynlige ord i en sætning/afsnit, og som sådan ikke ved, hvordan historien ender – eller hvor historien ender – før behandlingen er fuldført. De har derfor begrænset evne til at ‘afslutte’ nogen maskineri i gang på anmodning.

Uden en præcis løsning – selv om de foreslår, at mere gennemsigtige priser burde gøres gældende i tilfælde af denne art – konkluderer forfatterne:

‘Den gængse visdom går ud på, at prompt-høflighed er unødvendig, når man interagerer med LLM’er.

‘Til gengæld viser vores arbejde, at uhøflige forespørgsler øger output-tokens og genererer ekstra omkostninger for virksomheds-AI-adopterere.’

Den nye rapport har titlen OmKostningsgennemsigtighed af virksomheds-AI-adopter og kommer fra tre forskere fra University of Iowa.

Metode

Data til systemet blev hentet fra WildChat-datasettet, der består af en samling af 1 million bruger-ChatGPT-samtaler og indeholder mere end 2,5 millioner interaktioner:

Fra en understøttende side for WildChat-projektet, søgbare eksempler på ChatGPT-interaktioner. Kilde

Forfatterne bemærker, at WildChat indeholder en større mængde naturlige interaktioner end i nogle mere kuraterede sæt.

De valgte 20.000 engelske forespørgsler fra samlingens GPT-4-udvekslinger, hvor de kasserede outputtet i hvert tilfælde (da det var meningen at føre forespørgslerne igennem igen for nye svar). Kun den første interaktion blev valgt, selv fra længere udvekslinger,

Den resulterende samling blev filtreret ind i høflige eller uhøflige kategorier, hvor alle forespørgsler blev klassificeret af GPT-4-Turbo. Forskerne brugte modellen selv til at afgøre, om en forespørgsel var høflig eller ej, fordi modellens egen opfattelse af høflighed var central for eksperimentet.

Forespørgsler, der blev klassificeret som høflige, kunne indeholde tydelige tegn som ordet ‘venligst’, eller kunne være høflige på en mere indirekte måde. Alt, der ikke blev genkendt som høfligt, blev klassificeret som uhøfligt, selv om formuleringen var neutral snarere end antagonistisk.

For at studere, hvordan modellen reagerede på høflighed, kunne standardmetoder (dvs. metoder, der behandler tekst som en samling af målbare funktioner) ikke bruges: da høflighed var indlejret i formuleringen selv, ville en sammenfatning af en forespørgsel som en liste over funktioner have mistet vigtig kontekst.

I stedet blev hver forespørgsel omskrevet for at omvende dens tone, hvor alle andre elementer blev holdt så lignende som muligt, hvilket muliggjorde en sammenligning mellem par, der kun adskilte sig i høflighed:

Eksempler på, hvordan høflige og uhøflige forespørgsler blev omdannet til deres kontrafaktiske versioner, mens de fastholdt semantisk betydning. Kilde

Tests

Hver oprindelig forespørgsel blev parret med en omskrevet version, der kun adskilte sig i sin høflighedsniveau, og begge versioner blev indsendt til samme GPT-4-Turbo-model via separate API-kald. Antallet af tokens, der blev produceret i svaret på hver version, blev optaget, og forskellen mellem dem blev behandlet som målet for, hvordan tone påvirkede (token-)omkostningerne.

Temperatur blev holdt konstant for at forhindre tilfældig variation, og forespørgselspar blev kun beholdt, hvis omskrivningen ændrede inputtet med ikke mere end fem tokens. Dette sikrede, at effekten, der blev studeret, opstod fra tone, snarere end fra nogen bredere ændringer i formulering:

Sammenfattningsstatistik, der viser, at høflige forespørgsler resulterede i færre output-tokens i gennemsnit end uhøflige forespørgsler, på trods af at have lidt flere input-tokens.

Hovedresultaterne for den første runde af tests viste, at brugen af en høflig forespørgsel reducerer token-output-længde med 14,426 tokens:

Estimationsresultater, der viser effekten af høflig forespørgselsformatering på den genererede output-længde (tokens).

Analysen blev gentaget over tre undergrupper af høflige forespørgsler for at teste robustheden: forespørgsler, der brugte eksplicitte markører som ‘venligst’ eller ‘tak’; de, der kun brugte ‘venligst’; og de med implicit høflighed, såsom ‘kan du’ eller ‘kunne du’:

Estimationsresultater baseret på typer af høflighed.

For at validere robustheden af hovedresultaterne blev en sekundær klassificering af forespørgsels-høflighed udført ved hjælp af LIWC-rammeværket, der giver en deterministisk og gentagbar score for lingvistiske funktioner.

I modsætning til GPT’s probabilistiske klassificering kan LIWC tildele en stabil høflighedsscore til hver forespørgsel, hvilket muliggør en vurdering af konsistens over diverse metoder. I denne del af testen blev forespørgsler klassificeret som høflige, hvis deres LIWC-høflighedsscore var større end 0, og som uhøflige ellers.

Når overensstemmelsen mellem LIWC- og GPT-klassificeringer blev målt, blev en overensstemmelsesrate på 81% observeret. Selv om dette ikke er et mål for nøjagtighed, gav denne overensstemmelse støtte til konsistens mellem systemer.

Når kun forespørgsler med matchende GPT- og LIWC-høflighedsmærker blev analyseret, førte høflige forespørgsler stadig til 14 færre output-tokens; og når høflighed blev målt på en glideende skala, reducerede hver øgning i høflighed output med fem tokens i gennemsnit:

Token-besparelser fra høflighed blev fastholdt, når de blev klassificeret med LIWC, både som en binær mærke og en kontinuert score.

Resilience

For at vurdere, om effekten af høflighed varierede over forskellige typer af forespørgsler, blev hver forespørgsel tildelt en af flere foruddefinerede opgavekategorier: oplysningssøgning; tekstgenerering; redigering og omskrivning; klassificering; samlet; og tekniske opgaver.

Hver forespørgsel blev tildelt en opgavelabel ved at sammenligne dens indlejring med dem fra foruddefinerede opgavebeskrivelser, ved hjælp af all-MiniLM-L6-v2 Sentence Transformers-modellen.

Kosinus-ligning-scorer blev beregnet mellem hver forespørgsel og sættet af opgavebeskrivelser, og mærket med den højeste ligning blev tildelt.

Opgavekategorierne blev herefter genbrugt som kontrollvariabler i regressionen for at teste, om effekten af høflighed varierede med forespørgselkategori, og interaktionsvariable mellem opgave og behandling blev også introduceret for at kontrollere for differential-effekter.

I begge tilfælde producerede høflige forespørgsler konsekvent kortere output, og ingen betydelig variation over opgavekategorier blev fundet:

Regressionsresultater, der viser, at høflige forespørgsler reducerede output-længde over alle opgavekategorier, uden nogen betydelige interaktions-effekter.

For at teste, om kortere svar fra høflige forespørgsler afspejlede reduceret kvalitet, blev output fra oprindelige og kontrafaktiske forespørgsler sammenlignet for semantisk ligning. Ved hjælp af all-MiniLM-L6-v2-modellen blev hver besvarelse indlejret i en semantisk vektorrum, og kosinus-ligning blev beregnet mellem hver par, hvilket resulterede i en gennemsnitlig ligning på 0,78, hvilket indikerer en stærk alignment i betydning, og antyder, at indholdet forblev konsistent, selv om tonen ændrede sig.

Stop-ord

For at forstå, hvilke typer af indhold, der reduceres i kortere output, blev de mest hyppigt-droppede ord undersøgt. Disse blev fundet at være almindelige stop-ord som ‘have’, ‘mere’, ‘hvor’ og ‘ind i’, dvs. termer, der tjener grammatiske snarere end semantiske roller.

For at bekræfte, at token-reduktion ikke blev drevet af tab af meningsfuldt indhold, blev stop-ord fjernet, og fraser på op til fire ord blev analyseret for systematisk forsvinden; dog blev ingen konsistente eller semantisk vigtige mønstre fundet, hvilket antyder, at reduceringer fra høflig formatering ikke var fjernelse af meningsfuldt eller nyttigt indhold.

Derfor syntes det stadig, at flere tokens blev brugt på svar til uhøflige forespørgsler end høflige – som en slags ‘afgift’ på uhøflighed.

Menneskeundersøgelse

For at teste, om output-kvalitet var påvirket af forespørgsels-tone, blev en menneske-evaluering også udført, ved hjælp af en tilfældig udvalg af 20 høflige og 20 uhøflige forespørgselspar.

Efter at have ekskluderet forespørgsler om følsomme eller tekniske emner blev svarene vurderet af 401 deltagere på en syv-punkts-skala. Hver deltager så kun ét svar, trukket fra en af fire betingelser: høflig eller uhøflig, og enten oprindelig eller kontrafaktisk.

Ingen betydelige forskelle blev fundet i opfattet kvalitet over nogen af disse betingelser. Høflige og uhøflige output modtog næsten identiske score, ligesom oprindelige og kontrafaktiske versioner.

Forfatterne hævder, at disse resultater indikerer, at reduktionen i output-tokens ikke skyldtes nogen tab af kvalitet, men i stedet ved omformulering eller gennem strukturelle ændringer, der alligevel bevarede betydning.

Omkostningsforskellen, der blev observeret i virksomheds-forespørgsler, er derfor usandsynligt at reflektere ændringer i nyttighed eller klarhed, og ‘afgiften’ er stadig operativ.

Konklusion

Selv om den nye undersøgelse fokuserer på virksomhedsbrug af ChatGPT, er lavere-niveausbrugere også berørt af dette fænomen, da selv de to laveste niveauer har begrænsninger; og – formodentlig – at behandle ChatGPT uhøfligt vil få den gennemsnitlige bruger til at nå grænsen for dagens token-allocation hurtigere.

Den nye undersøgelse fokuserer på et overskrift-genererende og meget studeret åbent spørgsmål i menneske/AI-interaktioner; men forfatterne understreger, at spørgsmål om høflighed skal ses som indikatorer for en mulig dybere kilde af lingvistiske ejendommeligheder, der endnu ikke er opdaget, som kan have indvirkning på omkostninger for inferens.

Offentliggjort onsdag, 19. november 2025