Onbeleefde vragen kunnen de kosten van Enterprise ChatGPT doen stijgen

ChatGPT antwoorden verbruiken meer tokens wanneer je onbeleefd bent, waardoor je enterprise-rekening hoger wordt; maar ‘alsjeblieft’ zeggen kan je kosten verlagen.

Het wordt gezegd dat beleefdheid niets kost; maar wat kost onbeleefdheid? Wat betreft het betalen voor ChatGPT, behoorlijk veel, volgens een nieuwe studie uit de VS. Het nieuwe artikel, van de Universiteit van Iowa, ontdekt dat onbeleefd zijn tegen ChatGPT de kosten van antwoorden verhoogt – zelfs als de antwoorden hetzelfde zijn voor beleefde en onbeleefde vragen.

De auteurs stellen:

‘De prijs van uitvoertokens is $12 per 1 miljoen uitvoertokens voor GPT4. We ontdekten dat onbeleefde prompts meer dan 14 extra tokens opleveren, wat equivalent is aan $0,000168 extra kosten per prompt gemiddeld. De gemiddelde dagelijkse queries naar de OpenAI-API overschrijden 2,2 miljard.

‘In vergelijking met een scenario waarin alle prompts beleefd zijn, wanneer de prompts in plaats daarvan onbeleefd zijn, wordt hierdoor een extra $369.000 aan inkomsten per dag gegenereerd, alleen vanwege de toename in tokens die onbeleefde prompts in de uitvoer genereren.’

Hoewel het resultaat op zichzelf interessant is, benadrukken de auteurs dat dit ongebruikelijke gedrag een variëteit aan nog onontdekte eigenaardigheden in de menselijke/AI-configuratie kan aanduiden, waarvan sommige of alle mogelijk ook financiële implicaties hebben. Wat betreft de reden waarom onbeleefdheid klanten extra tokens kost, speculeren de auteurs niet.

Om de juistheid van het syndroom te bewijzen, herschreven ze echte ChatGPT-prompts, waarbij de beleefdheidswaarden afwisselend werden gewijzigd, terwijl de betekenis behouden bleef. Beide versies werden vervolgens in GPT-4-Turbo ingevoerd via afzonderlijke API-aanroepen. Het aantal gegenereerde tokens als antwoord op elke versie werd opgenomen, en het verschil tussen hen werd behandeld als de maatstaf voor hoe toon de (token)kosten beïnvloedde.

De conclusies die getrokken worden, vormen een scherp contrast met de koppen van eerdere gebeurtenissen dit jaar, waar Sam Altman klagde dat beleefdheid OpenAI mogelijk ‘tientallen miljoenen’ dollars kostte in termen van het verwerken van beleefdheidsgerelateerde tokens (zoals ‘alsjeblieft’). Onderzoek dat in dezelfde periode werd gepubliceerd, gaf ook aan dat beleefdheid geen waarde had in termen van het verkrijgen van betere antwoorden (hoewel het niets zei over goedkopere antwoorden).

Als de conclusies van het nieuwe artikel correct zijn, zouden alle enterprise-gebruikers van ChatGPT die die lijn van denken volgden, in 2025 meer hebben uitgegeven aan ChatGPT-inferentie dan gebruikers die een minimum aan beleefdheid boden in ChatGPT-uitwisselingen.

De auteurs suggereren dat een mogelijke oplossing zou zijn om een tokenlimiet in te stellen voor antwoorden, hoewel dit geen benadering is die LLM-systemen gemakkelijk kunnen implementeren. Ze merken op dat prompting een zwak hulpmiddel is voor kostenbeheersing, omdat LLM’s moeite hebben om expliciete lengte-instructies op te volgen. In de meeste gevallen zou deze ‘beperkende’ richtlijn niet worden opgevolgd; bovendien zou het antwoord mogelijk worden afgekapt, omdat LLM’s van dit type eigenlijk raden naar het volgende waarschijnlijke woord in een zin/alinea, en, als zodanig, niet weten hoe het verhaal eindigt – of waar het verhaal eindigt – totdat de verwerking is voltooid. Ze hebben dus een beperkte mogelijkheid om enige machinaties in uitvoering op verzoek te ‘afsluiten’.

Zonder een exacte oplossing – hoewel meer transparante prijsbenaderingen in dit soort gevallen worden voorgesteld – concluderen de auteurs:

‘Conventionele wijsheid suggereert dat promptbeleefdheid onnodig is bij interactie met LLM’s.

‘In tegenstelling tot onze werk toont aan dat onbeleefde prompts meer uitvoertokens genereren, waardoor extra kosten voor enterprise-AI-gebruikers ontstaan.’

Het nieuwe artikel heet Kosten transparantie van enterprise-AI-adoptie en komt van drie onderzoekers aan de Universiteit van Iowa.

Methode

De gegevens voor het systeem werden ontleend aan de WildChat-dataset, die bestaat uit een verzameling van 1 miljoen gebruiker-ChatGPT-conversaties en meer dan 2,5 miljoen interactiebeurten:

Van een ondersteunende site voor het WildChat-project, doorzoekbare voorbeelden van ChatGPT-interacties. Bron

De auteurs merken op dat WildChat een grotere hoeveelheid natuurlijke interacties bevat dan in sommige meer geordende sets.

Zij kozen 20.000 Engelse prompts uit de collectie van GPT-4-uitwisselingen, waarbij de uitvoer in elk geval werd weggegooid (aangezien de bedoeling was om de prompts opnieuw in te voeren voor nieuwe antwoorden). Alleen de eerste interactie werd geselecteerd, zelfs uit langere uitwisselingen,

De resulterende set werd gefilterd in beleefde of onbeleefde categorieën, waarbij alle prompts werden geclassificeerd door GPT-4-Turbo. De onderzoekers gebruikten het model zelf om te bepalen of een prompt beleefd was of niet, omdat het model zijn eigen perceptie van beleefdheid centraal stond in het experiment.

Prompts die als beleefd werden gelabeld, konden duidelijke hints bevatten, zoals het woord ‘alsjeblieft’, of konden op een meer indirecte manier beleefd zijn. Alles wat niet werd herkend als beleefd werd geclassificeerd als onbeleefd, zelfs als de woordkeuze neutraal was in plaats van antagonistisch.

Om te bestuderen hoe het model reageerde op beleefdheid, konden standaardmethoden (d.w.z. die tekst behandelen als een set meetbare kenmerken) niet worden gebruikt: aangezien beleefdheid in de woordkeuze zelf was ingebed, zou het samenvatten van een prompt als een lijst met kenmerken belangrijke context verliezen.

In plaats daarvan werd elke prompt herschreven om de toon om te keren, waarbij alle andere elementen zo veel mogelijk hetzelfde werden gehouden, waardoor een vergelijking tussen paren mogelijk was die alleen in beleefdheid verschilden:

Voorbeelden van hoe beleefde en onbeleefde prompts werden getransformeerd in hun contrafeitelijke versies, terwijl de semantische betekenis werd behouden. Bron

Tests

Elke originele prompt werd gekoppeld aan een herschreven versie die alleen in beleefdheidsniveau verschilde, en beide versies werden ingevoerd in hetzelfde GPT-4-Turbo-model via afzonderlijke API-aanroepen. Het aantal gegenereerde tokens als antwoord op elke versie werd opgenomen, en het verschil tussen hen werd behandeld als de maatstaf voor hoe toon de (token)kosten beïnvloedde.

Temperatuur werd constant gehouden om willekeurige variatie te voorkomen, en promptparen werden alleen behouden wanneer de herschrijving de invoer met niet meer dan vijf tokens wijzigde. Dit zorgde ervoor dat het effect dat werd bestudeerd, voortkwam uit toon, in plaats van enige bredere veranderingen in formulering:

Samenvattingsstatistieken die aantonen dat beleefde prompts gemiddeld minder uitvoertokens opleverden dan onbeleefde prompts, ondanks het feit dat ze iets meer invoertokens hadden.

De belangrijkste resultaten van de eerste ronde van tests gaven aan dat het gebruik van een beleefde prompt de tokenuitvoerlengte met 14,426 tokens vermindert:

Schattingresultaten die de invloed van beleefde promptformulering op de gegenereerde uitvoerlengte (tokens) aantonen.

De analyse werd herhaald over drie subsets van beleefde prompts om robuustheid te testen: prompts die expliciete markers gebruikten, zoals ‘alsjeblieft’ of ‘dank je’; die alleen ‘alsjeblieft’ gebruikten; en die impliciete beleefdheid hadden, zoals ‘kun je’ of ‘zou je’;

Schattingresultaten op basis van beleefdheidstypen.

Om de robuustheid van de belangrijkste bevindingen te valideren, werd een tweede classificatie van promptbeleefdheid uitgevoerd met behulp van de LIWC-framework, dat een deterministische en herhaalbare score voor linguïstische kenmerken biedt.

Anders dan de probabilistische classificatie van GPT, kan LIWC een stabiele beleefdheidscore toewijzen aan elke prompt, waardoor consistentie kan worden beoordeeld over diverse methoden. In dit deel van de tests werden prompts gelabeld als beleefd als hun LIWC-beleefdheidscore groter was dan nul, en als onbeleefd anders.

Wanneer de overeenstemming tussen LIWC- en GPT-classificaties werd gemeten, werd een overeenstemmingspercentage van 81% waargenomen. Hoewel dit geen maatstaf is voor nauwkeurigheid, bood deze overeenstemming ondersteuning voor consistentie tussen systemen.

Wanneer alleen prompts met overeenstemmende GPT- en LIWC-beleefdheidslabels werden geanalyseerd, leidden beleefde prompts nog steeds tot 14 minder uitvoertokens; en wanneer beleefdheid op een schaal van 1 tot 10 werd gemeten, verminderde elke stap omhoog in beleefdheid de uitvoer met vijf tokens gemiddeld:

Tokenbesparingen door beleefdheid werden behouden toen ze opnieuw werden geclassificeerd met LIWC, zowel als binaire label als continue score.

Robuustheid

Om te beoordelen of het effect van beleefdheid varieerde over verschillende soorten prompts, werd elke prompt toegewezen aan een van de vooraf gedefinieerde taakcategorieën: informatie zoeken; tekst genereren; bewerken en herschrijven; classificatie; samenvatting; en technische taken.

Elke prompt werd een taaklabel toegewezen door de embedding ervan te vergelijken met die van vooraf gedefinieerde taakbeschrijvingen, met behulp van de all-MiniLM-L6-v2 Sentence Transformers-model.

Cosinusgelijkheidscores werden berekend tussen elke prompt en de set van taakdefinities, en het label met de hoogste gelijkheid werd toegewezen.

De taaktypen werden vervolgens hergebruikt als controlevariabelen in de regressie, om te testen of het effect van beleefdheid varieerde met promptcategorie, en interactietermen tussen taak en behandeling werden ook geïntroduceerd, om te controleren op differentiële effecten.

In beide gevallen produceerden beleefde prompts consequent kortere uitvoer, en werd geen significante variatie over taaktypen gevonden:

Regressieresultaten die aantonen dat beleefde prompts de uitvoerlengte over alle taaktypen vermindert, zonder significante interactie-effecten.