Le richieste scorte si possono tradurre in costi più alti per l’impresa ChatGPT

Le risposte di ChatGPT consumano più token quando si è scortesi con esso, aumentando la fattura dell’impresa; ma dire “per favore” può ridurre i costi.

Si dice che la cortesia non costa nulla; ma cosa costa la scortesia? Per quanto riguarda il pagamento per ChatGPT, parecchio, secondo uno studio recente degli Stati Uniti. Il nuovo documento, dell’Università dell’Iowa, scopre che essere scortesi con ChatGPT aumenta il costo delle risposte – anche se le risposte sono le stesse per richieste cortesi e non cortesi.

Gli autori affermano:

‘Il prezzo dei token di output è di 12 dollari per 1 milione di token di output per GPT4. Abbiamo scoperto che le richieste non cortesi portano a più di 14 token extra, il che equivale a un costo aggiuntivo di 0,000168 dollari per richiesta in media. Le richieste quotidiane all’API di OpenAI superano i 2,2 miliardi.

‘In confronto a uno scenario in cui tutte le richieste sono cortesi, quando invece le richieste sono non cortesi, questo genera un reddito aggiuntivo di 369.000 dollari al giorno, semplicemente a causa dell’aumento dei token che le richieste non cortesi generano nel risultato.’

Sebbene il risultato sia interessante di per sé, gli autori sottolineano che questo comportamento insolito potrebbe indicare una varietà di stranezze ancora sconosciute nella configurazione umano/AI, alcune o tutte le quali potrebbero anche avere implicazioni finanziarie. Per quanto riguarda il motivo per cui la scortesia costa ai clienti token aggiuntivi, gli autori non speculano.

Per stabilire la veridicità del fenomeno, hanno riscritto richieste reali di ChatGPT, alternando i valori di cortesia, mantenendo il significato. Entrambe le versioni sono state poi alimentate in GPT-4-Turbo, e le differenze sono state misurate nel numero di token di output utilizzati per le risposte.

Le conclusioni tratte sono in netto contrasto con eventi di prima pagina all’inizio di quest’anno, in cui Sam Altman si è lamentato del fatto che la cortesia stava costando a OpenAI potenzialmente ‘decine di milioni’ di dollari in termini di token di elaborazione della cortesia (come ‘per favore’). La ricerca pubblicata nello stesso periodo ha anche indicato che la cortesia non aveva valore nel ottenere risposte migliori (sebbene non abbia commentato le risposte ‘più economiche’).

Se le conclusioni del nuovo studio sono corrette, qualsiasi utente di ChatGPT aziendale che abbia seguito quella linea di pensiero avrebbe speso più per l’inferenza di ChatGPT nel 2025 rispetto agli utenti che offrivano una cortesia minima nelle interazioni con ChatGPT.

Gli autori suggeriscono che un possibile rimedio potrebbe essere impostare un tetto di token per le risposte, sebbene questo non sia un approccio che i sistemi LLM possano implementare facilmente. Osservano che la richiesta è uno strumento debole per il controllo dei costi, poiché i LLM lottano per obbedire a istruzioni di lunghezza esplicite. Nella maggior parte dei casi, questa direttiva di ‘limitazione’ non sarebbe stata obbedita; inoltre, la risposta potrebbe essere troncata, poiché i LLM di questo tipo stanno essenzialmente indovinando la prossima parola probabile in una frase/paragrafo, e, come tale, non sanno come la storia finisce – o dove la storia finisce – fino a quando l’elaborazione non è completa. Pertanto, hanno una capacità limitata di ‘concludere’ qualsiasi meccanismo in corso su richiesta.

Mancando una soluzione esatta – sebbene suggerendo che approcci di prezzi più trasparenti debbano essere applicati in casi del genere – gli autori concludono:

‘La saggezza convenzionale suggerisce che la cortesia della richiesta è inutile quando si interagisce con i LLM.

‘In contrasto, il nostro lavoro dimostra che le richieste non cortesi aumentano i token di output, generando costi aggiuntivi per gli adottanti di AI aziendali.’

Il nuovo documento è intitolato Trasparenza dei costi dell’adozione di AI aziendale, e proviene da tre ricercatori dell’Università dell’Iowa.

Metodo

I dati per il sistema sono stati tratti dal set di dati WildChat, che comprende una raccolta di 1 milione di conversazioni utente-ChatGPT, e presenta oltre 2,5 milioni di turni di interazione:

Da un sito di supporto per il progetto WildChat, esempi di interazioni di ChatGPT. Fonte

Gli autori notano che WildChat contiene una quantità maggiore di interazioni naturali rispetto ad alcuni set più curati.

Hanno scelto 20.000 prompt in inglese dal set di scambi di GPT-4, scartando l’output in ogni caso (poiché l’intenzione era di alimentare nuovamente i prompt per risposte nuove). Solo la prima interazione è stata scelta, anche da scambi più lunghi,

Il set risultante è stato filtrato in categorie cortesi o non cortesi, con tutti i prompt classificati da GPT-4-Turbo. I ricercatori hanno utilizzato il modello stesso per decidere se un prompt era cortese o no perché la percezione di cortesia del modello era centrale per l’esperimento.

I prompt etichettati come cortesi potevano includere indizi chiari come la parola ‘per favore’, o potevano essere cortesi in un modo più indiretto. Qualsiasi cosa non riconosciuta come cortese è stata classificata come non cortese, anche se la formulazione era neutra piuttosto che antagonistica.

Per studiare come il modello rispondeva alla cortesia, i metodi standard (ad es. quelli che trattano il testo come un insieme di caratteristiche misurabili) non potevano essere utilizzati: poiché la cortesia era incorporata nella formulazione stessa, riassumere un prompt come un elenco di caratteristiche avrebbe perso contesto importante.

Invece, ogni prompt è stato riscritto per invertire il tono, mantenendo tutti gli altri elementi simili, consentendo il confronto tra coppie che differivano solo nella cortesia:

Esempi di come i prompt cortesi e non cortesi sono stati trasformati nelle loro versioni controfattuali, mantenendo il significato semantico. Fonte

Test

Ogni prompt originale è stato accoppiato con una versione riscritta che differiva solo nel livello di cortesia, e entrambe le versioni sono state sottoposte allo stesso modello GPT-4-Turbo attraverso chiamate API separate. Il numero di token prodotti in risposta a ogni versione è stato registrato, e la differenza tra di loro trattata come la misura di come il tono influenzava (il costo dei token).

Temperatura è stata mantenuta costante per prevenire variazioni casuali, e le coppie di prompt sono state mantenute solo quando la riscrittura alterava l’input di non più di cinque token. Ciò ha garantito che l’effetto studiato derivasse da tono, piuttosto che da cambiamenti più ampi nella formulazione:

Statistiche riassuntive che mostrano come i prompt cortesi abbiano portato a meno token di output in media, rispetto ai prompt non cortesi, nonostante avessero leggermente più token di input.

I principali risultati del primo round di test hanno indicato che l’uso di un prompt cortese riduce la lunghezza dell’output di 14,426 token:

Risultati di stima che delineano l’effetto della formattazione del prompt cortese sulla lunghezza dell’output generato (token).

L’analisi è stata ripetuta su tre sottinsiemi di prompt cortesi per testare la robustezza: prompt che utilizzavano marker espliciti come ‘per favore’ o ‘grazie’; quelli che utilizzavano solo ‘per favore’; e quelli con implicita cortesia, come ‘puoi’ o ‘potresti’:

Risultati di stima basati sui tipi di cortesia.

Per convalidare la robustezza dei principali risultati, è stata condotta una classificazione secondaria della cortesia del prompt utilizzando il framework LIWC, che fornisce un punteggio deterministico e ripetibile per le caratteristiche linguistiche.

A differenza della classificazione probabilistica di GPT, LIWC può assegnare un punteggio di cortesia stabile a ogni prompt, consentendo di valutare la coerenza tra metodi diversi. In questa parte dei test, i prompt sono stati etichettati come cortesi se il loro punteggio di cortesia LIWC era maggiore di zero, e come non cortesi altrimenti.

Quando l’allineamento tra le classificazioni LIWC e GPT è stato misurato, è stato osservato un tasso di corrispondenza dell’81%. Sebbene non sia una misura di accuratezza, questo accordo ha fornito supporto per la coerenza tra i sistemi.

Quando solo i prompt con etichette di cortesia LIWC e GPT corrispondenti sono stati analizzati, i prompt cortesi hanno ancora portato a 14 token di output in meno; e quando la cortesia è stata misurata su una scala mobile, ogni passo in più nella cortesia ha ridotto l’output di cinque token in media:

Risparmi di token dalla cortesia mantenuti quando riclassificati con LIWC, sia come etichetta binaria che come punteggio continuo.

Resilienza

Per valutare se l’effetto della cortesia variava tra tipi diversi di prompt, ogni prompt è stato assegnato a una delle categorie di task predefinite: ricerca di informazioni; generazione di testo; modifica e riscrittura; classificazione; riassunto; e compiti tecnici.

Ogni prompt è stato assegnato un’etichetta di task confrontando il suo embedding con quelli delle descrizioni di task predefinite, utilizzando il modello all-MiniLM-L6-v2 Sentence Transformers.

Similarità coseno sono state calcolate tra ogni prompt e l’insieme di definizioni di task, e l’etichetta con la similarità più alta è stata assegnata.

I tipi di task sono stati quindi riproposti come variabili di controllo nella regressione, per testare se l’effetto della cortesia variava per categoria di prompt, e i termini di interazione tra task e trattamento sono stati introdotti per verificare gli effetti differenziali.

In entrambi i casi, i prompt cortesi hanno prodotto consistentemente output più brevi, e non è stata trovata alcuna variazione significativa tra i tipi di task:

Risultati di regressione che dimostrano come i prompt cortesi abbiano ridotto la lunghezza dell’output in tutti i tipi di task, senza effetti di interazione significativi.

Per testare se le risposte più brevi dai prompt cortesi riflettevano una riduzione della qualità, gli output dai prompt originali e controfattuali sono stati confrontati per similarità semantica. Utilizzando il modello all-MiniLM-L6-v2, ogni risposta è stata incorporata in uno spazio vettoriale semantico, e la similarità coseno è stata calcolata tra ogni coppia, producendo una similarità media di 0,78, indicando un allineamento forte nel significato, e suggerendo che il contenuto rimaneva coerente anche quando il tono cambiava.

Stop Word

Per capire quali tipi di contenuto sono ridotti negli output più brevi, le parole più frequentemente eliminate sono state esaminate. Queste sono state trovate essere comuni stop-word come ‘have’, ‘more’, ‘where’, e ‘into’, cioè termini che servono ruoli grammaticali piuttosto che semantici.

Per confermare che la riduzione dei token non era guidata dalla perdita di contenuto significativo, le stop-word sono state rimosse, e le frasi di fino a quattro parole sono state analizzate per la scomparsa sistematica; tuttavia, non sono stati trovati modelli coerenti o semanticamente importanti, suggerendo che le riduzioni dalla formulazione cortese non stavano non eliminando contenuto significativo o utile.

Pertanto, sembra ancora che più token siano stati spesi per rispondere a richieste scortesi rispetto a quelle cortesi – come una sorta di ‘tassa’ sulla bruschezza.

Studio umano

Per testare se la qualità dell’output era influenzata dal tono della richiesta, è stato condotto anche uno studio umano, utilizzando un campione casuale di venti cortesi e venti non cortesi prompt.

Dopo aver escluso i prompt su argomenti sensibili o tecnici, le risposte sono state valutate da 401 partecipanti su una scala a sette punti. Ogni partecipante ha visto solo una risposta, tratta da una delle quattro condizioni: cortese o non cortese, e originale o controfattuale.

Non sono state trovate differenze significative nella qualità percepita in nessuna di queste condizioni. Le risposte cortesi e non cortesi hanno ricevuto punteggi quasi identici, come anche le versioni originali e controfattuali.

Gli autori affermano che questi risultati indicano che la riduzione dei token di output non è stata causata da una perdita di qualità, ma invece da una riformulazione, o attraverso spostamenti strutturali che hanno comunque mantenuto il significato.

La differenza di costo osservata nell’impiego aziendale è quindi improbabile che rifletta cambiamenti nell’utilità o nella chiarezza, e la ‘tassa’ è ancora operativa.

Conclusione

Sebbene il nuovo lavoro si concentri sull’uso aziendale di ChatGPT, anche gli utenti di livello inferiore sono influenzati da questo fenomeno, poiché anche i due livelli di ingresso hanno limiti di utilizzo; e – presumibilmente – trattare ChatGPT in modo brusco farà sì che l’utente medio si avvicini più velocemente all’esaurimento dell’allocazione giornaliera di token.

Il nuovo studio si concentra su una domanda aperta e molto studiata nelle interazioni umano/AI; ma gli autori sottolineano che le questioni sulla cortesia dovrebbero essere prese come indicatori di una possibile profonda fonte di eccentricità linguistiche, ancora sconosciute, che potrebbero avere implicazioni finanziarie.

Pubblicato per la prima volta mercoledì, 19 novembre 2025