Nevzdělané dotazy mohou zvyšovat náklady na podnikové ChatGPT

ChatGPT spotřebuje více tokenů, když jste na něj hrubí, což zvyšuje vaše podnikové náklady; ale říkat “prosím” může snížit vaše náklady.

Říká se, že zdvořilost nic nestojí; ale co stojí nevzdělanost? Pokud jde o platbu za ChatGPT, khá hodně, podle nové studie z USA. Nová práce, z Univerzity v Iowě, zjistila, že být hrubý na ChatGPT zvyšuje náklady na odpovědi – i když odpovědi jsou stejné pro zdvořilé i nevzdělané dotazy.

Autoři uvádějí:

‘Cena výstupních tokenů je 12 dolarů za 1 milion výstupních tokenů pro GPT4. Zjistili jsme, že nevzdělané dotazy vedou k více než 14 dodatečným tokenům, což je ekvivalentní k dodatečným 0,000168 dolarům na dotaz v průměru. Průměrný denní počet dotazů na API OpenAI přesahuje 2,2 miliardy.

‘V porovnání se scénářem, ve kterém je všechny dotazy zdvořilé, když jsou dotazy nevzdělané, generuje to dodatečný příjem ve výši 369 000 dolarů denně, pouze kvůli zvýšení tokenů, které nevzdělané dotazy generují ve výsledku.’

Ačkoli je výsledek sám o sobě zajímavý, autoři zdůrazňují, že toto neobvyklé chování by mohlo naznačovat řadu dosud neznámých vlastností v konfiguraci člověk/umělá inteligence, z nichž některé nebo všechny by mohly mít finanční důsledky. Co se týče důvodu, proč hrubost stojí zákazníky dodatečné tokeny, autoři se nespekulují.

Pro ověření platnosti tohoto syndromu autoři přepsali skutečné dotazy ChatGPT, střídavě měnili hodnoty zdvořilosti, zatímco zachovávali význam. Obě verze byly poté zpracovány modelem GPT-4-Turbo a měřeny rozdíly v počtu výstupních tokenů použitých pro odpovědi.

Vyvozené závěry jsou v ostrém kontrastu s událostmi z počátku tohoto roku, kdy Sam Altman stěžoval si, že zdvořilost stojí OpenAI potenciálně ‘desítky milionů’ dolarů v podobě zpracování tokenů souvisejících se zdvořilostí (jako ‘prosím’). Výzkum publikovaný ve stejném období také ukázal, že zdvořilost nemá žádnou hodnotu z hlediska získání lepších odpovědí (ačkoli se nezmiňoval o levnějších odpovědích).

Pokud jsou závěry nové studie správné, jakékoli podnikové uživatele ChatGPT, kteří následovali tuto linii myšlení, by v roce 2025 utratili více za inference ChatGPT než uživatelé, kteří nabízeli minimální zdvořilost při interakcích s ChatGPT.

Autoři navrhují, že jedním možným řešením by bylo nastavení stropu tokenů pro odpovědi, ačkoli to není přístup, který systémy LLM mohou snadno implementovat. Poznamenávají, že dotazování je slabým nástrojem pro kontrolu nákladů, protože LLM má problém dodržovat explicitní pokyny pro délku. V meisten případech by toto “omezení” nebylo dodrženo; navíc by odpověď mohla být zkrácena, protože LLM tohoto typu jsou基本ně odhadují následující pravděpodobné slovo ve větě/odstavci a jako takové neví, jak příběh skončí – nebo kde příběh skončí – dokud zpracování není dokončeno. Proto mají omezenou schopnost “ukončit” jakékoli probíhající operace na vyžádání.

Bez přesného řešení – ačkoli navrhují, aby byly v těchto případech vynuceny transparentnější cenové přístupy – autoři uzavírají:

‘Obecná moudrost naznačuje, že zdvořilost při interakci s LLM je zbytečná.

‘Naopak, naše práce ukazuje, že nevzdělané dotazy zvyšují počet výstupních tokenů, generují dodatečné náklady pro podnikové adoptéry AI.’

Nová práce se jmenuje Průhlednost nákladů na podnikové přijetí AI a pochází od tří výzkumníků z Univerzity v Iowě.

Metoda

Data pro systém byla získána z souboru WildChat, který sestává z kolekce 1 milionu konverzací uživatel-ChatGPT a obsahuje více než 2,5 milionu interakčních tahů:

Z webu podporujícího projekt WildChat, vyhledatelné příklady interakcí ChatGPT. Zdroj

Autoři poznamenávají, že WildChat obsahuje větší množství přirozených interakcí než některé více kuriózní sady.

Vybrali 20 000 anglických dotazů z kolekce výměn GPT-4, odstranili výstup v každém případě (protože záměrem bylo znovu je podat, pro nové odpovědi). Pouze první interakce byla vybrána, i z delších výměn,

Výsledný soubor byl filtrován do zdvořilých nebo nevzdělaných kategorií, přičemž všechny dotazy byly klasifikovány modelem GPT-4-Turbo. Výzkumníci použili model sám, aby rozhodl, zda je dotaz zdvořilý nebo ne, protože modelovo vlastní vnímání zdvořilosti bylo centrální pro experiment.

Dotazy označené jako zdvořilé mohly zahrnovat jasné signály, jako je slovo ‘prosím’, nebo mohly být zdvořilé více nepřímým způsobem. Cokoliv, co nebylo rozpoznáno jako zdvořilé, bylo klasifikováno jako nevzdělané, i když byla formulace neutrální rather než antagonistická.

Pro studium, jak model reagoval na zdvořilost, nemohly být použity standardní metody (tj. ty, které považují text za sadu měřitelných funkcí): protože zdvořilost byla zakotvena ve formulaci samotné, shrnutí dotazu jako seznam rysů by ztratilo důležité kontexty.

Místo toho byl každý dotaz přepsán, aby otočil jeho tón, přičemž všechny ostatní prvky byly zachovány co nejpodobnější, což umožnilo srovnání mezi páry, které se lišily pouze v zdvořilosti:

Příklady, jak byly zdvořilé a nevzdělané dotazy transformovány do svých kontrafaktických verzí, zatímco zachovávaly semantický význam. Zdroj

Testy

Každý původní dotaz byl spárován s přepsanou verzí, která se lišila pouze v úrovni zdvořilosti, a obě verze byly předány stejnému modelu GPT-4-Turbo prostřednictvím samostatných API volání. Počet tokenů vygenerovaných v odpovědi na každou verzi byl zaznamenán a rozdíl mezi nimi byl považován za míru, jak tón ovlivňoval (náklad tokenů).

Teplota byla držena konstantní, aby se zabránilo náhodné variaci, a páry dotazů byly uchovány pouze tehdy, pokud přepis změnil vstup o více než pět tokenů. To zajišťovalo, že účinek, který byl studován, vznikl z tónu, spíše než z jakýchkoli širších změn ve formulaci:

Souhrnné statistiky ukazující, že zdvořilé dotazy vedly k menšímu počtu výstupních tokenů v průměru než nevzdělané dotazy, přestože měly mírně více vstupních tokenů.

Hlavní výsledky první série testů ukázaly, že použití zdvořilého dotazu snižuje délku výstupního tokenu o 14,426 tokenů:

Odhadované výsledky ukazující účinek zdvořilého formátování dotazu na délku vygenerovaného výstupu (tokeny).

Analýza byla opakovaně provedena napříč třemi podmnožinami zdvořilých dotazů, aby se otestovala robustnost: dotazy, které používaly explicitní značky, jako ‘prosím’ nebo ‘děkuji’; ty, které používaly pouze ‘prosím’; a ty s implicitní zdvořilostí, jako ‘můžete’ nebo ‘mohli byste’:

Odhadované výsledky založené na typech zdvořilosti.

Pro ověření robustnosti hlavních zjištění byla provedena sekundární klasifikace zdvořilosti dotazu pomocí rámce LIWC, který poskytuje deterministický a opakující se skór pro lingvistické funkce.

Na rozdíl od pravděpodobnostní klasifikace GPT může LIWC přiřadit stabilní skór zdvořilosti každému dotazu, což umožňuje posoudit konzistenci napříč různými metodami. V této části testů byly dotazy označeny jako zdvořilé, pokud jejich skór zdvořilosti LIWC byl větší než nula, a jako nevzdělané jinak.

Když byla měřena shoda mezi klasifikacemi GPT a LIWC, byla pozorována shoda 81 %. Zatímco to není měřítkem přesnosti, tato shoda poskytla podporu pro konzistenci mezi systémy.

Když byly analyzovány pouze dotazy s odpovídajícími klasifikacemi GPT a LIWC, zdvořilé dotazy stále vedly k 14 méně výstupním tokenům; a když byla zdvořilost měřena na posuvném měřítku, každá úroveň zdvořilosti snižovala výstup o pět tokenů v průměru:

Úspory tokenů ze zdvořilosti byly zachovány, když byly překlasifikovány pomocí LIWC, jako binární značka a kontinuální skór.

Odolnost

Pro posouzení, zda účinek zdvořilosti se liší napříč různými typy dotazů, byl každému dotazu přiřazen jeden z předdefinovaných kategorií úkolů: hledání informací; generování textu; editace a přepis; klasifikace; shrnutí; a technické úkoly.

Každý dotaz byl přiřazen k taskovému labelu porovnáním jeho vložení s vloženími předdefinovaných taskových popisů, pomocí modelu all-MiniLM-L6-v2 Sentence Transformers.

Kosinová podobnost byla vypočtena mezi každým dotazem a sadou taskových definic, a label s nejvyšší podobností byl přiřazen.

Taskové typy byly poté repurposed jako kontrolní proměnné v regresi, aby se otestovalo, zda účinek zdvořilosti se liší podle kategorie dotazu, a interakční termíny mezi taskem a léčbou byly také zavedeny, aby se kontrolovaly diferenciální účinky.

V obou případech zdvořilé dotazy konzistentně produkovaly kratší výstupy, a žádný významný rozdíl napříč taskovými typy nebyl nalezen:

Regresní výsledky ukazující, že zdvořilé dotazy snižovaly délku výstupu napříč všemi taskovými typy, bez významných interakčních účinků.

Pro testování, zda kratší odpovědi ze zdvořilých dotazů odrážejí sníženou kvalitu, byly porovnány výstupy z původních a kontrafaktických dotazů pro sémantickou podobnost. Použitím modelu all-MiniLM-L6-v2 byl každý výstup vložen do sémantického vektorového prostoru, a kosinová podobnost byla vypočtena mezi každým párem, což vedlo k průměrné podobnosti 0,78, ukazující silnou shodu v významu, a naznačující, že obsah zůstal konzistentní, i když se tón změnil.

Stop slova

Pro pochopení, jaký typ obsahu je redukován v kratších výstupech, byly prozkoumány nejčastěji vynechávaná slova. Tyto byly nalezeny jako běžná stop slova, jako ‘mít’, ‘více’, ‘kde’, a ‘do’, tj. termíny, které slouží gramatickým spíše než sémantickým rolím.

Pro potvrzení, že redukce tokenů nebyla způsobena ztrátou významného obsahu, byla stop slova odstraněna, a fráze až čtyř slov byly analyzovány pro systematické zmizení; nicméně, nebyly nalezeny žádné konzistentní nebo sémanticky důležité vzory, naznačující, že redukce ze zdvořilého formulování ne odstraňovaly významný nebo užitečný obsah.

Takže stále vypadalo, že více tokenů bylo vynaloženo na odpovědi na hrubé dotazy než zdvořilé – jako druh “daně” z hrubosti.

Lidská studie

Pro testování, zda kvalita výstupu byla ovlivněna tónem dotazu, byla provedena také lidská evaluace, pomocí náhodného vzorku dvaceti zdvořilých a dvaceti nevzdělaných dotazových párů.

Po vyloučení dotazů na citlivé nebo technické téma byly odpovědi hodnoceny 401 účastníky na sedmibodové škále. Každý účastník viděl pouze jednu odpověď, vybranou z jedné ze čtyř podmínek: zdvořilé nebo nevzdělané, a buď původní nebo kontrafaktické.

Nebyly nalezeny žádné významné rozdíly v percepci kvality napříč žádnou z těchto podmínek. Zdvořilé a nevzdělané výstupy obdržely téměř identické skóre, stejně jako původní a kontrafaktické verze.

Autoři tvrdí, že tyto výsledky ukazují, že redukce počtu výstupních tokenů nebyla způsobena žádnou ztrátou kvality, ale spíše přepisováním, nebo strukturálními posuny, které přesto zachovaly význam.

Rozdíl v nákladech pozorovaný v podnikovém dotazování je proto nepravděpodobně způsoben změnami v užitečnosti nebo jasnosti, a “daň” je stále účinná.

Závěr

Ačkoli nová práce se soustředí na podnikové použití ChatGPT, nižší úrovní uživatelé jsou také ovlivněni tímto syndromem, protože dokonce i dvě vstupní úrovně mají limity použití; a – předpokladně – hrubé zacházení s ChatGPT bude urychlovat průměrného uživatele směrem k vyčerpání denní alokace tokenů.

Nová studie se soustředí na titulky-garnering a hodně studovanou otevřenou otázku v interakcích člověk/umělá inteligence; ale autoři zdůrazňují, že otázky kolem zdvořilosti by měly být považovány za indikátory možné hlubší vrstvy lingvistických excentricit, dosud neobjevených, které by mohly mít dopad na poplatky za inference.

Poprvé zveřejněno ve středu, 19. listopadu 2025