Nowe badania kwestionują cenę „tokenów” za rozmowy z AI

Najnowsze badania pokazują, że sposób, w jaki usługi AI rozliczają się za tokeny, ukrywa przed użytkownikami rzeczywisty koszt. Dostawcy mogą bezszelestnie nadużywać opłat, zmieniając liczbę tokenów lub wprowadzając ukryte kroki. Niektóre systemy uruchamiają dodatkowe procesy, które nie wpływają na wynik, ale i tak pojawiają się na rachunku. Zostały zaproponowane narzędzia do audytu, ale bez prawdziwej kontroli użytkownicy są pozostawieni sami, płacąc za więcej, niż sobie uświadamiają.

W niemal wszystkich przypadkach to, za co my, jako konsumenci, płacimy za interfejsy czatowe oparte na AI, takie jak ChatGPT-4o, jest obecnie mierzone w tokenach: niewidocznych jednostkach tekstu, które nie są zauważalne podczas użytkowania, lecz są liczone z dokładnością dla celów rozliczeniowych; i chociaż każda wymiana jest wyceniana według liczby przetworzonych tokenów, użytkownik nie ma bezpośredniej możliwości potwierdzenia liczby tokenów.

Pomimo naszego (w najlepszym przypadku) niedoskonałego zrozumienia tego, co otrzymujemy za nasze „zakupione” jednostki tokenów, rozliczanie oparte na tokenach stało się standardowym podejściem wśród dostawców, opierającym się na tym, co może okazać się niepewnym założeniem zaufania.

Tokeny słów

Token nie jest dokładnie tym samym co słowo, chociaż często pełni podobną rolę, a większość dostawców używa terminu „token”, aby opisać małe jednostki tekstu, takie jak słowa, znaki przestankowe lub fragmenty słów. Na przykład słowo niewiarygodne może być liczone jako jeden token przez jeden system, podczas gdy inny może je podzielić na nie, wier i godne, z każdym kawałkiem zwiększającym koszt.

System ten stosuje się zarówno do tekstu wprowadzonego przez użytkownika, jak i odpowiedzi modelu, a cena oparta jest na łącznej liczbie tych jednostek.

Trudność polega na tym, że użytkownicy nie widzą tego procesu. Większość interfejsów nie wyświetla liczby tokenów podczas trwania rozmowy, a sposób, w jaki tokeny są obliczane, jest trudny do odtworzenia. Nawet jeśli liczba tokenów jest wyświetlana po odpowiedzi, jest już za późno, aby stwierdzić, czy była uczciwa, tworząc niezgodność między tym, co użytkownik widzi, a tym, za co płaci.

Najnowsze badania wskazują na głębsze problemy: jedno z badań pokazuje, jak dostawcy mogą nadużywać opłat bez złamania zasad, po prostu przez nadmuchanie liczby tokenów w sposób, który użytkownik nie może zobaczyć; inne ujawnia niezgodność między tym, co interfejsy wyświetlają, a tym, co jest rzeczywiście rozliczane, pozostawiając użytkowników z iluzją wydajności, gdzie takiej nie ma; a trzecie ujawnia, jak modele rutynowo generują wewnętrzne kroki rozumu, które nie są pokazywane użytkownikom, a jednak pojawiają się na rachunku.

Wyniki te przedstawiają system, który wydaje się precyzyjny, z dokładnymi liczbami sugerującymi klarowność, lecz którego podstawowa logika pozostaje ukryta. Niezależnie od tego, czy jest to celowe, czy wada strukturalna, wynik jest taki sam: użytkownicy płacą za więcej, niż widzą, i często za więcej, niż oczekują.

Taniej na tuzin?

W pierwszym z tych dokumentów – zatytułowanym Czy Twój LLM nadużywa Ciebie? Tokenizacja, przejrzystość i zachęty, napisanym przez czterech badaczy z Max Planck Institute for Software Systems – autorzy twierdzą, że ryzyko związane z rozliczaniem opartym na tokenach sięga poza nieprzejrzystość, wskazując na wbudowaną zachętę dla dostawców do nadmuchania liczby tokenów:

‘Podstawą problemu jest fakt, że tokenizacja ciągu nie jest unikalna. Na przykład, jeśli użytkownik wprowadza podpowiedź „Gdzie odbędzie się następna NeurIPS?”, dostawca wprowadza ją do LLM, a model generuje wyjście „|San| Diego|” składające się z dwóch tokenów.

‘Ponieważ użytkownik jest nieświadomy procesu generowania, samolubny dostawca ma możliwość błędnego raportowania tokenizacji wyjścia dla użytkownika, nie zmieniając podstawowego ciągu. Na przykład, dostawca mógłby po prostu udostępnić tokenizację „|S|a|n| |D|i|e|g|o|” i nadużyć użytkownika za dziewięć tokenów zamiast dwóch!’

Artykuł przedstawia heurystykę, która może wykonać tego rodzaju nieszlachetne obliczenie bez zmiany widocznego wyjścia, a także bez naruszenia prawdopodobieństwa w typowych ustawieniach dekodowania. Przetestowana na modelach z serii LLaMA, Mistral i Gemma, przy użyciu prawdziwych podpowiedzi, metoda osiąga mierzalne nadużycia bez pojawiania się anomalii:

Nadmuchanie tokenów za pomocą „prawdopodobnego błędnego raportowania”. Każdy panel pokazuje procent nadużytych tokenów wynikających z zastosowania algorytmu 1 do wyjść z 400 LMSYS podpowiedzi, w różnych parametrach próbkowania (m i p). Source: https://arxiv.org/pdf/2505.21627

Aby rozwiązać ten problem, badacze wzywają do rozliczania opartego na liczbie znaków zamiast tokenów, argumentując, że jest to jedyny sposób, który daje dostawcom powód, aby szczerze raportować zużycie, i twierdzą, że jeśli celem jest uczciwe rozliczanie, to wiązanie kosztu z widocznymi znakami, a nie z ukrytymi procesami, jest jedynym rozwiązaniem, które wytrzymuje krytykę. Rozliczanie oparte na znakach, twierdzą, usunęłoby motyw do błędnego raportowania, a także nagradzałoby krótsze, bardziej efektywne wyjścia.

Istnieje tutaj kilka dodatkowych uwag, jednak (w większości przypadków przyznanych przez autorów). Po pierwsze, proponowany schemat oparty na znakach wprowadza dodatkową logikę biznesową, która może faworyzować dostawcę nad konsumentem:

‘[Dostawca, który nigdy nie błędnie raportuje, ma wyraźną zachętę do wygenerowania najkrótszej możliwej sekwencji tokenów wyjścia i poprawy obecnych algorytmów tokenizacji, takich jak BPE, tak aby kompresowały sekwencję tokenów wyjścia jak najbardziej’

Optymistyczny motyw tutaj jest taki, że dostawca jest w ten sposób zachęcony do produkcji zwięzłych i bardziej wartościowych wyjść. W praktyce istnieją oczywiście mniej cnotliwe sposoby, aby dostawca mógł zmniejszyć liczbę znaków.

Po drugie, autorzy stwierdzają, że jest rozsądnie założyć, że firmy prawdopodobnie będą wymagać ustawodawstwa, aby przejść z arkaicznego systemu tokenów do jaśniejszego, opartego na tekście systemu rozliczania. W dłuższej perspektywie, buntowniczy startup może zdecydować się na różnicowanie swojego produktu poprzez wprowadzenie go z tym rodzajem modelu cenowego; ale każdy, kto ma prawdziwie konkurencyjny produkt (i działa na niższym poziomie niż EEE category) jest zniechęcony do tego.

Wreszcie, oszukańcze algorytmy, takie jak te, które autorzy proponują, będą miały swój własny koszt obliczeniowy; jeśli koszt obliczania „nadpłaty” przekraczałby potencjalne korzyści, schemat ten byłby oczywiście pozbawiony znaczenia. Niemniej jednak badacze podkreślają, że ich proponowany algorytm jest skuteczny i ekonomiczny.

Autorzy udostępnili kod swoich teorii na GitHub.

Przełączanie

Drugi artykuł – zatytułowany Niewidoczne tokeny, widoczne rachunki: Pilna potrzeba audytu ukrytych operacji w nieprzezroczystych usługach LLM, napisany przez badaczy z University of Maryland i Berkeley – twierdzi, że niezgodne zachęty w komercyjnych interfejsach API modeli językowych nie są ograniczone do podziału tokenów, ale sięgają całych klas ukrytych operacji.

Do nich należą wewnętrzne wywołania modeli, spekulatywne rozumność, użycie narzędzi i interakcje między agentami – wszystkie te mogą być rozliczane użytkownikom bez widoczności ani możliwości odwołania.

Cennik i przejrzystość usług LLM opartych na rozumności u głównych dostawców. Wszystkie wymienione usługi rozliczają użytkownikom ukryte tokeny wewnętrznej rozumności, a żadna z nich nie ujawnia tych tokenów w czasie wykonywania. Source: https://www.arxiv.org/pdf/2505.18471

W przeciwieństwie do konwencjonalnego rozliczania, gdzie ilość i jakość usług są weryfikowalne, autorzy twierdzą, że dzisiejsze platformy LLM działają pod strukturalną nieprzezroczystością: użytkownicy są rozliczani na podstawie zgłoszonych tokenów i użycia API, ale nie mają możliwości potwierdzenia, czy te metryki odzwierciedlają rzeczywistą lub konieczną pracę.

Artykuł identyfikuje dwa kluczowe rodzaje manipulacji: nadmuchanie ilości, gdzie liczba tokenów lub wywołań jest zwiększana bez korzyści dla użytkownika; oraz obniżenie jakości, gdzie używane są niższe wersje modeli lub narzędzi, a użytkownik o tym nie wie:

‘W usługach LLM opartych na rozumności dostawcy często utrzymują wiele wariantów tego samego modelu, różniących się pojemnością, danymi szkoleniowymi lub strategią optymalizacji (np. ChatGPT o1, o3). Obniżenie modelu odnosi się do cichej substitucji niższych modeli, co może wprowadzić niezgodność między oczekiwaną a rzeczywistą jakością usługi.

‘Na przykład, podpowiedź może być przetworzona przez mniejszy model, a rozliczanie pozostaje bez zmian. Ta praktyka jest trudna do wykrycia, ponieważ ostateczna odpowiedź może nadal wydawać się prawdopodobna dla wielu zadań.’

Artykuł dokumentuje przypadki, w których ponad 90% rozliczanych tokenów nie było widocznych dla użytkowników, a wewnętrzna rozumność zwiększała zużycie tokenów o czynnik większy niż dwadzieścia. Uzasadnione czy nie, nieprzezroczystość tych kroków pozbawia użytkowników podstawy do oceny ich znaczenia lub legalności.

W systemach agentywnych nieprzezroczystość wzrasta, ponieważ wewnętrzne wymiany między agentami AI mogą każda powodować opłaty bez wpływu na ostateczny wynik:

‘Poza wewnętrzną rozumnością agenci komunikują się, wymieniając podpowiedzi, streszczenia i instrukcje planistyczne. Każdy agent interpretuje dane wejściowe od innych i generuje dane wyjściowe, aby prowadzić przepływ pracy. Te międzyagentowe wiadomości mogą zużywać znaczne tokeny, które często nie są widoczne dla użytkowników końcowych.

‘Wszystkie tokeny zużyte podczas koordynacji agentów, w tym wygenerowane podpowiedzi, odpowiedzi i instrukcje związane z narzędziami, zwykle nie są widoczne dla użytkownika. Gdy agenci sami używają modeli rozumności, rozliczanie staje się jeszcze bardziej nieprzezroczyste’

Aby przeciwstawić się tym problemom, autorzy proponują warstwowy system audytu, obejmujący kryptograficzne dowody wewnętrznej aktywności, weryfikowalne znaczniki tożsamości modelu lub narzędzia oraz niezależny nadzór. Podstawowa obawa jest jednak strukturalna: obecne schematy rozliczania LLM opierają się na trwałej asymetrii informacji, pozostawiając użytkowników narażonymi na koszty, których nie mogą zweryfikować ani rozbić.

Liczenie niewidzialnego

Ostateczny artykuł, napisany przez badaczy z University of Maryland, przedstawia problem rozliczania nie jako kwestię nadużycia lub błędnego raportowania, ale struktury. Artykuł – zatytułowany CoIn: Liczenie niewidzialnych tokenów rozumności w komercyjnych, nieprzezroczystych usługach LLM, napisany przez dziesięciu badaczy z University of Maryland – obserwuje, że większość komercyjnych usług LLM ukrywa pośrednią rozumność, która przyczynia się do ostatecznej odpowiedzi modelu, a jednak rozlicza za te tokeny.

Artykuł twierdzi, że to tworzy niewidoczną powierzchnię rozliczania, na której całe sekwencje mogą być sfałszowane, wstrzyknięte lub nadmuchane bez wykrycia*:

‘[To] niewidoczność pozwala dostawcom błędnie raportować liczbę tokenów lub wstrzyknąć tanie, sfałszowane tokeny rozumności, aby sztucznie zwiększyć liczbę tokenów. Nazywamy tę praktykę nadmuchaniem liczby tokenów.

‘Na przykład, jeden przebieg ARC-AGI uruchomiony przez model o3 OpenAI zużył 111 milionów tokenów, kosztując 66 772,3 dolarów. Biorąc pod uwagę tę skalę, nawet niewielkie manipulacje mogą prowadzić do znacznego wpływu finansowego.

‘Taka asymetria informacji pozwala firmom AI znacznie nadużywać użytkowników, podważając ich interesy.’

Aby przeciwdziałać tej asymetrii, autorzy proponują CoIn, system audytu trzeciej strony, zaprojektowany do weryfikacji ukrytych tokenów bez ujawniania ich zawartości, a który używa zahashowanych odcisków palców i kontroli semantycznych, aby wykryć oznaki nadmuchiwań.

<img class=" wp-image-218437" src="https://www.unite.ai/wp-content/uploads/2025/05/coln.jpg" alt="Przegląd systemu audytu CoIn dla nieprzezroczystych komercyjnych LLM. Panel A pokazuje, jak tokeny rozumności są zahashowane do drzewa Merkle w celu weryfikacji liczby tokenów bez ujawniania ich zawartości. Panel B ilustruje kontrole poprawności semantycznej, gdzie lekkie sieci neuronowe porównują bloki rozumności z ostateczną odpowiedzią. Razem te komponenty pozwalają audytorom trzeciej strony na wykrywanie ukrytego nadmuchiwań tokenów, zachowując przy tym poufność zachowania modelu. Source: https://arxiv.org/pdf/2505.13778

Jeden komponent weryfikuje liczbę tokenów kryptograficznie za pomocą drzewa Merkle; drugi ocenia istotność ukrytej zawartości, porównując ją z odpowiedzią. To pozwala audytorom na wykrywanie wypełnień lub nieistotności – oznak, że tokeny są wstrzykiwane tylko po to, aby zwiększyć rachunek.

Gdy wdrożony w testach, CoIn osiągnął wskaźnik wykrywania bliski 95% dla niektórych form nadmuchiwań, z minimalnym ujawnieniem podstawowych danych. Chociaż system nadal zależy od dobrowolnej współpracy dostawców i ma ograniczoną rozdzielczość w przypadkach granicznych, jego szerszy punkt jest niezaprzeczalny: sama architektura bieżących schematów rozliczania LLM zakłada uczciwość, której nie można zweryfikować.

Wnioski

Oprócz zalety uzyskania przedpłat od użytkowników, system oparty na skrypcie (taki jak system „buzz” w CivitAI) pomaga oddalić użytkowników od prawdziwej wartości waluty, którą wydają, lub towaru, który kupują. Podobnie, dając dostawcy swobodę w definiowaniu własnych jednostek miary pozostawia konsumenta w nieświadomości co do tego, co rzeczywiście wydaje, w sensie prawdziwych pieniędzy.

Podobnie jak brak zegarów w Las Vegas, tego rodzaju środki są często ukierunkowane na to, aby uczynić konsumenta lekkomyślnym lub obojętnym na koszt.

Mało zrozumiany token, który może być zużyty i zdefiniowany na wiele sposobów, może nie być odpowiednią jednostką miary dla zużycia LLM – nie tylko dlatego, że może kosztować wiele razy więcej tokenów, aby obliczyć gorszy wynik LLM w języku nieangielskim w porównaniu z sesją opartą na języku angielskim.

Jednak rozliczanie oparte na liczbie znaków, jak sugerują badacze z Max Planck, prawdopodobnie faworyzowałoby bardziej zwięzłe języki i karałoby naturally verbose języki. Ponieważ wskazówki wizualne, takie jak deprecjonujący licznik tokenów, prawdopodobnie sprawiłyby, że byliśmy trochę bardziej rozrzutni w naszych sesjach LLM, wydaje się mało prawdopodobne, że takie przydatne GUI dodatki pojawią się wkrótce – przynajmniej bez działania ustawodawczego.

* Akcenty autorów. Moja konwersja cytatów inline autorów do linków.

Pierwotnie opublikowane w czwartek, 29 maja 2025