Nowa gospodarka AI oparta jest na tokenach, ale mierzymy je wszystkie niepoprawnie

W AI zachodzi zmiana, której większość ludzi jest świadoma, ale nie do końca ją rozumie: przeszliśmy od liczenia żądań do liczenia tokenów.

W erze internetu mierzyliśmy systemy w żądaniach na sekundę. Było to czyste, intuicyjne i w większości przypadków dokładne. Żądanie przychodziło, odpowiedź wychodziła, i można było skalować infrastrukturę wokół tego modelu.

Ta abstrakcja zniknęła.

W AI podstawową jednostką nie jest już żądanie — jest to token. Każde żądanie, każda odpowiedź i każdy łańcuch rozumowania jest rozłożony na tokeny, reprezentujące pracę, którą wykonuje system, poniesione koszty i, coraz częściej, tworzoną wartość.

Naturalnie, branża zjednoczyła się wokół tej zmiany, wprowadzając metryki takie jak tokeny na sekundę, koszt na token i nawet przychód na token. Wydaje się, że wreszcie znaleźliśmy sposób, aby zmierzyć systemy AI. Ale ten sposób myślenia jest niekompletny.

Branżowy skrót: tokeny równają się wartości

Rozwija się narracja, że tokeny są nową walutą AI — że więcej tokenów oznacza więcej inteligencji i, w konsekwencji, więcej przychodu. To kusząca idea, ale upraszcza to, co tak naprawdę dzieje się wewnątrz tych systemów.

Nie wszystkie tokeny są równe. Niektóre reprezentują prawdziwą pracę: analizę danych, generowanie spostrzeżeń, automatyzację workflow i wspieranie decyzji, które napędzają wyniki biznesowe. Inne są o wiele mniej znaczące — generowanie treści, eksperymenty lub przypadki użycia, które nigdy nie przechodzą do produkcji.

Można już to zobaczyć wewnątrz przedsiębiorstw. Jeden zespół może wygenerować miliony tokenów, aby wspierać produktywność deweloperów lub operacje klientów, bezpośrednio wpływając na efektywność i przychód. Inny zespół może wygenerować tę samą ilość tokenów, eksperymentując z narzędziami, które nigdy nie przechodzą poza wewnętrzne eksperymenty. Na papierze liczby tokenów wyglądają identycznie. W rzeczywistości wartość biznesowa jest zupełnie inna.

Traktowanie wszystkich tokenów jako wymiennych jednostek wartości tworzy zniekształcony widok tego, co AI tak naprawdę robi wewnątrz organizacji. Przedsiębiorstwa nie są budowane na ilości tokenów; są budowane na tym, co te tokeny umożliwiają.

Aby zrozumieć tę różnicę, trzeba spojrzeć pod powierzchnię, jak te systemy naprawdę działają.

Dlaczego twoje drugie żądanie jest szybsze niż twoje pierwsze

Jeśli kiedykolwiek używałeś narzędzia takiego jak ChatGPT, zauważyłeś, że twoje drugie pytanie jest często szybsze niż twoje pierwsze. To zachowanie nie wynika z tego, że model staje się mądrzejszy — wynika z tego, jak system ponownie wykorzystuje kontekst z poprzednich żądań.

Współczesne systemy AI nie przetwarzają każdego żądania w izolacji. Budują kontekst, przechowując poprzednie żądania i odpowiedzi w pamięci, często w tym, co nazywa się pamięcią podręczną. Ta pamięć podręczna znajduje się blisko GPU, aby mogła być szybko dostępna podczas generowania odpowiedzi na następne żądania.

Pierwsze żądanie jest drogie, ponieważ inicjuje ten stan — alokuje pamięć, przetwarza dane wejściowe i buduje kontekst. Następne żądania wykorzystują ten stan, co redukuje opóźnienia i poprawia responsywność.

Ten dynamiczny staje się coraz ważniejszy, gdy okna kontekstu rozciągają się z tysięcy do setek tysięcy — lub nawet milionów — tokenów. Im więcej kontekstu system przechowuje, tym większą presję wywiera na pamięć i infrastrukturę, co sprawia, że decyzja o tym, co zostanie przechowane, skompresowane lub odrzucone, staje się krytyczna.

Z perspektywy użytkownika wydaje się to szybszym systemem. Z perspektywy infrastruktury jest to złożony kompromis między pamięcią, opóźnieniami i kosztami.

To jest miejsce, w którym naprawdę się dzieje praca: nie tylko w samym modelu, ale w systemie, który go otacza.

Ostateczny limit: energia

Gdy tylko przechodzimy poza wydajność modelu, rozmowa szybko się zmienia.

Zespoły, które uruchamiają AI w skali, nie pytają przede wszystkim, jaki model jest najlepszy. Pytają, jak go utrzymać.

Infrastruktura AI jest wypychana przez granice fizyczne: dostępność energii, pojemność chłodzenia i przepustowość pamięci. Centra danych są przebudowywane wokół tych ograniczeń, a organizacje wdrażające systemy AI w dużą skalę zaczynają działać bardziej jak przedsiębiorstwa użyteczności publicznej niż tradycyjne firmy oprogramowania.

Widzimy to już w dużych przedsiębiorstwach budujących infrastrukturę AI, gdzie energia i chłodzenie — a nie możliwości modelu — stają się podstawowym ograniczeniem.

Obciążenia AI nie skalują się czysto ani przewidywalnie. Skalują popyt na komputery, pamięć i sieci w tym samym czasie. Generowanie większej ilości tokenów nie jest po prostu kwestią dodania większej ilości GPU; jest to kwestia, czy podstawowa infrastruktura może utrzymać energię i obciążenie cieplne wymagane do efektywnego działania tych systemów.

Koszt generowania tokenu obejmuje więc nie tylko komputery. Obejmuje energię elektryczną, chłodzenie, infrastrukturę fizyczną i możliwość utrzymania wydajności pod obciążeniem bez degradacji.

Większość dyskusji o “koszcie na token” nie w pełni odzwierciedla tę rzeczywistość. W skali energia staje się budżetem, a nie tylko jednym z punktów.

Przyszłość nie jest większymi modelami. To lepsze systemy.

Przez ostatnie dwa lata branża była skupiona na porównaniach modeli, patrząc na benchmarki, rankingi i przyrostowe usprawnienia możliwości.

Ten focus zaczyna się zmieniać.

W środowiskach produkcyjnych wydajność jest mniej związana z wyborem modelu, a bardziej z tym, jak go używa się. Organizacje przechodzą w kierunku systemów modeli — łącząc duże i małe modele, inteligentne kierowanie zadaniami i optymalizację kosztów, opóźnień i przepustowości w całym workflow.

Zamiast wysyłania każdego żądania do jednego dużego modelu, systemy rozłamują obciążenia na mniejsze komponenty. Prostsze zadania mogą być obsługiwane przez bardziej efektywne modele, podczas gdy złożone rozumowanie jest zarezerwowane dla większych modeli. Kontekst jest ponownie wykorzystywany, gdzie tylko możliwe, i strategie buforowania są stosowane agresywnie.

Te decyzje często mają większy wpływ na wydajność i koszt niż przełączenie się z jednego modelu na inny. W tym sensie tokeny pozostają jednostką pracy, ale system, który je generuje i zarządza, staje się prawdziwym differentiatorem.

Najbardziej zaniedbana warstwa w systemach AI

AI jest często opisywana w kategoriach modeli po jednej stronie i aplikacji po drugiej, ale warstwa pomiędzy nimi jest miejscem, w którym mieszka największa złożoność i możliwość.

<p-Ta warstwa nie tylko przenosi żądania; kształtuje je. Określa, jak ruch jest kierowany, jak decyzje są egzekwowane i jak systemy zachowują się w warunkach rzeczywistych.

Dostawa i bezpieczeństwo nie mogą być traktowane jako odrębne problemy. Ta sama warstwa, która kieruje żądania i zarządza kontekstem, jest również miejscem, w którym są stosowane polityki, ryzyko jest łagodzone i zaufanie jest ustanawiane.

Im większa złożoność, tym bardziej rozwiązania punktowe się psują. Co jest potrzebne, to zjednoczona platforma, która może koordynować te funkcje w czasie rzeczywistym, a nie szycie ich po fakcie.

To jest miejsce, w którym dokonuje się kompromisów. To miejsce, w którym kontrolowany jest koszt, optymalizowana jest wydajność i podejmowane są decyzje dotyczące bezpieczeństwa w czasie rzeczywistym. Im bardziej systemy AI rosną, tym bardziej ta warstwa staje się ważna. To różnica między systemem, który działa dobrze w demo, a systemem, który działa niezawodnie i efektywnie w produkcji. Ta zmiana ma realne konsekwencje dla tego, jak organizacje projektują i zarządzają systemami AI.

Co to oznacza dla organizacji

Gdy przedsiębiorstwa wprowadzają AI do produkcji, pytanie nie jest już tylko, jaki model wybrać — jest to, jak system wokół niego jest zaprojektowany, aby działać.

To oznacza myślenie poza metryki tokenów i benchmarki modeli, a skupienie się na tym, jak żądania są kierowane, jak kontekst jest zarządzany i jak polityki są egzekwowane w całym workflow.

Większość organizacji wciąż łączy te elementy — i ten podejście nie wytrzymuje presji produkcji.

Mierzymy nie tę rzecz

Tokeny zapewniają użyteczną abstrakcję. Dają branży sposób, aby zmierzyć coś, co kiedyś wydawało się niematerialne, ale nie są pełnym obrazem.

Obecnie branża skłania się ku temu, co jest najłatwiej mierzone — liczbom tokenów, przepustowości i metrykom kosztów — zamiast tego, co jest najważniejsze. Bez kontekstu te liczby mogą być mylące.

Następna faza AI nie będzie określona przez to, kto generuje najwięcej tokenów. Będzie określona przez to, kto rozumie, co te tokeny reprezentują, i kto może zbudować systemy, które przekształcą je w znaczące, efektywne i skalowalne wyniki.

Ponieważ w końcu tokeny nie są produktem. Są po prostu produktem ubocznym tworzonej inteligencji.