AI:s nya ekonomi byggs på token — men vi mäter dem alla fel

Det sker en förändring inom AI som de flesta människor anar men inte helt förstår ännu: vi har gått från att räkna förfrågningar till att räkna token.

I webberan, mätte vi system i förfrågningar per sekund. Det var rent, intuitivt och mestadels korrekt. En förfrågan kom in, ett svar gick ut och man kunde skala upp infrastrukturen runt den modellen.

Den abstraktionen är borta.

I AI, är den grundläggande enheten inte längre förfrågan—det är token. Varje prompt, varje svar och varje kedja av resonemang bryts ner i token, som representerar det arbete systemet utför, den kostnad som uppstår och, alltmer, det värde som skapas.

Naturligtvis, har branschen samlats kring denna förändring, och introducerat mått som token per sekund, kostnad per token och till och med intäkt per token. Det känns som om vi äntligen har hittat ett sätt att kvantifiera AI-system. Men den ramen är ofullständig.

Branschens genväg: token är lika med värde

Det finns en växande berättelse om att token är den nya valutan inom AI — att fler token innebär mer intelligens, och därmed, mer intäkt. Det är en övertygande idé, men den förenklar vad som faktiskt händer inom dessa system.

Inte alla token är lika. Vissa token representerar riktigt arbete: att analysera data, generera insikter, automatisera arbetsflöden och stödja beslut som driver affärsresultat. Andra är mycket mindre meningsfulla — avslappnad innehållsgenerering, experiment eller användningsfall som aldrig kommer in i produktion.

Du kan redan se detta inom företag. Ett team kan generera miljoner token för att stödja utvecklarproduktivitet eller kundoperationer, direkt påverkande effektivitet och intäkt. Ett annat team kan generera samma volym experimenterande med verktyg som aldrig flyttar bortom intern utforskning. På papper, ser token-räkningen identisk ut. I verkligheten, är affärsvärdet helt annorlunda.

Att behandla alla token som utbytbara enheter av värde skapar en förvriden vy av vad AI faktiskt gör inom en organisation. Företag byggs inte på token-volym; de byggs på vad dessa token möjliggör.

För att förstå den skillnaden, måste du titta under ytan på hur dessa system faktiskt fungerar.

Varför din andra prompt är snabbare än din första

Om du någonsin har använt ett verktyg som ChatGPT, har du förmodligen märkt att din andra fråga ofta är snabbare än din första. Det beteendet beror inte på att modellen blir smartare — det beror på hur systemet återanvänder kontext från tidigare prompter.

Modern AI-system bearbetar inte varje förfrågan i isolering. De bygger kontext, lagrar tidigare prompter och svar i minnet, ofta i vad som kallas en KV-cache. Den cachan ligger nära GPU så att den kan nås snabbt när den genererar följande svar.

Den första förfrågan är dyr eftersom den initierar den tillståndet — allokerar minne, bearbetar indata och bygger kontext. Följande förfrågningar återanvänder det tillståndet, vilket minskar latensen och förbättrar svarstiden.

Denna dynamik blir mer viktig allteftersom kontextfönstren expanderar från tusentals till hundratusentals — eller till och med miljoner — token. Ju mer kontext ett system behåller, desto mer tryck lägger det på minne och infrastruktur, vilket gör det kritiskt att bestämma vad som lagras, komprimeras eller kasseras.

Från ett användarperspektiv, känns det som ett snabbare system. Från ett infrastrukturperspektiv, är det ett komplext val mellan minne, latens och kostnad.

Detta är där det riktiga arbetet sker: inte bara i modellen själv, utan i systemet som omger den.

Den ultimata begränsningen: energi

När du går bortom modellprestanda, skiftar samtalet snabbt.

Lag som kör AI i stor skala frågar inte primärt vilken modell som är bäst. De frågar hur de ska upprätthålla den.

AI-infrastruktur trycker mot fysiska gränser: energitillgänglighet, kylningskapacitet och minnesbandbredd. Datacenter designas om runt dessa begränsningar, och organisationer som distribuerar stora AI-system börjar operera mer som tjänster än traditionella programvaruföretag.

Vi ser redan detta i stora företag som bygger AI-infrastruktur, där kraft och kylning — inte modellförmåga — blir den primära begränsningen.

AI-arbetsbelastningar skalar inte rent eller förutsägbart. De ackumulerar efterfrågan över beräkning, minne och nätverk samtidigt. Att generera fler token är inte bara en fråga om att lägga till fler GPU:er; det är en fråga om om den underliggande infrastrukturen kan upprätthålla den energi och termiska belastning som krävs för att hålla dessa system igång effektivt.

Kostnaden för att generera en token sträcker sig därför bortom beräkning. Den inkluderar el, kylning, fysisk infrastruktur och förmågan att upprätthålla prestanda under belastning utan försämring.

De flesta “kostnad per token”-diskussioner reflekterar inte fullständigt denna verklighet. I stor skala, blir energi budgeten, inte bara en annan post.

Framtiden är inte större modeller. Det är bättre system.

Under de senaste två åren, har branschen fokuserat på modelljämförelser, tittat på benchmark, ranking och inkrementella förbättringar av förmåga.

Den fokuseringen börjar skifta.

I produktionsmiljöer, är prestanda mindre om vilken modell du väljer och mer om hur du använder den. Organisationer flyttar mot system av modeller — kombinera stora och små modeller, dirigera uppgifter intelligently och optimera för kostnad, latens och genomströmning över hela arbetsflödet.

I stället för att skicka varje förfrågan till en enda stor modell, bryter system arbetsbelastningar ner i mindre komponenter. Enklare uppgifter kan hanteras av mer effektiva modeller, medan mer komplexa resonemang reserveras för större modeller. Kontext återanvänds där det är möjligt, och cachestrategier tillämpas aggressivt.

Dessa beslut har ofta en större inverkan på prestanda och kostnad än att byta från en modell till en annan. I den meningen, förblir token enheten för arbete, men systemet som genererar och hanterar dem blir den verkliga differentiatorn.

Det mest förbisedda lagret i AI-system

AI beskrivs ofta i termer av modeller på ena sidan och applikationer på den andra, men lagret däremellan är där de flesta komplexiteten — och möjligheterna — lever.

Detta lager flyttar inte bara förfrågningar; det formar dem. Det bestämmer hur trafik flödar, hur beslut verkställs och hur system beter sig under verkliga förhållanden.

Leverans och säkerhet kan inte behandlas som separata problem här. Samma lager som dirigerar förfrågningar och hanterar kontext är också där policys tillämpas, risker mildras och förtroende etableras.

Såsom komplexitet växer, bryter punktlösningar ner. Vad som behövs är en enhetlig plattform som kan koordinera dessa funktioner i realtid, snarare än att sy ihop dem efteråt.

Detta är där avvägningar görs. Det är där kostnad kontrolleras, prestanda optimeras och säkerhetsbeslut verkställs i realtid. Såsom AI-system skalar, blir detta lager alltmer viktigt. Det är skillnaden mellan ett system som fungerar bra i en demo och ett som opererar tillförlitligt och effektivt i produktion. Den skiftningen har verkliga implikationer för hur organisationer designar och hanterar AI-system.

Vad detta betyder för organisationer

När företag flyttar AI till produktion, är frågan inte bara vilken modell som ska användas — det är hur systemet runt den är designat för att fungera.

Det betyder att tänka bortom token-mått och modell-benchmark, och fokusera på hur förfrågningar dirigeras, hur kontext hanteras och hur policys tillämpas över hela arbetsflödet.

De flesta organisationer är fortfarande i färd med att sy ihop dessa bitar — och det tillvägagångssättet håller inte i verklig produktionspress.

Vi mäter fel sak

Token ger en användbar abstraktion. De ger branschen ett sätt att kvantifiera något som en gång kändes ofattbart, men de är inte hela bilden.

För närvarande, är branschen på väg mot vad som är lättast att mäta — token-räkning, genomströmning och kostnadsmått — snarare än vad som betyder mest. Utan kontext, kan dessa siffror vara vilseledande.

Nästa fas av AI kommer inte att definieras av vem som genererar flest token. Det kommer att definieras av vem som förstår vad dessa token representerar, och vem kan bygga system som omvandlar dem till meningsfulla, effektiva och skalbara resultat.

För i slutändan, är token inte produkten. De är bara en biprodukt av intelligens som skapas.