AI sin nye økonomi bygges på token — men vi måler dem feil

Det skjer en endring i AI som de fleste mennesker merker, men ikke fullt ut forstår ennå: vi har gått fra å telle forespørsler til å telle token.

I web-tiden målte vi systemer i forespørsler per sekund. Det var rent, intuitivt og hovedsakelig nøyaktig. En forespørsel kom inn, et svar gikk ut, og du kunne skalerer infrastruktur rundt den modellen.

Denne abstraksjonen er borte.

I AI er den grunnleggende enheten ikke lenger forespørselen — det er tokenet. Hver forespørsel, hver respons og hver kjede av resonnering brytes ned i token, som representerer arbeidet systemet utfører, kostnadene som påføres og, stadig oftere, verdien som skapes.

Naturlig nok har bransjen samlet seg rundt denne endringen og introdusert metrikker som token per sekund, kostnad per token og selv omsetning per token. Det føles som om vi endelig har funnet en måte å kvantifisere AI-systemer på. Men den rammen er ufullstendig.

Bransjens kortvei: token liker verdi

Det vokser frem en fortelling om at token er den nye valutaen i AI — at flere token betyr mer intelligens, og dermed mer omsetning. Det er en overbevisende idé, men den forenkler hva som faktisk skjer innenfor disse systemene.

Ikke alle token er like. Noen token representerer ekte arbeid: analyse av data, generering av innsikt, automatisering av arbeidsflyter og støtte til beslutninger som driver forretningsresultater. Andre er mye mindre meningsfulle — uformell innholdsgenerering, eksperimentering eller brukstilfeller som aldri kommer i produksjon.

Du kan allerede se dette innenfor bedrifter. En gruppe kan generere millioner av token for å støtte utviklerproduktivitet eller kundeoperasjoner, direkte påvirkning av effisiens og omsetning. En annen gruppe kan generere samme volum eksperimentering med verktøy som aldri kommer utenfor intern utforsking. På papir ser token-tallene identiske ut. I virkeligheten er forretningsverdien helt annerledes.

Å behandle alle token som utvekslelige enheter for verdi skaper en forvrengt visning av hva AI faktisk gjør innenfor en organisasjon. Bedrifter bygges ikke på token-volum; de bygges på hva disse tokenene muliggjør.

For å forstå den forskjellen, må du se under overflaten på hvordan disse systemene faktisk opererer.

Hvorfor din andre forespørsel er raskere enn din første

Hvis du noensinne har brukt et verktøy som ChatGPT, har du sannsynligvis lagt merke til at din andre spørsmål ofte er raskere enn din første. Denne atferden handler ikke om at modellen blir smartere — det handler om hvordan systemet gjenbruker kontekst fra tidligere forespørsler.

Moderne AI-systemer prosesserer ikke hver forespørsel i isolasjon. De bygger kontekst, lagrer tidligere forespørsler og svar i minne, ofte i det som kalles en KV-cache. Denne cachen ligger nær GPU-en så den kan aksesseres raskt når det genereres følgende svar.

Den første forespørselen er dyrek på grunn av at den initialiserer denne tilstanden — allokerer minne, prosesserer inndata og bygger kontekst. Påfølgende forespørsler gjenbruker denne tilstanden, noe som reduserer latency og forbedrer responsiviteten.

Dette blir mer viktig når kontekstvinduer utvides fra tusen til hundredtusen — eller til og med millioner — token. Jo mer kontekst et system beholder, jo mer press legges det på minne og infrastruktur, og det blir kritisk å bestemme hva som lagres, komprimeres eller kastes.

Sett fra et brukerperspektiv, føles det som et raskere system. Sett fra et infrastrukturperspektiv, er det et komplekst valg mellom minne, latency og kostnad.

Dette er der det virkelige arbeidet skjer: ikke bare i modellen selv, men i systemet som omgir den.

Den ultimate begrensningen: energi

Når du først kommer utenfor modellens ytelse, skifter samtalen raskt.

Lag som kjører AI i stor skala spør ikke primært hvilken modell som er best. De spør hvordan de kan opprettholde den.

AI-infrastruktur presser mot fysiske grenser: energitilgjengelighet, kjølingsevne og minnebandbredde. Datacenter blir redesignet rundt disse begrensningene, og organisasjoner som deployer store AI-systemer begynner å operere mer som utilitetselskaper enn tradisjonelle programvarefirmaer.

Vi ser allerede dette i store bedrifter som bygger AI-infrastruktur, hvor strøm og kjøling — og ikke modellkapasitet — blir den primære begrensningen.

AI-arbeidsbelastninger skalerer ikke rent eller forutsigbar. De akselererer etterspørsel over compute, minne og nettverk samtidig. Å generere flere token er ikke bare en måte å legge til flere GPU-er; det er et spørsmål om hvorvidt den underliggende infrastrukturen kan opprettholde energi- og termisk belastning nødvendig for å holde disse systemene kjørende effektivt.

Kostnaden ved å generere et token omfatter derfor ikke bare compute. Den inkluderer elektrisitet, kjøling, fysisk infrastruktur og evnen til å opprettholde ytelse under belastning uten degradering.

De fleste “kost per token”-diskusjoner reflekterer ikke fullt ut denne virkeligheten. I stor skala blir energi budsjettert, ikke bare en annen post.

Fremtiden er ikke større modeller. Det er bedre systemer.

I løpet av de siste to årene har bransjen fokusert på modell-sammenligninger, sett på benchmark, rangeringer og inkrementelle forbedringer i kapasitet.

Denne fokuset begynner å skifte.

I produksjonsmiljøer er ytelse mindre om hvilken modell du velger og mer om hvordan du bruker den. Organisasjoner flytter mot systemer av modeller — kombinerer store og små modeller, routerer oppgaver intelligent og optimaliserer for kostnad, latency og gjennomstrømming over hele arbeidsflyten.

I stedet for å sende hver forespørsel til en enkelt stor modell, bryter systemer ned arbeidsbelastninger i mindre komponenter. Enklere oppgaver kan håndteres av mer effektive modeller, mens mer kompleks resonnering reserveres for større modeller. Kontekst gjenbrukes hvor mulig, og caching-strategier brukes aggressivt.

Disse avgjørelsene har ofte en større innvirkning på ytelse og kostnad enn å bytte fra en modell til en annen. I den forstand forblir token enheten for arbeid, men systemet som genererer og håndterer dem blir den virkelige differensiatoren.

Det mest oversette laget i AI-systemer

AI blir ofte beskrevet i termer av modeller på den ene siden og applikasjoner på den andre, men laget imellom er der hvor mest kompleksitet — og mulighet — bor.

Dette laget flytter ikke bare forespørsler; det former dem. Det bestemmer hvordan trafikken flyter, hvordan beslutninger påtvinges og hvordan systemer oppfører seg under virkelige forhold.

Levering og sikkerhet kan ikke behandles som separate bekymringer her. Det samme laget som routerer forespørsler og håndterer kontekst er også der hvor politikker påtvinges, risikoer mildnes og tillit etableres.

Som kompleksiteten vokser, bryter punktløsninger sammen. Hva som trengs er en samlet plattform som kan koordinere disse funksjonene i sanntid, i stedet for å sye dem sammen etterpå.

Dette er der valgene gjøres. Det er der hvor kostnaden kontrolleres, ytelsen optimaliseres og sikkerhetsbeslutninger påtvinges i sanntid. Ettersom AI-systemer skalerer, blir dette laget stadig viktigere. Det er forskjellen på et system som fungerer bra i en demo og et system som opererer pålitelig og effektivt i produksjon. Den skiftet har reelle implikasjoner for hvordan organisasjoner designer og håndterer AI-systemer.

Hva dette betyr for organisasjoner

Ettersom bedrifter flytter AI inn i produksjon, er spørsmålet ikke bare hvilken modell som skal brukes — det er hvordan systemet rundt den er designet for å operere.

Det betyr å tenke utenfor token-metrikker og modell-benchmark, og fokusere på hvordan forespørsler routeres, hvordan kontekst håndteres og hvordan politikker påtvinges over hele arbeidsflyten.

De fleste organisasjoner syr fortsatt disse delene sammen — og den tilnærmingen holder ikke i produksjonspress.

Vi måler feil

Token gir en nyttig abstraksjon. De gir bransjen en måte å kvantifisere noe som en gang føltes intangibelt, men de er ikke hele bildet.

For tiden graviterer bransjen mot hva som er lettest å måle — token-tall, gjennomstrømming og kost-metrikker — i stedet for hva som betyr mest. Uten kontekst kan disse tallene være misvisende.

Neste fase av AI vil ikke bli definert av hvem som genererer flest token. Den vil bli definert av hvem som forstår hva disse tokenene representerer, og hvem kan bygge systemer som omgjør dem til meningsfulle, effektive og skalerbare resultater.

Fordi til slutt er token ikke produktet. De er bare et biprodukt av intelligens som skapes.