AI’s nye økonomi bygges på tokens – men vi måler dem alle forkert

Der sker en forandring i AI, som de fleste mennesker fornemmer, men ikke fuldt ud forstår endnu: vi er gået fra at tælle anmodninger til at tælle tokens.

I web-æraen målte vi systemer i anmodninger per sekund. Det var rent, intuitivt og mest af alt nøjagtigt. En anmodning kom ind, en respons gik ud, og man kunne skalerer infrastrukturen rundt om det.

Denne abstraktion er væk.

I AI er den grundlæggende enhed ikke længere anmodningen – det er tokenet. Hver prompt, hver respons og hver kæde af resonnering brydes ned i tokens, der repræsenterer det arbejde, systemet udfører, de omkostninger, der påløber, og, stadig mere, den værdi, der skabes.

Naturligvis har branchen samlet sig omkring denne forandring og introduceret metrikker som tokens per sekund, omkostninger per token og endda omsætning per token. Det føles, som om vi endelig har fundet en måde at kvantificere AI-systemer på. Men denne ramme er ufuldstændig.

Branchens genvej: tokens svarende til værdi

Der er en voksende fortælling om, at tokens er den nye valuta i AI – at flere tokens svarer til mere intelligens og, som en udvidelse heraf, mere omsætning. Det er en overbevisende idé, men den forenkler hva der faktisk sker inde i disse systemer.

Ikke alle tokens er lige. Nogle tokens repræsenterer rigtigt arbejde: analyse af data, generering af indsigt, automatisering af arbejdsgange og støtte til beslutninger, der driver forretningsresultater. Andre er langt mindre betydningsfulde – blotlig indholdsgenerering, eksperimenter eller brugsområder, der aldrig kommer i produktion.

Man kan allerede se dette inde i virksomheder. Et team kan generere millioner af tokens for at støtte udviklerproduktivitet eller kundeoperationer, hvilket direkte påvirker effektivitet og omsætning. Et andet team kan generere samme mængde tokens ved at eksperimentere med værktøjer, der aldrig kommer ud over interne undersøgelser. På papir ser token-tællingerne ens ud. I virkeligheden er forretningsværdien helt forskellig.

At behandle alle tokens som udskiftelige enheder for værdi skaber en forvrænget syn på, hvad AI faktisk gør inde i en organisation. Virksomheder bygges ikke på token-volumen; de bygges på, hvad disse tokens muliggør.

For at forstå denne forskel må man kigge under overfladen på, hvordan disse systemer faktisk fungerer.

Hvorfor din anden prompt er hurtigere end din første

Hvis du nogensinde har brugt et værktøj som ChatGPT, har du sandsynligvis bemærket, at din anden spørgsmål ofte er hurtigere end din første. Dette adfærd er ikke, fordi modellen bliver klogere – det handler om, hvordan systemet genbruger kontekst fra tidligere prompts.

Moderne AI-systemer behandler ikke hver anmodning i isolation. De bygger kontekst, gemmer tidligere prompts og responser i hukommelse, ofte i hvad der kaldes en KV-cache. Denne cache ligger tæt på GPU’en, så den kan tilgås hurtigt, når der genereres følgende responser.

Den første anmodning er dyrekøbt, fordi den initialiserer denne tilstand – allokerer hukommelse, behandler input og bygger kontekst. Følgende anmodninger genbruger denne tilstand, hvilket reducerer latency og forbedrer responsiviteten.

Dette dynamik bliver mere vigtigt, jo mere kontekst et system fastholder, fra tusinder til hundredtusinder – eller endda millioner – af tokens. Jo mere kontekst et system fastholder, jo mere tryk lægges der på hukommelse og infrastruktur, og det bliver kritisk at afgøre, hvad der gemmes, komprimeres eller kasseres.

Set fra brugerens synspunkt føles det som et hurtigere system. Set fra infrastrukturens synspunkt er det et komplekst kompromis mellem hukommelse, latency og omkostninger.

Dette er, hvor det rigtige arbejde sker: ikke kun i modellen selv, men i systemet, der omgiver den.

Den ultimative begrænsning: energi

Når man bevæger sig ud over modelpræstation, skifter samtalen hurtigt.

Hold, der kører AI i stor skala, spørger ikke primært, hvilken model der er bedst. De spørger, hvordan de kan opretholde den.

AI-infrastruktur presses mod fysiske grænser: energitilgængelighed, kølingsevne og hukommelsesbåndbredde. Datacentre bliver redesignet omkring disse begrænsninger, og organisationer, der implementerer store AI-systemer, begynder at fungere mere som utilitsselskaber end traditionelle softwarevirksomheder.

Vi ser allerede dette i store virksomheder, der bygger AI-infrastruktur, hvor strøm og køling – og ikke modelkapacitet – bliver den primære begrænsning.

AI-arbejdsbyrder skalerer ikke rent eller forudsigeligt. De forøger efterspørgsel på tværs af beregning, hukommelse og netværk på samme tid. At generere flere tokens er ikke blot en sag om at tilføje flere GPU’er; det er en spørgsmål om, hvorvidt den underliggende infrastruktur kan opretholde den energi- og termiske belastning, der kræves for at holde disse systemer kørende effektivt.

Omkostningerne ved at generere en token omfatter derfor ikke kun beregning. Den omfatter også elektricitet, køling, fysisk infrastruktur og evnen til at opretholde præstation under belastning uden nedgradering.

De fleste “omkostninger per token”-diskussioner afspejler ikke fuldt ud denne realitet. I stor skala bliver energi budgettet, ikke blot en anden post.

Fremtiden er ikke større modeller. Det er bedre systemer.

I de sidste to år har branchen været fokuseret på model-sammenligninger, hvor man har set på benchmark, rangeringer og inkrementelle forbedringer i kapacitet.

Denne fokus er begyndt at skifte.

I produktionsmiljøer er præstation mindre om, hvilken model du vælger, og mere om, hvordan du bruger den. Organisationer bevæger sig mod systemer af modeller – kombinerer store og små modeller, routerer opgaver intelligent og optimerer for omkostninger, latency og gennemløb på tværs af hele arbejdsgangen.

I stedet for at sende hver anmodning til en enkelt stor model, bryder systemer arbejdsbyrder ned i mindre komponenter. Simpelt arbejde kan håndteres af mere effektive modeller, mens mere kompleks resonnering reserveres til større modeller. Kontekst genbruges, hvor det er muligt, og cachelagringstrategier anvendes aggressivt.

Disse beslutninger har ofte en større indvirkning på præstation og omkostninger end at skifte fra en model til en anden. I den forstand forbliver tokens enheden for arbejde, men systemet, der genererer og håndterer dem, bliver den virkelige differentiator.

Det mest oversete lag i AI-systemer

AI beskrives ofte i termer af modeller på den ene side og applikationer på den anden, men laget imellem er, hvor det meste af kompleksiteten – og muligheden – bor.

Dette lag flytter ikke blot anmodninger; det former dem. Det bestemmer, hvordan trafikken flyder, hvordan beslutninger gennemføres og hvordan systemer opfører sig under virkelige betingelser.

Levering og sikkerhed kan ikke behandles som separate bekymringer her. Det samme lag, der routerer anmodninger og håndterer kontekst, er også, hvor politikker gennemføres, risici mindskes og tillid etableres.

Da kompleksiteten vokser, bryder punktløsninger sammen. Hva der behøves, er en samlet platform, der kan koordinere disse funktioner i realtid, snarere end at sy sammen dem efterfølgende.

Dette er, hvor kompromiserne gøres. Det er, hvor omkostninger kontrolleres, præstation optimeres og sikkerhedsbeslutninger gennemføres i realtid. Da AI-systemer skalerer, bliver dette lag stadig mere vigtigt. Det er forskellen på et system, der fungerer godt i en demo, og et, der opererer pålideligt og effektivt i produktion. Denne skift har reelle implikationer for, hvordan organisationer designer og håndterer AI-systemer.

Hvad dette betyder for organisationer

Da virksomheder flytter AI i produktion, er spørgsmålet ikke blot, hvilken model der skal bruges – det handler om, hvordan systemet omkring den er designet til at fungere.

Det betyder at tænke ud over token-metrikker og model-benchmark, og fokusere på, hvordan anmodninger routers, hvordan kontekst håndteres og hvordan politikker gennemføres på tværs af hele arbejdsgangen.

De fleste organisationer syer stadig disse dele sammen – og denne tilgang holder ikke ved produktion under tryk.

Vi måler det forkerte

Tokens giver en nyttig abstraktion. De giver branchen en måde at kvantificere noget, der tidligere føltes intangibelt, men de er ikke det fulde billede.

Lige nu er branchen tiltrukket af, hvad der er lettest at måle – token-tællinger, gennemløb og omkostningsmetrikker – snarere end hvad der betyder mest. Uden kontekst kan disse tal være misvisende.

Næste fase af AI vil ikke blive defineret af, hvem der genererer flest tokens. Det vil blive defineret af, hvem der forstår, hvad disse tokens repræsenterer, og hvem kan bygge systemer, der omdanner dem til meningsfulde, effektive og skalerbare resultater.

Fordi i sidste ende er tokens ikke produktet. De er blot en biprodukt af den intelligens, der skabes.