AI’s Nieuwe Economie Is Gebouwd op Tokens — Maar We Meten Ze Allemaal Verkeerd

Er gebeurt een verschuiving in AI die de meeste mensen voelen, maar nog niet volledig begrijpen: we zijn overgestapt van het tellen van verzoeken naar het tellen van tokens.

In de web-era maten we systemen in verzoeken per seconde. Het was schoon, intuïtief en meestal accuraat. Een verzoek kwam binnen, een antwoord ging uit en je kon de infrastructuur daaromheen schalen.

Die abstractie is verdwenen.

In AI is de fundamentele eenheid niet langer het verzoek—het is de token. Elke prompt, elk antwoord en elke keten van redenering wordt gebroken in tokens, die de werkzaamheden van het systeem vertegenwoordigen, de gemaakte kosten en, steeds vaker, de gegenereerde waarde.

Natuurlijk heeft de industrie zich rondom deze verschuiving geschaard, met metrics als tokens per seconde, kosten per token en zelfs omzet per token. Het lijkt alsof we eindelijk een manier hebben gevonden om AI-systemen te kwantificeren. Maar deze benadering is onvolledig.

De industrie-snelkoppeling: tokens gelijk aan waarde

Er is een groeiend verhaal dat tokens de nieuwe valuta van AI zijn—dat meer tokens gelijk staan aan meer intelligentie, en dus meer omzet. Het is een aantrekkelijk idee, maar het vereenvoudigt wat er werkelijk gebeurt binnen deze systemen.

Niet alle tokens zijn gelijk. Sommige tokens vertegenwoordigen echte werkzaamheden: gegevensanalyse, inzichten genereren, workflows automatiseren en beslissingen ondersteunen die bedrijfsresultaten drijven. Andere zijn veel minder betekenisvol—casuele inhoudsgeneratie, experimenten of use cases die nooit in productie komen.

Je kunt dit al zien binnen ondernemingen. Het ene team kan miljoenen tokens genereren om ontwikkelaarsproductiviteit of klantoperaties te ondersteunen, wat rechtstreeks de efficiëntie en omzet beïnvloedt. Een ander team kan hetzelfde volume tokens genereren door te experimenteren met tools die nooit verder komen dan interne verkenning. Op papier zien de token-tellingen er hetzelfde uit. In werkelijkheid is de bedrijfswaarde compleet anders.

Als alle tokens worden behandeld als uitwisselbare eenheden van waarde, ontstaat een vertekend beeld van wat AI werkelijk binnen een organisatie doet. Bedrijven zijn niet gebouwd op token-volume; ze zijn gebouwd op wat die tokens mogelijk maken.

Om dat verschil te begrijpen, moet je onder de oppervlakte kijken naar hoe deze systemen werkelijk opereren.

Waarom je tweede prompt sneller is dan je eerste

Als je ooit een tool als ChatGPT hebt gebruikt, heb je waarschijnlijk gemerkt dat je tweede vraag vaak sneller is dan je eerste. Dat gedrag heeft niets te maken met het feit dat het model slimmer wordt—het heeft te maken met hoe het systeem context hergebruikt van eerdere prompts.

Moderne AI-systemen verwerken elk verzoek niet in isolatie. Ze bouwen context op, door eerdere prompts en antwoorden in het geheugen op te slaan, vaak in een zogenaamde KV-cache. Deze cache staat dicht bij de GPU, zodat deze snel kan worden benaderd bij het genereren van antwoorden op follow-up-vragen.

Het eerste verzoek is duur omdat het die staat initialiseert—geheugen toewijzen, invoer verwerken en context opbouwen. Latere verzoeken hergebruiken die staat, waardoor de latentie wordt verlaagd en de responsiviteit wordt verbeterd.

Deze dynamiek wordt belangrijker naarmate context-vensters uitbreiden van duizenden tot honderdduizenden—of zelfs miljoenen—tokens. Hoe meer context een systeem behoudt, hoe meer druk het legt op geheugen en infrastructuur, waardoor het kritiek wordt om te beslissen wat wordt opgeslagen, gecomprimeerd of verwijderd.

Vanuit het oogpunt van de gebruiker lijkt het alsof het systeem sneller is. Vanuit het oogpunt van de infrastructuur is het een complexe afweging tussen geheugen, latentie en kosten.

Dit is waar het echte werk gebeurt: niet alleen in het model zelf, maar in het systeem dat eromheen zit.

De uiteindelijke beperking: energie

Zodra je verder gaat dan model-prestaties, verandert het gesprek snel.

Teams die AI op grote schaal uitvoeren, vragen zich niet primair af welk model het beste is. Ze vragen zich af hoe ze het kunnen volhouden.

AI-infrastructuur botst tegen fysieke limieten: energieverbruik, koelcapaciteit en geheugengrootte. Datacenters worden herontworpen rondom deze beperkingen, en organisaties die grote AI-systemen implementeren, beginnen meer als nutsbedrijven dan traditionele softwarebedrijven te opereren.

We zien dit al gebeuren bij grote ondernemingen die AI-infrastructuur bouwen, waar stroom en koeling—not model-capaciteit—de primaire beperking worden.

AI-werklasten schalen niet schoon of voorspelbaar. Ze vermenigvuldigen de vraag naar rekenkracht, geheugen en netwerken tegelijk. Het genereren van meer tokens is niet simpelweg een kwestie van meer GPUs toevoegen; het is een vraag of de onderliggende infrastructuur de energievraag en thermische belasting kan volhouden om die systemen efficiënt te laten draaien.

De kosten van het genereren van een token gaan dus verder dan alleen rekenkracht. Ze omvatten elektriciteit, koeling, fysieke infrastructuur en de mogelijkheid om prestaties te behouden onder belasting zonder afbreuk te doen.

De meeste “kosten per token”-discussies weerspiegelen deze realiteit niet volledig. Op grote schaal wordt energie het budget, niet alleen een regel.

De toekomst is niet grotere modellen. Het zijn betere systemen.

De afgelopen twee jaar heeft de industrie zich gefocust op model-vergelijkingen, met benchmarks, rankings en incrementele verbeteringen in capaciteit.

Die focus begint te verschuiven.

In productie-omgevingen gaat het minder om welk model je kiest en meer om hoe je het gebruikt. Organisaties gaan naar systemen van modellen—combineren van grote en kleine modellen, taken intelligent routeren en optimaliseren voor kosten, latentie en doorvoer over de hele workflow.

In plaats van elk verzoek naar één groot model te sturen, breken systemen werklasten op in kleinere componenten. Simpelere taken kunnen worden afgehandeld door efficiëntere modellen, terwijl complexere redenering is voorbehouden aan grotere modellen. Context wordt overal hergebruikt waar mogelijk, en caching-strategieën worden agressief toegepast.

Deze beslissingen hebben vaak een grotere impact op prestaties en kosten dan het switchen van het ene model naar het andere. In die zin blijven tokens de eenheid van werk, maar het systeem dat ze genereert en beheert, wordt de echte differentiator.

De meest over het hoofd gezien laag in AI-systemen

AI wordt vaak beschreven in termen van modellen aan de ene kant en toepassingen aan de andere kant, maar de laag ertussenin is waar de meeste complexiteit—and kansen—leven.

Deze laag verplaatst niet alleen verzoeken; het vormt ze. Het bepaalt hoe verkeer stroomt, hoe beslissingen worden afgedwongen en hoe systemen zich gedragen onder echte omstandigheden.

Levering en beveiliging kunnen hier niet als afzonderlijke zorgen worden behandeld. Dezelfde laag die verzoeken routeert en context beheert, is ook waar beleid wordt toegepast, risico’s worden geminimaliseerd en vertrouwen wordt gevestigd.

Naarmate de complexiteit groeit, breken punt-oplossingen af. Wat nodig is, is een geïntegreerd platform dat deze functies in real-time kan coördineren, in plaats van ze achteraf aan elkaar te naaien.

Dit is waar afwegingen worden gemaakt. Dit is waar kosten worden gecontroleerd, prestaties worden geoptimaliseerd en beveiligingsbeslissingen in real-time worden afgedwongen. Naarmate AI-systemen schalen, wordt deze laag steeds belangrijker. Het is het verschil tussen een systeem dat goed presteert in een demo en een systeem dat betrouwbaar en efficiënt werkt in productie. Die verschuiving heeft echte implicaties voor hoe organisaties AI-systemen ontwerpen en beheren.

Wat dit betekent voor organisaties

Als ondernemingen AI in productie brengen, is de vraag niet alleen welk model ze moeten gebruiken—het is hoe het systeem eromheen is ontworpen om te functioneren.

Dat betekent dat ze verder moeten kijken dan token-metrics en model-benchmarks, en zich moeten focussen op hoe verzoeken worden gerouteerd, hoe context wordt beheerd en hoe beleid wordt afgedwongen over de hele workflow.

De meeste organisaties zijn nog steeds bezig met het in elkaar zetten van deze stukken—and die aanpak houdt geen stand onder echte productiedruk.

We meten de verkeerde dingen

Tokens bieden een nuttige abstractie. Ze geven de industrie een manier om iets te kwantificeren dat eerder onstoffelijk leek, maar ze zijn niet het complete plaatje.

Op dit moment gaat de industrie naar wat het makkelijkst te meten is—token-tellingen, doorvoer en kosten-metrics—in plaats van wat het meeste belang heeft. Zonder context kunnen die cijfers misleidend zijn.

De volgende fase van AI zal niet worden gedefinieerd door wie de meeste tokens genereert. Het zal worden gedefinieerd door wie begrijpt wat die tokens vertegenwoordigen, en wie systemen kan bouwen die ze omzetten in betekenisvolle, efficiënte en schaalbare resultaten.

Omdat tokens uiteindelijk niet het product zijn. Ze zijn slechts het bijproduct van het creëren van intelligentie.