Waarom tokenkosten niet vertellen of AI in bedrijven werkt

AI in bedrijven doorloopt een bekende cyclus. Aanvankelijk zetten organisaties vol in en grepen ze naar de grootste en krachtigste modellen, omdat de technologie spannend was en de rekening nog niet was gekomen. Toen die eenmaal kwam, was de reactie al even voorspelbaar: teams begonnen de toegang te rantsoeneren, minder te experimenteren en naar goedkopere modellen te zoeken.

Ali Ghodsi, medeoprichter en CEO van Databricks, heeft de eerste fase van deze cyclus omschreven als ‘tokenmaximalisatie’, waarbij een hoger tokenverbruik wordt gezien als bewijs van vooruitgang. De belangrijkere fase is ‘waardemaximalisatie’: begrijpen wat die uitgaven opleveren en ze richten op het werk dat ertoe doet.

Dit is niet simpelweg een nieuwe naam voor kostenoptimalisatie. Bij kostenoptimalisatie draait het om de vraag hoe een organisatie minder kan uitgeven, terwijl waardemaximalisatie gaat over de vraag hoe ze meer kan halen uit wat ze uitgeeft. Dat onderscheid wordt steeds belangrijker naarmate AI zich van afzonderlijke experimenten uitbreidt naar de dagelijkse bedrijfsvoering.

Het grootste model is niet altijd het juiste model

Veel organisaties begonnen hun AI-programma’s door voor vrijwel elke taak het krachtigste beschikbare model te gebruiken. Tijdens de eerste experimentele fase was dat logisch: teams probeerden te begrijpen wat de technologie kon en de mogelijkheden van het model wogen zwaarder dan voorspelbaarheid.

Naarmate de toepassingen zich uitbreidden, werd het echter moeilijk te rechtvaardigen om voor elk verzoek een geavanceerd topmodel te gebruiken. Sommige organisaties reageerden door de toegang te beperken of teams te vragen minder te doen, maar brede beperkingen kunnen nuttige experimenten in de kiem smoren, naast echte verspilling.

Er ontstaat een meer volwassen aanpak. Teams beginnen kleinere, gespecialiseerde modellen in te zetten voor routinematig werk en bewaren krachtigere modellen voor taken die complex redeneerwerk vereisen of waarbij mislukking hoge kosten met zich meebrengt. Op termijn kunnen sommige organisaties modellen ook binnen hun eigen infrastructuur inzetten, zodat ze meer controle krijgen over de kosten, prestaties en gevoelige gegevens.

De belangrijke vraag is niet of een groot of klein model beter is. Het gaat erom of het model geschikt is voor het werk en of het resultaat de totale kosten van de productie ervan rechtvaardigt.

Tokens tonen activiteit, geen waarde

De meeste dashboards voor AI in bedrijven zijn gericht op verbruik. Ze tonen hoeveel tokens zijn gebruikt, welke modellen die hebben verwerkt en hoeveel de organisatie heeft uitgegeven. Die cijfers zijn noodzakelijk, maar maken niet duidelijk of het werk een bruikbaar resultaat heeft opgeleverd.

Een team dat twee keer zoveel tokens verbruikt, creëert niet noodzakelijkerwijs twee keer zoveel waarde. Het kan moeilijker werk uitvoeren, een onnodig krachtig model gebruiken of vertrouwen op een agent die mislukte taken steeds opnieuw probeert uit te voeren. Een werklast met hoge modelkosten kan nog steeds een uitstekende investering zijn als die storingen voorkomt, problemen van klanten oplost of werknemers uren waardevolle tijd teruggeeft.

In de observeerbaarheid speelt dit probleem al jaren, alleen ging het om gigabytes in plaats van tokens. Teams begonnen alles te verzamelen, omdat maximale zichtbaarheid de veiligste strategie leek. Toen de kosten voor opslag en verwerking opliepen, gingen ze gegevens steekproefsgewijs verzamelen, de bewaartermijn verkorten en context weglaten om de kosten te beheersen.

In beide gevallen is de reactie op stijgende kosten vaak geweest om minder te doen. Wat organisaties in plaats daarvan nodig hebben, is de mogelijkheid om vast te stellen welke activiteiten waardevol zijn, welke verspilling opleveren en welke efficiënter kunnen zonder dat dit ten koste gaat van het resultaat.

De werkelijke kosten reiken verder dan inferentie

Een modelaanroep vormt zelden de volledige AI-werklast. Voordat een agent een antwoord geeft, kan die documenten ophalen, een database bevragen, telemetrie doorzoeken, externe diensten aanroepen en nieuwe activiteit in applicaties of infrastructuur genereren.

Denk aan een agent die onderzoekt waarom de afhandelingsduur van een bestelling is toegenomen na een implementatie. Die kan logboeken bekijken, meetwaarden vergelijken, traces inspecteren, implementatiegegevens ophalen en downstreamdiensten analyseren. Als de eerste theorie niet klopt, kan de agent de tijdsperiode aanpassen, onder andere servicenamen zoeken en verschillende alternatieve oorzaken nalopen.

Eén menselijke instructie kan dus honderden door machines gegenereerde bewerkingen opleveren. Die bewerkingen verbruiken rekenkracht, invoer- en uitvoercapaciteit voor opslag, netwerkcapaciteit en quota voor API’s van derden. Mogelijk zijn geen van die kosten zichtbaar in het dashboard van de organisatie voor modeluitgaven.

Een model dat op het eerste gezicht goedkoop lijkt, kan dus deel uitmaken van een duur werkproces. Een krachtiger model kost per aanroep misschien meer, maar kan met minder stappen tot de juiste conclusie komen en daardoor minder nieuwe pogingen en minder ondersteunende infrastructuur vereisen. Alleen door de volledige taak te observeren, is die vergelijking mogelijk.

Breng activiteit, kosten en resultaten met elkaar in verband

Waardemaximalisatie vereist dat organisaties drie soorten informatie met elkaar in verband brengen die vaak afzonderlijk worden gemeten.

De eerste is AI-activiteit, waaronder modelkeuze, tokenverbruik, latentie, toolaanroepen, nieuwe pogingen en parallelle vertakkingen. De tweede bestaat uit de infrastructurele en financiële kosten die door die activiteit ontstaan, waaronder rekenkracht, opslag, netwerkgebruik, databasebelasting en kosten voor externe API’s. De derde is het resultaat: dat moet aangeven of het werk succesvol is afgerond en of iemand het resultaat nuttig vond.

Niet elk resultaat hoeft te worden uitgedrukt in een exact bedrag in dollars. Een praktische maatstaf kan volstaan, bijvoorbeeld of een antwoord is geaccepteerd, of iemand het werk opnieuw moest doen, of een incident sneller is opgelost, of dat een geautomatiseerde workflow zonder tussenkomst is afgerond.

Een incidentonderzoek dat honderden query’s genereert, kan bijvoorbeeld de moeite waard zijn als het engineers helpt een kritieke dienst 30 minuten eerder te herstellen. Een veel kleinere workflow kan nog steeds verspilling zijn als die een rapport oplevert dat niemand leest. Alleen aan het tokenverbruik is het verschil tussen die twee niet af te lezen.

Zodra organisaties activiteit aan resultaten kunnen koppelen, kunnen ze weloverwogen beslissen waar ze de meest geavanceerde modellen inzetten, waar kleinere modellen volstaan en waar een workflow opnieuw moet worden ontworpen.

Inzicht mag niet ten koste gaan van controle

Om de waarde van AI te begrijpen, is toegang tot gevoelige context nodig. Prompts, gegenereerde antwoorden, broncode, klantgegevens en telemetrie uit productieomgevingen kunnen allemaal deel uitmaken van dezelfde workflow.

Organisaties zouden deze informatie niet naar een externe dienst hoeven te exporteren alleen maar om te begrijpen hoe hun AI-systemen presteren. De prompts en productiecontext die metingen nuttig maken, kunnen precies de informatie zijn die beveiligings-, privacy- en compliance-teams niet buiten de omgeving van de organisatie mogen laten komen.

Leidinggevenden bij ondernemingen moeten daarom vragen waar hun AI- en observabilitygegevens worden verwerkt, wie er toegang toe heeft, hoe lang ze worden bewaard en of de analyse binnen de bestaande beveiligingsgrenzen kan plaatsvinden. Goed gegevensbeheer is afhankelijk van inzicht, maar dat inzicht mag geen nieuw probleem met gegevensbeheer veroorzaken.

Door analyses dicht bij de onderliggende gegevens uit te voeren, wordt het ook eenvoudiger om AI-activiteit te koppelen aan de applicaties, infrastructuur en bedrijfsprocessen waarop die van invloed is. Dankzij dat volledige overzicht kunnen teams niet alleen begrijpen wat ze hebben uitgegeven, maar ook wat die uitgaven hebben opgeleverd.

Optimaliseer op waarde, niet op volume

De organisaties die de volgende fase van AI binnen ondernemingen succesvol doorkomen, zijn niet noodzakelijkerwijs de organisaties die de meeste tokens gebruiken of het minst uitgeven. Het zijn de organisaties die kunnen zien welke modellen en workloads betekenisvolle resultaten opleveren en die kennis vervolgens kunnen gebruiken om hun implementaties te sturen.

Daarvoor moeten organisaties verder kijken dan afzonderlijke dashboards met modelkosten. Teams moeten het volledige traject kunnen observeren, van een gebruikersverzoek via modelaanroepen, tools en infrastructuur tot het uiteindelijke resultaat, en tegelijk gevoelige informatie onder passend organisatorisch beheer houden.

Tokenmaxxing was een nuttige fase, omdat het experimenteren aanmoedigde en liet zien wat AI kon doen. Valuemaxxing is de discipline die daarop moet volgen: inzicht, kosten en resultaten combineren, zodat organisaties kunnen blijven experimenteren zonder de controle over hun uitgaven of gegevens te verliezen.

AI binnen ondernemingen hoeft niet kleinschaliger te worden alleen omdat de eerste facturen zijn binnengekomen. De inzet moet doelgerichter worden: de inspanning moet aansluiten op de moeilijkheidsgraad, modellen moeten passen bij de taken en de uitgaven moeten in verhouding staan tot de meetbare waarde.