Varför tokenkostnader inte visar om företags-AI fungerar

Företags-AI går igenom en välbekant cykel. Till en början satsade organisationerna fullt ut och valde de största och mest kapabla modellerna, eftersom tekniken var spännande och fakturan ännu inte hade kommit. När den väl kom blev reaktionen lika förutsägbar: teamen började ransonera åtkomsten, minska experimenterandet och söka efter billigare modeller.

Ali Ghodsi, medgrundare och vd för Databricks, har beskrivit det tidiga skedet i den här cykeln som ”tokenmaximering”, där en högre tokenförbrukning ses som ett tecken på framsteg. Det viktigare skedet är ”värdemaximering”, vilket innebär att förstå vad utgifterna leder till och rikta dem mot det arbete som är viktigt.

Det här är inte bara ett nytt namn på kostnadsoptimering. Kostnadsoptimering handlar om hur en organisation kan spendera mindre, medan värdemaximering handlar om hur den kan få ut mer av det den spenderar. Den skillnaden blir allt viktigare när AI går från isolerade experiment till en del av företagens dagliga verksamhet.

Den största modellen är inte alltid rätt modell

Många organisationer inledde sina AI-satsningar med att använda den kraftfullaste tillgängliga modellen för nästan alla uppgifter. Det var rimligt under den tidiga experimentfasen, när teamen försökte förstå vad tekniken kunde göra och modellernas kapacitet var viktigare än förutsägbarheten.

När användningen sedan ökade blev det dock svårt att motivera kostnaden för att använda en avancerad modell för varje förfrågan. Vissa organisationer reagerade genom att begränsa åtkomsten eller be teamen göra mindre, men breda begränsningar kan hämma värdefullt experimenterande tillsammans med verkligt slöseri.

Ett mer moget arbetssätt håller på att växa fram. Team börjar anpassa mindre, specialiserade modeller till rutinuppgifter och reservera mer kapabla modeller för uppgifter som kräver komplexa resonemang eller innebär en hög kostnad om de misslyckas. Med tiden kan vissa organisationer också komma att driftsätta modeller i sin egen infrastruktur för att få större kontroll över kostnader, prestanda och känsliga data.

Den viktiga frågan är inte om en stor eller liten modell är bättre. Frågan är om modellen lämpar sig för arbetet och om resultatet motiverar den totala kostnaden för att ta fram det.

Token visar aktivitet, inte värde

De flesta instrumentpaneler för företags-AI är inriktade på förbrukning. De visar hur många token som användes, vilka modeller som hanterade dem och hur mycket organisationen spenderade. De siffrorna behövs, men de visar inte om arbetet ledde till ett användbart resultat.

Ett team som förbrukar dubbelt så många token skapar inte nödvändigtvis dubbelt så mycket värde. Det kan hantera svårare arbete, använda en onödigt kraftfull modell eller förlita sig på en agent som gång på gång försöker igen efter misslyckade uppgifter. En arbetsbelastning med höga modellkostnader kan ändå vara en utmärkt investering om den förebygger avbrott, löser kundproblem eller ger medarbetarna timmar av värdefull tid tillbaka.

Samma problem har funnits inom observerbarhet i åratal, men då har det handlat om gigabyte i stället för token. Team började med att samla in allt eftersom maximal insyn verkade vara den säkraste strategin. När kostnaderna för lagring och bearbetning ökade började de sampla data, förkorta lagringstiden och utelämna sammanhang för att hålla utgifterna nere.

I båda fallen har reaktionen på stigande kostnader ofta varit att göra mindre. I stället behöver organisationerna kunna identifiera vilken aktivitet som skapar värde, vilken som är slöseri och vilken som kan effektiviseras utan att resultatet försämras.

De verkliga kostnaderna sträcker sig bortom inferens

Ett modellanrop utgör sällan hela AI-arbetsflödet. Innan en agent ger ett svar kan den hämta dokument, göra sökningar i en databas, söka i telemetridata, anropa externa tjänster och generera ny aktivitet i applikationer eller infrastruktur.

Tänk dig en agent som undersöker varför kassaflödet blev långsammare efter en driftsättning. Den kan granska loggar, jämföra mätvärden, undersöka spårningar, hämta driftsättningsposter och analysera tjänster längre ned i kedjan. Om den första teorin inte stämmer kan den ändra tidsintervallet, söka under andra tjänstenamn och följa flera alternativa orsaker.

En enda instruktion från en människa kan alltså ge upphov till hundratals maskinellt genererade åtgärder. De åtgärderna förbrukar beräkningskapacitet, lagringens in- och utdata, nätverkskapacitet och API-kvoter från tredje part. Inget av detta behöver synas i organisationens instrumentpanel över modellutgifter.

Det innebär att en modell som verkar billig kan ingå i ett dyrt arbetsflöde. En mer kapabel modell kan kosta mer per anrop men komma fram till rätt slutsats med färre steg, vilket kräver färre nya försök och mindre stödjande infrastruktur. Det enda sättet att jämföra modellerna är att observera hela uppgiften.

Koppla samman aktivitet, kostnader och resultat

Värdemaximering kräver att organisationer kopplar samman tre typer av information som ofta mäts var för sig.

Det första är AI-aktivitet, däribland modellval, tokenförbrukning, latens, verktygsanrop, återförsök och parallella grenar. Det andra är de infrastruktur- och finansiella kostnader som aktiviteten medför, däribland beräkningskraft, lagring, nätverksanvändning, databasbelastning och avgifter för externa API:er. Det tredje är utfallet, som bör visa om arbetet slutfördes framgångsrikt och om någon hade nytta av resultatet.

Alla utfall behöver inte uttryckas i ett exakt dollarbelopp. Ett praktiskt mått kan räcka, till exempel om ett svar godkändes, om någon behövde göra om arbetet, om en incident löstes snabbare eller om ett automatiserat arbetsflöde slutfördes utan mänsklig inblandning.

En incidentutredning som genererar hundratals frågor kan till exempel vara värd insatsen om den hjälper ingenjörer att återställa en kritisk tjänst 30 minuter tidigare. Ett betydligt mindre arbetsflöde kan ändå vara slösaktigt om det skapar en rapport som ingen läser. Enbart tokenförbrukningen kan inte skilja mellan de två.

När organisationer kan koppla samman aktivitet och utfall kan de fatta välgrundade beslut om var de ska använda avancerade modeller, var mindre modeller räcker och var ett arbetsflöde behöver göras om.

Insyn ska inte kräva att man avstår från kontrollen

För att förstå värdet av AI krävs tillgång till känslig information. Promptar, modellgenererade svar, källkod, kundinformation och telemetridata från produktion kan alla ingå i samma arbetsflöde.

Organisationer ska inte behöva exportera den här informationen till en extern tjänst bara för att förstå hur deras AI-system presterar. Promptarna och produktionskontexten som gör mätningen användbar kan vara samma information som säkerhets-, integritets- och regelefterlevnadsteamen inte kan tillåta lämna organisationens miljö.

Företagsledare bör därför fråga var organisationens AI- och observerbarhetsdata behandlas, vem som kan komma åt den, hur länge den lagras och om analysen kan utföras inom organisationens befintliga säkerhetsgräns. God styrning förutsätter insyn, men den får inte skapa ett nytt problem med datakontrollen.

Om analysen hålls nära de underliggande data blir det också lättare att koppla AI-aktiviteten till de applikationer, den infrastruktur och de affärsprocesser som den påverkar. Den helhetsbilden gör det möjligt för team att förstå inte bara vad de har spenderat, utan också vad utgifterna har gett tillbaka.

Optimera för värde, inte volym

De organisationer som lyckas i nästa fas av företags-AI är inte nödvändigtvis de som använder flest token eller spenderar minst. Det är de som kan se vilka modeller och arbetsbelastningar som ger meningsfulla resultat och sedan använda den kunskapen för att styra driftsättningen.

Det kräver att man går bortom isolerade instrumentpaneler för modellkostnader. Team behöver följa hela kedjan, från en användarförfrågan via modell- och verktygsanrop och infrastruktur till det slutliga resultatet, samtidigt som känslig information förblir under lämplig organisatorisk kontroll.

Tokenmaximering var en användbar fas eftersom den uppmuntrade till experimenterande och visade vad AI kunde göra. Värdemaximering är den disciplin som måste följa: den förenar insyn, kostnader och utfall så att organisationer kan fortsätta experimentera utan att förlora kontrollen över sina utgifter eller sina data.

Företags-AI behöver inte bli mindre bara för att de första fakturorna har kommit. Den behöver användas mer genomtänkt, med insatser anpassade efter svårighetsgraden, modeller anpassade efter uppgifterna och utgifter anpassade efter mätbart värde.