Hvorfor tokenomkostninger ikke fortæller, om virksomheds-AI virker

Virksomheds-AI gennemgår en velkendt cyklus. I begyndelsen satsede organisationerne alt og greb ud efter de største og mest kapable modeller, fordi teknologien var spændende, og regningen endnu ikke var kommet. Da den kom, var reaktionen lige så forudsigelig: Teams begyndte at rationere adgangen, begrænse eksperimenterne og lede efter billigere modeller.

Ali Ghodsi, medstifter og CEO for Databricks, har beskrevet den tidlige fase af denne cyklus som »maksimering af tokenforbruget«, hvor et større tokenforbrug betragtes som tegn på fremskridt. Den vigtigere fase er »maksimering af værdien«, hvilket vil sige at forstå, hvad udgifterne skaber, og rette dem mod det arbejde, der betyder noget.

Det er ikke blot et nyt navn for omkostningsoptimering. Omkostningsoptimering handler om, hvordan en organisation kan bruge færre penge, mens værdimaksimering handler om, hvordan den kan få mere ud af det, den bruger. Denne forskel bliver stadig vigtigere, efterhånden som AI går fra isolerede eksperimenter til daglig drift i virksomheder.

Den største model er ikke altid den rigtige model

Mange organisationer begyndte deres AI-programmer med at bruge den mest kraftfulde tilgængelige model til næsten alle opgaver. Denne tilgang gav mening i den tidlige eksperimentfase, hvor teams forsøgte at forstå, hvad teknologien kunne, og modellens kapacitet var vigtigere end forudsigeligheden.

Efterhånden som udrulningerne voksede, blev det imidlertid sværere at retfærdiggøre omkostningerne ved at bruge en avanceret model til hver eneste forespørgsel. Nogle organisationer reagerede ved at begrænse adgangen eller bede teams om at gøre mindre, men brede restriktioner kan hæmme nyttige eksperimenter såvel som reelt spild.

En mere moden tilgang er ved at tage form. Teams begynder at tilpasse mindre, specialiserede modeller til rutineopgaver og reservere mere kapable modeller til opgaver, der kræver komplekse ræsonnementer eller indebærer store omkostninger ved fejl. Med tiden vil nogle organisationer muligvis også implementere modeller i deres egen infrastruktur for at få større kontrol over omkostninger, ydeevne og følsomme data.

Det vigtige spørgsmål er ikke, om en stor eller lille model er bedst. Det er, om modellen passer til opgaven, og om resultatet retfærdiggør de samlede omkostninger ved at frembringe det.

Tokens viser aktivitet, ikke værdi

De fleste AI-dashboards til virksomheder er baseret på forbrug. De viser, hvor mange tokens der blev brugt, hvilke modeller der håndterede dem, og hvor meget organisationen brugte. Disse tal er nødvendige, men de afslører ikke, om arbejdet gav et nyttigt resultat.

Et team, der bruger dobbelt så mange tokens, skaber ikke nødvendigvis dobbelt så stor værdi. Det kan håndtere vanskeligere opgaver, bruge en unødigt kraftfuld model eller være afhængigt af en agent, der gentagne gange prøver igen efter mislykkede opgaver. En arbejdsbyrde med høje modelomkostninger kan stadig være en fremragende investering, hvis den forhindrer nedbrud, løser kundeproblemer eller giver medarbejderne værdifulde timer tilbage.

Det samme problem har eksisteret inden for observerbarhed i årevis, blot med gigabyte i stedet for tokens. Teams begyndte med at indsamle alt, fordi maksimal indsigt virkede som den sikreste strategi. Da regningerne for lagring og behandling steg, begyndte de at udtage stikprøver af data, forkorte opbevaringsperioden og fjerne kontekst for at holde udgifterne nede.

I begge tilfælde har reaktionen på stigende omkostninger ofte været at gøre mindre. I stedet har organisationer brug for at kunne identificere, hvilken aktivitet der skaber værdi, hvilken der er spild, og hvilken der kan gøres mere effektiv uden at gå på kompromis med resultatet.

De reelle omkostninger rækker ud over inferens

Et modelkald udgør sjældent hele AI-arbejdsbyrden. Før en agent giver et svar, kan den hente dokumenter, forespørge i en database, søge i telemetridata, kalde eksterne tjenester og generere ny aktivitet i applikationer eller infrastruktur.

Forestil dig en agent, der undersøger, hvorfor svartiden ved betaling blev længere efter en udrulning. Den kan gennemgå logfiler, sammenligne målinger, inspicere sporingsdata, hente oplysninger om udrulningen og analysere underliggende tjenester. Hvis dens første teori ikke holder, kan den ændre tidsintervallet, søge under andre tjenestenavne og undersøge flere alternative årsager.

Én instruktion fra et menneske kan derfor skabe hundredvis af maskinelt genererede handlinger. Disse handlinger bruger regnekraft, læse- og skrivekapacitet til lagring, netværkskapacitet og kvoter for tredjeparts-API’er, og ingen af delene fremgår nødvendigvis af organisationens dashboard over modeludgifter.

Det betyder, at en tilsyneladende billig model kan indgå i en dyr arbejdsgang. En mere kapabel model kan koste mere pr. kald, men nå frem til den rigtige konklusion på færre trin og dermed kræve færre gentagne forsøg og mindre understøttende infrastruktur. Den eneste måde at foretage denne sammenligning på er at observere hele opgaven.

Sammenkæd aktivitet, omkostninger og resultater

Værdimaksimering kræver, at organisationer sammenkæder tre typer oplysninger, som ofte måles hver for sig.

Det første er AI-aktivitet, herunder valg af model, tokenforbrug, latenstid, værktøjskald, gentagne forsøg og parallelle grene. Det andet er de infrastrukturmæssige og økonomiske omkostninger, som aktiviteten medfører, herunder computerkraft, lagerplads, netværksforbrug, databasebelastning og gebyrer for eksterne API’er. Det tredje er resultatet, som bør vise, om arbejdet blev gennemført med succes, og om nogen fandt resultatet nyttigt.

Det er ikke nødvendigt at omsætte alle resultater til et præcist beløb i dollars. Et praktisk mål kan være tilstrækkeligt, for eksempel om et svar blev accepteret, om en person måtte udføre arbejdet igen, om en hændelse blev løst hurtigere, eller om en automatiseret arbejdsgang blev gennemført uden indgriben.

En undersøgelse af en hændelse, der genererer hundredvis af forespørgsler, kan for eksempel være umagen værd, hvis den hjælper ingeniører med at genetablere en kritisk tjeneste 30 minutter tidligere. En langt mindre arbejdsgang kan stadig være spild af ressourcer, hvis den resulterer i en rapport, som ingen læser. Tokenforbruget alene kan ikke skelne mellem de to.

Når organisationer kan forbinde aktivitet med resultater, kan de træffe bevidste beslutninger om, hvor de skal bruge de mest avancerede modeller, hvor mindre modeller er tilstrækkelige, og hvor en arbejdsgang skal gentænkes.

Indsigt må ikke kræve, at man giver afkald på kontrollen

For at forstå værdien af AI kræves der adgang til følsomme oplysninger. Prompter, genererede svar, kildekode, kundeoplysninger og telemetridata fra produktion kan alle indgå i den samme arbejdsgang.

Organisationer bør ikke være nødt til at eksportere disse oplysninger til en ekstern tjeneste alene for at forstå, hvordan deres AI-systemer klarer sig. De prompter og den produktionskontekst, der gør måling nyttig, kan være netop de oplysninger, som sikkerheds-, privatlivs- og compliance-teams ikke kan tillade forlader organisationens miljø.

Virksomhedsledere bør derfor spørge, hvor deres AI- og observerbarhedsdata behandles, hvem der har adgang til dem, hvor længe de opbevares, og om analysen kan foregå inden for organisationens eksisterende sikkerhedsgrænse. God styring afhænger af indsigt, men denne indsigt må ikke skabe et nyt problem med datakontrol.

Når analysen foregår tæt på de underliggende data, bliver det også lettere at forbinde AI-aktivitet med de applikationer, den infrastruktur og de forretningsprocesser, den påvirker. Det er dette fuldstændige overblik, der gør det muligt for teams at forstå ikke blot, hvad de har brugt, men også hvad udgifterne har givet igen.

Optimér efter værdi, ikke volumen

De organisationer, der får succes i den næste fase af AI i virksomheder, vil ikke nødvendigvis være dem, der bruger flest tokens eller bruger færrest penge. Det bliver dem, der kan se, hvilke modeller og arbejdsbelastninger der skaber meningsfulde resultater, og derefter bruge den viden til at styre udrulningen.

Det kræver, at man bevæger sig ud over isolerede oversigter over modelomkostninger. Teams skal kunne følge hele forløbet fra en brugerforespørgsel gennem modelkald, værktøjer og infrastruktur til det endelige resultat, samtidig med at følsomme oplysninger forbliver under passende organisatorisk kontrol.

Tokenmaksimering var en nyttig fase, fordi den tilskyndede til eksperimentering og viste, hvad AI kunne udrette. Værdimaksimering er den disciplin, der skal følge efter: Den forener indsigt, omkostninger og resultater, så organisationer kan fortsætte med at eksperimentere uden at miste kontrollen over deres udgifter eller data.

AI i virksomheder behøver ikke at blive mindre, blot fordi de første regninger er kommet. Den skal bruges mere bevidst, så indsatsen står mål med opgavens sværhedsgrad, modellerne passer til opgaverne, og udgifterne modsvares af målbar værdi.