Hvorfor tokenkostnader ikke forteller deg om virksomhets-AI fungerer

AI i virksomheter går gjennom en velkjent syklus. Først satset organisasjonene alt og tok i bruk de største og mest avanserte modellene, fordi teknologien var spennende og regningen ennå ikke hadde kommet. Da den kom, var reaksjonen like forutsigbar: Teamene begynte å rasjonere tilgangen, redusere eksperimenteringen og lete etter rimeligere modeller.

Ali Ghodsi, medgrunnlegger og administrerende direktør i Databricks, har beskrevet den tidlige fasen av denne syklusen som «tokenmaksimering», der økt tokenforbruk blir sett på som et tegn på fremgang. Den viktigere fasen er «verdimaksimering», som handler om å forstå hva pengene går til, og rette innsatsen mot det arbeidet som betyr noe.

Dette er ikke bare et nytt navn på kostnadsoptimalisering. Kostnadsoptimalisering handler om hvordan en organisasjon kan bruke mindre, mens verdimaksimering handler om hvordan den kan få mer ut av det den bruker. Dette skillet vil bli stadig viktigere etter hvert som KI går fra isolerte eksperimenter til daglig drift i virksomheter.

Den største modellen er ikke alltid den riktige

Mange organisasjoner startet KI-programmene sine med å bruke den kraftigste tilgjengelige modellen til nesten alle oppgaver. Denne tilnærmingen ga mening i den tidlige eksperimenteringsfasen, da teamene prøvde å forstå hva teknologien kunne gjøre, og modellens kapasitet var viktigere enn forutsigbarheten.

Etter hvert som bruken økte, ble det imidlertid vanskelig å forsvare kostnaden ved å bruke en banebrytende modell på hver forespørsel. Noen organisasjoner reagerte med å begrense tilgangen eller be teamene gjøre mindre, men omfattende begrensninger kan hemme nyttig eksperimentering i tillegg til å redusere reelt sløseri.

En mer moden tilnærming er i ferd med å ta form. Team begynner å tilpasse mindre, spesialiserte modeller til rutineoppgaver, samtidig som de forbeholder de kraftigere modellene for oppgaver som krever kompleks resonnering eller der feil kan bli kostbare. Etter hvert kan noen organisasjoner også ta i bruk modeller i sin egen infrastruktur for å få bedre kontroll over kostnader, ytelse og sensitive data.

Det viktige spørsmålet er ikke om en stor eller liten modell er best. Spørsmålet er om modellen passer til oppgaven, og om resultatet forsvarer den samlede kostnaden ved å produsere det.

Token viser aktivitet, ikke verdi

De fleste KI-dashbord for virksomheter er bygget rundt forbruk. De viser hvor mange token som ble brukt, hvilke modeller som behandlet dem, og hvor mye organisasjonen brukte. Disse tallene er nødvendige, men de viser ikke om arbeidet ga et nyttig resultat.

Et team som bruker dobbelt så mange token, skaper ikke nødvendigvis dobbelt så mye verdi. Det kan håndtere vanskeligere oppgaver, bruke en unødvendig kraftig modell eller være avhengig av en agent som gjentatte ganger prøver på nytt etter mislykkede oppgaver. En arbeidsmengde med høye modellkostnader kan likevel være en svært god investering hvis den forebygger driftsavbrudd, løser kundeproblemer eller gir medarbeiderne flere timer med verdifull tid tilbake.

Det samme problemet har eksistert innen observerbarhet i årevis, bare med gigabyte i stedet for token. Teamene begynte med å samle inn alt fordi maksimal innsynlighet så ut til å være den tryggeste strategien. Da kostnadene til lagring og databehandling økte, begynte de å ta stikkprøver av data, redusere lagringstiden og fjerne kontekst for å holde utgiftene nede.

I begge tilfellene har reaksjonen på økte kostnader ofte vært å gjøre mindre. I stedet trenger organisasjonene å kunne identifisere hvilken aktivitet som er verdifull, hvilken som er sløsing, og hvilken som kan effektiviseres uten at resultatet blir dårligere.

De reelle kostnadene omfatter mer enn inferens

Et modellkall utgjør sjelden hele KI-arbeidsmengden. Før en agent gir et svar, kan den hente dokumenter, spørre en database, søke i telemetridata, kalle eksterne tjenester og generere ny aktivitet i applikasjoner eller infrastruktur.

Tenk deg en agent som undersøker hvorfor forsinkelsen i betalingsprosessen økte etter en utrulling. Den kan undersøke logger, sammenligne måleverdier, inspisere sporingsdata, hente utrullingsoppføringer og analysere tjenester lenger ned i kjeden. Hvis den første hypotesen ikke stemmer, kan den justere tidsvinduet, søke under andre tjenestenavn og følge flere alternative årsakssammenhenger.

Én instruksjon fra et menneske kan dermed utløse hundrevis av maskinelt genererte operasjoner. Disse operasjonene bruker datakraft, inn- og utdata fra lagring, nettverkskapasitet og kvoter for tredjeparts-API-er, og ingen av disse kostnadene vises nødvendigvis i organisasjonens oversikt over modellutgifter.

Det betyr at en modell som tilsynelatende er rimelig, kan inngå i en kostbar arbeidsflyt. En kraftigere modell kan koste mer per kall, men komme fram til riktig konklusjon på færre trinn og dermed kreve færre nye forsøk og mindre støtteinfrastruktur. Den eneste måten å sammenligne dette på er å observere hele oppgaven.

Koble sammen aktivitet, kostnader og resultater

Verdimaksimering krever at organisasjoner kobler sammen tre typer informasjon som ofte måles hver for seg.

Det første er KI-aktivitet, blant annet valg av modell, tokenforbruk, latenstid, verktøykall, nye forsøk og parallelle grener. Det andre er infrastrukturkostnadene og de økonomiske kostnadene aktiviteten fører med seg, blant annet kostnader til databehandling, lagring, nettverksbruk, databasebelastning og eksterne API-er. Det tredje er resultatet, som bør vise om arbeidet ble fullført på en vellykket måte, og om noen syntes resultatet var nyttig.

Det er ikke nødvendig å omregne alle resultater til et nøyaktig beløp i dollar. Et praktisk mål kan være nok, for eksempel om et svar ble godtatt, om noen måtte gjøre arbeidet på nytt, om en hendelse ble løst raskere, eller om en automatisert arbeidsflyt ble fullført uten menneskelig inngripen.

En hendelsesundersøkelse som genererer hundrevis av spørringer, kan for eksempel være verdt innsatsen hvis den hjelper ingeniører med å gjenopprette en kritisk tjeneste 30 minutter tidligere. En langt mindre arbeidsflyt kan likevel være sløsing hvis den produserer en rapport ingen leser. Tokenforbruk alene kan ikke skille mellom de to.

Når organisasjoner kan koble aktivitet til resultater, kan de ta bevisste valg om hvor de skal bruke de mest avanserte modellene, hvor mindre modeller er tilstrekkelige, og hvor en arbeidsflyt må utformes på nytt.

Innsyn må ikke kreve at man gir fra seg kontrollen

For å forstå verdien av KI trenger man tilgang til sensitiv kontekst. Ledetekster, modellens svar, kildekode, kundeinformasjon og produksjonstelemetri kan alle inngå i den samme arbeidsflyten.

Organisasjoner bør ikke måtte eksportere denne informasjonen til en ekstern tjeneste bare for å forstå hvordan KI-systemene deres fungerer. Ledetekstene og produksjonskonteksten som gjør måling nyttig, kan være den samme informasjonen som sikkerhets-, personvern- og regelverksetterlevelsesgruppene ikke kan tillate at forlater organisasjonens miljø.

Ledere i større virksomheter bør derfor spørre hvor KI- og observerbarhetsdataene deres behandles, hvem som har tilgang til dem, hvor lenge de lagres, og om analysen kan utføres innenfor organisasjonens eksisterende sikkerhetsgrense. God styring avhenger av innsyn, men innsynet må ikke skape et nytt problem med datakontroll.

Når analysen holdes nær de underliggende dataene, blir det også enklere å koble KI-aktivitet til applikasjonene, infrastrukturen og forretningsprosessene den påvirker. Et slikt helhetlig bilde gjør det mulig for teamene å forstå ikke bare hva de brukte penger på, men også hva utgiftene ga tilbake.

Optimaliser for verdi, ikke volum

Organisasjonene som lykkes i neste fase av KI i næringslivet, vil ikke nødvendigvis være dem som bruker flest token eller bruker minst penger. Det vil være dem som kan se hvilke modeller og arbeidsmengder som gir meningsfulle resultater, og deretter bruke denne innsikten til å styre utrullingen.

Dette krever at man går bort fra isolerte oversikter over modellkostnader. Teamene må følge hele løpet fra en brukerforespørsel via modellkall, verktøy og infrastruktur til det endelige resultatet, samtidig som sensitiv informasjon holdes under egnet organisatorisk kontroll.

Tokenmaxxing var en nyttig fase fordi det oppmuntret til eksperimentering og viste hva KI kunne gjøre. Valuemaxxing er disiplinen som må følge etter: å kombinere innsyn, kostnader og resultater slik at organisasjoner kan fortsette å eksperimentere uten å miste kontrollen over pengebruken eller dataene sine.

KI i næringslivet trenger ikke å bli mindre omfattende bare fordi de første regningene har kommet. Den må bli mer målrettet, med innsats tilpasset vanskelighetsgraden, modeller tilpasset oppgavene og pengebruk tilpasset målbar verdi.