Miksi tokenikustannukset eivät kerro, toimiiko yritystason tekoäly

Yritysten tekoälyhankkeet etenevät tuttua kehityskulkua. Aluksi organisaatiot panostivat täysillä ja ottivat käyttöön suurimmat ja kyvykkäimmät mallit, koska teknologia innosti eikä lasku ollut vielä tullut. Kun se sitten tuli, reaktio oli yhtä ennakoitava: tiimit alkoivat säännöstellä käyttöä, vähentää kokeiluja ja etsiä edullisempia malleja.

Databricksin perustajajäsen ja toimitusjohtaja Ali Ghodsi on kuvannut tämän kehityskulun alkuvaihetta käsitteellä ”tokenien kulutuksen maksimointi”, jossa suurempaa tokenien kulutusta pidetään edistyksen merkkinä. Tärkeämpi vaihe on ”arvon maksimointi”, eli sen ymmärtäminen, mitä käytetyllä rahalla saadaan aikaan, ja sen kohdentaminen tärkeään työhön.

Kyse ei ole vain kustannusten optimoinnin uudesta nimestä. Kustannusten optimoinnissa kysytään, miten organisaatio voi käyttää vähemmän rahaa, kun taas arvon maksimoinnissa kysytään, miten käytetyllä rahalla voidaan saada enemmän aikaan. Ero käy yhä tärkeämmäksi, kun tekoäly siirtyy yksittäisistä kokeiluista osaksi yritysten jokapäiväistä toimintaa.

Suurin malli ei aina ole oikea malli

Monet organisaatiot käynnistivät tekoälyohjelmansa käyttämällä tehokkainta saatavilla olevaa mallia lähes kaikissa tehtävissä. Tämä oli järkevää kokeilujen alkuvaiheessa, kun tiimit pyrkivät selvittämään, mihin teknologia pystyy, ja mallin kyvykkyys oli ennustettavuutta tärkeämpää.

Käyttöönoton laajentuessa huippumallin käyttäminen jokaiseen pyyntöön alkoi kuitenkin olla vaikea perustella kustannusten vuoksi. Jotkin organisaatiot reagoivat rajoittamalla käyttöä tai pyytämällä tiimejä tekemään vähemmän, mutta laajat rajoitukset voivat tukahduttaa hyödylliset kokeilut siinä missä todellisen tuhlauksenkin.

Kypsempi toimintatapa on yleistymässä. Tiimit alkavat valita rutiinitehtäviin pienempiä, erikoistuneita malleja ja varata kyvykkäämmät mallit tehtäviin, jotka edellyttävät monimutkaista päättelyä tai joissa epäonnistumisen hinta on korkea. Ajan myötä jotkin organisaatiot saattavat myös ottaa malleja käyttöön omassa infrastruktuurissaan, jotta ne voivat hallita paremmin kustannuksia, suorituskykyä ja arkaluonteisia tietoja.

Tärkeää ei ole se, onko suuri vai pieni malli parempi. Olennaista on, sopiiko malli kyseiseen työhön ja ovatko tulokset niiden tuottamisesta aiheutuvien kokonaiskustannusten arvoisia.

Tokenit kertovat toiminnasta, eivät arvosta

Useimmat yritysten tekoälyn hallintapaneelit keskittyvät kulutukseen. Ne näyttävät käytettyjen tokenien määrän, käytetyt mallit ja organisaation kulut. Nämä luvut ovat tarpeellisia, mutta ne eivät kerro, tuottiko työ hyödyllisen tuloksen.

Kaksi kertaa enemmän tokeneita käyttävä tiimi ei välttämättä luo kaksinkertaisesti arvoa. Se saattaa käsitellä vaikeampia tehtäviä, käyttää tarpeettoman tehokasta mallia tai luottaa agenttiin, joka yrittää toistuvasti uudelleen epäonnistuneita tehtäviä. Korkeat mallikustannukset voivat silti olla erinomainen sijoitus, jos niiden avulla ehkäistään käyttökatkoja, ratkaistaan asiakasongelmia tai palautetaan työntekijöille tunteja arvokasta työaikaa.

Sama ongelma on ollut havainnoitavuudessa vuosia, mutta tokenien sijaan kyse on ollut gigatavuista. Tiimit alkoivat kerätä kaikkea, koska mahdollisimman kattava näkyvyys vaikutti turvallisimmalta toimintatavalta. Kun tallennus- ja käsittelylaskut kasvoivat, ne alkoivat ottaa näytteitä tiedoista, lyhentää säilytysaikoja ja karsia kontekstia kustannusten hallitsemiseksi.

Molemmissa tapauksissa kasvaviin kustannuksiin on usein vastattu tekemällä vähemmän. Organisaatiot tarvitsevat sen sijaan kyvyn tunnistaa, mikä toiminta tuottaa arvoa, mikä on tuhlausta ja mitä voidaan tehostaa tuloksesta tinkimättä.

Todelliset kustannukset eivät rajoitu päättelyyn

Yksittäinen mallikutsu kattaa harvoin tekoälytehtävän kokonaisuudessaan. Agentti voi hakea asiakirjoja, tehdä kyselyjä tietokantaan, etsiä telemetriatietoja, kutsua ulkoisia palveluita sekä synnyttää uutta toimintaa sovelluksissa tai infrastruktuurissa ennen vastauksen tuottamista.

Kuvitellaan agentti, joka selvittää, miksi kassatoiminnon viive kasvoi käyttöönoton jälkeen. Se voi tutkia lokitietoja, vertailla mittareita, tarkastella jäljitystietoja, hakea käyttöönottotietoja ja analysoida alavirran palveluita. Jos sen ensimmäinen teoria osoittautuu vääräksi, se voi muuttaa aikaväliä, etsiä eri palvelunimillä ja tutkia useita vaihtoehtoisia syitä.

Yksi ihmisen antama ohje voi siis synnyttää satoja koneen tuottamia toimintoja. Ne kuluttavat laskentatehoa, tallennuksen luku- ja kirjoituskapasiteettia, verkkokapasiteettia sekä kolmansien osapuolten API-kiintiöitä, eikä mikään näistä välttämättä näy organisaation mallikustannuksia seuraavassa hallintapaneelissa.

Näennäisen edullinen malli voi siis olla osa kallista työnkulkua. Kyvykkäämpi malli saattaa maksaa enemmän kutsua kohden, mutta päästä oikeaan johtopäätökseen harvemmissa vaiheissa, jolloin tarvitaan vähemmän uusia yrityksiä ja tukevan infrastruktuurin kuormitus jää pienemmäksi. Tämän vertailun tekeminen edellyttää koko tehtävän seuraamista.

Yhdistä toiminta, kustannukset ja tulokset

Arvon maksimointi edellyttää, että organisaatiot yhdistävät kolme tietotyyppiä, joita mitataan usein erikseen.

Ensimmäinen on tekoälyn toiminta, johon kuuluvat mallin valinta, tokenien kulutus, viive, työkalukutsut, uudelleenyritykset ja rinnakkaiset haarat. Toinen on toiminnan aiheuttama infrastruktuuri- ja talouskustannus, johon kuuluvat laskentateho, tallennustila, verkkokäyttö, tietokannan kuormitus ja ulkoisten rajapintojen käyttömaksut. Kolmas on lopputulos, jonka pitäisi kertoa, saatiinko työ onnistuneesti valmiiksi ja pitikö joku tulosta hyödyllisenä.

Kaikkia lopputuloksia ei tarvitse muuntaa tarkaksi rahamääräksi. Käytännönläheinen mittari voi riittää: hyväksyttiinkö vastaus, joutuiko joku tekemään työn uudelleen, ratkaistiinko häiriö aiempaa nopeammin tai valmistuiko automatisoitu työnkulku ilman ihmisen puuttumista siihen.

Esimerkiksi satoja kyselyitä tuottava häiriöselvitys voi olla vaivan arvoinen, jos se auttaa insinöörejä palauttamaan kriittisen palvelun käyttöön 30 minuuttia aiemmin. Huomattavasti pienempi työnkulku voi silti olla tuhlaileva, jos se tuottaa raportin, jota kukaan ei lue. Pelkkä tokenien kulutus ei kerro, kumpi näistä on kyseessä.

Kun organisaatiot pystyvät yhdistämään toiminnan lopputuloksiin, ne voivat harkitusti päättää, missä käytetään huippumalleja, missä pienemmät mallit riittävät ja missä työnkulku on suunniteltava uudelleen.

Näkyvyyden ei pidä edellyttää hallinnan luovuttamista

Tekoälyn tuottaman arvon ymmärtäminen edellyttää pääsyä arkaluonteiseen kontekstiin. Kehotteet, vastaukset, lähdekoodi, asiakastiedot ja tuotantoympäristön telemetriatiedot voivat kaikki olla osa samaa työnkulkua.

Organisaatioiden ei pitäisi joutua viemään näitä tietoja ulkopuoliseen palveluun vain ymmärtääkseen, miten niiden tekoälyjärjestelmät suoriutuvat. Kehotteet ja tuotantoympäristön konteksti, joiden avulla mittaamisesta on hyötyä, voivat olla samoja tietoja, joita tietoturva-, tietosuoja- ja vaatimustenmukaisuustiimit eivät voi sallia siirrettävän organisaation ympäristön ulkopuolelle.

Siksi yritysjohtajien pitäisi selvittää, missä niiden tekoäly- ja havainnointitietoja käsitellään, kenellä on niihin pääsy, kuinka kauan niitä säilytetään ja voidaanko analyysi tehdä organisaation nykyisten tietoturvarajojen sisällä. Hyvä hallintamalli edellyttää näkyvyyttä, mutta näkyvyys ei saa synnyttää uutta tiedonhallinnan ongelmaa.

Kun analyysi pidetään lähellä sen kohteena olevia tietoja, tekoälyn toiminta on myös helpompi yhdistää sovelluksiin, infrastruktuuriin ja liiketoimintaprosesseihin, joihin se vaikuttaa. Näin tiimit voivat ymmärtää paitsi sen, mitä ne käyttivät, myös sen, mitä ne saivat vastineeksi.

Optimoi arvon, älä määrän mukaan

Yritystekoälyn seuraavassa vaiheessa menestyvät organisaatiot eivät välttämättä ole niitä, jotka käyttävät eniten tokeneita tai kuluttavat vähiten. Menestyjiä ovat ne, jotka pystyvät näkemään, mitkä mallit ja työkuormat tuottavat merkityksellisiä tuloksia, ja hyödyntämään tätä tietoa käyttöönottoa ohjaavissa päätöksissä.

Tämä edellyttää siirtymistä yksittäisten mallikustannusten koontinäyttöjä pidemmälle. Tiimien on voitava seurata koko polkua käyttäjän pyynnöstä mallikutsujen ja työkalujen kautta infrastruktuuriin ja lopulliseen tulokseen asti sekä samalla pitää arkaluonteiset tiedot asianmukaisessa organisaation hallinnassa.

Tokenien maksimointi oli hyödyllinen vaihe, sillä se kannusti kokeilemaan ja toi esiin tekoälyn mahdollisuuksia. Arvon maksimointi on sitä seuraava toimintatapa: siinä yhdistetään näkyvyys, kustannukset ja tulokset, jotta organisaatiot voivat jatkaa kokeiluja menettämättä kustannusten tai tietojensa hallintaa.

Yritysten tekoälyn ei tarvitse pienentyä vain siksi, että ensimmäiset laskut ovat saapuneet. Sen sijaan sen käytön on oltava harkitumpaa: panostuksen on vastattava tehtävän vaikeutta, mallien tehtäviä ja kulutuksen mitattavaa arvoa.