Tekoälyksen uusi talous perustuu tokeneihin — mutta miten niitä mitataan

Teckoälyssä tapahtuu muutos, jota useimmat ihmiset tuntevat, mutta eivät vielä täysin ymmärrä: olemme siirtymässä pyynnön laskemisesta tokenien laskemiseen.

Verkkoympäristössä mitattiin järjestelmiä pyynnön määrän perusteella. Se oli selkeää, intuitiivista ja pääosin tarkkaa. Pyynnöt tulivat, vastaukset menivät, ja voitiin skaalata infrastruktuuria sen mukaan.

Tämä abstraktio on poissa.

Teckoälyssä perusyksikkö ei ole enää pyynnössä — se on tokenissa. Jokainen pyyntö, jokainen vastaus ja jokainen päättelyketju on jaettu tokeneihin, jotka edustavat järjestelmän tekemää työtä, kustannuksia ja arvoa, jota luodaan.

Luonnollisesti, teollisuus on ryhmäytynyt tähän muutokseen ja esittänyt mittareita, kuten tokenit sekunnissa, tokenin kustannus ja jopa tokenin tuotto. Tuntuu siltä, että olemme löytäneet keinon mittailla tekoälyjärjestelmiä. Mutta tämä kehys on epätäydellinen.

Teollisuuden oikopolku: tokenit = arvo

On kasvava kertomus, jonka mukaan tokenit ovat tekoälyn uusi valuutta — mitä enemmän tokenia, sitä enemmän älykkyyttä ja sitä enemmän tuottoa. Se on viehättävä ajatus, mutta se yksinkertaistaa liikaa sitä, mitä todella tapahtuu näissä järjestelmissä.

Kaikki tokenit eivät ole samanarvoisia. Jotkut tokenit edustavat oikeaa työtä: data-analyysiä, oivalluksia, prosessien automaatiota ja tukevat päätöksiä, jotka vaikuttavat liiketoiminnan tuloksiin. Toiset ovat paljon vähemmän merkityksellisiä — vapaaehtoista sisällön luontia, kokeilua tai käyttötapauksia, jotka eivät koskaan pääse tuotantoon.

Voit jo nyt nähdä tämän yrityksissä. Yksi tiimi voi luoda miljoonia tokenia tukeakseen kehittäjien tuottavuutta tai asiakasoperaatioita, vaikuttaen suoraan tehokkuuteen ja tuottoon. Toisaalta toinen tiimi voi luoda saman määrän tokenia kokeillen työkaluja, jotka eivät koskaan pääse tuotantoon. Paperilla tokenien määrät näyttävät samalta. Todellisuudessa liiketoiminnan arvo on täysin erilainen.

Tokenien kaikkien kohtelemisen samoina arvon yksikköinä luo vääristyneen käsityksen siitä, mitä tekoäly todella tekee organisaatiossa. Liiketoimintaa ei rakenneta tokenien määrälle; se perustuu siihen, mitä ne mahdollistavat.

Ymmärtääkseen tämän eron on tarkasteltava pintaa syvemmältä ja katsottava, miten nämä järjestelmät toimivat todella.

Miksi toinen pyyntösi on nopeampi kuin ensimmäinen

Jos olet koskaan käyttänyt työkalua kuten ChatGPT, olet todennäköisesti huomannut, että toinen kysymyksesi on usein nopeampi kuin ensimmäinen. Tämä käyttäytyminen ei johdu siitä, että malli olisi fiksumpi — se johtuu siitä, miten järjestelmä uudelleen käyttää kontekstia aiemmista pyynnöistä.

Modernit tekoälyjärjestelmät eivät käsittele pyyntöjä erillään toisistaan. Ne rakentavat kontekstin tallentamalla aiemmat pyynnöt ja vastaukset muistiin, usein niin kutsutussa KV-välimuistissa. Tämä välimuisti sijaitsee lähellä GPU:ta, jotta se voidaan käyttää nopeasti luotaessa seuraavia vastauksia.

Ensimmäinen pyyntö on kallis, koska se aloittaa tilan — varataan muistia, käsitellään syötettä ja rakennetaan konteksti. Seuraavat pyynnöt uudelleen käyttävät tätä tilaa, mikä vähentää viivettä ja parantaa vastausaikaa.

Tämä dynamiikka tulee tärkeämmäksi, kun kontekstin ikkunat laajenevat tuhansista satoihin tuhansiin — tai jopa miljooniin — tokeniin. Mitä enemmän kontekstia järjestelmä säilyttää, sitä enemmän se asettaa painetta muistiin ja infrastruktuuriin, mikä tekee siitä kriittisen päättää, mitä säilytetään, mitä pakataan tai mitä hävitetään.

Käyttäjän näkökulmasta se tuntuu nopeammalta järjestelmältä. Infrastruktuurin näkökulmasta se on monimutkainen tasapainoilu muistin, viiveen ja kustannusten välillä.

Tässä on todellinen työ: ei pelkästään mallissa itsessään, vaan järjestelmässä, joka ympäröi sitä.

Lopullinen rajoitus: energia

Kun siirrytään mallin suorituskyvyn ulkopuolelle, keskustelu muuttuu nopeasti.

Joukkueet, jotka ajavat tekoälyä suuressa mittakaavassa, eivät ensisijaisesti kysy, mikä malli on paras. He kysyvät, miten se voidaan ylläpitää.

Teckoälyinfrastruktuuri on työntämässä fyysisiä rajoja: energian saatavuutta, jäähdytyskapasiteettia ja muistin kaistanleveyttä. Datakeskuksia suunnitellaan uudelleen näiden rajoitusten ympärille, ja organisaatiot, jotka käyttävät suurimittakaavaisia tekoälyjärjestelmiä, alkavat toimia enemmän kuin perinteiset ohjelmistoyritykset.

Näemme jo tämän suurissa yrityksissä, jotka rakentavat tekoälyinfrastruktuuria, joissa virta ja jäähdytys — eivät mallin ominaisuudet — ovat tärkein rajoitus.

Teckoälytyökuormat eivät skaalautu puhdasti tai ennustettavasti. Ne kasvattavat vaatimusta laskennassa, muistissa ja verkkoliikenteessä samaan aikaan. Tokenien lisääminen ei ole vain lisäämällä enemmän GPU:ita; se on kysymys siitä, voittaako perustavanlaatuinen infrastruktuuri energian ja lämmön kuorman, jota tarvitaan pitämään nämä järjestelmät toiminnassa tehokkaasti.

Tokenin kustannus ulottuu siis laskennan ulkopuolelle. Se sisältää sähkön, jäähdytyksen, fyysisen infrastruktuurin ja kyvyn ylläpitää suorituskykyä kuormituksessa ilman heikentymistä.

Useimmat “tokenin kustannus” -keskustelut eivät heijasta täysin tätä todellisuutta. Suuressa mittakaavassa energia muodostuu budjetiksi, ei vain yhdeksi riviksi.

Tulevaisuus ei ole suurempia malleja. Se on parempia järjestelmiä.

Kaksi viime vuotta teollisuus on keskittynyt mallin vertailuihin, tarkastelemalla suorituskykyä, sijoituksia ja pieniä parannuksia.

Tämä fokus on muuttumassa.

Tuotantoympäristössä suorituskyky on vähemmän mallin valintaa ja enemmän sitä, miten sitä käytetään. Organisaatiot siirtyvät kohti mallien järjestelmiä — yhdistämällä suuria ja pieniä malleja, reitittämällä tehtäviä älykkäästi ja optimoimalla kustannuksia, viivettä ja läpäisyä koko työnkulun ajan.

Sen sijaan, että lähetettäisiin jokainen pyyntö yhteen suureen malliin, järjestelmät jakavat työkuormat pienempiin osiin. Yksinkertaiset tehtävät voidaan käsitellä tehokkaammilla malleilla, kun taas monimutkaisempi päättely on varattu suuremmille malleille. Konteksti uudelleen käytetään, missä tahansa se on mahdollista, ja välimuististrategiat sovelletaan aggressiivisesti.

Nämä päätökset vaikuttavat usein enemmän suorituskykyyn ja kustannuksiin kuin mallin vaihtaminen toiseen. Tässä mielessä tokenit säilyttävät yksikkötyön, mutta järjestelmä, joka luo ja hallitsee niitä, on todellinen erottautumisen tekijä.

Teckoälyjärjestelmien ymmärretyin kerros

Teckoälyä kuvaillaan usein mallien ja sovellusten välisenä, mutta välikerroksessa, joka on molempien välissä, piilee suurin osa monimutkaisuudesta ja mahdollisuuksista.

Tämä kerros ei ainoastaan siirrä pyyntöjä; se muotoilee niitä. Se määrittää, miten liikenne virtaa, miten päätökset pannaan täytäntöön ja miten järjestelmät käyttäytyvät todellisissa olosuhteissa.

Toimitus ja turvallisuus eivät voi käsitellä erillään tässä. Sama kerros, joka reitittää pyyntöjä ja hallitsee kontekstia, on myös se, jossa käytetään käytäntöjä, mitataan riskejä ja luodaan luottamusta.

Kun monimutkaisuus kasvaa, pistekohtaiset ratkaisut menevät rikki. Mitä tarvitaan, on yhtenäinen alusta, joka voi koordinoida nämä toiminnot reaaliajassa, sen sijaan, että ne koottaisiin yhteen myöhemmin.

Tässä tehdään kompromissit. Tässä säädellään kustannuksia, optimoidaan suorituskykyä ja tehdään turvallisuuspäätöksiä reaaliajassa. Kun tekoälyjärjestelmät laajenevat, tämä kerros tulee yhä tärkeämmäksi. Se on ero järjestelmän, joka toimii hyvin demoissa, ja sellaisen, joka toimii luotettavasti ja tehokkaasti tuotannossa. Tämä muutos on todellisia vaikutuksia siinä, miten organisaatiot suunnittelevat ja hallinnoivat tekoälyjärjestelmiä.

Mitä tämä merkitsee organisaatioille

Kun yritykset siirtävät tekoälyä tuotantoon, kysymys ei ole vain siinä, mikä malli käytetään — se on, miten järjestelmä, joka ympäröi sitä, on suunniteltu toimimaan.

Se tarkoittaa, että on tarkasteltava pyyntöjen reititystä, kontekstin hallintaa ja käytäntöjen täytäntöönpanoa koko työnkulun ajan.

Useimmat organisaatiot ovat edelleen koostamassa näitä palasia — ja tämä lähestymistapa ei kestä todellista tuotantopainetta.

Mitä mitataan väärin

Tokenit tarjoavat hyödyllisen abstraktion. Ne antavat teollisuudelle keinon mittailla jotain, mikä aiemmin tuntui abstraktina, mutta ne eivät ole kokonaiskuva.

Tällä hetkellä teollisuus on siirtymässä helpoimmin mitattaviin asioihin — tokenien määrään, läpäisyyteen ja kustannusmittareihin — sen sijaan, mitä on tärkeintä. Ilman kontekstia nämä luvut voivat olla harhaanjohtavia.

Teckoälyn seuraava vaihe ei määrittyy siitä, kuka luo eniten tokenia. Se määrittyy siitä, kuka ymmärtää, mitä nuo tokenit edustavat, ja kuka voi rakentaa järjestelmiä, jotka muuttavat ne merkityksellisiksi, tehokkaiksi ja skaalautuviksi tuloksiksi.

Koska lopulta tokenit eivät ole tuote. Ne ovat vain älykkyyden luomisen sivutuote.