Raportit

Inferenssitalouden arviointikortti haastaa GPU:n käyttöasteen tekoälyn suorituskykymittarina

Theo Nash
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
The Inference Economics Scorecard report cover superimposed over an illustration of GPU servers and shared context storage.
Keskeiset kohdatGPU:n käyttöaste ei pysty erottamaan tuottavaa tuotosta kalliista kontekstin…
Näytä lisää
  • GPU:n käyttöaste ei pysty erottamaan tuottavaa tuotosta kalliista kontekstin uudelleenrakentamisesta.
  • Tuloskortti mittaa hyödyllistä läpimenoa suhteessa tehoon, räkkitilaan ja kustannuksiin pikemminkin kuin sirun aktiivisuuteen.
  • Jaettu NVMe-välimuisti vähensi kontekstin uudelleenlaskennan 6,8 prosenttiin esitäyttöjaksoista vertailutestissä.

GPU:n suuri käyttöaste ei välttämättä tarkoita, että se tuottaisi hyödyllistä tulosta. Tämä on Päättelyn taloudellisuutta arvioivan tuloskortin taustalla oleva ajatus. Kyseessä on NAND Researchin ja WEKAn uusi tutkimus, jossa ehdotetaan laajempaa tapaa arvioida tuotantokäytössä olevaa tekoälyä pyörittävää infrastruktuuria.

Viitekehys siirtää huomion sirun aktiivisuudesta palvelutavoitteen puitteissa tuotettuun hyödylliseen tulokseen, jota arvioidaan suhteessa sähkönkulutukseen, räkkitilaan ja kustannuksiin. Sen merkitys kasvaa, kun tekoälyagentit käyvät pitkiä keskusteluja, käyttävät työkaluja ja palaavat toistuvasti aiempaan kontekstiin. Inferenssipalvelin voi käyttää huomattavan paljon laskentatehoa kontekstin rakentamiseen uudelleen, vaikka sen käyttöastetta kuvaava koontinäyttö näyttäisi edelleen hyvältä.

Ilmoituksen yhteydessä WEKA nostaa esiin Nebiuksen kanssa NVIDIA HGX B300 -laitteistolla toteutetun kahdeksan tunnin vertailutestin ja julkaisee työkuormajäljet sekä työkalut, joiden avulla muut voivat toistaa vertailun. Arviointikortti on ehdotettu arviointikehys, ei vakiintunut alan standardi. WEKA, jonka tallennusteknologia hyötyy tästä näkökulmasta, rahoitti tutkimuksen.

Miksi GPU:n käyttöaste voi peittää alleen kalliin toistuvan työn

Inferenssi tarkoittaa koulutetun mallin suorittamista vastauksen tuottamiseksi. Ennen uusien tokenien tuottamista malli käsittelee syötteen ja keskusteluhistorian vaiheessa, jota kutsutaan esitäytöksi. Tässä vaiheessa se luo avain-arvovälimuistin eli KV-välimuistin: välivaiheen huomiodataa, jonka avulla aiempia laskutoimituksia voidaan hyödyntää uudelleen keskustelun jatkuessa.

Välimuisti toimii nopeimmin GPU:n suuren kaistanleveyden muistissa eli HBM-muistissa. HBM-muistiin on kuitenkin mahduttava myös mallin painot ja muu työskentelydata. Pitkät istunnot ja samanaikaiset käyttäjät voivat pakottaa palvelimen poistamaan välimuistiin tallennetun kontekstin tehdäkseen tilaa.

Kun käyttäjä tai agentti palaa, puuttuva välimuisti voidaan joutua rakentamaan uudelleen käsittelemällä vanhat tokenit uudestaan. Tämä ei tarkoita, että malli olisi menettänyt keskustelun pysyvästi. Se tarkoittaa, että infrastruktuuri on hylännyt uudelleenkäytettävän esitysmuodon ja joutuu maksamaan sen palauttamisesta.

Tästä syntyy mittaamisen sudenkuoppa. Eilisen kontekstin käsittely uudelleen pitää GPU:n aktiivisena aivan kuten hyödyllisen uuden vastauksen tuottaminenkin. Käyttöaste on edelleen arvokas diagnostiikan mittari, mutta sen perusteella ei yksin voi päätellä, kuinka paljon tuottavaa työtä asiakkaat ovat saaneet.

Mitä inferenssitalouden arviointikortti mittaa

Arviointikortissa edellytetään yhtäjaksoisia testejä, jotka kestävät vähintään kahdeksan tuntia – riittävän pitkään, jotta esiin tulee myös toimintaa, joka saattaa jäädä lyhyissä esittelyissä huomaamatta. Vertailuissa mallin, tarkkuuden, työkuorman, samanaikaisuuden, välimuistin olosuhteiden, laatukynnyksen ja palvelutasotavoitteiden on pysyttävä samoina. Mittaus kattaa palvelun tarjoamiseen käytettävän pinon, ja jäähdytyksen sekä kiinteistön yleiskustannukset on ilmoitettava.

Hyödylliseen läpäisyyn lasketaan vain onnistunut tuloste, joka täyttää laatu- ja palvelutavoitteet. Epäonnistuneet pyynnöt, uudelleenyritykset, aikakatkaisut ja hylätyt tulosteet on tuotava esiin, eikä niitä saa jättää laskelmasta pois.

Mittari Mitä se auttaa selvittämään
Tokeneita wattia kohti Kuinka tehokkaasti sähköteho muuttuu hyödylliseksi mallin tuottamaksi tulokseksi.
Tokeneita räkkipaikkaa kohti Kuinka paljon tulosta käyttöönotto tuottaa rajatussa fyysisessä tilassa.
Inferenssin kustannus Onnistuneen pyynnön käsittelyn kustannus koko järjestelmässä.
GPU:n hyötyläpäisy Palvelutavoitteiden puitteissa tuotettu hyödyllinen tulos sirun raakakäyttöasteen sijaan.
Aika ensimmäiseen tokeniin ja päästä päähän -viive Kuinka kauan käyttäjät odottavat vastauksen alkamista ja valmistumista.
Muistinkäytön tehokkuus Kuinka tehokkaasti järjestelmä käyttää niukkaa muistikapasiteettia.
Toiminnallinen tiheys Miten käyttöönoton ja toiminnan rajoitteet vaikuttavat käytettävissä olevaan kapasiteettiin.
Agenttien samanaikaisuus Kuinka hyvin järjestelmä tukee useita aktiivisia agenttityökuormia.
Kontekstin säilyminen Kuinka tehokkaasti uudelleenkäytettävä istuntokonteksti säilyy työkuormien kasvaessa.

Läpäisyn ja hyötyläpäisyn ero on erityisen tärkeä. Palvelin, joka tuottaa enemmän tokeneita mutta ei vastaa asiakkaan määräajassa, voi olla vähemmän hyödyllinen kuin hitaammalta vaikuttava järjestelmä, joka pysyy määräajassa johdonmukaisesti. Samoin suurempi välimuisti on taloudellisesti kannattava vain, jos sen tuoma hyöty ylittää tallennuksen, verkkoyhteyksien ja käytön lisäkustannukset.

Miten jaettu tallennustila laajentaa KV-välimuistia

WEKAn teknisessä kuvauksessa vertailutestistä esitellään NeuralMesh ja Augmented Memory Grid, jotka säilyttävät uudelleenkäytettävän KV-datan jaetussa NVMe-tallennustilassa GPU:n oman muistin ulkopuolella. NVMe on tehokas liitäntä, jota käytetään yleisesti flash-asemien kanssa.

Tässä ratkaisussa välimuisti on resurssi, jonka päättelyinfrastruktuuri voi hakea verkon kautta sen sijaan, että se rakennettaisiin toistuvasti uudelleen GPU:lla. RDMA eli etämuistin suora käyttö ja NVIDIA GPUDirect Storage auttavat siirtämään dataa suoraan tallennuslaitteelta GPU:lle niin, että prosessoria tarvitaan vähemmän.

Kyse on valinnasta, siirretäänkö olemassa olevaa dataa vai lasketaanko se uudelleen. Riittävän nopea tallennusväylä voi tehdä datan hakemisesta halvempaa kuin pitkien historiatietojen kokoamisesta uudelleen. Hyöty riippuu välimuistin uudelleenkäytöstä, kontekstin pituudesta, samanaikaisuudesta ja koko datansiirtoketjun nopeudesta. Lyhyt pyyntö, jonka käsittelyyn tarvittava data mahtuu jo HBM-muistiin, on erilainen tapaus.

Mitä kahdeksan tunnin vertailutestissä todella havaittiin

Nebiusin ja WEKAn yhteisessä testissä käytettiin yhtä kahdeksan GPU:n HGX B300 -päättelypalvelinsolmua, jossa ajettiin DeepSeek-V4-Prota. Uusinta-ajossa hyödynnettiin yli 5 000 todellista agenttijälkeä, aktiivisia istuntoja oli 512 ja ajastin salli 32 samanaikaista pyyntöä. Aktiivisten istuntojen määrä ja samanaikaisten pyyntöjen määrä ovat eri mittareita.

WEKAn mukaan sen jaettu välimuisti tuotti kahdeksan tunnin aikana 3,7 kertaa enemmän tulostetokeneita GPU-tuntia kohden kuin pelkkään HBM-muistiin perustuva päättelypalvelu. Onnistuneesti käsitellyistä pyynnöistä 97 prosentissa ensimmäinen token saatiin viidessä sekunnissa, kun vertailutasolla osuus oli 44 prosenttia. Aiemmin käsitellyn kontekstin uudelleenlaskenta vei vertailutasolla 60 prosenttia esitäytön laskentajaksoista, kun taas jaetun välimuistin kanssa osuus oli 6,8 prosenttia.

Lisävälimuistissa käytettiin NVMe-levyjä kahdeksan solmun klusterissa, vaikka raportoitu päättelytulos saatiin yhdellä GPU-solmulla. GPU:ta kohden laskettu hyöty ei siis osoita, että kokonaiskustannukset tai energiankulutus olisivat vastaavasti pienentyneet: näissä laskelmissa on otettava huomioon myös tukiresurssit.

Myös vertailutason valinnalla on merkitystä. Teknisen kuvauksen mukaan tälle mallille sopivaa DRAM-muistin ulkoistustoteutusta ei ollut saatavilla testien aikaan. Tuloksissa testattua kokoonpanoa verrataan pelkkään HBM-muistiin perustuvaan päättelypalveluun, eikä niiden perusteella osoiteta sen olevan parempi kuin kaikki muut välimuistiarkkitehtuurit.

Avoimet jäljet tekevät vertailusta hyödyllisemmän

WEKAn avoimen lähdekoodin kvlab-projekti tallentaa agentti-istuntojen rakenteen ja toistaa sen, mukaan lukien ajoituksen ja välimuistin uudelleenkäyttökuviot, jakamatta alkuperäisiä keskusteluja tai lähdekoodia. Sen latausohjelma on dokumentoitu NVIDIAn AIPerf-työkaluissa, ja ilmoituksessa mainitaan myös integrointi SemiAnalysisin AgentX-vertailutestiin.

Taukojen, kasvavien historiatietojen ja muun agenttitoiminnan säilyttäminen auttaa tuomaan esiin välimuistin kuormituksen, joka jäisi huomaamatta, jos syötteenä olisi toisistaan riippumattomien synteettisten kehotteiden virta. Tällaisilla uusinta-ajoilla mitataan päättelypalvelun toimintaa; ne eivät yksinään osoita, suorittiko agentti liiketoimintatehtävän oikein.

Yrityksille Päättelyn talouden tuloskortin keskeinen anti on onnistumisen selkeämpi määrittely: hyödylliset vastaukset vaaditulla laadulla ja nopeudella käytettävissä olevien resurssien puitteissa. Kun agentit käsittelevät yhä enemmän kontekstia ja toimivat pidempään, GPU:n pitäminen käytössä on vasta lähtökohta. Kaupallisesti ratkaisevaa on asiakkaalle asti päätyvä työ.

Theo Nash on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka kattaa AI‑infrastruktuurin, laskennan ja laitteistojärjestelmät, jotka mahdollistavat modernin tekoälyn. Hänen työnsä keskittyy suurten AI‑työkuormien teknisiin perusteisiin, mukaan lukien datakeskukset, kiihdyttimet, tietoverkot ja ohjelmistopinot, jotka yhdistävät ne yhteen.

Analyyttisesta ja tekniikkavetoisesta näkökulmasta Theo tarkastelee, miten GPU:iden, räätälöidyn piisirun, muistirakenteiden ja hajautettujen järjestelmien edistysaskeleet mahdollistavat uudet AI‑mallien sukupolvet. Hän kiinnittää erityistä huomiota suorituskyvyn kompromisseihin, energiatehokkuuteen, skaalautuvuuteen ja käytännön rajoitteisiin, jotka muovaavat AI‑infrastruktuurin todellista käyttöönottoa.

Theo Nashin kirjoittamat artikkelit ovat AI‑luotuja ja Unite.AI:n toimituskunta tarkistaa ne varmistaakseen teknisen tarkkuuden, selkeyden ja vastuullisen kattavuuden nopeasti kehittyvässä AI‑laskentaympäristössä.