Tensormesh julkaisee alustan LLM-päättelyn kustannusten alentamiseen KV-välimuistia uudelleenkäyttämällä

Aina kun tekoälyavustaja saa pitkän asiakirjan, sen on käsiteltävä aineisto ennen kuin se voi alkaa vastata. Kun samat asiakirjat, ohjeet tai keskusteluhistoria tulevat uudelleen vastaan, suuri osa käsittelystä saatetaan joutua toistamaan. Yrityskäytössä tämä toisto voi kuluttaa kallista GPU-kapasiteettia tuottamatta mitään hyödyllistä lisätyötä.

Tensormesh pyrkii ratkaisemaan tämän ongelman Tensormesh Platform -alustalla, josta yhtiö ilmoitti 14. lokakuuta 2026. Yhtiö, jonka tiimi loi avoimen lähdekoodin LMCache-projektin, tuo avain-arvoparien välimuistiin tallentamiseen eli KV-välimuistiin yrityskäyttöön tarkoitetun hallintakerroksen organisaatioille, jotka käyttävät suuria kielimalleja omassa infrastruktuurissaan.

Alusta hallinnoi uudelleenkäytettävää päättelytilaa GPU-muistissa, keskusmuistissa ja tallennustilassa. Tavoiteltu hyöty on selkeä: vähentää kehotteiden käsittelyä, joka GPU-klusterin on tehtävä uudelleen, ja samalla tarjota ylläpitäjille keinot hallita välimuistiin tallennetun tilan säilyttämistä, jakamista ja valvontaa.

Miksi KV-välimuistilla on merkitystä

LLM-päättelyssä on kaksi tärkeää vaihetta. Esitäyttövaiheessa malli käsittelee syötekehotteen. Dekoodausvaiheessa se tuottaa vastauksen token kerrallaan. KV-välimuisti tallentaa huomioonmekanismiin liittyvää välitilaa, jonka avulla malli voi palata käsiteltyihin tokeneihin laskematta kaikkea alusta uudelleen.

Tilan uudelleenkäyttö pyynnöstä toiseen voi vähentää esitäyttövaiheen työtä, kun syötekonteksti toistuu. Esimerkiksi tukipalvelun avustaja voi käyttää samaa tuoteopasta satoihin erilaisiin kysymyksiin vastaamiseen. Agentti voi puolestaan liittää samat ohjeet tai työkalut toistuvasti vaihtuvan tehtävän yhteyteen.

Tämä eroaa valmiin vastauksen tallentamisesta välimuistiin. Järjestelmä voi hyödyntää jaetun kontekstin käsittelyssä tehtyä laskentaa ja tuottaa silti uuden vastauksen uuteen kysymykseen.

vLLM:n automaattista etuliitteiden välimuistia käsittelevässä dokumentaatiossa kuvataan tämän hyödyt toistuvissa asiakirjakyselyissä ja monivuoroisissa keskusteluissa. Dokumentaatiossa tuodaan esiin myös olennainen rajoitus: etuliitteiden välimuisti nopeuttaa kehotteen käsittelyä, ei uusien tulostokenien tuottamista. Työkuormissa, joita hallitsevat pitkät vastaukset tai suurelta osin ainutkertaiset syötteet, hyödyt voivat jäädä vähäisemmiksi.

Yritysasiakkaiden kannalta olennainen kysymys on, kuinka suuressa osassa heidän todellista työkuormaansa on uudelleenkäytettävää kontekstia – ja voidaanko tämä konteksti palauttaa nopeammin ja edullisemmin kuin laskemalla se uudelleen.

Välimuistista hallituksi infrastruktuuriksi

Tensormeshin julkaisussa nostetaan esiin viisi toiminnallista painopistettä: tietoturva, havainnoitavuus, vikasietoisuus, käytäntöjen hallinta ja monivuokraajakäyttö. Ne vastaavat käytännön tarpeisiin suojata välimuistiin tallennettuja tietoja, seurata suorituskykyä, palautua häiriöistä, hallita säilytysaikoja ja tietojen poistamista sekä erottaa tiimit tai asiakkaat toisistaan jaetussa infrastruktuurissa.

Yhtiö kuvailee myös ohjausrajapintoja, joilla välimuistimerkintöjä voi kiinnittää, paikantaa, siirtää, pakata ja tyhjentää. Näin välimuistin elinkaaren hallinnasta tulee selkeä operatiivinen vastuu sen sijaan, että se jäisi kokonaan yksittäisten päättelyprosessien hoidettavaksi.

Taustalla oleva LMCache-projekti erottaa välimuistin hallinnan palvelumoottorista ja tukee tietojen siirtämistä muualle ja noutamista useilta tallennustasoilta. Dokumentaatiossa kuvataan välimuistisisällön uudelleenkäyttöä pyyntöjen, istuntojen ja moottorinstanssien välillä sekä liitettävissä olevia tallennus- ja tiedonsiirtotaustajärjestelmiä.

Yrityskäyttöön tarkoitettu alusta rakentuu tämän perustan varaan. Asennusoppaan mukaan Kubernetes-operaattori hallinnoi välimuistimoottorin osia: välimuistipalvelimet sijaitsevat GPU-solmuissa, ja koordinaattori huolehtii koko klusterin koordinoinnista. Käyttöönotto tapahtuu Helmin avulla, ja käyttöä tukevat verkkokäyttöliittymä sekä komentorivityökalut.

Tämä arkkitehtuuri on tärkeä, koska GPU-muisti on rajallinen resurssi. Kaikkien mahdollisesti uudelleenkäytettävien kehotteiden säilyttäminen siellä kilpailisi muiden päättelytarpeiden kanssa. Vähemmän välittömästi hyödyllisen tilan siirtäminen isäntäkoneen muistiin tai tallennustilaan voi kasvattaa säilytettävän tiedon määrää, mutta noutamisesta aiheutuu omat kaistanleveys- ja viivekustannuksensa.

Etuliitteiden täsmällistä vastaavuutta laajemmalle

Etuliitteiden välimuisti toimii hyvin, kun kahden kehotteen alussa on samat tokenit. Hakua hyödyntävä generointi eli RAG voi olla haastavampi tapaus: sovellus hakee olennaisia asiakirjoja, mutta ne voivat esiintyä eri järjestyksessä tai erilaisten edeltävien tekstien jälkeen.

Ajatellaan kahta hypoteettista pyyntöä, joissa käytetään samoja asiakirjoja. Toisessa asiakirja A on ennen asiakirjaa B, toisessa B ennen A:ta. Molemmissa on uudelleenkäytettävää aineistoa, mutta niiden yhteinen alku voi olla lyhyt.

Tensormesh käyttää CacheBlendiä laajentaakseen uudelleenkäyttöä kehotteen alun ulkopuolelle. LMCache-dokumentaatiossa selitetään, että menetelmä laskee osan tokeneista valikoidusti uudelleen ja käyttää samalla välimuistiin tallennettuja tekstijaksoja. Uudelleenlaskenta on tärkeää, koska tekstijaksoa ympäröivä konteksti voi vaikuttaa mallin sisäiseen tilaan.

EuroSys 2025 -konferenssissa esitellyssä CacheBlend-tutkimusartikkelissa raportoidaan, että arvioiduissa työkuormissa aika ensimmäiseen tokeniin oli 2,2–3,3 kertaa lyhyempi ja läpimeno 2,8–5 kertaa suurempi kuin KV-välimuistin täydellisessä uudelleenlaskennassa. Tutkijat arvioivat kolmea avoimen lähdekoodin mallia ja neljää vertailuaineistoa.

Nämä ovat tietyissä olosuhteissa saatuja tutkimustuloksia, eivätkä ne takaa säästöjä kaikissa Tensormesh-käyttöönotossa. Ne kuitenkin osoittavat, miksi välimuistin käyttö myös yhteisen etuliitteen ulkopuolella on teknisesti kiinnostavaa: näin voidaan hyödyntää uudelleen laskentaa, jonka tavanomainen etuliitteiden täsmäytys jättäisi huomiotta.

Solmujen välinen uudelleenkäyttö ja versiokohtaisen tuen merkitys

Julkaisuilmoituksessa kuvataan vertaisverkossa tapahtuvia KV-siirtoja, joiden ansiosta yksi solmu voi hakea välimuistiin tallennetun tilan toisesta solmusta. Yhtiön tuotemateriaaleissa kuvataan myös prefillaus- ja dekoodausvaiheiden erottamista. Erottelussa kehotteiden käsittely erotetaan tulosteen tuottamisesta, jolloin vaiheet voivat toimia eri työsolmuissa.

Nämä ovat toisiaan täydentäviä tapoja järjestää päättelyä. Yhteensopivan tilan jakaminen voi estää sen uudelleenlaskennan toisessa solmussa, kun taas vaiheiden erottaminen voi auttaa infrastruktuuritiimejä kohdentamaan resursseja niiden käsittelytarpeiden mukaan.

Julkisissa materiaaleissa ei kuitenkaan esitetä julkaisutilannetta täysin yhtenäisesti. Julkaisun esittelyssä kuvataan solmujen välistä jakamista ja vaiheiden erottamista, kun taas versiokohtaisessa yhteensopivuustaulukossa, joka on päivätty 17. syyskuuta, vertaisverkkosiirrot ja vaiheiden erottaminen on merkitty suunnitelmiin. Myös ominaisuuksien dokumentaatiossa on esikatselusivuja.

Samassa taulukossa erotetaan ominaisuudet, jotka on varmennettu Tensormeshin testeissä, niistä, joita tuetaan upstream-versiossa mutta jotka vaativat lisätestausta ennen tuotantokäyttöä. Taulukon mukaan vLLM ja NVIDIA Dynamo ovat varmennettuja tarjoilumoottoreita, kun taas SGLang ja TensorRT-LLM ovat suunnitelmissa.

Laaja yhteensopivuuskuvaus kertoo siis kehityssuunnasta, mutta ei todista, että kaikki malli- ja infrastruktuuriyhdistelmät olisi validoitu. Tiimien kannattaa varmistaa käyttöön otettavan version, tarjoilumoottorin, mallin ja välimuistitilan yhteensopivuus.

Julkaisun esittelyssä kuvataan nimenomaisesti vLLM:n käyttöä Kubernetesissa NVIDIA- tai tuettujen AMD Instinct -näytönohjainten kanssa ROCm:n kautta sekä tiedostojärjestelmään perustuvaa tallennusta. Siinä kerrotaan etuliitteeseen perustumattoman välimuistituksen olevan tulossa tiheille malleille, samoin kuin SGLang-tuen. Lisäksi siinä selvennetään, että välimuisti toimii itse ylläpidettyjen mallien rinnalla; kyseessä ei ole lisäosa, jonka voisi liittää mihin tahansa isännöityjen mallien ohjelmointirajapintaan.

Missä malli voisi olla taloudellisesti kannattava

Parhaiten välimuistin käyttöön soveltuvat sovellukset, jotka käsittelevät toistuvasti laajoja, yhteisiä konteksteja: organisaation sisäiset tietämysavustajat, asiakirjojen analysointipalvelut ja agentit, jotka palaavat jatkuvasti samaan ohje- tai lähdeaineistoon.

Hyödyllisessä arvioinnissa verrattaisiin välimuistin kylmäkäynnistyksen ja lämpimän välimuistin toimintaa edustavalla liikenteellä. Käyttäjien tulisi mitata aika ensimmäiseen tokeniin, läpimeno, välimuistista haun kesto, näytönohjainten käyttöaste sekä tilan säilyttämisen vaatimat muisti-, tallennus- ja verkkokustannukset.

Pelkkä välimuistiosumien osuus ei riitä. Suuresta osumaprosentista on hyötyä vain, jos uudelleen käytetty laskentatyö tuottaa nettomääräistä hyötyä siirto- ja hallintakustannusten jälkeen. Vastaavasti ensimmäisen tokenin nopeampi tuottaminen ei välttämättä tarkoita, että koko vastaus valmistuu vastaavasti nopeammin.

Vastausten laadun tarkistaminen on tärkeää erikseen, varsinkin kun välimuistiin tallennettuja osia yhdistetään muuttuneissa konteksteissa. CacheBlendin valikoiva uudelleenlaskenta on suunniteltu ratkaisemaan tämä ongelma, mutta tuotantotestauksessa tulisi käyttää organisaation omia asiakirjoja, kehoteformaatteja ja mallimäärityksiä.

Säilytyksestä ja asiakasympäristöjen eristämisestä tulee entistä tärkeämpiä, kun välimuistin käyttö laajenee yksittäisen prosessin ulkopuolelle. Keskeisiä operatiivisia kysymyksiä ovat esimerkiksi se, kuka voi käyttää välimuistimerkintää uudelleen, kuinka kauan se säilyy saatavilla sekä miten käytäntöjen muutokset tai poistopyynnöt vaikuttavat tallennettuun tilaan. Tensormeshin ilmoittamilla hallintaominaisuuksilla on tarkoitus tehdä näistä päätöksistä hallittavia.

Käytännönläheinen panostus toistuvan työn vähentämiseen

Yhtiön ilmoituksen mukaan Tensormesh Platform on saatavilla julkaisun yhteydessä. Sen merkitys perustuu siihen, että päättelyn tila nähdään resurssina, jota voidaan hallita palvelinkalustossa ja jonka laskentaa voidaan käyttää uudelleen vielä yksittäisen pyynnön käsittelyn päätyttyä.

Omaa LLM-infrastruktuuria käyttäville yrityksille tämä tarjoaa konkreettisen keinon tehostaa toimintaa: kehotteiden käsittelyssä jo tehtyä työtä voidaan hyödyntää uudelleen aiempaa enemmän. Lopputulos riippuu työkuormien toistuvuudesta, välimuistin yhteensopivuudesta ja tiedonsiirron kustannuksista, mutta nämä ovat mitattavissa olevia teknisiä kysymyksiä, joita tiimit voivat testata omalla liikenteellään.