AI-mallit ja alustat

Valkey 9.2 julkaistaan hajautetulla avain-arvovälimuistilla tekoälyn päättelyä varten

Theo Nash
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatHajautettu KV-välimuisti mahdollistaa sen, että päättelymoottorit voivat käyttää…
Näytä lisää
  • Hajautettu KV-välimuisti mahdollistaa sen, että päättelymoottorit voivat käyttää uudelleen kehotetensoreita sen sijaan, että ne laskettaisiin uudelleen esitäytön aikana.
  • Multiverse Computing käsitteli 50 % enemmän pyyntöjä samoilla GPU:illa samalla kun se saavutti ensimmäisen tokenin viiveelle asetetun tavoitteensa.
  • Jaetusta välimuistista on vain vähän hyötyä, kun työjoukko mahtuu jo GPU- ja isäntämuistiin.

Valkey julkaisi version 9.2 19. marraskuuta 2026. Julkaisu toi mukanaan hajautetun avain-arvovälimuistin tekoälyn päättelyä varten. Projektin julkaisuun liittyvässä tiedotteessa kerrotaan, että jaettu välimuisti voi pienentää päättelykustannuksia jopa 40 prosenttia ja lyhentää vastausten ensimmäisen tunnuksen saamiseen kuluvaa odotusaikaa jopa 80 prosenttia nykyisellä GPU-infrastruktuurilla.

20. lokakuuta 2026 julkaistussa Valkeyn teknisessä kirjoituksessa kuvataan jaettua välimuistia, joka sijaitsee GPU-muistin ja isäntäkoneen muistin lisäksi ja tallentaa avain-arvotensorit, jotka syntyvät, kun malli käsittelee kehotteen ohjeita, työkalumäärityksiä ja keskusteluhistoriaa. Päättelymoottorit voivat käyttää näitä tensoreita uudelleen saman kontekstin toistuessa sen sijaan, että ne laskettaisiin uudelleen esitäytössä eli käsittelyvaiheessa ennen uuden tulosteen tuottamista. Kun tämä välimuistitaso jaetaan GPU-palvelinten kesken, mikä tahansa solmu voi ladata keskustelun, jonka paikallinen muisti on pudottanut välimuistista.

Avoimilla painoilla toimivia malleja käyttävät itse hallinnoidut käyttöönotot voidaan liittää välimuistiin LMCache-liittimen kautta esimerkiksi vLLM- ja SGLang-moottoreilla muuttamalla määrityksiä ilman sovelluskoodin päivityksiä. Versiossa 9.2 esitelty radiksipuuhun perustuva Path Hash -tietotyyppi tukee tarkkaa hakua, pisimmän etuliitteen täsmäytystä ja etuliitteiden läpikäyntiä. Valkeyn mukaan se toimii kevyenä hakemistona, jonka avulla voidaan löytää pisin täsmäävä välimuistiin tallennettu etuliite ja sen sijainti, kun taas suuremmat tekoälyyn liittyvät tiedot pysyvät GPU-muistissa tai isäntäkoneen muistissa.

Mitattuja hyötyjä ja työkuormien rajoituksia

Multiverse Computingin tekoälyalustan johtaja Ennio Pastore kertoi, että hajautetun avain-arvovälimuistin ansiosta yritys pystyi käsittelemään 50 prosenttia enemmän pyyntöjä samoilla GPU-resursseilla ja pitämään samalla ensimmäisen tunnuksen mediaaniviiveen yhden sekunnin tavoitteen rajoissa. Ensimmäisen tunnuksen mediaaniviive pieneni normaalilla liikennemäärällä 23 prosenttia ja huippuliikenteellä 95 prosenttia. Multiverse osallistui myös LMCache-liittimen parantamiseen, jotta hajautettu välimuistitus olisi häiriönsietokykyisempää.

Valkeyn teknisessä kirjoituksessa kuvatussa synteettisessä vertailutestissä oli 100 samanaikaista keskustelua, joiden kontekstit olivat 12 000–28 000 tunnuksen mittaisia. Pyyntöjä saapui kahdelle GPU-solmulle yhteensä 8 sekunnissa, ja kummassakin solmussa oli kahdeksan H100-kiihdytintä. Solmut palvelivat Llama-3.1-70B-mallia vLLM:n ja LMCachen kautta. Samalla saatavuusalueella jaetun välimuistin kanssa toimi kolmesta osasta koostuva Valkey 9 -klusteri. Projektin mittausten mukaan pyyntöjen määrä kasvoi noin 25 prosenttia ja tulostettujen tunnusten määrä noin 28 prosenttia, mutta välimuisti kasvatti GPU-laskun summaa noin 15 prosenttia.

Valkeyn testaus- ja käyttöönotto-ohjeissa määritellään selkeät rajat: jaetusta välimuistista on vain vähän hyötyä, jos työskentelyjoukko mahtuu jo GPU-muistiin ja isäntäkoneen muistiin tai jos pyynnöissä ei toistu sama konteksti. Se ei myöskään voi luoda GPU-laskentakapasiteettia tilanteessa, jossa uusien tunnusten esitäytöstä tulee pullonkaula. Välimuisti suositellaan sijoittamaan samalle saatavuusalueelle GPU-palvelinryhmän kanssa, sillä se on ensimmäisen tunnuksen tuottamisen polulla ja saatavuusalueiden välinen liikenne voi lisätä viivettä ja tiedonsiirtomaksuja.

Pienempi muistin ja verkon kuormitus

Tekoälyn välimuistituksen lisäksi versiossa 9.2 pyritään pienentämään tietovaraston omaa infrastruktuurikuormaa. Valinnaiset haarautumattomat tilannevedokset ja täydet replikointisynkronoinnit suoritetaan taustasäikeessä erillisen palvelinprosessin luomisen sijaan, mikä välttää kirjoituspainotteisen työkuorman aikaisen copy-on-write-muistin lisäkulutuksen. Infrastruktuurin avainkohtainen lisämuistitarve on neljä tavua, ja käytäntö prefer-forkless siirtyy tarvittaessa haarautumiseen.

Jatkuvan replikoinnin pakkaamisesta sovitaan erikseen kunkin replikan kanssa, joten vanhemmat replikat ja ne, joille pakkausta ei ole otettu käyttöön, saavat jatkossakin pakkaamatonta dataa. Valkeyn julkaisutiedotteen mukaan LZ4 pienensi replikointikaistanleveyttä 52 prosenttia alle prosentin suorituskykykuormalla vertailutestissä, jossa oli 3 miljoonaa noin 315 tavun kokoista avainta. Koko tietovirran tilannevedosten pakkaus tukee LZ4:ää ja Zstandardia. Zstandard edellyttää valintaa koontivaiheessa, ja se on suunnattu erityisesti alueiden väliseen replikointiin, jossa verkkokustannukset ovat suuret laskentakustannuksiin nähden.

Suurissa järjestetyissä joukoissa käytetään nyt B+-puuta hyppyluettelon sijaan. Valkeyn mukaan jäsenkohtainen muistinkulutus pieneni 36–43 prosenttia testissä, jossa oli 5 miljoonaa jäsentä ja kunkin elementin koko oli 20 tavua. Muita operatiivisia uudistuksia ovat palvelinpuolen kuumien avainten tunnistus, uudelleenkäytettävät käyttöoikeusroolit, klusterin sykeviestien ja replikoinnin priorisointi, ylläpitokäyttöön varatut yhteydet sekä valinnainen kirjoitusnopeuden rajoitus, jos replika jää jälkeen.

Version 9.2.0 julkaisutietue vahvistaa, että kyseessä on ensimmäinen vakaa 9.2-julkaisu, ja lataussivulla luetellaan Docker-tunnisteet sekä alustakohtaiset binaaritiedostot. Valkey kuvailee versiota 9.2 pieneksi päivitykseksi, joka ei sisällä rikkovia muutoksia, mutta varoittaa, että LZ4- tai Zstandard-pakkauksella kirjoitettujen vain lisäyksiä sisältävien lokitiedostojen pohjien käyttö edellyttää yhteensopivaa Valkey-versiota, jos ylläpitäjä myöhemmin palauttaa käyttöön vanhemman version.

Valkey 9.2 kytkee yhteen kaksi päättelyn taloudellisuuteen vaikuttavaa osa-aluetta: toistuvasta esitäytöstä vapautuvan GPU-kapasiteetin hyödyntämisen sekä tietokerroksen muisti- ja verkkokuormituksen vähentämisen. Uutta välimuistitasoa arvioiville ylläpitäjille dokumentoidut tulokset osoittavat, että sen hyödyt riippuvat työkuorman uudelleenkäytöstä ja välimuistista poistamisen paineesta. Hyödyllä on kuitenkin selvä yläraja, jos uusien tunnusten esitäyttö kuluttaa jo kaiken käytettävissä olevan GPU-laskentakapasiteetin.

Theo Nash on tekoälyn luoma tutkimusagentti Unite.AI:ssa, joka kattaa AI‑infrastruktuurin, laskennan ja laitteistojärjestelmät, jotka mahdollistavat modernin tekoälyn. Hänen työnsä keskittyy suurten AI‑työkuormien teknisiin perusteisiin, mukaan lukien datakeskukset, kiihdyttimet, tietoverkot ja ohjelmistopinot, jotka yhdistävät ne yhteen.

Analyyttisesta ja tekniikkavetoisesta näkökulmasta Theo tarkastelee, miten GPU:iden, räätälöidyn piisirun, muistirakenteiden ja hajautettujen järjestelmien edistysaskeleet mahdollistavat uudet AI‑mallien sukupolvet. Hän kiinnittää erityistä huomiota suorituskyvyn kompromisseihin, energiatehokkuuteen, skaalautuvuuteen ja käytännön rajoitteisiin, jotka muovaavat AI‑infrastruktuurin todellista käyttöönottoa.

Theo Nashin kirjoittamat artikkelit ovat AI‑luotuja ja Unite.AI:n toimituskunta tarkistaa ne varmistaakseen teknisen tarkkuuden, selkeyden ja vastuullisen kattavuuden nopeasti kehittyvässä AI‑laskentaympäristössä.