Supermicro tuo markkinoille jaetun KV-välimuistin tallennusratkaisun pitkän kontekstin tekoälysovelluksiin

Supermicro julkisti KV-välimuistin tallennusratkaisun yhdessä IBM:n ja NVIDIA:n kanssa 5. marraskuuta 2026. Ratkaisu on suunniteltu siirtämään uudelleenkäytettävä tekoälyn päättelykonteksti jaettuun tallennustilaan GPU-muistin ulkopuolelle. Yhtiöiden mukaan yhteistesteissä aika ensimmäiseen tokeniin oli jopa 56 kertaa lyhyempi, kun kehotteen pituus oli 130 000 tokenia.

Ratkaisu yhdistää AMD EPYC 9005 -prosessoreilla varustetut Supermicro Petascale -täysflash-tallennuspalvelimet, IBM Storage Scale -ohjelmiston, NVIDIA:n Dynamo-päättelykehyksen ja Spectrum-X Ethernet -verkotuksen. Se on suunnattu monivaiheisiin ja agenttipohjaisiin sovelluksiin, koodausavustajille, multimodaaliseen tekoälyyn sekä pitkän kontekstin hakutehostettuun generointiin. Suuret koodikannat, asiakirjat, kuvat ja keskusteluhistoriat voivat tuottaa enemmän avain-arvotilaa kuin GPU- ja CPU-muisti pystyvät säilyttämään.

Kontekstin uudelleenkäyttö eri pyyntöjen välillä

Esitäyttö muuntaa tokenisoidun kehotteen mallin käyttämiksi väliaikaisiksi avain-arvotiloiksi. Näiden tilojen tallentaminen mahdollistaa kontekstin uudelleenkäytön myöhemmissä pyynnöissä sen sijaan, että se laskettaisiin uudelleen. Arkkitehtuuri tarjoaa korkean käytettävyyden tallennustason, jota GPU-solmut ja klusterit voivat käyttää yhteisesti, sekä mahdollisuuden kasvattaa välimuistin kapasiteettia ilman käyttökatkoja.

Dynamo lisää välimuistitietoisen reitityksen, erottaa esitäytön dekoodauksesta ja siirtää välimuistissa olevia lohkoja KV Block Manager -komponenttinsa ja NIXL-siirtokirjaston avulla. IBM Storage Scale Erasure Coding Edition tarjoaa jaetun G4-tallennustason NVIDIA:n muistihierarkiassa.

Vertailutulokset ja testiolosuhteet

IBM Redbooksin viitearkkitehtuurissa, joka julkaistiin 5. kesäkuuta 2026 ja päivitettiin viimeksi 20. elokuuta 2026, GPU:n uudelleenlaskenta 130 000 tokenilla kesti 32,14 sekuntia, kun taas tallennustilaan perustuvaa välimuistia käytettäessä aikaa kului 0,570 sekuntia. Nämä aiemmin saadut mittaustulokset ovat julkaisun perustana; kyse ei ole uudesta marraskuussa julkaistusta tutkimuksesta.

Erillisessä 200 pyynnön testissä käytettiin 28:aa samanaikaista yhteyttä ja 100:aa yksilöllistä kehotetta, jotka edustivat 24 miljoonaa tokenia ja 825 Gt:n KV-välimuistidatamäärää. Redbookin mukaan läpimeno kasvoi 0,19 pyynnöstä sekunnissa 4,26 pyyntöön sekunnissa ja käsittelyaika lyheni yhteensä 1 048,56 sekunnista 46,94 sekuntiin. Välimuisti oli aluksi tyhjä, joten koko testin keskiarvoon sisältyy käynnistysvaihe, jonka aikana uudelleenkäyttö lisääntyi.

Naapureiden aiheuttamaa kuormitusta simuloivassa testissä neljä muuta asiakasta tuotti kilpailevaa verkkoliikennettä 200 Gt/s:n nopeudella. Välimuistia käyttävä järjestelmä käsitteli 3,6 pyyntöä sekunnissa ja suoritti 200 pyyntöä 55,56 sekunnissa. Redbook kuvaa tätä 18 prosentin läpimenon laskuksi verrattuna tulokseen, joka saatiin välimuistia käytettäessä ilman verkkokuormitusta.

Kaikki päättelymittaukset tehtiin yhdellä Supermicro-GPU-asiakassolmulla, jossa oli neljä NVIDIA RTX PRO 6000 -näytönohjainta ja joka oli yhdistetty kahdeksansolmuiseen Petascale-tallennusklusteriin. Ohjelmistopinoon kuuluivat Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf ja openai/gpt-oss-120b-malli. GPU-muistin ja järjestelmän DRAM-muistin välimuistitasot poistettiin käytöstä, jotta yhteisen G4-tason vaikutus voitiin eristää.

Verkon kapasiteettivara ja käyttöönoton mitoitus

Testin spine-leaf-verkko muodostui kolmesta Spectrum-X SN5600 -kytkimestä. Redbookin mukaan asiakaslaitteiden käytettävissä oleva kaistanleveys oli enintään 80 Gt/s, kun taas kahdeksansolmuinen tallennusjärjestelmä saavutti jopa 315 Gt/s:n lukunopeuden. Kokoonpanoa rajoitti siis asiakaspuolen verkko, ei tallennustason koko lukukapasiteetti.

Redbookin mitoitusesimerkeissä pieniin konseptitodistuksiin käytetään neljää tallennussolmua, testattuun keskikokoiseen kokoonpanoon kahdeksaa ja suuriin tekoälytehtaisiin vähintään 16:ta. Sopivaan kokoonpanoon vaikuttavat kapasiteetti, kaistanleveys, samanaikaisuus, mallin koko ja työkuorma. Supermicron mukaan sen tehdasintegrointi räkkitasolla ja paikan päällä tarjoamat käyttöönottopalvelut voivat lyhentää käyttöönottoajan viikoista päiviin.

Julkaisu tarjoaa käyttöönottoa varten aiemmin dokumentoidun ja yhdessä validoidun arkkitehtuurin, mutta sen hyödyt koskevat tiettyä mallia, kehotesekoitusta, samanaikaisuustasoa ja verkkoa. Käyttöönoton keskeinen kysymys on, vastaavatko tallennuskapasiteetti ja asiakaspuolen kaistanleveys todellista kontekstin uudelleenkäytön tarvetta: tallennuksen lukuvaran kasvattaminen ei nopeuta päättelyä, jos asiakasverkko ei pysty välittämään dataa.