Tensormesh lancerer platform, der skal reducere omkostningerne ved LLM-inferens gennem genbrug af KV-cache

Hver gang en AI-assistent modtager et langt dokument, skal den behandle indholdet, før den kan begynde at svare. Når de samme dokumenter, instruktioner eller samtalehistorikker dukker op igen, kan en stor del af behandlingen blive gentaget. I virksomheder kan denne gentagelse lægge beslag på dyr GPU-kapacitet uden at tilføre nyttigt arbejde.

Tensormesh forsøger at løse dette problem med Tensormesh Platform, som blev annonceret den 14. oktober 2026. Virksomheden, hvis team skabte open source-projektet LMCache, indfører et administrationslag til virksomheder inden for nøgle-værdi-caching, også kaldet KV-caching, for organisationer, der driver store sprogmodeller på deres egen infrastruktur.

Platformen administrerer genbrugelig inferenstilstand på tværs af GPU-hukommelse, CPU-hukommelse og lagerplads. Den tilsigtede fordel er enkel: at reducere den mængde promptbehandling, som en GPU-flåde skal gentage, samtidig med at operatørerne får kontrol over, hvordan den cachelagrede tilstand bevares, deles og overvåges.

Hvorfor KV-cachen er vigtig

LLM-inferens har to vigtige faser. Under præfyldning behandler modellen inputprompten. Under afkodning genererer den svaret token for token. KV-cachen indeholder mellemliggende tilstand knyttet til attention, så modellen kan referere til allerede behandlede tokens uden at skulle genberegne alt fra bunden.

Genbrug af denne tilstand på tværs af forespørgsler kan reducere arbejdet med præfyldning, når inputkonteksten gentages. En supportassistent kan for eksempel slå op i den samme produktmanual for at besvare hundredvis af forskellige spørgsmål. En agent kan gentagne gange medtage de samme instruktioner eller værktøjer sammen med en opgave, der ændrer sig.

Dette adskiller sig fra at cache et færdigt svar. Systemet kan genbruge beregninger knyttet til den fælles kontekst og samtidig generere et nyt svar på et nyt spørgsmål.

Dokumentationen til vLLM’s automatiske præfikscaching beskriver denne fordel ved gentagne dokumentsøgninger og samtaler med flere runder. Den fastslår også en vigtig begrænsning: Præfikscaching fremskynder behandlingen af prompten, ikke genereringen af nye outputtokens. Arbejdsbelastninger, der domineres af lange svar eller for det meste unikke input, kan få mindre gavn af det.

For virksomhedskunder er det relevante spørgsmål, hvor stor en del af deres faktiske arbejdsbelastning der indeholder genbrugelig kontekst – og om denne kontekst kan genskabes hurtigere og billigere end ved at beregne den igen.

Fra cache til administreret infrastruktur

Tensormesh fremhæver fem driftsmæssige prioriteter i sin lancering: sikkerhed, observerbarhed, robusthed, politikstyring og understøttelse af flere lejere. De handler om det praktiske arbejde med at beskytte cachelagrede data, følge ydelsen, komme sig efter fejl, styre opbevaring og fjernelse samt adskille teams eller kunder på en delt infrastruktur.

Virksomheden beskriver også controller-API’er til at fastholde, finde, flytte, komprimere og rydde cacheposter. Dermed bliver styring af cachelivscyklussen et udtrykkeligt driftsmæssigt anliggende i stedet for noget, der overlades helt til de enkelte inferensprocesser.

Det underliggende LMCache-projekt adskiller cacheadministration fra den motor, der leverer modellerne, og understøtter aflæsning og hentning på tværs af flere lagerlag. Dokumentationen beskriver genbrug på tværs af forespørgsler, sessioner og motorinstanser samt udskiftelige backends til lager og datatransport.

Virksomhedsplatformen bygger videre på dette fundament. Ifølge dens installationsvejledning administrerer en Kubernetes-operator cachemotorens komponenter, med cacheservere på GPU-noder og en koordinator, der koordinerer på tværs af hele flåden. Helm bruges til udrulning, mens en webgrænseflade og kommandolinjeværktøjer understøtter driften.

Denne arkitektur er vigtig, fordi GPU-hukommelse er en begrænset ressource. Hvis alle potentielt genbrugelige prompts blev bevaret dér, ville de konkurrere med andre inferensbehov. Ved at flytte tilstand, der ikke er lige så nyttig her og nu, til værts-hukommelse eller lagerplads kan man øge den mængde, der bevares, selvom hentning medfører egne omkostninger i form af båndbredde og latenstid.

Ud over identiske promptpræfikser

Præfikscaching fungerer godt, når to prompts begynder med de samme tokens. Retrieval-augmented generation (RAG), eller hentningsbaseret generering, kan være vanskeligere: En applikation henter relevante dokumenter, men de kan forekomme i forskellig rækkefølge eller efter forskellig forudgående tekst.

Forestil dig to hypotetiske forespørgsler, der bruger de samme dokumenter. Den ene indeholder dokument A efterfulgt af B; den anden indeholder B efterfulgt af A. Begge indeholder materiale, der kan genbruges, men den fælles begyndelse kan være kort.

Tensormesh bruger CacheBlend til at udvide genbruget ud over begyndelsen af en prompt. Dokumentationen til LMCache forklarer, at systemet selektivt genberegner en del af tokens, mens det genbruger cachelagrede blokke. Genberegningen er vigtig, fordi den omgivende kontekst for en blok kan påvirke modellens interne tilstand.

Forskningsartiklen om CacheBlend, der blev præsenteret på EuroSys 2025, rapporterer en 2,2–3,3 gange hurtigere tid til første token og et 2,8–5 gange højere gennemløb end ved fuld genberegning af KV-cachen i de arbejdsbelastninger, der blev evalueret. Forfatterne evaluerede tre open source-modeller og fire benchmarkdatasæt.

Det er forskningsresultater under bestemte forhold, ikke en garanteret besparelse ved enhver Tensormesh-implementering. De viser dog, hvorfor genbrug ud over et fælles præfiks er teknisk interessant: Det kan genskabe nyttig beregningskraft, som konventionel præfiksmatching ville gå glip af.

Genbrug på tværs af noder og betydningen af versionsspecifik understøttelse

Lanceringen beskriver peer-to-peer-overførsel af KV-cache, så én node kan hente cachelagret tilstand fra en anden, og virksomhedens produktmateriale beskriver adskillelse af prefill og decode. Adskillelsen skiller promptbehandling fra generering af output, så de to trin kan køres på forskellige arbejdere.

Det er komplementære måder at organisere inferens på. Deling af kompatibel tilstand kan undgå, at den genberegnes på en anden node, mens adskillelse af trinnene kan give infrastrukturteams mulighed for at fordele ressourcerne forskelligt alt efter deres behandlingsbehov.

De offentligt tilgængelige materialer er dog ikke helt enige om udgivelsesstatus. Introduktionen ved lanceringen beskriver deling på tværs af noder og adskillelse af trinnene, mens kompatibilitetsoversigten for de enkelte versioner, dateret 17. september, angiver peer-to-peer-overførsel og adskillelse af trinnene som planlagte funktioner. Dokumentationen indeholder også sider om funktioner i forhåndsvisning.

Den samme oversigt skelner mellem funktioner, der er verificeret i Tensormesh’ test, og funktioner, der understøttes i de respektive upstream-projekter, men kræver yderligere test før produktionsbrug. Den angiver vLLM og NVIDIA Dynamo som verificerede inferensmotorer, mens SGLang og TensorRT-LLM står på køreplanen.

Det betyder, at lanceringens brede formulering om kompatibilitet beskriver en retning for produktudviklingen, ikke dokumentation for, at alle kombinationer af modeller og infrastruktur er blevet valideret. Teams bør kontrollere den præcise version, inferensmotor, model og cachetilstand, de planlægger at anvende.

Introduktionen ved lanceringen beskriver specifikt vLLM på Kubernetes med NVIDIA- eller understøttede AMD Instinct-GPU’er via ROCm samt fillagring. Den beskriver caching, der ikke er baseret på præfikser, for tætte modeller og angiver, at understøttelse af SGLang er på vej. Den præciserer også, at cachen kører sammen med selvhostede modeller; det er ikke et tilføjelsesprogram, der kan kobles til en vilkårlig API til hostede modeller.

Hvor økonomien kan hænge sammen

De mest oplagte kandidater er programmer, der gentagne gange behandler omfattende, fælles kontekst: interne vidensassistenter, tjenester til dokumentanalyse og agenter, der genbesøger en stabil mængde instruktioner eller referencemateriale.

En nyttig evaluering ville sammenligne adfærden med kold og varm cache ved hjælp af repræsentativ trafik. Operatører bør måle tiden til første token, gennemløbshastigheden, tiden til at hente cachedata, GPU-udnyttelsen samt omkostningerne til hukommelse, lagring og netværk ved at bevare tilstanden.

Cachetræfprocenten er ikke tilstrækkelig i sig selv. En høj træfprocent er kun nyttig, hvis det arbejde, der spares, giver en samlet gevinst, når omkostningerne ved overførsel og administration er medregnet. Tilsvarende betyder et hurtigere første token ikke nødvendigvis, at hele svaret bliver færdigt tilsvarende hurtigere.

Svarenes kvalitet bør kontrolleres særskilt, især når cachelagrede tekststykker kombineres i ændrede kontekster. CacheBlends selektive genberegning er udviklet til at håndtere dette problem, men test i produktion bør omfatte organisationens egne dokumenter, promptformater og modelkonfigurationer.

Opbevaringsperioder og isolering mellem lejere bliver også vigtigere, når cachen bevæger sig ud over en enkelt proces. De relevante driftsmæssige spørgsmål omfatter, hvem der må genbruge en post, hvor længe den er tilgængelig, og hvordan ændringer i politikker eller anmodninger om sletning påvirker den gemte tilstand. De administrationsfunktioner, som Tensormesh har annonceret, skal gøre det muligt at styre disse beslutninger.

Et praktisk sats på at gentage mindre arbejde

Ifølge virksomhedens meddelelse er Tensormesh Platform tilgængelig fra lanceringen. Betydningen ligger i at behandle inferenstilstand som en ressource, der kan administreres på tværs af en hel flåde, så beregninger kan genbruges, efter at den enkelte anmodning er afsluttet.

For virksomheder, der driver deres egen LLM-infrastruktur, giver dette et konkret greb til at øge effektiviteten: Genbrug mere af det promptbehandlingsarbejde, der allerede er udført. Resultatet afhænger af, hvor ofte arbejdsbelastningen gentager sig, cachekompatibiliteten og omkostningerne ved at flytte data – men det er målbare ingeniørmæssige spørgsmål, som teams kan afprøve på deres egen trafik.