Modele i platformy AI
Valkey 9.2 debiutuje z rozproszonym buforowaniem klucz-wartość na potrzeby wnioskowania AI

Kluczowe punktyRozproszone buforowanie KV pozwala silnikom wnioskowania ponownie wykorzystywać tensory…
Zobacz więcej
- Rozproszone buforowanie KV pozwala silnikom wnioskowania ponownie wykorzystywać tensory podpowiedzi zamiast obliczać je od nowa podczas prefill.
- Multiverse Computing obsłużyło o 50% więcej żądań na tych samych GPU, jednocześnie spełniając swój cel opóźnienia pierwszego tokenu.
- Wspólny bufor oferuje niewielką korzyść, gdy zbiór roboczy już mieści się w pamięci GPU i hosta.
Valkey wydał wersję 9.2 19 listopada 2026 r., wprowadzając rozproszone buforowanie klucz-wartość na potrzeby wnioskowania AI. Zgodnie z towarzyszącym komunikatem projektu współdzielony bufor może obniżyć koszty wnioskowania nawet o 40% i skrócić czas oczekiwania na pierwszy token odpowiedzi nawet o 80% przy wykorzystaniu istniejącej infrastruktury GPU.
Opublikowany 20 października 2026 r. wpis techniczny Valkey opisuje współdzielony bufor wykraczający poza pamięć GPU i pamięć hosta, w którym przechowywane są tensory klucz-wartość generowane podczas przetwarzania przez model instrukcji promptu, definicji narzędzi i historii rozmowy. Silniki wnioskowania mogą ponownie wykorzystywać te tensory w przypadku powtarzającego się kontekstu, zamiast obliczać je od nowa podczas etapu prefill, czyli przetwarzania poprzedzającego wygenerowanie nowego wyniku. Udostępnienie tej warstwy serwerom GPU pozwala dowolnemu węzłowi wczytać rozmowę, która została usunięta z pamięci lokalnej.
W samodzielnie zarządzanych wdrożeniach z modelami o otwartych wagach bufor można połączyć za pomocą konektora LMCache z silnikami takimi jak vLLM i SGLang, zmieniając konfigurację bez modyfikowania kodu aplikacji. Path Hash, nowy typ danych oparty na drzewie radix, wprowadzony w wersji 9.2, obsługuje dokładne wyszukiwanie, dopasowywanie najdłuższego prefiksu i przechodzenie po prefiksach. Valkey przedstawia go jako lekki indeks służący do znajdowania najdłuższego pasującego prefiksu w buforze i jego lokalizacji, podczas gdy większe zasoby danych AI pozostają w pamięci GPU lub pamięci hosta.
Zmierzone korzyści i ograniczenia obciążenia
Ennio Pastore, dyrektor ds. platform AI w Multiverse Computing, powiedział, że rozproszone buforowanie KV w Valkey pozwoliło firmie obsługiwać o 50% więcej żądań na tych samych procesorach GPU, przy jednoczesnym dotrzymaniu celu wynoszącego jedną sekundę dla mediany czasu do pierwszego tokenu. Mediana opóźnienia do pierwszego tokenu spadła o 23% przy standardowym ruchu i o 95% w godzinach szczytu. Multiverse wniosło również ulepszenia do konektora LMCache, które mają zwiększyć odporność rozproszonego buforowania.
W opisanym we wpisie technicznym Valkey teście syntetycznym wykorzystano 100 równoczesnych rozmów z kontekstem o długości od 12 000 do 28 000 tokenów, napływających z szybkością 8 żądań na sekundę do dwóch węzłów GPU, z których każdy był wyposażony w osiem akceleratorów H100. Węzły obsługiwały model Llama-3.1-70B za pośrednictwem vLLM i LMCache, a klaster Valkey 9 z trzema fragmentami znajdował się w tej samej strefie dostępności co współdzielony bufor. Projekt odnotował wzrost liczby żądań o około 25% i liczby wygenerowanych tokenów o około 28%, przy czym bufor zwiększył rachunek za GPU o około 15%.
Wytyczne Valkey dotyczące testowania i wdrażania wskazują wyraźne ograniczenia: współdzielony bufor przynosi niewielkie korzyści, gdy zbiór roboczy mieści się już w pamięci GPU i pamięci hosta albo gdy żądania nie zawierają powtarzającego się kontekstu. Nie może też zapewnić dodatkowej mocy obliczeniowej GPU, gdy wąskim gardłem staje się etap prefill nowych tokenów. Zaleca się umieszczenie bufora w tej samej strefie dostępności co zasoby GPU, ponieważ znajduje się on na ścieżce prowadzącej do wygenerowania pierwszego tokenu, a ruch między strefami może zwiększać opóźnienia i koszty transferu danych.
Mniejsze obciążenie pamięci i sieci
Oprócz buforowania na potrzeby AI wersja 9.2 ma ograniczyć także koszty infrastruktury samego magazynu danych. Opcjonalne migawki bez forkowania oraz pełna synchronizacja replik korzystają z wątku działającego w tle zamiast tworzyć osobny proces serwera, co pozwala uniknąć narzutu pamięciowego mechanizmu copy-on-write podczas intensywnych operacji zapisu. Infrastruktura wymaga dodatkowych czterech bajtów na klucz, a prefer-forkless polityka w razie potrzeby powraca do forkowania.
Kompresja replikacji ciągłej jest uzgadniana osobno z każdą repliką, dzięki czemu starsze repliki i te, dla których wyłączono tę opcję, nadal otrzymują dane w postaci jawnej. We wpisie o wydaniu Valkey podano, że w teście obejmującym 3 miliony kluczy o wielkości około 315 bajtów każdy LZ4 zmniejszył przepustowość replikacji o 52%, powodując wzrost obciążenia przepustowości o mniej niż 1%. Kompresja migawek całego strumienia obsługuje LZ4 i Zstandard; Zstandard wymaga opcji ustawionej podczas kompilacji i jest przeznaczony przede wszystkim do replikacji między regionami, gdzie koszty sieci są wysokie w stosunku do kosztów mocy obliczeniowej.
Duże zbiory uporządkowane korzystają teraz z drzewa B+ zamiast listy z pominięciami. Według Valkey w teście obejmującym 5 milionów elementów o długości 20 bajtów narzut pamięci na element zmniejszył się o 36–43%. Inne usprawnienia operacyjne obejmują wykrywanie często używanych kluczy po stronie serwera, wielokrotnego użytku role kontroli dostępu, priorytetową obsługę komunikatów kontrolnych klastra i replikacji, zarezerwowane połączenia administracyjne oraz opcjonalne ograniczanie szybkości zapisów, gdy replika nie nadąża.
Wpis o wydaniu wersji 9.2.0 wskazuje, że jest to pierwsze stabilne wydanie 9.2, a strona pobierania zawiera znaczniki Docker oraz pliki binarne dla poszczególnych platform. Valkey opisuje wersję 9.2 jako mniejsze wydanie, które nie wprowadza niezgodnych zmian, ostrzega jednak, że jeśli operator później przywróci starszą wersję Valkey, pliki bazowe w formacie append-only zapisane z kompresją LZ4 lub Zstandard będą wymagały zgodnej wersji Valkey.
Valkey 9.2 łączy dwa aspekty ekonomiki wnioskowania: odzyskiwanie mocy GPU traconej na powtarzany etap prefill oraz ograniczanie narzutu pamięci i sieci w warstwie danych. Udokumentowane wyniki pokazują, że korzyści z nowej warstwy zależą od ponownego wykorzystywania danych w obciążeniu i presji związanej z usuwaniem danych z pamięci, a ich wyraźną granicą jest sytuacja, w której etap prefill nowych tokenów już w pełni wykorzystuje dostępną moc obliczeniową GPU.












