Моделі та платформи ШІ
Valkey 9.2 запускає розподілене кешування ключів-значень для інференсу ШІ

Ключові моментиРозподілене KV-кешування дозволяє механізмам виведення повторно використовувати тензори…
Показати більше
- Розподілене KV-кешування дозволяє механізмам виведення повторно використовувати тензори підказок замість їх повторного обчислення під час префілу.
- Multiverse Computing обслужила на 50% більше запитів на тих самих графічних процесорах, досягнувши цільової затримки першого токена.
- Спільний кеш дає мало користі, коли робочий набір уже вміщується в пам'яті графічного процесора та хоста.
19 листопада 2026 року Valkey випустила версію 9.2, додавши розподілене кешування ключів-значень для інференсу ШІ. У супровідному оголошенні проєкту йдеться, що спільний кеш може скоротити витрати на інференс до 40%, а час очікування на перший токен відповіді — до 80% на наявній інфраструктурі GPU.
У технічній публікації Valkey, оприлюдненій 20 жовтня 2026 року, описано спільний кеш поза межами пам’яті GPU та хост-системи, у якому зберігаються тензори ключів-значень, створені під час обробки моделлю інструкцій у запиті, визначень інструментів та історії розмови. Системи інференсу можуть повторно використовувати ці тензори для контексту, який трапляється знову, замість того, щоб обчислювати їх заново під час попередньої обробки (prefill) — етапу перед генерацією нового вмісту. Спільний доступ до цього рівня кешу між серверами GPU дає змогу будь-якому вузлу завантажити розмову, яку було витіснено з локальної пам’яті.
Самостійно керовані розгортання моделей із відкритими вагами можуть під’єднати кеш до систем, зокрема vLLM і SGLang, через конектор LMCache — для цього достатньо змінити конфігурацію, не змінюючи код застосунку. Path Hash — новий тип даних на основі радіального дерева у версії 9.2 — підтримує точний пошук, пошук найдовшого префікса та обхід префіксів. Valkey позиціонує його як легкий індекс, призначений для пошуку найдовшого відповідного префікса в кеші та його розташування, тоді як більші обсяги даних ШІ залишаються в пам’яті GPU або хост-системи.
Виміряний приріст і обмеження робочих навантажень
Директор платформи ШІ в Multiverse Computing Енніо Пасторе заявив, що розподілене кешування KV у Valkey дало компанії змогу обслуговувати на 50% більше запитів на тих самих GPU, дотримуючись цільового показника в одну секунду для медіанного часу до першого токена. За звичайного навантаження медіанна затримка до появи першого токена скоротилася на 23%, а за пікового — на 95%. Крім того, Multiverse долучилася до вдосконалення конектора LMCache, покликаного підвищити стійкість розподіленого кешування.
В описаному в технічній публікації Valkey синтетичному тестуванні використовували 100 одночасних розмов із контекстом обсягом від 12 000 до 28 000 токенів; запити надходили зі швидкістю 8 на секунду на два вузли GPU, кожен із вісьмома прискорювачами H100. Вузли обслуговували Llama-3.1-70B через vLLM і LMCache, а кластер Valkey 9 із трьома шардами розміщувався в тій самій зоні доступності, що й спільний кеш. За результатами проєкту, кількість запитів зросла приблизно на 25%, а кількість вихідних токенів — приблизно на 28%, тоді як кеш збільшив витрати на GPU приблизно на 15%.
У рекомендаціях Valkey щодо тестування та розгортання окреслено чіткі межі застосування: спільний кеш дає незначну користь, якщо робочий набір уже вміщується в пам’яті GPU та хост-системи або запити не містять повторюваного контексту. Він також не може створити обчислювальні ресурси GPU, якщо вузьким місцем стає попередня обробка нових токенів. Рекомендоване розміщення — у тій самій зоні доступності, що й парк GPU, оскільки кеш бере участь у формуванні першого токена, а міжзонний трафік може збільшити затримку та витрати на передавання даних.
Менше навантаження на пам’ять і мережу
Окрім кешування для ШІ, версія 9.2 спрямована на зниження власних інфраструктурних витрат сховища даних. Знімки без створення форку та повна синхронізація реплік, які вмикаються за бажанням, виконуються у фоновому потоці, а не в окремому серверному процесі, що дає змогу уникнути додаткових витрат пам’яті через копіювання під час запису за інтенсивних операцій запису. Інфраструктура додає чотири байти на ключ, а prefer-forkless політика за потреби повертається до створення форку.
Стиснення під час поточної реплікації узгоджується окремо з кожною реплікою, тож старі репліки та репліки, для яких цю функцію вимкнено, і далі отримують дані у відкритому тексті. У публікації Valkey про випуск повідомляється, що в тесті з 3 мільйонами ключів розміром приблизно 315 байтів кожен LZ4 зменшив пропускну здатність, потрібну для реплікації, на 52% за додаткового навантаження на пропускну здатність менш ніж 1%. Стиснення знімків усього потоку підтримує LZ4 і Zstandard; для Zstandard потрібен параметр під час збирання, а цей алгоритм особливо призначений для реплікації між регіонами, де мережеві витрати високі порівняно з обчислювальними.
У великих упорядкованих множинах тепер використовується B+-дерево замість скіпліста. За даними Valkey, у тесті з 5 мільйонами елементів, що містили 20-байтові значення, додаткові витрати пам’яті на кожен елемент зменшилися на 36–43%. Серед інших операційних нововведень — виявлення гарячих ключів на сервері, повторно використовувані ролі керування доступом, пріоритетне опрацювання сигналів життєздатності кластера та реплікації, зарезервовані адміністративні з’єднання й обмеження швидкості запису за бажанням, якщо репліка відстає.
Запис про випуск 9.2.0 засвідчує, що це перший стабільний випуск версії 9.2, а на сторінці завантаження наведено теги Docker і бінарні файли для окремих платформ. Valkey описує версію 9.2 як проміжний випуск без несумісних змін, але попереджає: якщо оператор згодом повернеться до попередньої версії, для роботи з базами файлів append-only, записаними зі стисненням LZ4 або Zstandard, потрібна сумісна версія Valkey.
Valkey 9.2 поєднує два напрями економії на інференсі: повернення обчислювальних ресурсів GPU, які витрачаються на повторну попередню обробку, та зменшення навантаження на пам’ять і мережу в шарі даних. Задокументовані результати пов’язують цінність нового рівня кешування для операторів із повторним використанням даних у робочих навантаженнях і тиском через витіснення даних, водночас чітко визначаючи межу його ефективності: кеш не допоможе, якщо попередня обробка нових токенів уже вичерпує доступні обчислювальні ресурси GPU.












