Модели и платформы ИИ
В Valkey 9.2 появилось распределённое кэширование ключей-значений для инференса ИИ

Ключевые моментыРаспределённое кэширование KV позволяет инференс-движкам повторно использовать тензоры…
Показать больше
- Распределённое кэширование KV позволяет инференс-движкам повторно использовать тензоры промпта вместо их пересчёта во время префилла.
- Multiverse Computing обслужила на 50% больше запросов на тех же GPU, при этом соблюдая целевой показатель задержки первого токена.
- Общий кэш даёт мало пользы, когда рабочий набор уже помещается в память GPU и хоста.
19 ноября 2026 года Valkey выпустила версию 9.2, в которой появилось распределённое кэширование ключей-значений для инференса ИИ. Согласно сопроводительному объявлению проекта, общий кэш может сократить расходы на инференс до 40%, а время ожидания первого токена ответа — до 80% на существующей инфраструктуре GPU.
В технической публикации Valkey от 20 октября 2026 года описан общий кэш, расположенный за пределами памяти GPU и хоста. Он хранит тензоры ключей и значений, которые формируются, когда модель обрабатывает инструкции в запросе, определения инструментов и историю диалога. Вместо повторного вычисления этих тензоров на этапе префилла — обработки, предшествующей генерации нового ответа, — движки инференса могут повторно использовать их для уже встречавшегося контекста. Если локальная память узла вытеснила диалог, его может загрузить любой другой узел благодаря общему уровню кэширования для серверов GPU.
В самостоятельно управляемых средах с моделями с открытыми весами кэш можно подключить к таким движкам, как vLLM и SGLang, через коннектор LMCache: достаточно изменить конфигурацию, не трогая код приложения. В версии 9.2 появился тип данных Path Hash на основе радиксного дерева; он поддерживает точный поиск, поиск по наиболее длинному совпадающему префиксу и обход префиксов. Valkey представляет его как лёгкий индекс, позволяющий находить наиболее длинный совпадающий префикс в кэше и его расположение, пока более крупные данные ИИ остаются в памяти GPU или хоста.
Измеренный прирост и ограничения рабочих нагрузок
Директор по платформе ИИ компании Multiverse Computing Эннио Пасторе заявил, что распределённое кэширование ключей-значений в Valkey позволило компании обрабатывать на тех же GPU на 50% больше запросов, укладываясь в целевой показатель — одну секунду для медианного времени до первого токена. Медианная задержка до первого токена снизилась на 23% при обычной нагрузке и на 95% в пиковые периоды. Кроме того, Multiverse внесла улучшения в коннектор LMCache, призванные повысить отказоустойчивость распределённого кэширования.
В описанном в технической публикации Valkey синтетическом тесте участвовали 100 одновременных диалогов с контекстом от 12 000 до 28 000 токенов; запросы поступали со скоростью 8 в секунду на два узла GPU, каждый из которых был оснащён восемью ускорителями H100. Узлы обслуживали Llama-3.1-70B с помощью vLLM и LMCache; кластер Valkey 9 из трёх шардов находился в той же зоне доступности, что и общий кэш. Проект зафиксировал примерно на 25% больше запросов и примерно на 28% больше выходных токенов, при этом кэш увеличил расходы на GPU примерно на 15%.
Рекомендации Valkey по тестированию и развёртыванию указывают на чёткие ограничения: общий кэш приносит мало пользы, если рабочий набор уже помещается в память GPU и хоста или если запросы не содержат повторяющегося контекста. Он также не может увеличить вычислительную мощность GPU, когда узким местом становится префилл новых токенов. Рекомендуется размещать кэш в той же зоне доступности, что и парк GPU: кэш находится на пути формирования первого токена, а передача данных между зонами может увеличить задержку и стоимость трафика.
Снижение нагрузки на память и сеть
Помимо кэширования для ИИ, версия 9.2 призвана снизить собственные инфраструктурные расходы хранилища данных. Снимки без создания форка и полная синхронизация реплик, доступные по выбору, выполняются в фоновом потоке, а не в отдельном серверном процессе, что позволяет избежать дополнительных затрат памяти из-за копирования при записи при интенсивной записи. Инфраструктура добавляет четыре байта на ключ, а prefer-forkless при необходимости политика переключается на создание форка.
Параметры сжатия при текущей репликации согласуются отдельно с каждой репликой, поэтому более старые реплики и реплики, для которых сжатие отключено, продолжают получать данные без сжатия. Согласно публикации о выпуске Valkey, в тесте с 3 миллионами ключей размером около 315 байт каждый LZ4 сократил пропускную способность, необходимую для репликации, на 52% при накладных расходах на пропускную способность менее 1%. Сжатие снимка всего потока поддерживает LZ4 и Zstandard; для Zstandard требуется параметр сборки, а сам алгоритм особенно подходит для репликации между регионами, где сетевые расходы высоки относительно вычислительных.
В больших отсортированных множествах теперь используется B+-дерево вместо списка с пропусками. По данным Valkey, в тесте с 5 миллионами элементов, содержащих 20-байтовые значения, накладные расходы памяти на один элемент снизились на 36–43%. Среди других новых средств для эксплуатации — обнаружение горячих ключей на стороне сервера, повторно используемые роли управления доступом, приоритетная обработка сигналов проверки состояния кластера и репликации, резервные административные подключения и ограничение скорости записи по выбору, если реплика отстаёт.
В записи о выпуске 9.2.0 указано, что это первый стабильный выпуск версии 9.2, а на странице загрузки перечислены теги Docker и двоичные файлы для отдельных платформ. Valkey характеризует версию 9.2 как минорный выпуск без критических изменений, но предупреждает: если оператор впоследствии выполнит откат, для базовых файлов AOF, записанных со сжатием LZ4 или Zstandard, потребуется совместимая версия Valkey.
Valkey 9.2 затрагивает два аспекта экономики инференса: возвращает ресурсы GPU, теряемые из-за повторного префилла, и снижает нагрузку на память и сеть со стороны уровня данных. Документированные результаты показывают, что ценность нового уровня кэширования для операторов зависит от повторного использования данных в рабочих нагрузках и давления вытеснения. При этом есть чёткий предел его возможностей: если префилл новых токенов уже задействует всю доступную вычислительную мощность GPU, кэш не поможет.












