Модели и платформы ИИ
Supermicro представляет общее хранилище кэша KV для ИИ с длинным контекстом
Добавьте Unite.AI в избранные источники в Google
5 ноября 2026 года Supermicro представила решение для хранения кэша KV совместно с IBM и NVIDIA. Оно предназначено для переноса повторно используемого контекста ИИ-инференса в общее хранилище за пределами памяти GPU. По данным компаний, в совместных испытаниях время до первого токена для запроса длиной 130 000 токенов сокращалось до 56 раз.
Решение объединяет серверы хранения Supermicro Petascale с полностью флеш-памятью и процессорами AMD EPYC 9005, программное обеспечение IBM Storage Scale, среду инференса Dynamo от NVIDIA и сетевое оборудование Spectrum-X Ethernet. Оно предназначено для многошаговых и агентных приложений, помощников по программированию, мультимодального ИИ и генерации с расширенным поиском и длинным контекстом. Большие кодовые базы, документы, изображения и истории диалогов могут создавать больше состояний «ключ—значение», чем способны вместить память GPU и CPU.
Повторное использование контекста в разных запросах
На этапе предварительной обработки токенизированный запрос преобразуется в промежуточные состояния «ключ—значение», используемые моделью. Сохранение этих состояний позволяет повторно использовать контекст в последующих запросах вместо того, чтобы вычислять его заново. Архитектура предусматривает высокодоступный уровень хранения с общим доступом для узлов GPU и кластеров, а также возможность расширять ёмкость кэша без прерывания работы.
Dynamo добавляет маршрутизацию с учётом кэша, разделяет предварительную обработку и декодирование, а также выгружает кэшированные блоки с помощью KV Block Manager и библиотеки передачи данных NIXL. IBM Storage Scale Erasure Coding Edition обеспечивает общий уровень хранения G4 в иерархии памяти NVIDIA.
Результаты тестирования и условия испытаний
В справочной архитектуре IBM Redbooks, опубликованной 5 июня 2026 года и последний раз обновлённой 20 августа 2026 года, указано, что повторный расчёт на GPU для 130 000 токенов занимает 32,14 секунды, тогда как при использовании кэша на базе хранилища — 0,570 секунды. Эти ранее полученные результаты легли в основу запуска и не являются новым исследованием, опубликованным в ноябре.
В отдельном прогоне из 200 запросов использовались 28 одновременных подключений и 100 уникальных запросов общим объёмом 24 миллиона токенов и 825 ГБ данных кэша KV. Согласно документу Redbook, пропускная способность выросла с 0,19 до 4,26 запроса в секунду, а общее время обработки сократилось с 1 048,56 до 46,94 секунды. В начале кэш был пуст, поэтому среднее значение за весь прогон включает период холодного старта, пока накапливались повторные обращения.
В испытании с конкурирующей нагрузкой четыре других клиента создавали сетевой трафик ввода-вывода объёмом 200 ГБ/с. Система с кэшированием обеспечивала 3,6 запроса в секунду и обработала 200 запросов за 55,56 секунды; в документе Redbook это описано как снижение пропускной способности на 18% по сравнению с результатом системы с кэшированием в сети без конкурирующей нагрузки.
Все измерения инференса проводились на одном клиентском узле Supermicro с GPU: он был оснащён четырьмя GPU NVIDIA RTX PRO 6000 и подключён к восьмиузловому кластеру хранения Petascale. В программный стек входили Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf и модель openai/gpt-oss-120b. Уровни кэширования в памяти GPU и системной DRAM отключили, чтобы изолировать общий уровень G4.
Запас пропускной способности сети и подбор конфигурации для развёртывания
Для построения сети по архитектуре «коммутатор верхнего уровня — коммутаторы нижнего уровня» в испытаниях использовались три коммутатора Spectrum-X SN5600. Согласно документу Redbook, пропускная способность на стороне клиентов достигает 80 ГБ/с, тогда как скорость чтения восьмиузловой системы хранения — до 315 ГБ/с. Таким образом, ограничением конфигурации становится клиентская сеть, а не полная пропускная способность хранилища при чтении.
В примерах подбора конфигурации из документа Redbook для небольших пилотных проектов используются четыре узла хранения, для протестированной средней конфигурации — восемь, а для крупных ИИ-фабрик — 16 или более. На выбор подходящей конфигурации влияют ёмкость, пропускная способность, число одновременных подключений, размер модели и рабочая нагрузка. По словам Supermicro, интеграция стоек на заводе и услуги по развёртыванию на площадке заказчика позволяют сократить сроки с нескольких недель до нескольких дней.
В рамках запуска для развёртывания предлагается ранее описанная и совместно проверенная архитектура, однако её преимущества проявляются только при определённой модели, сочетании запросов, уровне параллелизма и конфигурации сети. Главный вопрос при развёртывании — соответствуют ли ёмкость хранилища и пропускная способность на стороне клиента фактической потребности в повторном использовании контекста: дополнительный резерв скорости чтения хранилища не ускорит инференс, если клиентская сеть не способна передать данные с такой скоростью.
