Supermicro запускає спільне сховище KV-кешу для ШІ з довгим контекстом

5 листопада 2026 року Supermicro оголосила про рішення для зберігання KV-кешу спільно з IBM і NVIDIA. Воно призначене для перенесення повторно використовуваного контексту інференсу ШІ до спільного сховища за межами пам’яті GPU. Компанії повідомляють, що під час спільного тестування на запиті обсягом 130 000 токенів час до першого токена скоротився до 56 разів.

Рішення поєднує сервери флешсховища Supermicro Petascale на базі процесорів AMD EPYC 9005, програмне забезпечення IBM Storage Scale, фреймворк інференсу Dynamo від NVIDIA та мережеве обладнання Spectrum-X Ethernet. Воно призначене для багатоетапних і агентних застосунків, помічників із програмування, мультимодального ШІ та генерації з доповненням пошуком для довгого контексту. Великі кодові бази, документи, зображення та історії розмов можуть створювати більше станів «ключ-значення», ніж здатна вмістити пам’ять GPU і CPU.

Повторне використання контексту в різних запитах

На етапі попереднього заповнення токенізований запит перетворюється на проміжні стани «ключ-значення», які використовує модель. Збереження цих станів дає змогу повторно використовувати контекст у наступних запитах, а не обчислювати його заново. Архітектура передбачає високодоступний рівень сховища зі спільним доступом для вузлів і кластерів GPU, а також розширення місткості кешу без переривання роботи.

Dynamo забезпечує маршрутизацію з урахуванням кешу, розділяє етапи попереднього заповнення та декодування, а також вивантажує кешовані блоки за допомогою KV Block Manager і бібліотеки передавання даних NIXL. IBM Storage Scale Erasure Coding Edition забезпечує спільний рівень сховища G4 в ієрархії пам’яті NVIDIA.

Результати тестування та умови випробувань

Еталонна архітектура IBM Redbooks, опублікована 5 червня 2026 року й востаннє оновлена 20 серпня 2026 року, показує, що повторне обчислення на GPU для 130 000 токенів триває 32,14 секунди, тоді як використання кешу на основі сховища скорочує цей час до 0,570 секунди. Саме ці раніше отримані результати стали підґрунтям запуску, а не новим дослідженням, опублікованим у листопаді.

В окремому тестовому запуску з 200 запитами використовували 28 одночасних підключень і 100 унікальних запитів загальним обсягом 24 мільйони токенів і 825 ГБ даних KV-кешу. У Redbook повідомляють, що пропускна здатність зросла з 0,19 до 4,26 запиту за секунду, а загальний час обробки скоротився з 1 048,56 до 46,94 секунди. Спочатку кеш був порожній, тому середнє значення за весь запуск охоплює період холодного старту, поки накопичувався повторно використовуваний контекст.

Під час тесту з ефектом «шумного сусіда» чотири інші клієнти створювали конкурентне мережеве навантаження обсягом 200 ГБ/с. Система з кешуванням стабільно обробляла 3,6 запиту за секунду й завершила 200 запитів за 55,56 секунди. У Redbook це описують як зниження пропускної здатності на 18% порівняно з результатом системи з кешуванням у мережі без стороннього навантаження.

Усі вимірювання інференсу виконали на одному клієнтському вузлі Supermicro з графічними процесорами, оснащеному чотирма NVIDIA RTX PRO 6000 і підключеному до восьмивузлового кластера сховища Petascale. Програмний стек складався з Dynamo v0.9.0+, vLLM v0.14.1, NVIDIA AIPerf і моделі openai/gpt-oss-120b. Рівні кешу в пам’яті GPU та системній DRAM вимкнули, щоб ізолювати спільний рівень G4.

Запас пропускної здатності мережі та вибір масштабу розгортання

У тестовій мережі типу «ядро — листки» використовували три комутатори Spectrum-X SN5600. За даними Redbook, пропускна здатність для підключення клієнтів становить до 80 ГБ/с, тоді як восьмивузлова система сховища забезпечила до 315 ГБ/с швидкості читання. Отже, конфігурацію обмежує клієнтська мережа, а не повна пропускна здатність сховища під час читання.

У прикладах вибору конфігурації Redbook рекомендує чотири вузли сховища для невеликих проєктів із підтвердження концепції, вісім — для протестованої середньої конфігурації, а для великих фабрик ШІ — 16 або більше. На вибір відповідної конфігурації впливають місткість, пропускна здатність, кількість одночасних підключень, розмір моделі та робоче навантаження. Supermicro зазначає, що її послуги з інтеграції обладнання в стійки на заводі та розгортання на місці можуть скоротити строки розгортання з тижнів до днів.

Цей запуск пропонує для розгортання архітектуру, яку вже було задокументовано й спільно перевірено, однак отримані переваги стосуються конкретної моделі, набору запитів, рівня одночасного навантаження та мережі. Головне питання під час розгортання — чи відповідають місткість сховища та пропускна здатність клієнтської мережі фактичному попиту на повторне використання контексту: додатковий запас пропускної здатності сховища під час читання не підвищить продуктивність інференсу, якщо клієнтська мережа не здатна його забезпечити.