П’ять кроків, щоб перетворити пам’ять з найбільшої обмеження штучного інтелекту на конкурентну перевагу

За останні кілька років інфраструктура штучного інтелекту зосереджувалася на обчисленнях понад усі інші показники. Більше прискорювачів, більші кластери та вищі FLOPS рухали розмову про те, щоб зробити найкраще з GPU. Цій підході було сенс, коли прогрес моделі залежав переважно від масштабу навчання. Тепер, коли пріоритетом стають продукційні розгортання штучного інтелекту, з’являється нове обмеження, на яке потрібно зосередитися: пам’ять.

Сьогодні багато з найбільш складних обмежень штучного інтелекту виникають у пам’яті, пропускній здатності, затримці та часі та енергетичних витратах на переміщення даних через систему. Вікна контексту продовжують розширюватися, і компанії, такі як Anthropic, тепер пропонують вікна з мільйоном токенів у своїй стандартній пропозиції. Робочі процеси висновку зростають. Ріст багатозадачних систем означає, що системи штучного інтелекту передають більші об’єми даних з одного етапу на інший. Оператори можуть продовжувати намагатися додати більше GPU, але вони все одно не досягнуть очікуваної продуктивності, оскільки ці системи голодують за достатньою кількістю ОЗУ, щоб ефективно годувати прискорювачі, коли кожен сервер працює самостійно, обмежений внутрішньосистемним ОЗУ.

Ця зміна впливає як на пропускну здатність, так і на вартість для гіперскейлерів і операторів центрів даних. Коли пам’ять стає обмежувальною, організації часто реагують на це шляхом надрозподілу дорогого обладнання, залишаючи підвуження GPU незавантаженими та поглинаючи вищі витрати на енергію та інфраструктуру. Наступний етап масштабування штучного інтелекту залежатиме менше від додавання сирої обчислювальної потужності та більше від побудови архітектур пам’яті, які відповідають тому, як насправді працює продукційна інфраструктура штучного інтелекту.

Ось п’ять кроків, які лідери інфраструктури можуть зробити зараз, щоб підготуватися до постійно зростаючих вимог до пам’яті.

1. Почніть з вимірювання справжньої вузької частини

Багато організацій все ще оцінюють продуктивність штучного інтелекту через лінзу обчислень. Вони відстежують використання кластерів, кількість прискорювачів і загальну продуктивність, а потім припускають, що покращення будуть досягнуті шляхом додавання更多 GPU-прискорювачів. Цьому підходу часто не вдається побачити справжню проблему.

Тиск на пам’ять часто проявляється у вигляді зупинки прискорювачів, вищої затримки на токен та неконсистентної продуктивності під навантаженням. GPU може виглядати незавантаженим, якщо він чекає на дані з іншого рівня пам’яті, іншого сервера або іншого етапу програми. Висновок робить цю проблему більш видимою, оскільки розмір кешу KV зростає та більш одночасних сесій конкурують за пропускну здатність.

Операторам потрібна краща видимість ефективного використання пам’яті, переглядаючи байти, переміщені на токен, час зупинки прискорювача та моделі доступу до пам’яті по процесорах, GPU та сусідніх рівнях пам’яті. їм також потрібне трасування конвеєра, яке може розділити затримку, пов’язану з пам’яттю, від проблем мережі чи сховища. Без цієї видимості команди ризикують витратити більше на обчислення, не вирішивши справжню причину сповільнення.

2. Зменьшіть переміщення даних перед додаванням більшої потужності

У великих системах штучного інтелекту переміщення даних може створити таку саму витрату, як і обробка даних.

Це особливо вірно для висновку. Коли вікна контексту розширюються, кеш KV може стати одним з найбільших споживачів системної пам’яті в стеку. Багатозадачне обслуговування та багатозадачні робочі процеси можуть додати ще більше. Перший етап генерує вихід, потім інший споживає його, а інфраструктура обробляє цей передачу, копіюючи великі блоки даних між GPU, через сервери або через серіалізацію на рівні фреймворка.

Ці копії несуть реальну вартість. Вони споживають пропускну здатність, додають затримку та залишають дорогі обчислювальні ресурси, чекаючи на закінчення передачі. Вони також спонукають операторів купувати більше дорогої пам’яті, ніж це справді потрібно для робочого процесу.

Перед інвестуванням у більше прискорювачів команди повинні визначити, де в системі дані переміщуються більше ніж необхідно. Переміщення GPU до GPU, копіювання сервера до сервера та повторне переміщення проміжних станів через агентські конвеєри – хороші місця для початку. У багатьох середовищах скорочення зайвого переміщення забезпечує більше корисної продуктивності, ніж ще один сервер.

3. Будуйте рівні пам’яті навколо поведінки робочого процесу

Інфраструктура штучного інтелекту працює краще, коли оператори перестають розглядати пам’ять як єдине джерело та починають розглядати її як ієрархію з різними ролями.

Найгарячіші дані повинні залишатися найближче до прискорювача. Це включає робочі набори, які вимагають найнижчої затримки та найвищої пропускної здатності. Інші активні буфери та часто використовувані стани можуть знаходитися в ОЗУ. Більші структури, які потребують масштабу більше, ніж абсолютної швидкості, можуть переміститися в пул пам’яті. Холодніші дані та менш активні моделі належать далі вниз по стеку.

Цьому підходу потрібно, щоб команди зрозуміли, які дані змінюються постійно, які дані багато процесів спільно використовують та які дані можуть терпіти помірну затримку без впливу на якість обслуговування. Занадто багато розгортань все ще за замовчуванням відштовхуються від того, що все 推ить у найшвидший рівень HBM, оскільки це відчувається безпечніше. Цей підхід підвищує вартість та зазвичай залишає ефективність на столі.

Стратегія рівня пам’яті дає операторам більше контролю над продуктивністю та економікою. У продукційній інфраструктурі штучного інтелекту цей баланс стає основним вимогами до проектування.

4. Розглядайте спільну пам’ять як частину архітектури для агентського штучного інтелекту

Багатозадачний штучний інтелект підвищує вартість фрагментованого дизайну пам’яті.

У багатьох агентських системах один агент генерує вихід, який інший агент використовує відразу. Третій сервіс може ранжувати цей вихід, додати контекст або маршрутизувати його в іншу модель. Якщо кожен етап створює свіжу копію того самого стану, трафік зростає швидко. Коли контекст зростає, розмір скопійованого даних зростає з ним. Система витрачає більше часу на переміщення інформації, ніж на обробку даних.

Саме тут спільна пам’ять стає дедалі важливішою, особливо для спільного кешу KV та інших станів, до яких потрібно доступ多 агентів або сервісів. Спільна пам’ять може зменшити зайві копії, знизити мережевий трафік та покращити використання по всьому застосунку. Вона також може допомогти агентським системам масштабуватися ефективно, оскільки різні вузли або агенти можуть повторно використовувати кеш KV з спільною пам’яттю.

Для гіперскейлерів це вже не є випадком краю. Коли агентський штучний інтелект дозріває, спільна пам’ять стає практичною вимогою для ефективного розгортання.

5. Прийміть CXL для продукційної інфраструктури

За останні кілька років галузь розглядала CXL як перспективний стандарт, який потребував більшого часу для дозрівання, оскільки CXL швидко рухався від версії 1 до 2. Тепер, коли апаратне забезпечення 3.x доступне скоро, CXL досягає точки, коли він стає функціонально повним, зворотньо сумісним та готовим до прийняття продукційних навантажень.

CXL досяг рівня зрілості, коли гіперскейлери та оператори центрів даних повинні розглядати його як практичну опцію для продукційного розширення пам’яті, пулізації та архітектур спільної пам’яті. Тепер він належить до серйозного планування інфраструктури, особливо для середовищ, які потребують більш гнучкої масштабування пам’яті та кращої економіки навколо висновку.

Це не означає, що кожне навантаження повинно перейти на пам’ять, засновану на CXL. Місцева пам’ять залишається важливою для найгарячішого та найбільш чутливого до затримки даних. Але оператори вже не повинні чекати якоїсь майбутньої версії стандарту, перш ніж вони виступлять. Більш корисне питання – де CXL може вирішити реальні продукційні проблеми сьогодні.

Найясніші можливості лежать у розширенні пам’яті, пулізації пам’яті та проектуванні спільної пам’яті, яке зменшує зайві копії по робочим процесам штучного інтелекту. ці випадки використання відповідають безпосередньо поточним тискам: зростаючим вимогам до кешу KV, зростаючому обміну даними між агентами та необхідності покращення використання GPU без підвищення загальної вартості володіння.

Оператори все ще повинні інженерно ретельно. Затримка, передбачуваність та підтримка програмного забезпечення все ще мають значення. Політики управління пам’яттю повинні розміщувати дані в правильному рівні в правильний час. Але ці питання реалізації, а не підстави для відкладення планування.

У XCENA ми розглядаємо пам’ять, переміщення даних та використання як центральні обмеження в продукційній інфраструктурі штучного інтелекту. Саме тому ми зосереджуємося на обчислювальній пам’яті, заснованій на CXL, та архітектурах, які зменшують зайве копіювання, підтримують спільний доступ та допомагають операторам краще використовувати дорогі обчислювальні ресурси.

Галузь витратила роки на розгляд пам’яті як допоміжного ресурсу за справжнім двигуном прогресу штучного інтелекту. Цей погляд вже не підходить продукційній реальності розгортання. Пам’ять тепер формує використання, ефективність та вартість на кожному рівні стеку. Оператори, які визнають цю зміну раніше, матимуть перевагу, яка вимірюється не лише продуктивністю, але й тим, як ефективно вони масштабують штучний інтелект у реальному світі.