Enfabrica представляє Ethernet-основану тканину пам’яті, яка може революціонізувати висновок AI у масштабі

Enfabrica, стартап з Долини Кремнію, який підтримується Nvidia (NVDA ), представляє революційний продукт, який може суттєво змінити спосіб розгортання та масштабування великомасштабних завдань штучного інтелекту. Нова система Elastic Memory Fabric System (EMFASYS) компанії є першою комерційно доступною Ethernet-основаною тканиною пам’яті, спеціально розробленою для вирішення основної проблеми висновку генеративного штучного інтелекту: доступу до пам’яті.

У час, коли моделі штучного інтелекту стають все більш складними, контекстно-чутливими та тривалими, вимагаючи величезних обсягів пам’яті на користувача, EMFASYS пропонує новий підхід до декуплювання пам’яті від обчислювальних ресурсів, дозволяючи центрам обробки даних суттєво покращити продуктивність, знизити витрати та збільшити використання своїх найбільш дорогих ресурсів: графічних процесорів.

Що таке тканина пам’яті та чому вона важлива?

Традиційно пам’ять у центрах обробки даних була тісно пов’язана з сервером або вузлом, в якому вона розташована. Кожен графічний процесор або центральний процесор має доступ лише до високошвидкісної пам’яті, безпосередньо прикріпленої до нього – зазвичай HBM для графічних процесорів або DRAM для центральних процесорів. Ця архітектура працює добре, коли завдання маленькі та передбачувані. Але генеративний штучний інтелект змінив гру. Больші мови вимагають доступу до великих контекстних вікін, історії користувача та пам’яті چندагентної системи – все це повинно бути оброблено швидко та без затримок. Ці вимоги до пам’яті часто перевищують доступну ємність локальної пам’яті, створюючи瓶ключі, які блокують ядра графічних процесорів та збільшують витрати на інфраструктуру.

Тканина пам’яті вирішує цю проблему, перетворюючи пам’ять у спільний, розподілений ресурс – певного роду мережеву пам’ять, доступну будь-якому графічному процесору або центральному процесору у кластері. Подумайте про це як створення “хмари пам’яті” всередині стійки центру обробки даних. Замість дублювання пам’яті на серверах або перевантаження дорогої HBM, тканина пам’яті дозволяє пам’яті бути агрегованою, дезагрегованою та доступною на вимогу через високошвидкісну мережу. Це дозволяє завданням висновку штучного інтелекту масштабуватися більш ефективно без обмежень фізичними обмеженнями пам’яті окремого вузла.

Підхід Enfabrica: Ethernet та CXL, разом нарешті

EMFASYS досягає цієї архітектури тканини пам’яті на рівні стійки, поєднуючи дві потужні технології: RDMA над Ethernet та Compute Express Link (CXL). Перша забезпечує наднизьку затримку та високий пропускний канал передачі даних через стандартні мережі Ethernet. Друга дозволяє пам’яті бути від’єднаною від центральних процесорів та графічних процесорів та пулізованою у спільні ресурси, доступні через високошвидкісні зв’язки CXL.

У центрі EMFASYS знаходиться чіп ACF-S компанії Enfabrica, який має пропускну здатність 3,2 терабіт на секунду (Тб/с) та є “СуперNIC”, який поєднує мережевий контроль та контроль пам’яті у одному пристрої. Цей чіп дозволяє серверам взаємодіяти з величезними пулами комодітної пам’яті DDR5 – до 18 терабайт на вузол – розподілених по стійці. Що найважливіше, він робить це, використовуючи стандартні порти Ethernet, що дозволяє операторам використовувати свою існуючу інфраструктуру центру обробки даних без інвестицій у пропріетарні інтерконекти.

Що робить EMFASYS особливо привабливим, це його здатність динамічно вивантажувати завдання, обмежені пам’яттю, з дорогих графічних процесорів, прикріплених до HBM, до набагато більш доступної пам’яті DRAM, зберігаючи при цьому мікросекундну затримку. Програмний стек за EMFASYS включає інтелектуальні механізми кешування та балансування навантаження, які приховують затримку та оркеструють рух пам’яті способами, які є прозорими для великих мовних моделей, які працюють на системі.

Вплив на індустрію штучного інтелекту

Це не просто хитре апаратне рішення – це філософський зсув у тому, як інфраструктура штучного інтелекту будується та масштабується. Коли генеративний штучний інтелект переходить від новинки до необхідності, з мільярдами запитів користувачів, оброблюваних щодня, вартість обслуговування цих моделей стала недоцільною для багатьох компаній. Графічні процесори часто недооцінюються не через брак обчислень, а через те, що вони простоюють, чекаючи на пам’ять. EMFASYS вирішує цю дисбаланс безпосередньо.

Дозволяючи пулізовану, прикріплену до тканини пам’яті, доступну через Ethernet, Enfabrica пропонує операторам центрів обробки даних масштабований альтернативний варіант постійного придбання графічних процесорів або HBM. Замість цього вони можуть збільшити ємність пам’яті модульно, використовуючи пам’ять DRAM та інтелектуальну мережу, знижуючи загальний відбиток та покращуючи економіку висновку штучного інтелекту.

Вплив виходить за рамки негайних економічних заощаджень. Цей вид деагрегованої архітектури відкриває шлях для моделей пам’яті як послуги, де контекст, історія та стан агента можуть зберігатися поза окремою сесією чи сервером, відкриваючи двері до більш інтелектуальних та персоналізованих систем штучного інтелекту. Це також створює сцену для більш стійких хмар штучного інтелекту, де завдання можуть бути розподілені еластично по стійці або всьому центру обробки даних без жорстких обмежень пам’яті.

Погляд у майбутнє

Система EMFASYS компанії Enfabrica зараз пробується з вибраними клієнтами, і хоча компанія не розкрила, хто ці партнери, Reuters повідомляє, що великі постачальники хмар штучного інтелекту вже тестують цю систему. Це позиціонує Enfabrica не тільки як постачальника компонентів, а й як ключового учасника наступного покоління інфраструктури штучного інтелекту.

Від’єднуючи пам’ять від обчислень та роблячи її доступною по високошвидкісних мережах Ethernet, Enfabrica закладає основу для нової ери архітектури штучного інтелекту – тієї, де висновок може масштабуватися без компромісів, де ресурси більше не блокуються, і де економіка розгортання великих мовних моделей нарешті починає мати сенс.

У світі, який усе більше визначається контекстно-багатими, багатокористувальними системами штучного інтелекту, пам’ять вже не є допоміжним актором – це сцена. І Enfabrica робить ставку на те, що той, хто побудує найкращу сцену, визначить продуктивність штучного інтелекту на роки вперед.