ARIA обирає оптичні сервери Lumai для тестування інференсу ШІ на рівні стійки

Lumai випробовує своє оптичне обладнання для ШІ в нових умовах — у Лабораторії масштабування інференсу, яку підтримує британське Агентство перспективних досліджень та винаходів (Advanced Research and Invention Agency, або ARIA). Лабораторія планує розгорнути сервери інференсу Lumai Iris як першу платформу для оптичних обчислень, щоб дослідники могли тестувати цю архітектуру на рівні стійки в комерційному центрі обробки даних.

Лабораторією керує CommonAI CIC. Вона покликана подолати складний бар’єр, який постає перед новим обладнанням для ШІ: продемонструвати роботу нового процесора — це одне, а забезпечити його роботу як складової інтегрованої системи з реальними моделями та звичайними вимогами до живлення, охолодження й стійок — зовсім інше.

Це оголошення розвиває тему квітневого запуску Iris Nova. Наступний крок — випробування системи з кількох вузлів на тестовому майданчику за державної підтримки, а не випуск завершеного незалежного бенчмарку, який підтверджував би заяви Lumai про високу енергоефективність.

Виконання матричних обчислень за допомогою світла

Заснована 2021 року компанія Lumai, що виникла як спін-аут Оксфордського університету, розробляє гібридну оптико-цифрову архітектуру. Її оптичний обчислювальний модуль призначений для інтенсивних математичних операцій, що використовуються під час інференсу ШІ, тоді як електронні компоненти й далі виконують інші системні функції.

У технічному описі компанії інформацію кодують у світлові пучки й обробляють оптичними компонентами у тривимірному просторі. Мета — виконувати багато математичних операцій паралельно завдяки поширенню світла, а не здійснювати кожне обчислення перемиканням транзисторів.

Це не означає, що весь сервер є пасивним або не споживає електроенергії. Повна система й надалі потребує джерел світла, перетворення даних, пам’яті, цифрових обчислень і керування. Важливе інженерне питання полягає в тому, яка частина енергоефективності оптичного модуля зберігається з урахуванням цих супутніх витрат, коли на сервері справді працює корисна модель.

Lumai описує широкий інтерфейс даних, покликаний розподіляти накладні витрати на перетворення даних між великими робочими навантаженнями, трирівневу структуру пам’яті для кешу ключів і значень моделі та квантування з урахуванням апаратного забезпечення. Це практичні складові архітектури: переміщення даних, збереження достатньої точності чисел і безперервне забезпечення прискорювача роботою — усе це впливає на продуктивність поза лабораторними демонстраціями.

Чому Lumai зосереджується на етапі попередньої обробки

Інференс великих мовних моделей складається з двох окремих етапів. На етапі попередньої обробки система опрацьовує вхідні дані й формує внутрішній стан, необхідний для генерування відповіді. На етапі декодування вона крок за кроком створює вихідні токени, знову й знову звертаючись до ваг моделі та кешованого контексту.

На етапі попередньої обробки зазвичай переважають масштабні матричні операції, тоді як декодування може обмежувати пропускна здатність пам’яті, особливо за невеликих розмірів пакетів. Баланс змінюється залежно від розміру моделі, довжини запиту, пакетування та конфігурації обслуговування запитів. Lumai спеціалізується на етапі з інтенсивними обчисленнями, а не намагається оптимізувати весь конвеєр за допомогою одного типу процесора.

У документації продукту Iris оптичний прискорювач розглядається як складова гетерогенних обчислювальних систем, зокрема як процесор для попередньої обробки в парі з обладнанням, оптимізованим для декодування. За словами Lumai, Iris Nova підтримує моделі Llama з 8 мільярдами та 70 мільярдами параметрів і доступний для оцінювання в центрах обробки даних. Сімейство продуктів розроблено для стандартної інфраструктури серверних стійок і повітряного охолодження.

«Саме під час роботи багатовузлової системи в комерційному центрі обробки даних стає зрозуміло, чи готові нові обчислювальні архітектури до реального розгортання», — сказав Сяньсінь Гуо, співзасновник і генеральний директор Lumai. У проєкті ARIA це питання інтеграції стає центральним на наступному етапі.

Тестовий майданчик для комплексних систем

ARIA — британська державна агенція, що фінансує дослідження та розробки й підтримує перспективні технології, здатні принести суспільну користь. Її програма Scaling Compute досліджує альтернативи усталеним підходам до обчислень, зокрема нові обчислювальні примітиви, мережеві технології та принципи побудови систем.

Лабораторія масштабування інференсу отримала від ARIA 50 мільйонів фунтів стерлінгів. ARIA описує її як серію структурованих пілотних проєктів на рівні стійок, кожен із яких передбачає інтеграцію неперевіреної технології в систему, готову до розгортання й використання кінцевими користувачами для запуску моделей. Мета — порівнювати продуктивність цілісної системи з комерційними альтернативами та швидко вдосконалювати її; нову стійку планують розгортати кожні шість місяців.

Організація CommonAI — неприбуткова членська організація з Кембриджа, яка реалізує проєкт лабораторії та об’єднує компанії, державні установи й науковців для спільної інженерної роботи. В описі програми йдеться про понад п’ять систем на рівні стійок, а також наголошується на важливості незалежної перевірки, яка допоможе новим апаратним рішенням продемонструвати реальні робочі характеристики.

Така структура важлива, адже прискорювач може добре виконувати окрему операцію, але давати значно меншу перевагу, коли врахувати переміщення даних, планування завдань, програмну підтримку та решту конвеєра обслуговування запитів. Спільне тестове середовище може допомогти виявити як переваги, так і вузькі місця.

Що показують і чого не показують заяви про енергоефективність

За словами Lumai, ця архітектура потенційно здатна знизити енергоспоживання центрів обробки даних до 90% і скоротити сукупну вартість володіння приблизно до однієї десятої від вартості традиційних архітектур на GPU. На сайті компанії описано дорожню карту, що передбачає підвищення продуктивності у 50 разів. У пресрелізі окремо зазначено, що поєднання оптичного попереднього заповнення з декодуванням на кремнієвій основі забезпечує щонайменше у 16 разів вищу енергоефективність на один цикл інференсу.

Ці показники стосуються різних порівнянь, тому їх не слід вважати взаємозамінними або сприймати як результати, уже незалежно перевірені ARIA. В оголошенні не наведено спільної конфігурації тестування, порівняння якості моделей або оприлюдненого набору результатів на рівні стійки, які підтвердили б ці переваги в комерційних робочих навантаженнях.

Отже, ключовою подією є оцінювання системи лабораторією. Корисні вимірювання охоплювали б енерговитрати на виконаний запит, час до появи першого токена, стабільну пропускну здатність під час генерації, точність моделі та вартість експлуатації системи в цілому. Для змістовного порівняння потрібні однакові модель, довжина контексту, припущення щодо пакетування запитів і вимоги до обслуговування.

Для Великої Британії, яка прагне розширити власні потужності ШІ в умовах обмежених енергетичних ресурсів, успішна оптична система могла б стати ще одним обчислювальним рішенням. Розгортання системи Lumai — крок до перевірки такої можливості в комерційних умовах. Чи дасть її перевага змогу знизити вартість обслуговування запитів у масштабі, залежатиме від результатів оцінювання всієї системи.