Філіп Берр, голова продукту в Lumai – Серія інтерв’ю

Філіп Берр є головою продукту в Lumai, з понад 25-річним досвідом у сфері глобального менеджменту продукту, виходу на ринок та лідерських ролей у провідних компаніях з виробництва напівпровідників та технологій, а також доведеною здатністю створювати та масштабувати продукти та послуги.

Lumai – це британська компанія з глибокими технологіями, яка розробляє процесори оптичного обчислення для прискорення завдань штучного інтелекту. Виконуючи множення матриць та векторів за допомогою світлових променів у трьох вимірах, їхня технологія пропонує до 50-кратної продуктивності та на 90% меншу споживання енергії порівняно з традиційними прискорювачами на основі кремнію. Це робить її особливо підходящою для завдань інференсу штучного інтелекту, включаючи великі мовні моделі, а також суттєво знижує енергетичні витрати та екологічний вплив.

Як виникла ідея створення Lumai, і як вона еволюціонувала від університетських досліджень в Оксфорді до комерційного проекту?

Перший імпульс був дан, коли один із засновників Lumai, доктор Сяньсінь Гуо, отримав стипендію дослідження 1851 року в Оксфордському університеті. Інтерв’юери зрозуміли потенціал оптичних обчислень і запитали, чи буде Сяньсінь розглядати патенти та створення компанії, якщо його дослідження буде успішним. Це запустило творчий процес у Сяньсінья, і коли він, разом з одним із інших співзасновників Lumai, доктором Джеймсом Спаллом, довів, що використання світла для виконання обчислень у штучному інтелекті може як суттєво підвищити продуктивність штучного інтелекту, так і зменшити енергоспоживання, сцена була готова. Вони знали, що існуюче кремнієве обладнання штучного інтелекту (і зараз) бореться за підвищення продуктивності без суттєвого збільшення енергоспоживання та вартості, і якщо вони зможуть вирішити цю проблему за допомогою оптичних обчислень, вони зможуть створити продукт, який клієнти хочуть. Вони представили цю ідею деяким венчурним капіталістам, які підтримали їх у створенні Lumai. Lumai最近 закрила свій другий раунд фінансування, зібравши понад 10 мільйонів доларів та привернувши додаткових інвесторів, які також вважають, що оптичні обчислення можуть продовжувати масштабуватися та задовольняти зростаючий попит на продуктивність штучного інтелекту без збільшення енергоспоживання.

Вас привабила робота в Lumai на цьому етапі, маючи на увазі вашу вражаючу кар’єру в Arm, indie Semiconductor (INDI ) та інших компаніях?

Коротка відповідь – команда та технологія. У Lumai є вражаюча команда фахівців з оптики, машинного навчання та центрів даних, які мають досвід роботи в таких компаніях, як Meta, Intel (INTC ), Altera, Maxeler, Seagate та IBM (разом з моїм досвідом у Arm, indie, Mentor Graphics та Motorola). Я знав, що команда таких видатних людей, яка так зосереджена на вирішенні проблеми зниження вартості інференсу штучного інтелекту, може досягти неймовірних результатів.

Я твердо вірю, що майбутнє штучного інтелекту вимагає нових інноваційних проривів у сфері обчислень. Обіцянка надання 50-кратної продуктивності штучного інтелекту, а також зниження вартості інференсу штучного інтелекту до 1/10 порівняно з сучасними рішеннями, була просто занадто хорошою можливістю, щоб її пропустити.

Які були деякі з перших технічних чи бізнес-проблем, з якими ваша команда зіткнулася при масштабуванні від наукового прориву до компанії, готової до продукту?

Науковий прорив довів, що оптику можна використовувати для швидкого та дуже ефективного множення матриць та векторів. Незважаючи на технічні прориви, найбільшим викликом було переконати людей, що Lumai може успішно вирішити проблему, з якою не змогли впоратися інші стартапи з оптичними обчисленнями. Нам довелося витратити час на пояснення того, що підхід Lumai був зовсім іншим, і що замість використання одного 2D-чипа ми використовували 3D-оптику для досягнення рівнів масштабу та ефективності. Є багато кроків від лабораторних досліджень до технологій, які можна розгорнути у великому масштабі в центрі даних. Ми дуже рано зрозуміли, що ключем до успіху було привернення інженерів, які мають досвід розробки продуктів у великих обсягах та в центрах даних. Іншою областю є програмне забезпечення – воно повинно забезпечувати можливість стандартним框rameworkами та моделям штучного інтелекту користуватися процесором Lumai, а також надавати інструменти та框rameworkи для того, щоб це було якнайбільш безшовним для інженерів штучного інтелекту.

Технологія Lumai використовує 3D-оптичне множення матриць та векторів. Чи можете ви пояснити це простими словами для загальної аудиторії?

Системи штучного інтелекту повинні виконувати багато математичних розрахунків, які називаються множенням матриць та векторів. Ці розрахунки є двигуном, який живить реакції штучного інтелекту. У Lumai ми робимо це за допомогою світла замість електрики. Ось як це працює:

1. Ми кодуємо інформацію у світлові промені
2. Ці світлові промені рухаються у 3D-просторі
3. Світло взаємодіє з лінзами та спеціальними матеріалами
4. Ці взаємодії завершують математичну операцію

Використовуючи всі три виміри простору, ми можемо обробляти більше інформації за допомогою кожного світлового променя. Це робить наш підхід дуже ефективним – зменшуючи енергію, час та вартість виконання систем штучного інтелекту.

Які основні переваги оптичних обчислень над традиційними кремнієвими GPU та навіть інтегрованими фотонними рішеннями?

Оскільки темп вдосконалення кремнієвої технології суттєво сповільнився, кожен крок підвищення продуктивності кремнієвого процесора штучного інтелекту (наприклад, GPU) призводить до суттєвого збільшення енергоспоживання. Кремнієві рішення споживають неймовірну кількість енергії та переслідують зменшення доходів, що робить їх надзвичайно складними та дорогими. Перевага використання оптики полягає в тому, що після входу в оптичну область майже не споживається енергія. Енергія використовується для входу в оптичну область, але, наприклад, у процесорі Lumai ми можемо досягти понад 1 000 обчислювальних операцій за кожен світловий промінь кожен цикл, що робить його дуже ефективним. Така масштабованість не може бути досягнута за допомогою інтегрованих фотонних рішень через фізичні обмеження розміру та шумів сигналу, а кількість обчислювальних операцій кремнієво-фотонного рішення становить лише 1/8 від того, що може досягти Lumai сьогодні.

Як процесор Lumai досягає майже нульової затримки інференсу, і чому це така критична фактор для сучасних завдань штучного інтелекту?

Хоча ми не стверджуємо, що процесор Lumai пропонує нульову затримку, він виконує дуже велику (1024 x 1024) матричну векторну операцію за один цикл. Кремнієві рішення зазвичай ділять матрицю на менші матриці, які обробляються крок за кроком, а потім результати повинні бути об’єднані. Це займає час і призводить до збільшення пам’яті та енергоспоживання. Зменшення часу, енергії та вартості обробки штучного інтелекту є критичним для того, щоб дозволити більшій кількості підприємств користуватися штучним інтелектом, а також для забезпечення просунутого штучного інтелекту у найбільш сталий спосіб.

Чи можете ви описати, як ваш форм-фактор, сумісний з PCIe, інтегрується з існуючою інфраструктурою центрів даних?

Процесор Lumai використовує картки форм-фактора PCIe поряд зі стандартним CPU всередині стандартної 4U полиці. Ми працюємо з рядом постачальників обладнання для центрів даних, щоб процесор Lumai інтегрувався з їхнім обладнанням. Ми використовуємо стандартні мережеві інтерфейси, стандартне програмне забезпечення тощо, так що зовні процесор Lumai виглядатиме як будь-який інший процесор центру даних.
Використання енергії в центрах даних є зростаючою глобальною проблемою. Як Lumai позиціонує себе як сталий рішення для обчислень штучного інтелекту?

Споживання енергії в центрах даних зростає за стрибкоподібною схемою. За даними звіту Міністерства енергетики США, споживання енергії в центрах даних у США має потрійнутися до 2028 року, споживаючи до 12% енергії країни. Деякі оператори центрів даних розглядають можливість встановлення ядерної енергетики для забезпечення необхідної енергії. Індустрія повинна шукати інші підходи до штучного інтелекту, і ми вважаємо, що оптика є відповіддю на цю енергетичну кризу.

Чи можете ви пояснити, як архітектура Lumai уникнула瓶頸 масштабування поточних кремнієвих та фотонних підходів?

Продуктивність першого процесора Lumai є лише початком того, що можна досягти. Ми очікуємо, що наше рішення продовжить забезпечувати величезні стрибки у продуктивності: збільшуючи оптичні тактові частоти та ширину векторів, все без відповідного збільшення спожитої енергії. Жодне інше рішення не може досягти цього. Стандартні цифрові кремнієві підходи продовжуватимуть споживати все більше енергії та коштувати при кожному підвищенні продуктивності. Кремнієво-фотонні рішення не можуть досягти необхідної ширини векторів, і тому компанії, які розглядали інтегровані фотоніку для центрів даних, перейшли до вирішення інших частин центрів даних – наприклад, оптичних інтерконектів чи оптичних комутаторів.

Яку роль ви бачите для оптичних обчислень у майбутньому штучного інтелекту – і більш широко, у сфері обчислень в цілому?

Оптика як ціле буде відігравати величезну роль у центрах даних у майбутньому – від оптичних інтерконектів, оптичних мереж, оптичних комутаторів та, звичайно ж, оптичних процесорів штучного інтелекту. Попит, який штучний інтелект ставить до центрів даних, є ключовим драйвером цього переходу до оптики. Оптичні інтерконекти дозволять швидші з’єднання між процесорами штучного інтелекту, що є необхідним для великих моделей штучного інтелекту. Оптичні комутатори забезпечать більш ефективну мережу, а оптичні обчислення забезпечать швидші, більш енергоефективні та низьковитратні завдання штучного інтелекту. Колективно вони допоможуть забезпечити ще більш просунуті завдання штучного інтелекту, подолавши виклики сповільнення масштабування кремнію на стороні обчислень та обмежень швидкості міді на стороні інтерконекта.

Дякуємо за велике інтерв’ю. Читачам, які бажають дізнатися більше, рекомендуємо відвідати Lumai.