Людovic Ларзуль, засновник і генеральний директор Mipsology – Серія інтерв’ю

Людovic Ларзуль – засновник і генеральний директор Mipsology, революційної стартап-компанії, що спеціалізується на розробці прискорювачів для глибокого навчання. Вони створили технологію, яка прискорює обчислення нейронних мереж та приховує апаратне забезпечення від користувачів AI. Mipsology’s Zebra – це перший комерційний прискорювач, який використовує цю технологію для забезпечення високої продуктивності та зручності використання.

Що спочатку вас зацікавило в галузі AI і мікрочипів?

Я працював над розробкою спеціального типу суперкомп’ютера протягом близько 20 років у своїй попередній компанії EVE, перш ніж вона була придбана компанією Synopsys у 2012 році. Ці комп’ютери, також відомі як емулятори ASIC, використовуються багатьма компаніями для розробки ASIC по всьому світу. Мені дуже сподобалася складність і різноманітність цієї роботи. Для успіху потрібно (а) розуміти електроніку, програмне забезпечення, складні алгоритми, як люди проектують чіпи та як зробити їх працездатними, архітектуру чіпів, потужність та багато іншого глибокого технологічного знання; (б) правильно передбачити потреби клієнтів за кілька років вперед; (в) постійно інновувати; і (г) як стартап, перемогти конкурентів з набагато меншими ресурсами. Після 20 років успіху я шукав нового виклику. Це був час, коли AI знову увійшла в центр уваги. AlexNet зробила великий крок вперед у розумінні зображень (і якщо дивитися назад, це було ще в дитинстві). Глибоке навчання було зовсім новим, але перспективним (Хто пам’ятає, коли це займало дні, щоб отримати результат на простій мережі?). Мені це сподобалося, але я визнав, що є багато викликів.

Яка була ідея створення Mipsology?

Я не знаю, чи можна назвати це “ідеєю”. Спочатку це було більше подібно до: “Чи можемо ми зробити щось інше і краще?” Це почалося з припущень про те, чого хочуть люди, які займаються AI, і наступні кілька років були проведені у пошуках все кращих рішень на основі цього. Я думаю, що більше, ніж ідея, я б сказав, що люди, з якими я працюю, хочуть бути найкращими у тому, що вони створюють, у позитивному ставленні до змагання. Це робить сильну команду, яка може вирішувати проблеми, які інші не можуть вирішити належним чином.

Mipsology використовує плати FPGA замість GPU. Чи можете ви описати, що таке FPGA?

FPGA – це електронні компоненти, які можна програмувати на рівні апаратного забезпечення. Ви можете уявити це як набір Лего – кілька мільйонів з них. Кожна маленька блок виконує просту операцію, таку як зберігання значення, або трохи більш складні операції, такі як додавання. Групуючи всі ці блоки, можна створити певну поведінку після виготовлення чіпа. Це протилежність GPU і майже всіх інших чіпів, які проектуються для конкретної функції і не можуть бути змінені пізніше.

Деякі, такі як CPU і GPU, можна програмувати, але вони не так паралельні, як FPGA. В будь-який момент часу FPGA виконує кілька мільйонів простих операцій. І це може відбуватися шість-сім сотень мільйонів разів на секунду. Через те, що вони програмовані, те, що вони роблять, можна змінити в будь-який момент, щоб адаптуватися до різних проблем, тому надзвичайна обчислювальна потужність може бути ефективною. FPGA вже майже всюди, включаючи базові станції мобільних телефонів, мережі, супутники, автомобілі тощо. Люди не знають про них добре, хоча вони не так видні, як CPU, наприклад, той, який у вашому ноутбуці.

Що робить ці плати FPGA кращими, ніж більш популярні GPU?

FPGA кращі у багатьох аспектах. Давайте просто розглянемо кілька важливих.

GPU розроблені для відображення зображень, в основному для ігор. їх виявилося, що вони добре підходять для деяких обчислень в AI через подібність операцій. Але вони залишаються в основному призначеними для ігор, що означає, що вони приходять з обмеженнями, які не пасують добре з нейронними мережами.

Їх програмування також обмежено інструкціями, які були визначені два-три роки перед тим, як вони стали доступні. Проблема полягає в тому, що нейронні мережі розвиваються швидше, ніж проектування ASIC, і GPU є ASIC. Тому це подібно до передбачення майбутнього: це не просто бути правим. Ви можете побачити тенденції, але деталі мають великий вплив на результати, наприклад, продуктивність. Натомість, оскільки FPGA програмовані на рівні апаратного забезпечення, ми можемо легше слідувати прогресу AI. Це дозволяє нам доставляти кращий продукт з вищою продуктивністю і задовольняти потреби клієнтів без необхідності чекати наступного покоління силікону.

Крім того, GPU розроблені як споживчі продукти. Їх термін служби намерено короткий, оскільки компанії, які проектують GPU, хочуть продавати нові через кілька років гравцям. Це не працює добре в електронних системах, які потребують надійності протягом багатьох років. FPGA розроблені для того, щоб бути надійними і використовуватися 24/7 протягом багатьох років.

Інші добре відомі переваги FPGA включають:

• Є багато варіантів, які можуть пасувати в конкретних областях, таких як мережеві або відеообробні застосування
• Вони працюють так само добре в центрах даних, як і на краю або вбудованих системах
• Вони не потребують спеціального охолодження (багато менше водяного охолодження, як великі GPU)

Одна велика недолік FPGA полягає в тому, що вони складні у програмуванні. Це вимагає спеціальних знань. Хоча компанії, які продають FPGA, доклали великих зусиль для подолання розриву складності, це все ще не так просто, як CPU. Насправді, GPU також не прості. Але програмне забезпечення, яке приховує їх програмування для AI, робить це знання зайвим. Це проблема, яку Mipsology перша вирішує: усунення необхідності програмування або володіння будь-якими знаннями про FPGA для обчислень AI.

Чи є будь-які поточні обмеження плат FPGA?

Деякі плати FPGA подібні до деяких плат GPU. їх можна підключити до слотів PCIe комп’ютера. Однією з добре відомих переваг, крім термінів служби, про які я згадував раніше, є те, що споживання енергії зазвичай нижче, ніж у GPU. Інша, менш відома перевага полягає в тому, що існує більший вибір плат FPGA, ніж плат GPU. Є більше FPGA для різних ринків, що означає, що існує більше можливостей для обчислень нейронних мереж всюди за нижчою ціною. GPU обмежені; вони пасують у центри даних, але не в багато чого іншого.

Mipsology’s Zebra – це перший комерційний прискорювач, який використовує плати FPGA для забезпечення високої продуктивності та зручності використання. Чи можете ви описати, що таке Zebra?

Для тих, хто знайомий з AI і GPU, найлегше описати Zebra як те, що воно таке саме для FPGA, як Cuda/CuDNN для GPU. Це програмний стек, який повністю приховує FPGA за звичайними фреймворками, такими як PyTorch або TensorFlow. Ми в основному націлені на висновок для зображень і відео. Zebra починається з нейронної мережі, яку зазвичай тренують у浮點ному форматі, і без будь-яких ручних зусиль користувача або пропріетарних інструментів, робить її працювати на будь-якій платі на основі FPGA. Це так просто, як: підключіть плату FPGA, завантажте драйвер, джерело середовища Zebra і запустіть ту саму програму висновку, яку запускаєте на CPU або GPU. У нас є自己的 квантова обробка, яка зберігає точність, і продуктивність доступна з коробки. Не потрібно жодного пропріетарного інструменту, який користувач повинен вивчити, і це не займає годин інженерного часу, щоб отримати високу пропускну здатність або низьку затримку. Це означає просто швидкі переходи, які також зменшують вартість і час виходу на ринок.

Які різні типи застосунків, для яких Zebra найкраще підходить?

Zebra – це дуже універсальний двигун прискорення, тому він може прискорювати обчислення для будь-якого застосунку, який потребує обчислень нейронних мереж, з основним фокусом на зображеннях і відео, оскільки обчислювальні потреби більші для цього типу даних. У нас є запити з дуже різних ринків, але вони всі подібні, коли йдеться про обчислення нейронних мереж. Вони всі зазвичай потребують класифікації, сегментації, супер-розрішення, позиціонування тіла тощо.

Оскільки Zebra працює на основі FPGA, будь-які плати можна використовувати. Деякі мають високу пропускну здатність і зазвичай використовуються в центрах даних. Інші більш підходять для використання на краю або вбудованих системах. Наша бачення полягає в тому, що, якщо FPGA можуть пасувати, користувачі можуть використовувати Zebra для прискорення обчислень нейронних мереж відразу. І якщо GPU або CPU використовуються, Zebra може замінити їх і зменшити витрати на інфраструктуру AI. Більшість компаній, з якими ми розмовляємо, мають подібні проблеми: вони могли б розгорнути більше застосунків на основі AI, але вартість обмежує їх.

Для компанії, яка бажає використовувати Zebra, який процес?

Просто повідомте нам на support@mipsology.com, і ми допоможемо вам почати.

Чи є щось інше, що ви хотіли б поділитися про Mipsology?

Ми дуже заохочені відгуками, які ми отримуємо від спільноти AI щодо нашого рішення Zebra. Зокрема, нам кажуть, що це, ймовірно, найкращий прискорювач на ринку. Після кількох місяців ми продовжимо додавати до зростаючої екосистеми зацікавлених партнерів, включаючи Xilinx, Dell, Western Digital (WDC ), Avnet, TUL і Advantech, щоб назвати кілька.

Мені дуже сподобалося дізнатися про цю революційну технологію. Читачам, які бажають дізнатися більше, слід відвідати Mipsology.

https://www.youtube.com/watch?v=sIBEg_eGU8g