Фінансування
Людovic Larzul, засновник і CEO компанії Mipsology – Серія інтерв’ю
Людovic Larzul є засновником і CEO компанії Mipsology, революційної стартап-компанії, яка займається розробкою передових прискорювачів для інференції глибокого навчання. Вони створили технологію, яка прискорює обчислення інференційних нейронних мереж і приховує апаратний прискорювач від користувачів штучного інтелекту. Zebra компанії Mipsology є першим комерційним прискорювачем, який використовує таку технологію для забезпечення високої продуктивності та легкості використання.
Що спочатку зацікавило вас в штучному інтелекті та мікрочипах?
Я працював над розробкою спеціального типу суперкомп’ютера близько 20 років у своїй попередній компанії EVE, перш ніж вона була придбана компанією Synopsys у 2012 році. Ці комп’ютери, також відомі як емулятори ASIC, використовуються багатьма компаніями, які розробляють ASIC по всьому світу. Мені дуже подобалася складність і різноманітність цієї роботи. Для успіху потрібно (а) зрозуміти електроніку, програмне забезпечення, складні алгоритми, як люди проектують чіпи та як гарантувати, що вони працюють добре, архітектуру чіпів, потужність та багато іншого глибокого технологічного знання, (б) правильно передбачити потреби клієнтів за кілька років вперед, (в) постійно інновувати та (г) як стартап, перемогти конкурентів з набагато меншими ресурсами. Після 20 років успіху я шукав новий виклик. Це був час, коли штучний інтелект знову став популярним. AlexNet зробив стрибок вперед у розумінні зображень (і якщо дивитися назад, це було ще в дитинстві). Глибоке навчання було зовсім новим, але перспективним (Хто пам’ятає, коли потрібно було кілька днів, щоб отримати результат на простій мережі?). Мені це сподобалося, але я визнав, що є багато викликів.
Яка була ідея створення компанії Mipsology?
Я не знаю, чи варто використовувати слово “ідея”. Спочатку це було більше схоже на: “Чи можемо ми зробити щось краще та інше?” Це почалося з припущень про те, що люди, які займаються штучним інтелектом, хочуть і роблять, а наступні кілька років були проведені у пошуках все кращих рішень на основі цього. Я думаю, що більше, ніж ідея, я би сказав, що люди, з якими я працюю, хочуть бути найкращими у тому, що вони створюють, у позитивному ставленні до змагання. Це робить сильну команду, яка може вирішувати проблеми, які інші не можуть вирішити належним чином.
Компанія Mipsology використовує плати FPGA замість GPU. Чи можете ви описати, що таке FPGA?
FPGA – це електронні компоненти, які можна програмувати на рівні апаратури. Ви можете уявити це як набір Лего – кілька мільйонів з них. Кожен маленький блок виконує просту операцію, наприклад, зберігає значення, або трохи більш складні операції, наприклад, додавання. Групуючи всі ці блоки, можна створити певну поведінку після виробництва чіпу. Це протилежність GPU та几乎 усіх інших чіпів, які проектуються для конкретної функції та не можуть бути змінені пізніше.
Деякі, наприклад, CPU та GPU, можна програмувати, але вони не так паралельні, як FPGA. В будь-який момент часу FPGA виконує кілька мільйонів простих операцій. І це може відбуватися шість-сім разів на секунду. Через те, що вони програмовані, те, що вони роблять, можна змінити в будь-який момент, щоб адаптуватися до різних проблем, тому надзвичайна обчислювальна потужність може бути ефективною. FPGA вже майже всюди, включаючи базові станції мобільних телефонів, мережі, супутники, автомобілі тощо. Люди не знають їх добре, хоча вони не так видні, як CPU, наприклад, той, який у вашому ноутбуці.
Що робить ці плати FPGA кращими, ніж популярніші GPU?
FPGA кращі у багатьох аспектах. Давайте розглянемо лише кілька важливих.
GPU проектуються для відтворення зображень, в основному для ігор. Їх виявилося, що вони добре підходять для деяких обчислень у штучному інтелекті через подібність операцій. Але вони залишаються в першу чергу присвячені іграм, що означає, що вони приходять з обмеженнями, які не підходять добре для нейронних мереж.
Їх програмування також обмежене інструкціями, які були визначені два-три роки перед тим, як вони стали доступні. Проблема полягає в тому, що нейронні мережі розвиваються швидше, ніж проектування ASIC, а GPU є ASIC. Тому це схоже на передбачення майбутнього: це не просто бути правим. Ви можете бачити тенденції, але деталі є тим, що справді впливає на результати, наприклад, продуктивність. Натомість, оскільки FPGA програмуються на рівні апаратури, ми можемо легше слідувати прогресу штучного інтелекту. Це дозволяє нам доставляти кращий продукт з вищою продуктивністю та задовольняти потреби клієнтів без того, щоб чекати наступного покоління кремнію.
Крім того, GPU проектуються як споживчі продукти. Їх термін служби намерено короткий, оскільки компанії, які проектують GPU, хочуть продавати нові через кілька років геймерам. Це не працює добре в електронних системах, які повинні бути надійними протягом багатьох років. FPGA проектуються для того, щоб бути надійними та використовуватися 24/7 протягом багатьох років.
Інші добре відомі переваги FPGA включають:
- Є багато варіантів, які можуть підходити для конкретних областей, таких як мережева або відеообробка
- Вони працюють так само добре в центрах даних, як і на краю або вбудованих
- Вони не потребують спеціального охолодження (значно менше водяного охолодження, як у великих GPU)
Одна з основних недоліків полягає в тому, що FPGA складно програмувати. Це вимагає спеціальних знань. Хоча компанії, які продають FPGA, доклали великих зусиль для подолання розриву складності, це все ще не так просто, як CPU. Насправді, GPU також не прості. Але програмне забезпечення, яке приховує їх програмування для штучного інтелекту, робить це знання непотрібним. Це проблема, яку компанія Mipsology є першою, хто вирішує: усунення потреби в програмуванні або знанні FPGA для обчислень штучного інтелекту.
Чи є будь-які поточні обмеження плат FPGA?
Деякі плати FPGA подібні до деяких плат GPU. Їх можна підключити до слотів PCIe комп’ютера. Однією з добре відомих переваг, окрім термінів служби, яких я згадував раніше, є те, що споживання енергії зазвичай нижче, ніж у GPU. Інша, менш відома перевага полягає в тому, що існує більший вибір плат FPGA, ніж плат GPU. Є більше FPGA для різних ринків, що означає більше плат, які можуть підходити для різних областей ринку. Це просто означає, що є більше можливостей для обчислень нейронних мереж всюди за нижчу вартість. GPU обмежені; вони підходять для центрів даних, але не для чогось іншого.
Zebra компанії Mipsology є першим комерційним прискорювачем, який використовує плати FPGA для забезпечення високої продуктивності та легкості використання. Чи можете ви описати, що таке Zebra?
Для тих, хто знайомий зі штучним інтелектом та GPU, найлегший опис полягає в тому, що Zebra – це для FPGA те, що Cuda/CuDNN – для GPU. Це стек програмного забезпечення, який повністю приховує FPGA за звичайними фреймворками, такими як PyTorch або TensorFlow. Ми в першу чергу націлені на інференс для зображень та відео. Zebra починається з нейронної мережі, яка була навчена зазвичай у форматі з плаваючою комою, і без будь-яких ручних зусиль або пропріетарних інструментів, робить її працювати на будь-якій платі на основі FPGA. Це так просто, як: підключіть плату FPGA, завантажте драйвер, джерело середовища Zebra та запустіть ту ж саму програму інференції, яку запускаєте на CPU або GPU. У нас є власна квантзація, яка зберігає точність, а продуктивність доступна з коробки. Не потрібно жодного пропріетарного інструменту, який користувач повинен вивчити, і це не займає годин інженерного часу, щоб отримати високу пропускну здатність або низьку затримку. Це означає просто швидкі переходи, які також знижують вартість та час виходу на ринок.
Які різні типи застосунків Zebra найкраще підходить?
Zebra – це дуже універсальний двигун прискорення, тому він може прискорити обчислення для будь-якого застосунку, який потребує обчислень нейронних мереж, з основним фокусом на зображеннях та відео, оскільки обчислювальні потреби більші для цього типу даних. У нас є запити з дуже різних ринків, але вони всі схожі, коли йдеться про обчислення нейронних мереж. Вони всі зазвичай вимагають класифікації, сегментації, супер-розрішення, позиціонування тіла тощо.
Оскільки Zebra працює на основі FPGA, будь-які плати можна використовувати. Деякі мають високу пропускну здатність та зазвичай використовуються в центрах даних. Інші більш підходять для використання на краю або вбудованих. Наше бачення полягає в тому, що, якщо FPGA може підходити, користувачі можуть використовувати Zebra для прискорення обчислень нейронних мереж одразу. І якщо GPU або CPU використовуються, Zebra може замінити їх та зменшити витрати на інфраструктуру штучного інтелекту. Більшість компаній, з якими ми розмовляємо, мають подібні проблеми: вони могли б розгорнути більше застосунків на основі штучного інтелекту, але вартість обмежує їх.
Для компанії, яка бажає використовувати Zebra, який процес?
Просто повідомте нам на [email protected], і ми допоможемо вам почати.
Чи є щось інше, що ви хотіли б поділитися про Mipsology?
Нас дуже заохочують відгуки, які ми отримуємо від спільноти штучного інтелекту щодо нашого рішення Zebra. Зокрема, нам кажуть, що це, ймовірно, найкращий прискорювач на ринку. Після лише кількох місяців ми продовжимо додавати до зростаючої екосистеми зацікавлених партнерів, включаючи Xilinx, Dell, Western Digital, Avnet, TUL та Advantech, щоб назвати кілька.
Мені дуже сподобалося дізнатися про цю революційну технологію. Читачі, які бажають дізнатися більше, повинні відвідати Mipsology.
