Людовик Ларзул, основатель и генеральный директор Mipsology – Интервью

Людовик Ларзул – основатель и генеральный директор Mipsology, революционной стартап-компании, специализирующейся на ускорении глубокого обучения. Они разработали технологию, позволяющую ускорять вычисления нейронных сетей и скрывать аппаратное ускорение от пользователей ИИ. Zebra от Mipsology – первый коммерческий ускоритель, который включает в себя такую технологию, обеспечивая высокую производительность и простоту использования.

Что первым привлекло вас к искусственному интеллекту и микрочипам?

Я работал над проектированием специального типа суперкомпьютера около 20 лет в своей предыдущей компании EVE, прежде чем она была приобретена Synopsys в 2012 году. Эти компьютеры, также называемые эмуляторами ASIC, используются многими компаниями, проектирующими ASIC по всему миру. Мне очень понравилась сложность и разнообразие этой работы. Чтобы добиться успеха, необходимо (а) понимать электронику, программное обеспечение, сложные алгоритмы, то, как люди проектируют чипы и как обеспечить их правильную работу, архитектуру чипов, энергию и многое другое; (б) правильно предсказать потребности клиентов за несколько лет вперед; (в) постоянно инновировать; и (г) как стартап, победить конкурентов с гораздо меньшими ресурсами. После 20 лет успеха я искал новый вызов. Это было время, когда ИИ начал возвращаться в центр внимания. AlexNet сделал значительный шаг вперед в понимании изображений (и если оглянуться назад, это было еще в зачаточном состоянии). Глубокое обучение было совершенно новым, но перспективным (кто помнит, когда потребовалось несколько дней, чтобы получить результат на простой сети?). Мне это показалось довольно “забавным”, но я также осознал, что есть много проблем.

Какова была идея запуска Mipsology?

Я не знаю, можно ли назвать это “идеей”. Сначала это было больше похоже на: “Можем ли мы сделать что-то другое и лучше?” Это началось с предположений о том, что люди, работающие с ИИ, хотели бы и делали, и следующие несколько лет были потрачены на поиск все лучших решений на основе этого. Думаю, больше, чем идея, я бы сказал, что люди, с которыми я работаю, хотят быть лучшими в том, что они создают, в положительном духе соревнования. Это создает сильную команду, которая может решить проблемы, которые другие не могут решить достаточно хорошо.

Mipsology использует FPGA-платы вместо GPU. Можете ли вы описать, что такое FPGA?

FPGA – это электронные компоненты, которые можно программировать на уровне аппаратуры. Вы можете представить это как набор LEGO – несколько миллионов из них. Каждый маленький блок выполняет простую операцию, например, хранение значения или slightly более сложные операции, такие как сложение. Группируя все эти блоки, можно создать конкретное поведение после изготовления чипа. Это противоположно GPU и几乎 всем другим чипам, которые предназначены для конкретной функции и не могут быть изменены позже.

Некоторые, такие как CPU и GPU, могут быть запрограммированы, но они не так параллельны, как FPGA. В любой момент времени FPGA выполняет несколько миллионов простых операций. И это может происходить шесть-семьсот миллионов раз в секунду. Поскольку они программируемы, то, что они делают, может быть изменено в любое время, чтобы адаптироваться к разным проблемам, поэтому их выдающаяся вычислительная мощность может быть эффективной. FPGA уже почти повсюду, включая базовые станции мобильных телефонов, сети, спутники, автомобили и т. д. Люди не знают их хорошо, потому что они не так заметны, как CPU, например, тот, который находится в вашем ноутбуке.

Что делает эти FPGA-платы лучшим решением по сравнению с более популярными GPU?

FPGA превосходят в многих аспектах. Давайте сосредоточимся на паре важных из них.

GPU предназначены для рендеринга изображений, в основном для игр. Они были обнаружены как хорошо подходящие для некоторых вычислений в ИИ из-за сходства операций. Но они остаются в первую очередь предназначенными для игр, что означает, что они поставляются с ограничениями, которые не подходят хорошо для нейронных сетей.

Их программирование также ограничено инструкциями, которые были решены два-три года до того, как они стали доступны. Проблема заключается в том, что нейронные сети развиваются быстрее, чем проектирование ASIC, и GPU являются ASIC. Итак, это как попытка предсказать будущее: это не просто быть правым. Вы можете видеть тенденции, но детали действительно влияют на результат, как производительность. Напротив, поскольку FPGA программируемы на уровне аппаратуры, мы можем более легко идти в ногу с прогрессом ИИ. Это позволяет нам поставлять лучший продукт с более высокой производительностью и удовлетворять потребностям клиентов без необходимости ждать следующего поколения кремния.

Кроме того, GPU предназначены как потребительские продукты. Их срок службы намеренно короток, потому что компании, проектирующие GPU, хотят продать новые через несколько лет игрокам. Это не работает хорошо в электронных системах, которые должны быть надежными в течение многих лет. FPGA предназначены для того, чтобы быть прочными и использоваться 24/7 в течение многих лет.

Другими хорошо известными преимуществами FPGA являются:

• Существует много вариантов, которые могут поместиться в конкретные области, такие как сетевая или видеообработка
• Они работают так же хорошо в центрах обработки данных, как и на краю или встроенных системах
• Им не требуется специальное охлаждение (гораздо меньше водяного охлаждения, как у больших GPU)

Одним из основных недостатков является то, что FPGA трудно программировать. Для этого требуется специальные знания. Хотя компании, продающие FPGA, приложили большие усилия, чтобы сократить разрыв в сложности, это все еще не так просто, как CPU. На самом деле, GPU также не просты. Но программное обеспечение, которое скрывает их программирование для ИИ, делает эти знания ненужными. Это проблема, которую Mipsology первой решает: удаление необходимости программирования или знания FPGA для вычислений ИИ.

Есть ли какие-либо текущие ограничения у FPGA-плат?

Некоторые FPGA-платы похожи на некоторые GPU-платы. Их можно подключить к слотам PCIe компьютера. Одним из хорошо известных преимуществ, помимо срока службы, который я упомянул ранее, является то, что потребление энергии обычно ниже, чем у GPU. Другим менее известным является то, что существует больший выбор FPGA-плат, чем GPU-плат. Существует больше FPGA для более рынков, что приводит к большему количеству плат, которые могут поместиться в разные области рынка. Это просто означает, что существует больше возможностей для вычисления нейронных сетей повсюду при более низкой стоимости. GPU более ограничены; они подходят для центров обработки данных, но не для многого другого.

Mipsology’s Zebra – первый коммерческий ускоритель, который включает в себя FPGA-платы, чтобы обеспечить высокую производительность и простоту использования. Можете ли вы описать, что такое Zebra?

Для тех, кто знаком с ИИ и GPU, самое простое описание состоит в том, что Zebra – это для FPGA то, что Cuda/CuDNN – для GPU. Это программный стек, который полностью скрывает FPGA за обычными фреймворками, такими как PyTorch или TensorFlow. Мы в первую очередь нацелены на вывод для изображений и видео. Zebra начинается с нейронной сети, которая была обучена обычно в формате с плавающей запятой, и без каких-либо ручных усилий пользователя или проприетарного инструмента, запускает ее на любой FPGA-карте. Это так просто, как: подключите FPGA-карту, загрузите драйвер, запустите среду Zebra и запустите ту же приложение вывода, что и то, которое запускается на CPU или GPU. У нас есть собственный квантование, который сохраняет точность, и производительность доступна сразу. Нет проприетарного инструмента, который пользователь должен выучить, и это не занимает часов инженерного времени, чтобы получить высокую пропускную способность или низкую задержку. Это означает просто быстрые переходы, которые также снижают стоимость и время выхода на рынок.

Какие разные типы приложений Zebra лучше всего предназначены?

Zebra – очень универсальный движок ускорения, поэтому он может ускорять вычисления для любого приложения, которое требует вычисления нейронных сетей, с основным вниманием на изображения и видео, потому что вычислительные потребности больше для этого типа данных. У нас есть запросы от очень разных рынков, но они все похожи, когда речь идет о вычислении нейронных сетей. Все они обычно требуют классификации, сегментации, супер-разрешения, позиционирования тела и т. д.

Поскольку Zebra работает на FPGA, любую плату можно использовать. Некоторые имеют высокую пропускную способность и обычно используются в центрах обработки данных. Другие более подходят для использования на краю или встроенных системах. Наша цель – если FPGA может поместиться, пользователи могут использовать Zebra для ускорения своих вычислений нейронных сетей сразу. И если GPU или CPU используются, Zebra может заменить их и снизить стоимость инфраструктуры ИИ. Большинство компаний, с которыми мы говорим, имеют схожие проблемы: они могли бы развернуть больше приложений на основе ИИ, но стоимость ограничивает их.

Для компании, которая хочет использовать Zebra, какой процесс?

Просто сообщите нам на support@mipsology.com, и мы поможем вам начать.

Есть ли что-то еще, что вы хотели бы поделиться о Mipsology?

Мы очень ободрены отзывами, которые мы получаем от сообщества ИИ о нашем решении Zebra. Конкретно, нам говорят, что это, вероятно, лучший ускоритель на рынке. После всего нескольких месяцев мы продолжаем добавлять к растущему экосистеме заинтересованных партнеров, включая Xilinx, Dell, Western Digital (WDC ), Avnet, TUL и Advantech, чтобы назвать несколько.

Мне действительно понравилось узнать о этой революционной технологии. Читателям, которые хотят узнать больше, следует посетить Mipsology.

https://www.youtube.com/watch?v=sIBEg_eGU8g