Orr Danon, CEO & Co-Founder of Hailo – Интервью-серия

Orr Danon является CEO & Co-Founder компании Hailo, которая имеет миссию по обеспечению того, чтобы умные технологии edge достигли своего полного потенциала. Решение, которое представляет Hailo, мостит разрыв между существующими и будущими технологиями ИИ и вычислительной мощностью, необходимой для питания этих приложений. Компания фокусируется на создании эффективных и компактных процессоров ИИ, способных вычислять и интерпретировать огромные объемы данных в режиме реального времени.

Не могли бы вы поделиться историей создания Hailo?

Я стал сооснователем Hailo в 2017 году вместе с коллегами, которых я встретил ранее в элитном технологическом подразделении Израильской обороны (IDF). Работая с моими сооснователями Rami Feig и Avi Baum над решениями IoT (Интернет вещей), мы постоянно сталкивались с концепцией “Глубокого обучения”. В конечном итоге, мы собрали вместе экспертов в этой области, чтобы разработать новое решение глубокого обучения, направленное на решение проблем устаревшей компьютерной архитектуры, чтобы позволить умным устройствам работать более эффективно и эффективно на edge. После трагической смерти Rami, команда Hailo реализовала его видение, создав революционный процессор ИИ.

Не могли бы вы кратко объяснить, почему вычисления на edge часто являются лучшим решением, чем облачные вычисления?

Когда мы начали Hailo, инновационные технологии ИИ в основном были ограничены облаком или большими центрами данных, поскольку они требуют высоких вычислительных мощностей и большого количества оборудования для работы, а также потребляют значительное количество энергии. Мы считаем, что ИИ помогает создать лучший, более безопасный, более продуктивный и более интересный мир, но для этого ИИ должен быть доступен на edge. Для реализации приложений в режиме реального времени и с низкой задержкой на устройствах, таких как сетевые камеры, транспортные средства и устройства IoT, обработка на месте является необходимой для эффективной работы. С помощью ИИ на edge мы можем полностью использовать ряд ключевых случаев, которые обеспечивают будущее умных городов, интеллектуального транспорта, автономного вождения, систем видеонаблюдения (VMS), Industry 4.0 и многое другое.

Какие есть проблемы при обработке визуальных данных на edge?

Цель состоит в том, чтобы получить максимальную производительность и максимальное количество функций, которые можно упаковать в устройства edge, чтобы они могли быстро и с минимальной задержкой обрабатывать огромное количество визуальных данных; однако одним из ключевых ограничений является потребление энергии – как в плане того, сколько энергии можно доставить к устройству, так и в плане тепла, генерируемого процессором.

Например, с умными камерами производители нуждаются в процессоре ИИ, который может поместиться в конверт 2-3 Вт, поскольку камера не может использовать вентиляторное охлаждение и обычно имеет ограниченный источник питания. Эти являются острыми болевыми точками, поскольку при такой низкой мощности производительность крайне ограничена при использовании большинства процессоров на рынке.

Как Hailo переосмыслила архитектуру процессора ИИ?

Мы сделали это, специально проектируя процессор ИИ, который предназначен для работы на устройствах edge, учитывая ограничения по размеру и мощности. Таким образом, мы обеспечиваем беспрецедентную вычислительную мощность на устройствах edge, позволяя им более эффективно и эффективно запускать ИИ и выполнять сложные приложения глубокого обучения, такие как обнаружение объектов, распознавание объектов, сегментация и другие, с уровнями производительности, ранее возможными только в облаке. Эта уникальная архитектура позволяет обрабатывать несколько потоков и несколько приложений, улучшая производительность и стоимость устройства edge.

Одним из примеров использования этой архитектуры являются системы видеонаблюдения (VMS). Эти системы используются в районах с большим количеством камер, таких как офисные здания, стадионы, умные городские приложения и шоссе, для лучшего управления безопасностью и безопасностью, включая мониторинг за чрезвычайными ситуациями и авариями, подозрительной деятельностью, управлением трафиком, контролем доступа, сбором платы и многое другое. В течение многих лет предприятия полагались исключительно на ручные процессы при сборе, анализе и хранении видеоданных. Теперь с уникальной архитектурой нейронной сети Hailo VMS может выполнять несколько задач параллельно в режиме реального времени, позволяя обрабатывать больше каналов и больше приложений одновременно. Примеры приложений включают расширенное распознавание номерных знаков (LPR), мониторинг трафика, обнаружение поведения и многое другое.

Не могли бы вы обсудить ядро обработки нейронной сети и ваш подход к параллельному расчету нейронных сетей?

Наш процессор ИИ объединяет несколько инноваций, которые решают фундаментальные свойства нейронных сетей. Мы применили инновационную схему управления, которая основана на сочетании аппаратного и программного обеспечения, чтобы достичь очень низкого количества джоулей на операцию с высокой степенью гибкости.

Наша уникальная архитектура, ориентированная на поток данных, адаптируется к структуре нейронной сети и позволяет высокоэффективно использовать ресурсы. Компилятор потока данных Hailo состоит из полного стека программного обеспечения, разработанного вместе с нашим аппаратным обеспечением, чтобы обеспечить эффективную развертку нейронных сетей. Компилятор потока данных получает модель пользователя в качестве входных данных. В рамках процесса сборки компилятор потока данных разбивает каждый слой сети на необходимые вычислительные элементы, генерируя граф ресурсов, который представляет собой представление целевой сети. Затем компилятор потока данных сопоставляет граф ресурсов целевой сети с физическими ресурсами, доступными на процессоре, генерируя настраиваемую трубу данных для целевой сети. Когда это выполняется таким образом, запуск модели на устройстве является высокоэффективным, используя минимальные вычислительные ресурсы во все время.

Какие из текущих платформ Hailo доступны для бизнеса?

Процессор Hailo-8 и модули ИИ могут быть подключены к различным устройствам edge, помогая обеспечить несколько секторов с лучшими возможностями ИИ – включая автомобильную промышленность, умные города, умную розницу и Industry 4.0.

Hailo сотрудничает с ведущими игроками VMS и ISV, такими как Innovatrics, Network Optix, GeoVision и Art of Logic, чтобы обеспечить лучшую видеоаналитику в масштабе.

Сколько времени могут сэкономить эти решения для клиентов, которые интегрируют решения ИИ?

Поиск интегрированных решений, которые работают на установленных платформах VMS, экономит время, но это не является основным преимуществом системы. Решения VMS на основе Hailo позволяют запускать больше потоков параллельно и обрабатывать больше приложений для каждого потока.

Возможность использовать ИИ для обработки нескольких видеопотоков также означает, что только конкретные события необходимо передавать в облако для хранения, что позволяет сэкономить значительное количество полосы пропускания и емкости хранения.

Какие уроки вы извлекли из развертывания приложений глубокого обучения на устройствах edge?

Мы увидели лично, как ИИ на edge будет играть ключевую роль в стимулировании инноваций в широком спектре отраслей в ближайшие годы. Поскольку предприятия ищут решения, которые гарантируют, что их устройства более мощные, универсальные, отзывчивые и безопасные, облако будет продолжать уступать место устройствам edge и гибридным моделям. Те, кто преуспеет в реализации ИИ на edge, получат преимущество во всем.

Каково ваше видение будущего вычислений на edge?

Вычисления на edge – в частности, ИИ на edge – имеют возможность полностью преобразовать, как работает мир вокруг нас, позволяя устройствам, таким как умные камеры, умные транспортные средства, автономные роботы, продвинутые инструменты управления трафиком, умное строительство, умные заводы и многое другое. ИИ на edge имеет силу изменить все и все, позволяя создавать новые приложения, которые делают наш мир умнее и безопаснее. Технология обработки ИИ Hailo является важным фактором всех этих случаев использования. Мы продолжим сотрудничать с производителями и инноваторами по всему миру, чтобы сделать эти решения более доступными.

Спасибо за отличное интервью. Читателям, которые хотят узнать больше, следует посетить Hailo.