Орр Данон, генеральный директор и соучредитель Hailo — серия интервью

Орр Данон, генеральный директор и соучредитель Hailo, компания, миссия которой заключается в том, чтобы позволить интеллектуальным периферийным технологиям полностью раскрыть свой потенциал. Решение, которое представляет Hailo, устраняет разрыв между существующими и будущими технологиями искусственного интеллекта и вычислительными мощностями, необходимыми для работы этих приложений. Компания сосредоточена на создании процессоров ИИ, эффективных и достаточно компактных для вычисления и интерпретации огромных объемов данных в режиме реального времени.

Не могли бы вы рассказать историю происхождения Hailo?

Я стал соучредителем Hailo в 2017 году вместе с коллегами, с которыми познакомился ранее в элитном технологическом подразделении Сил обороны Израиля (ЦАХАЛ). Во время работы с моими соучредителями Рами Фейгом и Ави Баумом над решениями IoT (Интернет вещей) в ходе нашего исследования постоянно всплывала менее известная конструкция — «Глубокое обучение». В конце концов, мы собрали экспертов в этой области для разработки нового решения для глубокого обучения, направленного на устранение недостатков устаревающей компьютерной архитектуры, чтобы позволить интеллектуальным устройствам работать более эффективно и продуктивно на периферии. После неудачной кончины Рами команда Hailo реализовала его замысел, создав новаторский процессор искусственного интеллекта Hailo.

Не могли бы вы кратко объяснить, почему граничные вычисления часто являются лучшим решением по сравнению с облачными вычислениями?

Когда мы запускали Hailo, прорывные технологии искусственного интеллекта были в основном ограничены облачными или крупными центрами обработки данных, поскольку они дорогостоящие, требуют для работы высокой вычислительной мощности и обширного оборудования и потребляют значительное количество энергии. Мы считаем, что ИИ помогает создавать лучший, безопасный, продуктивный и увлекательный мир, но для этого он должен быть доступен и на периферии. Для реализации приложений в реальном времени и с малой задержкой на таких устройствах, как подключенные к сети камеры, транспортные средства и устройства IoT, обработка в источнике имеет важное значение для эффективной работы. С помощью периферийного ИИ мы можем полностью использовать ряд ключевых вариантов использования, обеспечивающих будущее умных городов, интеллектуального транспорта, автономного вождения, систем управления видео (VMS), Индустрии 4.0 и многого другого.

Какие проблемы возникают при обработке визуальных данных на периферии?

Цель состоит в том, чтобы получить максимальную производительность и столько функций, сколько можно упаковать в периферийные устройства, чтобы они могли быстро и с минимальной задержкой обрабатывать огромное количество визуальных данных; тем не менее, одним из ключевых ограничений является энергопотребление — как с точки зрения того, сколько энергии может быть доставлено на устройство, так и с точки зрения тепла, выделяемого процессором.

Доступно интеллектуальные камеры, например, производителям нужен AI-процессор, чтобы вписаться в конверт мощностью 2-3 Вт, потому что камера не может использовать вентиляторное охлаждение и потому что она обычно будет иметь ограниченный источник питания. Это острые болевые точки, потому что при таком низком энергопотреблении производительность крайне ограничена при использовании большинства процессоров на рынке.

Как Hailo переосмыслила архитектуру ИИ-процессора?

Мы сделали это, специально разработав процессор ИИ, который предназначен для работы на периферийных устройствах с учетом ограничений по размеру и мощности. Таким образом, мы обеспечиваем беспрецедентную вычислительную мощность на периферийных устройствах, позволяя им более эффективно и действенно запускать ИИ и выполнять сложные приложения глубокого обучения, такие как обнаружение объектов, распознавание объектов, сегментация и другие, с уровнями производительности, которые ранее были возможны только в облако. Эта уникальная архитектура обеспечивает многопоточную обработку и обработку нескольких приложений, повышая производительность и экономическую эффективность периферийных устройств.

Одним из примеров использования этой архитектуры являются системы управления видео (VMS). Эти системы используются в местах с многочисленными камерами, таких как офисные здания, стадионы, приложения для умного города и автомагистрали, для лучшего управления безопасностью и безопасностью, включая мониторинг чрезвычайных ситуаций и аварий, подозрительную активность, управление дорожным движением, контроль доступа, взимание платы за проезд и многое другое. . В течение многих лет предприятия полностью полагались на ручные процессы, когда речь шла о сборе, анализе и хранении видеоданных. Теперь, благодаря уникальной архитектуре нейронной сети Hailo, VMS может выполнять несколько задач параллельно в режиме реального времени, обеспечивая одновременную обработку большего количества каналов и большего количества приложений. Приложения включают расширенное распознавание номерных знаков (LPR), мониторинг трафика, обнаружение поведения и многое другое.

Не могли бы вы обсудить ядро ​​обработки нейронной сети и свой подход к расчету нейронных сетей параллельно, а не последовательно?

Наш процессор искусственного интеллекта сочетает в себе несколько инноваций, которые затрагивают фундаментальные свойства нейронных сетей. Мы применили инновационную схему управления, основанную на сочетании аппаратного и программного обеспечения, для достижения очень низкого джоуля на операцию с высокой степенью гибкости.

Наша уникальная архитектура, ориентированная на потоки данных, адаптируется к структуре нейронной сети и обеспечивает эффективное использование ресурсов. Компилятор потока данных Hailo состоит из программного обеспечения полного стека, разработанного совместно с нашим оборудованием, чтобы обеспечить эффективное развертывание нейронных сетей. Компилятор потока данных получает пользовательскую модель в качестве входных данных. В рамках процесса построения компилятор потока данных разбивает каждый сетевой уровень на необходимые вычислительные элементы, создавая граф ресурсов, который является представлением целевой сети. Затем компилятор потока данных сопоставляет граф ресурсов целевой сети с физическими ресурсами, доступными на процессоре, создавая настроенный конвейер данных для целевой сети. При таком выполнении модель на устройстве работает очень эффективно, постоянно используя минимальные вычислительные ресурсы.

Какие из текущих платформ на основе Hailo доступны для бизнеса?

Процессор Hailo-8™ и модули искусственного интеллекта можно подключать к различным периферийным устройствам, помогая обеспечить превосходные возможности искусственного интеллекта в различных секторах, включая автомобилестроение, умные города, умную розничную торговлю и промышленность 4.0.

Hailo сотрудничает с ведущими поставщиками VMS и независимыми поставщиками программного обеспечения, такими как Innovatrics, Network Optix, GeoVision и Art of Logic, чтобы обеспечить высокоэффективную видеоаналитику в любом масштабе.

Сколько времени эти решения могут сэкономить клиентам, интегрирующим решения ИИ?

Использование интегрированных решений, работающих на установленных платформах VMS, позволяет сэкономить время, но это не основное преимущество системы. Решения VMS на базе Hailo позволяют запускать больше потоков параллельно и обрабатывать больше приложений для каждого потока.

Возможность использовать ИИ для обработки нескольких видеопотоков также означает, что в облако для хранения необходимо передавать только определенные события, что позволяет значительно сэкономить на пропускной способности и емкости хранилища.

Какие уроки вы извлекли из развертывания приложений глубокого обучения на периферийных устройствах?

Мы своими глазами видели, как ИИ на периферии будет играть ключевую роль в продвижении инноваций в самых разных секторах в ближайшие годы. По мере того как компании ищут решения, которые сделают их устройства более мощными, универсальными, отзывчивыми и безопасными, облако будет продолжать уступать место периферийным устройствам и гибридным моделям. Те, кому удастся внедрить ИИ на периферии, получат преимущество по всем направлениям.

Каким вы видите будущее граничных вычислений?

Пограничные вычисления, в частности ИИ на периферии, способны полностью изменить то, как работает мир вокруг нас, позволяя использовать такие устройства, как интеллектуальные камеры, интеллектуальные транспортные средства, автономные роботы, передовые инструменты управления дорожным движением, интеллектуальные конструкции, интеллектуальные заводы и многое другое. ИИ на периферии способен изменить все и вся, позволяя новым приложениям сделать наш мир умнее и безопаснее. Технология обработки искусственного интеллекта Hailo является основным средством реализации всех этих вариантов использования. Мы будем продолжать сотрудничать с производителями и новаторами по всему миру, чтобы сделать эти решения более доступными.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Hailo.