Orr Danon, CEO & Co-Founder of Hailo – Wywiad

Orr Danon jest CEO & Co-Founderem Hailo, firmy, której misją jest umożliwienie inteligentnym technologiom krawędzi osiągnięcia ich pełnego potencjału. Rozwiązanie przedstawione przez Hailo mostkuje lukę pomiędzy istniejącymi i przyszłymi technologiami AI oraz potrzebną do ich zasilania pojemnością obliczeniową. Firma koncentruje się na budowaniu wydajnych i kompaktowych procesorów AI, które mogą obliczać i interpretować ogromne ilości danych w czasie rzeczywistym.

Czy mógłbyś podzielić się historią powstania Hailo?

Współzałożyłem Hailo w 2017 roku wraz z kolegami, których poznałem wcześniej w elitarnym oddziale technologicznym Izraelskich Sił Obronnych (IDF). Pracując z moimi współzałożycielami Rami Feig i Avi Baum nad rozwiązaniami IoT (Internet of Things), nieznany koncept – „Głębokie uczenie” – pojawiał się stale w naszych badaniach. Ostatecznie zebraliśmy ekspertów w tej dziedzinie, aby opracować nowe rozwiązanie głębokiego uczenia, które miało na celu rozwiązanie niedostatków starzejącej się architektury komputerowej, aby umożliwić inteligentnym urządzeniom działanie bardziej efektywnie i skutecznie na krawędzi. Po niefortunnym odejściu Rami, zespół Hailo zrealizował jego wizję, tworząc przełomowy procesor AI.

Czy mógłbyś krótko wyjaśnić, dlaczego obliczenia na krawędzi są często lepszym rozwiązaniem niż obliczenia w chmurze?

Gdy zaczynaliśmy Hailo, przełomowe technologie AI były w dużej mierze ograniczone do chmury lub dużych centrów danych, ponieważ są kosztowne, wymagają dużej mocy obliczeniowej i obszernego sprzętu do ich uruchomienia, oraz zużywają znaczną ilość energii. Uważamy, że AI pomaga tworzyć lepszy, bezpieczniejszy, bardziej produktywny i ekscytujący świat, ale aby to się stało, AI musi być dostępne również na krawędzi. Dla wdrożenia aplikacji w czasie rzeczywistym i o niskiej latencji na urządzeniach takich jak sieciowo połączone kamery, pojazdy i urządzenia IoT, przetwarzanie na miejscu jest niezbędne do skutecznego działania. Z obliczeniami AI na krawędzi możemy w pełni wykorzystać szereg kluczowych przypadków użycia, napędzających przyszłość inteligentnych miast, inteligentnego transportu, samochodów autonomicznych, systemów zarządzania wideo (VMS), Przemysłu 4.0 i więcej.

Jakie są niektóre z wyzwań związanych z przetwarzaniem danych wizualnych na krawędzi?

Celem jest uzyskanie jak największej wydajności i funkcjonalności, które można zapakować w urządzenia krawędzi, aby mogły one przetwarzać ogromne ilości danych wizualnych szybko i z niską latencją; jednak jednym z kluczowych ograniczeń jest zużycie energii – zarówno pod względem ilości energii, którą można dostarczyć do urządzenia, jak i ciepła wygenerowanego przez procesor.

Na przykład, w przypadku inteligentnych kamer, producenci potrzebują procesora AI, który zmieści się w zakresie 2-3W, ponieważ kamera nie może używać chłodzenia za pomocą wentylatora i zwykle ma ograniczone zasilanie. Są to ostre bóle głowy, ponieważ przy tak niskiej mocy wydajność jest ekstremalnie ograniczona przy użyciu większości procesorów na rynku.

Jak Hailo przemyślało architekturę procesora AI?

Zrobiliśmy to, projektując specjalnie procesor AI, który jest zaprojektowany do pracy na urządzeniach krawędzi, biorąc pod uwagę ograniczenia rozmiaru i mocy. Dzięki temu umożliwiamy niezwykłą moc obliczeniową na urządzeniach krawędzi, umożliwiając im uruchamianie AI bardziej efektywnie i skutecznie, oraz wykonywanie zaawansowanych aplikacji głębokiego uczenia, takich jak wykrywanie obiektów, rozpoznawanie obiektów, segmentacja i inne, z poziomem wydajności, który wcześniej był możliwy tylko w chmurze. Ta unikalna architektura umożliwia przetwarzanie wielu strumieni i aplikacji, poprawiając wydajność i opłacalność urządzeń krawędzi.

Jednym z przykładów zastosowania tej architektury są Systemy Zarządzania Wideo (VMS). Systemy te są wykorzystywane w obszarach z licznymi kamerami, takimi jak biurowce, stadiony, aplikacje inteligentnych miast i autostrady, aby lepiej zarządzać bezpieczeństwem i porządkiem, w tym monitorowaniem sytuacji awaryjnych i wypadków, podejrzanych działań, zarządzaniem ruchem, kontrolą dostępu, poborem opłat i więcej. Przez wiele lat, przedsiębiorstwa polegały całkowicie na procesach ręcznych, gdy chodziło o zbieranie, analizowanie i przechowywanie danych wideo. Teraz, dzięki unikalnej architekturze sieci neuronowej Hailo, VMS mogą wykonywać wiele zadań równolegle, w czasie rzeczywistym, umożliwiając przetwarzanie większej liczby kanałów i aplikacji jednocześnie. Aplikacje obejmują zaawansowane rozpoznawanie tablic rejestracyjnych (LPR), monitorowanie ruchu, wykrywanie zachowań i więcej.

Czy mógłbyś omówić rdzeń przetwarzania sieci neuronowej i Wasze podejście do obliczania sieci neuronowych równolegle, a nie sekwencyjnie?

Nasz procesor AI łączy wiele innowacji, które dotyczą podstawowych właściwości sieci neuronowych. Zastosowaliśmy innowacyjny system sterowania oparty na połączeniu sprzętu i oprogramowania, aby osiągnąć bardzo niskie zużycie energii na operację z wysokim stopniem elastyczności.

Nasza unikalna architektura zorientowana na przepływ danych dostosowuje się do struktury sieci neuronowej i pozwala na wysokie wykorzystanie zasobów. Kompilator przepływu danych Hailo składa się z pełnego zestawu oprogramowania, współprojektowanego z naszym sprzętem, aby umożliwić efektywną wdrożenie sieci neuronowych. Kompilator przepływu danych otrzymuje model użytkownika jako dane wejściowe. W ramach procesu budowania, kompilator przepływu danych rozkłada każdą warstwę sieci na wymagane elementy obliczeniowe, generując graf zasobów, który jest reprezentacją docelowej sieci. Następnie kompilator przepływu danych dopasowuje graf zasobów docelowej sieci do dostępnych zasobów fizycznych na procesorze, generując niestandardowy potok danych dla docelowej sieci. Wykonywane w ten sposób, uruchamianie modelu na urządzeniu jest bardzo wydajne, używając minimalnych zasobów obliczeniowych we wszystkich czasach.

Jakie są niektóre z obecnych platform opartych na Hailo, dostępnych dla firm?

Procesor Hailo-8™ i moduły AI mogą być podłączone do różnych urządzeń krawędzi, pomagając zasilać wiele sektorów z wyższymi możliwościami AI – w tym motoryzacyjny, inteligentne miasta, inteligentny handel detaliczny i Przemysł 4.0.

Hailo współpracuje z wiodącymi graczami VMS i ISV, takimi jak Innovatrics, Network Optix, GeoVision i Art of Logic, aby umożliwić najlepsze analizy wideo w skali.

Ile czasu mogą zaoszczędzić te rozwiązania klientom, którzy integrują rozwiązania AI?

Znalezienie zintegrowanych rozwiązań, które działają na ustanowionych platformach VMS, jest czasochłonne, ale to nie jest główne korzyści tego systemu. Rozwiązania VMS oparte na Hailo umożliwiają uruchamianie większej liczby strumieni równolegle i przetwarzanie większej liczby aplikacji dla każdego strumienia.

Możliwość wykorzystania AI do przetwarzania wielu strumieni wideo oznacza również, że tylko określone zdarzenia muszą być przesyłane do chmury do przechowywania, umożliwiając znaczne oszczędności na przepustowości i pojemności magazynowej.

Jakie są niektóre lekcje, które nauczyłeś się wdrożenia aplikacji głębokiego uczenia w urządzeniach krawędzi?

Widzieliśmy na własne oczy, jak AI na krawędzi odegra kluczową rolę w napędzaniu innowacji w różnych sektorach w nadchodzących latach. Podczas gdy firmy szukają rozwiązań, które zapewniają, że ich urządzenia są bardziej potężne, wszechstronne, responsywny i bezpieczne, chmura będzie nadal ustępować miejsca urządzeniom krawędzi i hybrydowym modelom. Ci, którzy powiodą się w wdrożeniu AI na krawędzi, zyskają przewagę na wszystkich frontach.

Jaka jest Twoja wizja przyszłości obliczeń na krawędzi?

Obliczenia na krawędzi – szczególnie AI na krawędzi – mają możliwość całkowitej transformacji, w jaki sposób świat wokół nas działa, umożliwiając urządzeniom takim jak inteligentne kamery, samochody autonomiczne, roboty autonomiczne, zaawansowane narzędzia zarządzania ruchem, inteligentną budowę, inteligentne fabryki i więcej. AI na krawędzi ma moc zmiany wszystkiego i wszystkiego, umożliwiając nowe aplikacje, które sprawią, że nasz świat będzie mądrzejszy i bezpieczniejszy. Technologia przetwarzania AI Hailo jest głównym enablerem wszystkich tych przypadków użycia. Będziemy nadal współpracować z producentami i innowatorami na całym świecie, aby uczynić te rozwiązania bardziej dostępnymi.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Hailo.