Orr Danon, CEO & Co-Founder of Hailo – Interview Series

Orr Danon, je CEO & Co-Founder společnosti Hailo, která má za úkol umožnit chytrým edge technologiím dosáhnout svého plného potenciálu. Řešení, které Hailo nabízí, mostí mezeru mezi stávajícími a budoucími technologiemi AI a výpočetním výkonem, který je potřebný pro napájení těchto aplikací. Společnost se zaměřuje na vývoj AI procesorů, které jsou dostatečně efektivní a kompaktní, aby mohly zpracovávat a interpretovat velké množství dat v reálném čase.

Můžete sdílet příběh vzniku Hailo?

Založil jsem Hailo v roce 2017 spolu s kolegy, které jsem potkal dříve v elitní technologické jednotce Izraelských obranných sil (IDF). Zatímco jsem pracoval s mými spoluzakladateli Ramim Feigem a Avim Baumem na řešeních IoT (Internet věcí), neustále se objevoval méně známý koncept – „Deep Learning“. Nakonec jsme shromáždili odborníky v oboru, abychom vyvinuli nové řešení hlubokého učení, které mělo za cíl řešit nedostatky zastaralé počítačové architektury, aby chytré zařízení mohla fungovat účinněji a efektivněji na okraji. Po Ramově nešťastné smrti tým Hailo dokončil jeho vizi – vytvořil průlomový AI procesor.

Můžete stručně vysvětlit, proč je edge computing často lepší řešení než cloud computing?

Když jsme začali s Hailo, disruptivní AI technologie byly většinou omezeny na cloud nebo velké datové centry, protože jsou drahé, vyžadují vysoký výpočetní výkon a rozsáhlé hardwarové vybavení pro běh a spotřebují značné množství energie. Věříme, že AI pomáhá vytvářet lepší, bezpečnější, produktivnější a zajímavější svět, ale aby k tomu došlo, AI musí být k dispozici také na okraji. Pro implementaci aplikací v reálném čase a s nízkou latencí na zařízeních, jako jsou síťové kamery, vozidla a zařízení IoT, je zpracování na místě nezbytné pro efektivní provoz. S edge AI můžeme plně využít řadu klíčových použití, které pohánějí budoucnost chytrých měst, inteligentní dopravy, autonomního řízení, systémů pro správu videa (VMS), Průmyslu 4.0 a dalších.

Jaké jsou některé výzvy spojené se zpracováním vizuálních dat na okraji?

Cílem je získat co největší výkon a co nejvíce funkcí, které lze zabudovat do zařízení na okraji, aby mohla zpracovávat obrovské množství vizuálních dat rychle a s minimální latencí; jedním z hlavních omezení je však spotřeba energie – jak z hlediska množství energie, které lze dodat do zařízení, tak z hlediska tepla generovaného procesorem.

U inteligentních kamer například výrobci potřebují AI procesor, který se vejde do obalu 2-3W, protože kamera nemůže používat chlazení ventilátorem a obvykle má omezený zdroj energie. Tyto jsou akutní bolestivé body, protože při tak nízké spotřebě energie je výkon extrémně omezen při použití většiny procesorů na trhu.

Jak Hailo přetvořilo architekturu AI procesoru?

Myšleno tak, že jsme navrhli AI procesor, který je navržen tak, aby fungoval na zařízeních na okraji, s ohledem na omezení velikosti a spotřeby energie. Tímto způsobem umožňujeme bezprecedentní výpočetní výkon na zařízeních na okraji, umožňující jim běh AI více efektivně a efektivněji a provádění sofistikovaných aplikací hlubokého učení, jako je detekce objektů, rozpoznání objektů, segmentace a další, s úrovněmi výkonu, které byly dříve možné pouze v cloudu. Tato unikátní architektura umožňuje zpracování více streamů a více aplikací, zlepšující výkon a nákladovou efektivitu zařízení na okraji.

Jedním z příkladů použití této architektury jsou systémy pro správu videa (VMS). Tyto systémy se používají v oblastech s mnoha kamerami, jako jsou kancelářské budovy, stadiony, chytrá města a dálnice, aby lépe spravovaly bezpečnost a bezpečnost, včetně monitorování nouzových situací a nehod, podezřelé činnosti, řízení dopravy, kontroly přístupu, výběru mýtného a další. Po mnoho let se společnosti spoléhaly výhradně na manuální procesy, pokud šlo o shromažďování, analýzu a ukládání dat z videa. Nyní, s unikátní architekturou neuronových sítí Hailo, mohou systémy VMS provádět více úkolů paralelně, v reálném čase, ermögňující zpracování více kanálů a více aplikací současně. Příklady použití zahrnují pokročilé rozpoznání licenčních desek (LPR), monitorování dopravy, detekci chování a další.

Můžete diskutovat o jádru neuronové sítě a vašem přístupu k výpočtu neuronových sítí paralelně versus sekvenčně?

Náš AI procesor kombinuje několik inovací, které řeší základní vlastnosti neuronových sítí. Použili jsme inovativní řídicí schéma založené na kombinaci hardwaru a softwaru, abychom dosáhli velmi nízkých joule na operaci s vysokou mírou flexibility.

Naše unikátní dataflow-orientovaná architektura se přizpůsobuje struktuře neuronové sítě a umožňuje vysokou utilizaci zdrojů. Dataflow kompilátor Hailo se skládá z plné softwarové sady, navrženém společně s naším hardwarovým vybavením, aby umožnil efektivní nasazení neuronových sítí. Dataflow kompilátor přijímá uživatelský model jako vstup. Jako součást build flow kompilátor rozdělí každou vrstvu sítě na požadované výpočetní prvky, generující zdroj graf, který je reprezentací cílové sítě. Dataflow kompilátor poté přizpůsobí cílovou síť zdroj graf k fyzickým zdrojům dostupným na procesoru, generující přizpůsobený datový potrubí pro cílovou síť. Když se provádí tímto způsobem, běh modelu na zařízení je vysoce efektivní, využívající minimální výpočetní zdroje ve všech případech.

Jaké jsou některé současné Hailo-based platformy, které jsou k dispozici pro podniky?

Procesor Hailo-8™ a AI moduly lze připojit k různým zařízením na okraji, pomáhajícím pohánět několik sektorů se špičkovými AI schopnostmi – včetně automotive, chytrých měst, chytré maloobchodní a průmyslu 4.0.

Hailo spolupracuje s předními hráči VMS a ISV, jako jsou Innovatrics, Network Optix, GeoVision a Art of Logic, aby umožnily špičkové videoanalytiky ve velkém měřítku.

Kolik času mohou tyto řešení ušetřit klientům, kteří integrují AI řešení?

Získání integrovaných řešení, která běží na etablovaných platformách VMS, je časově úsporné, ale to není hlavní výhodou systému. Hailo-based VMS řešení umožňují více streamů běžet paralelně a více aplikací zpracovávat pro každý stream.

Schopnost využít AI pro zpracování více video streamů také znamená, že pouze konkrétní události musí být streamovány do cloudu pro uložení, umožňující významné úspory na šířku pásma a kapacitě úložiště.

Jaké jsou některé lekce, které jste se naučili z nasazení aplikací hlubokého učení na zařízeních na okraji?

Svědčili jsme si osobně, jak AI na okraji bude hrát klíčovou roli v pohánění inovací napříč širokou škálou sektorů v nadcházejících letech. Když podniky hledají řešení, která zajistí, že jejich zařízení jsou více výkonná, všestranná, reaktivní a zabezpečená, cloud bude pokračovat v přechodu k zařízením na okraji a hybridním modelům. Ti, kteří uspějí v implementaci AI na okraji, získají výhodu napříč celou deskou.

Jaký je váš výhled do budoucnosti edge computingu?

Edge computing – zejména AI na okraji – má schopnost zcela transformovat, jak funguje svět kolem nás, umožňující zařízením, jako jsou inteligentní kamery, chytrá vozidla, autonomní roboty, pokročilé nástroje pro správu dopravy, chytrou výstavbu, chytré továrny a další. AI na okraji má sílu změnit cokoliv a všechno, umožňující nové aplikace, aby membuat náš svět chytřejším a bezpečnějším. Technologie AI zpracování Hailo je hlavním enablerem všech těchto použití. Budeme pokračovat v partnerství s výrobci a inovátory po celém světě, aby tyto řešení byly více dostupná.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Hailo.