Orr Danon, CEO & Co-Founder van Hailo – Interview Series

Orr Danon is de CEO & Co-Founder van Hailo, een bedrijf met de missie om slimme randtechnologieën tot hun volle potentieel te laten komen. De oplossing die Hailo biedt, overbrugt de kloof tussen bestaande en toekomstige AI-technologieën en de rekenkracht die nodig is om deze toepassingen te laten werken. Het bedrijf richt zich op het ontwikkelen van AI-processors die efficiënt en compact genoeg zijn om grote hoeveelheden gegevens in real-time te verwerken en te interpreteren.

Kunt u het verhaal achter Hailo delen?

Ik ben Hailo in 2017 mede-opgericht met collega’s die ik eerder had ontmoet in de elite-technologie-eenheid van het Israëlische leger. Terwijl ik met mijn mede-oprichters Rami Feig en Avi Baum aan IoT-oplossingen (Internet of Things) werkte, kwam een minder bekende constructie – “Deep Learning” – steeds vaker naar voren in ons onderzoek. Uiteindelijk brachten we experts op het gebied bij elkaar om een nieuwe deep-learning-oplossing te ontwikkelen die gericht was op het oplossen van de tekortkomingen van verouderde computerarchitectuur om slimme apparaten effectiever en efficiënter te laten werken aan de rand. Na de plotselinge dood van Rami, zette het Hailo-team zijn visie voort – de ontwikkeling van Hailo’s baanbrekende AI-processor.

Kunt u kort uitleggen waarom randcomputing vaak een betere oplossing is dan cloudcomputing?

Toen we Hailo startten, waren innovatieve AI-technologieën grotendeels beperkt tot de cloud of grote datacenters, omdat ze duur zijn, veel rekenkracht en uitgebreide hardware vereisen om te draaien en veel energie verbruiken. We geloven dat AI helpt om een betere, veiligere, productievere en spannendere wereld te creëren, maar hiervoor moet AI ook beschikbaar zijn aan de rand. Voor de implementatie van real-time- en lage-latentie-toepassingen op apparaten zoals netwerkverbonden camera’s, voertuigen en IoT-apparaten is verwerking aan de bron essentieel voor effectief functioneren. Met rand-AI kunnen we een aantal belangrijke use cases volledig benutten die de toekomst van slimme steden, intelligente transport, autonoom rijden, videosysteembeheer (VMS), Industry 4.0 en meer aandrijven.

Wat zijn enkele van de uitdagingen achter het verwerken van visuele gegevens aan de rand?

Het doel is om zo veel mogelijk prestaties en functies in randapparaten te stoppen, zodat ze grote hoeveelheden visuele gegevens snel en met weinig latentie kunnen verwerken; een van de belangrijkste beperkingen is echter energieverbruik – zowel in termen van hoeveel energie aan het apparaat kan worden geleverd als de warmte die door de processor wordt gegenereerd.

Bij intelligente camera’s bijvoorbeeld, hebben fabrikanten een AI-processor nodig die past in een 2-3W-envelope, omdat de camera geen ventilatorkoeling kan gebruiken en meestal een beperkte voeding heeft. Deze zijn acute pijnlijke punten, omdat de prestaties bij zo laag energieverbruik extreem beperkt zijn bij het gebruik van de meeste processors op de markt.

Hoe heeft Hailo de AI-processorarchitectuur opnieuw bedacht?

We hebben dit gedaan door specifiek een AI-processor te ontwerpen die is gebouwd om op randapparaten te werken, waarbij rekening wordt gehouden met de grootte- en energielimieten. Door dit te doen, maken we ongekende rekenkracht mogelijk op randapparaten, waardoor ze AI efficiënter en effectiever kunnen uitvoeren en geavanceerde deep learning-toepassingen zoals objectdetectie, objectherkenning, segmentatie en andere kunnen uitvoeren met prestatieniveaus die eerder alleen in de cloud mogelijk waren. Deze unieke architectuur maakt multi-stream- en multi-toepassingsverwerking mogelijk, waardoor de prestaties en kostenefficiëntie van randapparaten worden verbeterd.

Een voorbeeld van het gebruik van deze architectuur is Video Management Systems (VMS). Deze systemen worden gebruikt in gebieden met veel camera’s, zoals kantoorgebouwen, stadions, slimme stadsapplicaties en snelwegen om veiligheid en beveiliging beter te beheren, waaronder het monitoren van noodgevallen en ongevallen, verdachte activiteit, verkeersbeheer, toegangscontrole, tolheffing en meer. Voor veel bedrijven vertrouwden ze volledig op handmatige processen bij het verzamelen, analyseren en opslaan van videogegevens. Nu, met Hailo’s unieke neurale netwerkarchitectuur, kunnen VMS meerdere taken tegelijk uitvoeren in real-time, waardoor het verwerken van meer kanalen en meer toepassingen gelijktijdig mogelijk wordt. Toepassingen omvatten geavanceerde nummerplaatherkenning (LPR), verkeersmonitoring, gedragsdetectie en meer.

Kunt u de neurale netwerkverwerkingskernel en uw aanpak van het berekenen van neurale netwerken in parallelle versus sequentiële berekening bespreken?

Onze AI-processor combineert meerdere innovaties die de fundamentele eigenschappen van neurale netwerken aanpakken. We hebben een innovatieve besturingsmethode toegepast die is gebaseerd op een combinatie van hardware en software om zeer lage joules per bewerking te bereiken met een hoge mate van flexibiliteit.

Onze unieke dataflow-georiënteerde architectuur past zich aan aan de structuur van het neurale netwerk en maakt een hoge bronnenbenutting mogelijk. De Hailo-dataflowcompiler bestaat uit een volledige softwarestack, co-ontworpen met onze hardware, om een efficiënte implementatie van neurale netwerken mogelijk te maken. De dataflowcompiler ontvangt het gebruikersmodel als invoer. Als onderdeel van de buildflow breekt de dataflowcompiler elk van de netwerklagen af tot de vereiste berekenings-elementen, waardoor een resource-grafiek wordt gegenereerd die een weergave is van het doelnetwerk. De dataflowcompiler past vervolgens de resource-grafiek van het doelnetwerk aan op de fysieke bronnen die beschikbaar zijn op de processor, waardoor een aangepaste datapipeline voor het doelnetwerk wordt gegenereerd. Wanneer dit op deze manier wordt uitgevoerd, is het uitvoeren van een model op een apparaat zeer efficiënt, met minimale rekenbronnen op alle momenten.

Wat zijn enkele van de huidige Hailo-gebaseerde platforms die beschikbaar zijn voor bedrijven?

De Hailo-8™-processor en de AI-modules kunnen in een verscheidenheid aan randapparaten worden geplaatst, waardoor meerdere sectoren worden ondersteund met superieure AI-mogelijkheden – waaronder automotive, slimme steden, slimme retail en industrie 4.0.

Hailo heeft samengewerkt met toonaangevende VMS- en ISV-spelers zoals Innovatrics, Network Optix, GeoVision en Art of Logic, om top-presterende video-analyse op grote schaal mogelijk te maken.

Hoeveel tijd kunnen deze oplossingen bedrijven besparen die AI-oplossingen integreren?

Het zoeken naar geïntegreerde oplossingen die werken op gevestigde VMS-platforms, bespaart tijd, maar dit is niet het belangrijkste voordeel van het systeem. De Hailo-gebaseerde VMS-oplossingen maken het mogelijk om meer streams in parallel te laten lopen en meer toepassingen per stream te verwerken.

De mogelijkheid om AI te gebruiken om meerdere videostreams te verwerken, betekent ook dat alleen specifieke gebeurtenissen naar de cloud hoeven te worden gestreamd voor opslag, waardoor significante besparingen op bandbreedte en opslagcapaciteit mogelijk worden.

Wat zijn enkele lessen die u heeft geleerd van het implementeren van deep learning-toepassingen in randapparaten?

We hebben met eigen ogen gezien hoe AI aan de rand een sleutelrol zal spelen in het stimuleren van innovatie in een breed scala aan sectoren in de komende jaren. Terwijl bedrijven oplossingen zoeken die ervoor zorgen dat hun apparaten krachtiger, veelzijdiger, responsiever en veiliger zijn, zal de cloud plaatsmaken voor randapparaten en hybride modellen. Degene die erin slagen om AI aan de rand te implementeren, zullen een voorsprong behalen op alle fronten.

Wat is uw visie voor de toekomst van randcomputing?

Randcomputing – specifiek AI aan de rand – heeft de mogelijkheid om de wereld om ons heen volledig te transformeren, waardoor apparaten zoals intelligente camera’s, slimme voertuigen, autonome robots, geavanceerde verkeersbeheersystemen, slimme bouw, slimme fabrieken en meer mogelijk worden. AI aan de rand heeft de kracht om alles en alles te veranderen, waardoor nieuwe toepassingen mogelijk worden om onze wereld slimmer en veiliger te maken. Hailo’s AI-verwerkingstechnologie is een belangrijke stimulator van al deze use cases. We zullen blijven samenwerken met fabrikanten en innovators over de hele wereld om deze oplossingen meer toegankelijk te maken.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen Hailo bezoeken.