Orr Danon, VD och medgrundare av Hailo – Intervjuserie

Orr Danon är VD och medgrundare av Hailo, ett företag med missionen att möjliggöra smarta edge-teknologier för att nå sin fulla potential. Lösningen som Hailo presenterar överbryggar klyftan mellan befintliga och framtida AI-teknologier och den beräkningskapacitet som behövs för att driva dessa applikationer. Företaget fokuserar på att bygga AI-processorer som är effektiva och kompakta nog för att beräkna och tolka stora mängder data i realtid.

Kan du dela med dig av ursprunget till Hailo?

Jag grundade Hailo 2017 tillsammans med kollegor som jag tidigare hade träffat i den israeliska försvarsmaktens (IDF) elitteknologienhet. Medan jag arbetade med mina medgrundare Rami Feig och Avi Baum på IoT-lösningar (Internet of Things) dykt en mindre känd konstruktion – “Deep Learning” – upp under vår forskning. Till slut samlade vi experter inom området för att utveckla en ny deep learning-lösning som syftade till att lösa bristerna i den åldrande datorarkitekturen för att möjliggöra smarta enheter att fungera mer effektivt och effektivare på kanten. Efter Rami’s tragiska bortgång såg Hailo-teamet till att hans vision förverkligades – genom att skapa Hailos banbrytande AI-processorer.

Kan du förklara varför edge computing ofta är en överlägsen lösning jämfört med molnberäkning?

När vi startade Hailo var de disruptiva AI-teknologierna i stor utsträckning begränsade till molnet eller stora datacenter, eftersom de är dyra, kräver hög beräkningskraft och omfattande maskinvara för att köras och förbrukar en betydande mängd energi. Vi tror att AI hjälper till att skapa en bättre, säkrare, mer produktiv och mer spännande värld, men för att detta ska hända behöver AI finnas tillgängligt på kanten också. För implementering av realtids- och låglatensapplikationer på enheter som nätverksanslutna kameror, fordon och IoT-enheter är bearbetning på plats avgörande för effektiv drift. Med edge-AI kan vi fullt ut utnyttja ett antal viktiga användningsfall som driver framtidens smarta städer, intelligenta transporter, autonoma fordon, videomanagementsystem (VMS), Industri 4.0 och mer.

Vilka är några av utmaningarna bakom bearbetning av visuell data på kanten?

Målet är att få så mycket prestanda och så många funktioner som kan packas in i edge-enheter så att de kan bearbeta en enorm mängd visuell data snabbt och med liten latens; men en av de viktigaste begränsningarna är effektförbrukning – både i termer av hur mycket effekt som kan levereras till enheten och den värme som genereras av processorn.

Med intelligenta kameror till exempel behöver tillverkare en AI-processorn som passar in i ett 2-3W-område eftersom kameran inte kan använda fläktkylning och eftersom den vanligtvis kommer att ha en begränsad effektförsörjning. Dessa är akuta smärtor eftersom prestandan är extremt begränsad vid så låg effekt när man använder de flesta processorer på marknaden.

Hur omformade Hailo AI-processorns arkitektur?

Vi gjorde det genom att specifikt utforma en AI-processorn som är byggd för att fungera på edge-enheter, med hänsyn till storleks- och effektbegränsningarna. Genom att göra detta möjliggör vi en utanför jämförelse stor beräkningskraft på edge-enheter, vilket möjliggör att de kan köra AI mer effektivt och effektivt och utföra sofistikerade deep learning-applikationer som objektdetektering, objekterkännande, segmentering och andra, med prestandanivåer som tidigare endast var möjliga i molnet. Denna unika arkitektur möjliggör multi-ström- och multi-applikationsbearbetning, vilket förbättrar prestanda och kostnadseffektivitet för edge-enheter.

Ett exempel på användningen av denna arkitektur är Videomanagementsystem (VMS). Dessa system används i områden med många kameror, såsom kontorsbyggnader, arenor, smarta stadsapplikationer och motorvägar för att bättre hantera säkerhet och säkerhet, inklusive övervakning av nödsituationer och olyckor, misstänkt aktivitet, trafikhantering, åtkomstkontroll, vägtullar och mer. Under många år förlitade sig företag helt på manuella processer när det gällde insamling, analys och lagring av videodata. Nu, med Hailos unika neurala nätverksarkitektur, kan VMS utföra flera uppgifter parallellt i realtid, vilket möjliggör bearbetning av fler kanaler och fler applikationer samtidigt. Applikationer inkluderar avancerad nummerplåtsigenkänning (LPR), trafikövervakning, beteendedetektering och mer.

Kan du diskutera neurala nätverksbearbetningskärnan och er metod för att beräkna neurala nätverk parallellt snarare än sekventiellt?

Vår AI-processorn kombinerar flera innovationer som hanterar de grundläggande egenskaperna hos neurala nätverk. Vi tillämpade ett innovativt kontrollsystem som bygger på en kombination av maskinvara och programvara för att nå mycket låga joule per operation med en hög grad av flexibilitet.

Vår unika dataflödesorienterade arkitektur anpassar sig till neurala nätverksstrukturen och möjliggör hög resursutnyttjande. Hailos dataflödeskompilator består av fullständig programvara, samdesignad med vår maskinvara, för att möjliggöra effektiv distribution av neurala nätverk. Dataflödeskompilatorn tar emot användarmodellen som indata. Som en del av byggflödet bryter dataflödeskompilatorn ner var och en av nätverkslagren till de erforderliga beräknings-elementen, vilket genererar en resursgraf som är en representation av målnätverket. Dataflödeskompilatorn matchar sedan målnätverks resursgraf till de fysiska resurser som finns tillgängliga på processorn, vilket genererar en anpassad datapipeline för målnätverket. När detta utförs på detta sätt är det mycket effektivt att köra en modell på en enhet, med minimala beräkningsresurser vid alla tillfällen.

Vilka är några av de nuvarande Hailo-baserade plattformarna som finns tillgängliga för företag?

Hailo-8™-processorn och AI-modulerna kan anslutas till en mängd olika edge-enheter, vilket hjälper till att driva flera sektorer med överlägsna AI-funktioner – inklusive automotive, smarta städer, smart detaljhandel och Industri 4.0.

Hailo har samarbetat med ledande VMS- och ISV-aktörer som Innovatrics, Network Optix, GeoVision och Art of Logic för att möjliggöra top-presterande videoanalys i stor skala.

Hur mycket tid kan dessa lösningar spara för kunder som integrerar AI-lösningar?

Att hitta integrerade lösningar som körs på etablerade VMS-plattformar är tidsbesparande, men detta är inte den primära fördelen med systemet. Hailo-baserade VMS-lösningar möjliggör fler strömmar som körs parallellt och fler applikationer som bearbetas för varje ström.

Förmågan att utnyttja AI för att bearbeta flera videostreams innebär också att endast specifika händelser behöver strömmas till molnet för lagring, vilket möjliggör betydande besparingar på bandbredd och lagringskapacitet.

Vilka lärdomar har du dragit av att distribuera deep learning-applikationer i edge-enheter?

Vi har sett förstahands hur AI på kanten kommer att spela en nyckelroll i att driva innovation över en mängd olika sektorer under de kommande åren. När företag söker lösningar som säkerställer att deras enheter är mer kraftfulla, flexibla, responsiva och säkra, kommer molnet att fortsätta ge vika för edge-enheter och hybridmodeller. De som lyckas med att implementera AI på kanten kommer att få en fördel över hela linjen.

Vad är din vision för framtiden för edge computing?

Edge computing – specifikt AI på kanten – har förmågan att helt förändra hur världen runt oss fungerar, vilket möjliggör enheter som intelligenta kameror, smarta fordon, autonoma robotar, avancerade trafikhanteringsverktyg, smart konstruktion, smarta fabriker och mer. AI på kanten har kraften att förändra allt och allt, vilket möjliggör nya applikationer som gör vår värld smartare och säkrare. Hailos AI-bearbetningsteknologi är en viktig möjliggörare för alla dessa användningsfall. Vi kommer att fortsätta samarbeta med tillverkare och innovatörer över hela världen för att göra dessa lösningar mer tillgängliga.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Hailo.