Orr Danon, CEO og medstifter af Hailo – Interview Series

Orr Danon, er CEO og medstifter af Hailo, en virksomhed med missionen om at gøre det muligt for smart edge-teknologier at nå deres fulde potentiale. Løsningen Hailo præsenterer bygger bro mellem eksisterende og fremtidige AI-teknologier og den nødvendige computerkapacitet til at drive disse applikationer. Virksomheden er fokuseret på at bygge AI-processorer, der er effektive og kompakte nok til at beregne og fortolke enorme mængder data i realtid.

Kunne du dele tilblivelseshistorien bag Hailo?

Jeg var med til at stifte Hailo i 2017 sammen med kolleger, jeg tidligere havde mødt i det israelske forsvars (IDF) eliteteknologienhed. Mens jeg arbejdede med mine medstiftere Rami Feig og Avi Baum om IoT-løsninger (Internet of Things), dukkede en mindre kendt konstruktion - "Deep Learning" - op gennem hele vores forskning. Til sidst samlede vi eksperter på området for at udvikle en ny deep-learning-løsning, der havde til formål at løse manglerne ved aldrende computerarkitektur for at gøre det muligt for smarte enheder at fungere mere effektivt og effektivt på kanten. Efter Ramis uheldige bortgang gennemså Hailo-teamet hans vision – at skabe Hailos banebrydende AI-processor.

Kan du kort forklare, hvorfor edge computing ofte er en overlegen løsning til cloud computing?

Da vi startede Hailo, var disruptive AI-teknologier stort set begrænset til skyen eller store datacentre, da de er dyre, kræver høj computerkraft og omfattende hardware at køre og forbruger en betydelig mængde energi. Vi tror på, at AI er med til at skabe en bedre, sikrere, mere produktiv og mere spændende verden, men for at dette kan ske, skal AI også være tilgængelig på kanten. For implementering af applikationer i realtid og lav latens på enheder som netværkstilsluttede kameraer, køretøjer og IoT-enheder er behandling ved kilden afgørende for effektiv drift. Med edge AI kan vi fuldt ud udnytte en række vigtige use cases, der driver fremtiden for smarte byer, intelligent transport, autonom kørsel, videostyringssystemer (VMS), Industry 4.0 og mere.

Hvad er nogle af udfordringerne bag behandling af visuelle data på kanten?

Målet er at få så meget ydeevne og så mange funktioner, som kan pakkes ind i edge-enheder, så de kan behandle en enorm mængde visuelle data hurtigt og med lille latens; alligevel er en af ​​de vigtigste begrænsninger strømforbruget – både i forhold til hvor meget strøm der kan leveres til enheden og varmen genereret af processoren.

Med intelligente kameraerFor eksempel har producenter brug for en AI-processor til at passe ind i en 2-3W konvolut, fordi kameraet ikke kan bruge blæserkøling, og fordi det generelt vil have en begrænset strømforsyning. Disse er akutte smertepunkter, fordi ved så lav effekt er ydeevnen ekstremt begrænset, når du bruger de fleste af processorerne på markedet.

Hvordan genoptog Hailo AI Processor-arkitekturen?

Det gjorde vi ved specifikt at designe en AI-processor, der er bygget til at fungere på edge-enheder under hensyntagen til størrelsen og strømbegrænsningerne. Ved at gøre det muliggør vi hidtil uset computerkraft på edge-enheder, hvilket gør dem i stand til at køre AI mere effektivt og til at udføre sofistikerede deep learning-applikationer såsom objektdetektering, objektgenkendelse, segmentering og andre, med præstationsniveauer, der tidligere kun var mulige i Sky. Denne unikke arkitektur tillader multi-stream og multi-applikation behandling, hvilket forbedrer ydeevnen og omkostningseffektiviteten af ​​edge-enheder.

Et eksempel på brugen af ​​denne arkitektur er Video Management Systems (VMS). Disse systemer bliver brugt i områder med adskillige kameraer, såsom kontorbygninger, stadioner, smart city-applikationer og motorveje for bedre at styre sikkerhed og sikkerhed, herunder overvågning for nødsituationer og ulykker, mistænkelig aktivitet, trafikstyring, adgangskontrol, bompengeopkrævning og mere . I mange år stolede virksomheder udelukkende på manuelle processer, når det kom til at indsamle, analysere og opbevare videodata. Nu, med Hailos unikke neurale netværksarkitektur, kan VMS udføre flere opgaver parallelt i realtid, hvilket muliggør behandling af flere kanaler og flere applikationer samtidigt. Applikationerne omfatter avanceret nummerpladegenkendelse (LPR), trafikovervågning, adfærdsregistrering og mere.

Kunne du diskutere neurale netværksbehandlingskerne og din tilgang til at beregne neurale netværk parallelt versus sekventielt?

Vores AI-processor kombinerer flere innovationer, der adresserer de grundlæggende egenskaber ved neurale netværk. Vi anvendte et innovativt kontrolskema, der er baseret på en kombination af hardware og software for at nå meget lave joule pr. operation med en høj grad af fleksibilitet.

Vores unikke dataflow-orienterede arkitektur tilpasser sig strukturen af ​​det neurale netværk og tillader høj ressourceudnyttelse. Hailo dataflow-kompileren er sammensat af fuld stack-software, co-designet med vores hardware, for at muliggøre effektiv udrulning af neurale netværk. Dataflow-kompileren modtager brugermodellen som input. Som en del af build-flowet nedbryder dataflow-kompileren hvert af netværkslagene til de nødvendige beregningselementer og genererer en ressourcegraf, som er en repræsentation af målnetværket. Dataflow-kompileren matcher derefter målnetværkets ressourcegraf til de fysiske ressourcer, der er tilgængelige på processoren, og genererer et tilpasset datarør til målnetværket. Når det udføres på denne måde, er det meget effektivt at køre en model på en enhed, idet der til enhver tid bruges minimale computerressourcer.

Hvad er nogle af de nuværende Hailo-baserede platforme, der er tilgængelige for virksomheder?

Hailo-8™-processoren og AI-modulerne kan tilsluttes en række forskellige enheder, der hjælper med at drive flere sektorer med overlegne AI-egenskaber – herunder bilindustrien, smarte byer, smart detailhandel og industri 4.0.

Hailo har indgået et samarbejde med førende VMS- og ISV-spillere såsom Innovatrics, Network Optix, GeoVision og Art of Logic for at muliggøre toppræsterende videoanalyse i stor skala.

Hvor meget tid kan disse løsninger spare kunder, der integrerer AI-løsninger?

Det er tidsbesparende at indkøbe integrerede løsninger, der kører på etablerede VMS-platforme, men det er ikke den største fordel ved systemet. De Hailo-baserede VMS-løsninger gør det muligt for flere streams at køre parallelt, og flere applikationer kan behandles for hver stream.

Evnen til at udnytte AI til at behandle flere videostreams betyder også, at kun specifikke hændelser skal streames til skyen til lagring, hvilket muliggør betydelige besparelser på båndbredde og lagerkapacitet.

Hvad er nogle erfaringer, du har lært af at implementere deep learning-applikationer i edge-enheder?

Vi har selv set, hvordan AI på kanten vil spille en nøglerolle i at drive innovation på tværs af en lang række sektorer i de kommende år. Efterhånden som virksomheder søger løsninger, der sikrer, at deres enheder er mere kraftfulde, alsidige, lydhøre og sikre, vil skyen fortsætte med at vige pladsen til kantenheder og hybridmodeller. De, der lykkes med at implementere AI på kanten, vil få en fordel over hele linjen.

Hvad er din vision for fremtiden for edge computing?

Edge computing - specifikt AI på kanten - har evnen til fuldstændig at transformere, hvordan verden omkring os fungerer, hvilket muliggør enheder som intelligente kameraer, smarte køretøjer, autonome robotter, avancerede trafikstyringsværktøjer, smart konstruktion, smarte fabrikker og mere. AI på kanten har magten til at ændre alt og alt, hvilket gør det muligt for nye applikationer at gøre vores verden smartere og sikrere. Hailos AI-behandlingsteknologi er en vigtig muliggører for alle disse use cases. Vi vil fortsætte med at samarbejde med producenter og innovatører over hele kloden for at gøre disse løsninger mere tilgængelige.

Tak for det gode interview, læsere, der ønsker at lære mere, bør besøge Hailo.