Orr Danon, CEO & Co-Founder of Hailo – Intervieuserie

Orr Danon er CEO & Co-Founder af Hailo, et selskab med missionen om at aktivere intelligente kantteknologier til at nå deres fulde potentiale. Løsningen, som Hailo præsenterer, bropper gapet mellem eksisterende og fremtidige AI-teknologier og den beregningskapacitet, der er nødvendig for at køre disse applikationer. Selskabet fokuserer på at bygge AI-processorer, der er effektive og kompakte nok til at beregne og fortolke enorme mængder data i realtid.

Kan du dele historien bag Hailo?

Jeg co-foundede Hailo i 2017 sammen med kolleger, jeg havde mødt tidligere i den israelske forsvars elite-teknologi-enhed. Mens jeg arbejdede med mine co-founders Rami Feig og Avi Baum på IoT-løsninger (Internet of Things), dukkede “Deep Learning” – en mindre kendt konstruktion – op igen og igen i vores forskning. Til sidst samlede vi eksperter i feltet for at udvikle en ny deep-learning-løsning, der havde til formål at løse de mangler, der var i den ældre computerarkitektur, således at intelligente enheder kunne fungere mere effektivt og effektivt på kanten. Efter Rami’s beklagelige død, så Hailo-holdet hans vision igennem – og skabte Hailo’s banebrydende AI-processor.

Kan du kort forklare, hvorfor kantcomputering ofte er en overlegen løsning i forhold til skycomputering?

Da vi startede Hailo, var de revolutionerende AI-teknologier stort set begrænsede til skyen eller store datacentre, da de er dyre, kræver høj beregningskraft og omfattende hardware for at køre, og forbruger en betydelig mængde energi. Vi mener, at AI hjælper med at skabe en bedre, sikrere, mere produktiv og mere spændende verden, men for at dette kan ske, har AI også brug for at være tilgængelig på kanten. For implementering af realtids- og lav-forsinkelsesapplikationer på enheder som netværkskameraer, køretøjer og IoT-enheder er behandling på stedet afgørende for effektiv drift. Med kant-AI kan vi fuldt ud udnytte en række nøglebrugsområder, der driver fremtiden for intelligente byer, intelligente transportmidler, selvstændig kørsel, videoledelsessystemer (VMS), Industri 4.0 og mere.

Hvad er nogle af de udfordringer, der ligger bag behandling af visuel data på kanten?

Målet er at få så meget ydelse og så mange funktioner som muligt pakket ind i kantenheder, så de kan behandle en enorm mængde visuel data hurtigt og med lav forsinkelse; men en af de væsentlige begrænsninger er strømforbrug – både i forhold til, hvor meget strøm der kan leveres til enheden, og den varme, der genereres af processoren.

Med intelligente kameraer for eksempel, har fabrikanter brug for en AI-processor, der kan passe ind i en 2-3W-enveloppe, fordi kameraet ikke kan bruge ventilator-køling, og fordi det generelt vil have en begrænsket strømforsyning. Disse er akutte smertepunkter, fordi ydelsen er ekstremt begrænset, når man bruger de fleste processorer på markedet.

Hvordan genopfandt Hailo AI-processor-arkitekturen?

Vi gjorde det ved specifikt at designe en AI-processor, der er bygget til at fungere på kantenheder, hvor vi tager hensyn til størrelse- og strømbegrænsninger. Ved at gøre det, aktiverer vi en hidtil uset beregningskraft på kantenheder, der muliggør, at de kan køre AI mere effektivt og effektivt, og udføre avancerede deep learning-applikationer som objektdetektion, objekterkendelse, segmentering og andre, med ydelsesniveauer, der tidligere kun var mulige i skyen. Denne unikke arkitektur muliggør multi-stream- og multi-applikationsbehandling, hvilket forbedrer ydelsen og omkostningseffektiviteten af kantenheder.

Et eksempel på brugen af denne arkitektur er Video Management Systemer (VMS). Disse systemer bruges i områder med mange kameraer, såsom kontorbygninger, stadioner, intelligente byapplikationer og motorveje til bedre at håndtere sikkerhed og sikkerhed, herunder overvågning af nødsituationer og uheld, mistænkelig aktivitet, trafikstyring, adgangskontrol, afgiftsindkrævning og mere. I mange år har virksomhederne afhængigt af manuelle processer, når det kommer til at indsamle, analysere og gemme video-data. Nu kan VMS med Hailo’s unikke neurale netværksarkitektur udføre flere opgaver samtidigt i realtid, hvilket muliggør behandling af flere kanaler og flere applikationer samtidigt. Applikationer omfatter avanceret nummerpladegenkendelse (LPR), trafikovervågning, adfærdsdetektion og mere.

Kan du diskutere den neurale netværksbehandlingskerne og jeres tilgang til at beregne neurale netværk i parallel i stedet for sekventielt?

Vores AI-processor kombinerer flere innovationer, der adresserer de grundlæggende egenskaber af neurale netværk. Vi anvendte en innovativ kontrolskema, der er baseret på en kombination af hardware og software for at nå meget lave jouler per operation med en høj grad af fleksibilitet.

Vores unikke dataflow-orienterede arkitektur tilpasser sig strukturen af det neurale netværk og muliggør høj ressourceudnyttelse. Hailo dataflow-kompilator består af fuld stack software, co-designet med vores hardware, for at muliggøre effektiv implementering af neurale netværk. Dataflow-kompilatoren modtager brugermodellen som input. Som en del af byggeflowet bryder dataflow-kompilatoren hver af netværkslagene ned til de nødvendige beregnings-elementer, og genererer en ressourcegraf, der er en repræsentation af mål-netværket. Dataflow-kompilatoren matcher derefter mål-netværkets ressourcegraf til de fysiske ressourcer, der er tilgængelige på processoren, og genererer en tilpasset datapibe til mål-netværket. Når dette udføres på denne måde, er det meget effektivt at køre en model på en enhed, og bruger minimalt med beregningsressourcer på alle tidspunkter.

Hvad er nogle af de nuværende Hailo-baserede platforme, der er tilgængelige for virksomheder?

Hailo-8™-processoren og AI-modulerne kan indsættes i en række kantenheder, og hjælper med at aktivere flere sektorer med overlegen AI-kapacitet – herunder bil, intelligente byer, intelligente detail, og industri 4.0.

Hailo har samarbejdet med førende VMS- og ISV-spillere som Innovatrics, Network Optix, GeoVision og Art of Logic for at aktivere top-præsterende videoanalyse i stor skala.

Hvor meget tid kan disse løsninger spare kunder, der integrerer AI-løsninger?

At finde integrerede løsninger, der kører på etablerede VMS-platforme, er tidssparende, men det er ikke det primære fordel af systemet. Hailo-baserede VMS-løsninger muliggør flere strømme, der kan køre i parallel, og flere applikationer, der kan behandles for hver strøm.

Evnen til at udnytte AI til at behandle flere videostrømme betyder også, at kun bestemte begivenheder behøver at strømmes til skyen til lagring, hvilket muliggør betydelige besparelser på båndbredde og lagringskapacitet.

Hvad er nogle af de lærdomme, du har draget fra at implementere deep learning-applikationer på kantenheder?

Vi har set førstehånds, hvordan AI på kanten vil spille en nøglerolle i at drive innovation på tværs af en bred vifte af sektorer i de kommende år. Mens virksomheder søger efter løsninger, der sikrer, at deres enheder er mere kraftfulde, fleksible, responsiv og sikre, vil skyen fortsætte med at give plads til kantenheder og hybridmodeller. De, der lykkes med at implementere AI på kanten, vil få en fordel over hele linjen.

Hvad er din vision for fremtiden for kantcomputering?

Kantcomputering – specifikt AI på kanten – har mulighed for at fuldstændigt forandre, hvordan verden omkring os fungerer, og muliggør enheder som intelligente kameraer, smarte køretøjer, autonome robotter, avancerede trafikstyringsværktøjer, smart konstruktion, smarte fabrikker og mere. AI på kanten har kraften til at ændre alt og alles, og muliggør nye applikationer, der kan gøre vores verden smartere og sikrere. Hailo’s AI-behandlings-teknologi er en stor aktiveringsfaktor for alle disse brugsområder. Vi vil fortsætte med at samarbejde med fabrikanter og innovatorer på tværs af hele verden for at gøre disse løsninger mere tilgængelige.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Hailo.