Orr Danon, CEO & Co-Founder of Hailo – Intervju-serie

Orr Danon, er CEO & Co-Founder av Hailo, et selskap med misjonen om å muliggjøre smart kant-teknologi for å nå sitt fulle potensiale. Løsningen Hailo presenterer broer gapet mellom eksisterende og fremtidige AI-teknologier og beregningskapasiteten som trengs for å drive disse applikasjonene. Selskapet fokuserer på å bygge AI-prosessorer effektive og kompakte nok til å beregne og tolke store mengder data i sanntid.

Kunne du dele opphavsfortellingen bak Hailo?

Jeg co-grunnla Hailo i 2017 sammen med kolleger jeg hadde møtt tidligere i Israels forsvars elite-teknologi-enhet. Mens jeg arbeidet med mine med-grunnleggere Rami Feig og Avi Baum på IoT-løsninger (Internet of Things), dukket en mindre kjent konstruksjon – “Deep Learning” – opp gjentatte ganger gjennom vår forskning. Til slutt samlet vi sammen eksperter på området for å utvikle en ny deep-learning-løsning som hadde som mål å løse manglene ved eldre datamaskin-arkitektur for å muliggjøre smarte enheter å operere mer effektivt og effektivt på kanten. Etter Rami’s uheldige bortgang, så Hailo-teamet hans visjon gjennom – og skapte Hailo’s banebrytende AI-prosessor.

Kunne du kort forklare hvorfor kant-datamaskining ofte er en overlegen løsning til sky-datamaskining?

Da vi startet Hailo, var disruptive AI-teknologier i stor grad begrenset til skyen, eller store datasentre, da de er kostbare, krever høy beregningskraft og omfattende maskinvare for å kjøre, og forbruker en betydelig mengde energi. Vi tror at AI hjelper til å skape en bedre, tryggere, mer produktiv og mer spennende verden, men for at dette skal skje, må AI være tilgjengelig på kanten også. For implementering av sanntids- og lav-forsinkelses-applikasjoner på enheter som nettverkskoblede kameraer, kjøretøy og IoT-enheter, er prosessering på kilde essensiell for effektiv drift. Med kant-AI kan vi fullt utnytte en rekke nøkkelbrukssaker som driver fremtiden for smarte byer, intelligente transportmidler, autonom kjøring, videoledelsessystemer (VMS), Industri 4.0 og mer.

Hva er noen av utfordringene bak prosessering av visuell data på kanten?

Målet er å få så mye ytelse og så mange funksjoner som kan pakkes inn i kant-enheter så de kan prosessere en enorm mengde visuell data raskt og med liten forsinkelse; men en av de viktigste begrensningene er strømforbruk – både i forhold til hvor mye strøm som kan leveres til enheten og varmen som genereres av prosessoren.

Med intelligente kameraer, for eksempel, trenger produsentene en AI-prosessor som kan passe inn i en 2-3W-omriss fordi kameraet ikke kan bruke vifteavkjøling og fordi det vanligvis vil ha en begrenset strømforsyning. Disse er akutte smertepunkter fordi på så lav strøm, er ytelsen ekstremt begrenset når man bruker de fleste prosessorer på markedet.

Hvordan gjenskapte Hailo AI-prosessor-arkitekturen?

Vi gjorde det ved å spesifikt designe en AI-prosessor som er bygget for å fungere på kant-enheter, med hensyn til størrelse- og effektbegrensninger. Ved å gjøre dette, muliggjør vi utenforliggende beregningskraft på kant-enheter, som muliggjør at de kan kjøre AI mer effektivt og effektivt og utføre sofistikerte deep learning-applikasjoner som objekterkjenning, objekterkjennelse, segmentering og andre, med ytelsesnivåer som tidligere bare var mulig i skyen. Denne unike arkitekturen tillater multi-strøm- og multi-applikasjonsprosessering, som forbedrer ytelsen og kostnadseffektiviteten til kant-enheter.

Et eksempel på bruk av denne arkitekturen er Video Management Systems (VMS). Disse systemene brukes i områder med mange kameraer, som kontorbygninger, stadioner, smarte by-applikasjoner og motorveier for å bedre håndtere sikkerhet og sikkerhet, inkludert overvåking av nødsituasjoner og ulykker, mistenkelig aktivitet, trafikkhåndtering, adgangskontroll, tollinnsamling og mer. I mange år avhengig av manuelle prosesser når det kom til å samle inn, analysere og lagre video-data. Nå, med Hailo’s unike neurale nettverks-arkitektur, kan VMS utføre flere oppgaver parallelt, i sanntid, og muliggjøre prosessering av flere kanaler og flere applikasjoner samtidig. Applikasjoner inkluderer avansert nummerplatenkjennelse (LPR), trafikkovervåking, atferdsdeteksjon og mer.

Kunne du diskutere neurale nettverks-prosessor-kjernen og din tilnærming til å beregne neurale nettverk parallelt versus sekvensielt?

Vår AI-prosessor kombinerer flere innovasjoner som addresserer de grunnleggende egenskapene til neurale nettverk. Vi anvendte en innovativ kontrollskjema som er basert på en kombinasjon av maskinvare og programvare for å nå svært lave joule per operasjon med en høy grad av fleksibilitet.

Vår unike dataflyt-orienterte arkitektur tilpasser seg strukturen til det neurale nettverket og tillater høy ressursutnyttelse. Hailo dataflyt-kompilator består av fullstendig programvare, co-designet med vår maskinvare, for å muliggjøre effektiv distribusjon av neurale nettverk. Dataflyt-kompilatoren mottar brukermodellen som innputt. Som en del av byggeflyten, bryter dataflyt-kompilatoren ned hver av nettverkslagene til de nødvendige beregnings-elementene, og genererer en ressursgraf som er en representasjon av mål-nettverket. Dataflyt-kompilatoren matcher så mål-nettverkets ressursgraf til de fysiske ressursene som er tilgjengelige på prosessoren, og genererer en tilpasset datapipe for mål-nettverket. Når dette utføres på denne måten, er å kjøre en modell på en enhet svært effektivt, og bruker minimalt beregningsressurser hele tiden.

Hva er noen av de nåværende Hailo-baserte plattformene som er tilgjengelige for bedrifter?

Hailo-8™-prosessor og AI-modulene kan plugge inn i en rekke kant-enheter, og hjelpe med å drive flere sektorer med overlegen AI-kapasitet – inkludert bil, smarte byer, smart detaljhandel og industri 4.0.

Hailo har samarbeidet med ledende VMS- og ISV-aktører som Innovatrics, Network Optix, GeoVision og Art of Logic, for å muliggjøre topptreffende videoanalyse i stor skala.

Hvor mye tid kan disse løsningene spare kunder som integrerer AI-løsninger?

Å finne integrerte løsninger som kjører på etablerte VMS-plattformer er tidssparende, men dette er ikke den primære fordelen med systemet. Hailo-baserte VMS-løsninger muliggjør flere strømmer som kan kjøres parallelt, og flere applikasjoner som kan prosesseres for hver strøm.

Evnen til å utnytte AI til å prosessere flere videostrømmer betyr også at bare bestemte hendelser trenger å strømmes til skyen for lagring, og muliggjør betydelige besparelser på båndbredde og lagringskapasitet.

Hva er noen av lærdommene du har lært fra å deployere deep learning-applikasjoner i kant-enheter?

Vi har sett førstehånds hvordan AI på kanten vil spille en nøkkelrolle i å drive innovasjon over en rekke sektorer i årene som kommer. Mens bedrifter søker løsninger som sikrer at deres enheter er mer kraftfulle, fleksible, responsive og sikre, vil skyen fortsette å gi vei til kant-enheter og hybrid-modeller. De som lykkes i å implementere AI på kanten vil få en fordel over hele linjen.

Hva er din visjon for fremtiden til kant-datamaskining?

Kant-datamaskining — spesielt AI på kanten — har evnen til å fullstendig omforme hvordan verden rundt oss fungerer, og muliggjøre enheter som intelligente kameraer, smarte kjøretøy, autonome roboter, avanserte trafikkhåndtering-verktøy, smart konstruksjon, smarte fabrikker og mer. AI på kanten har kraften til å endre alt og noe, og muliggjøre nye applikasjoner for å gjøre vår verden smartere og tryggere. Hailo’s AI-prosessor-teknologi er en stor muliggjører av alle disse brukstilfellene. Vi vil fortsette å samarbeide med produsenter og innovatører over hele verden for å gjøre disse løsningene mer tilgjengelige.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Hailo.