Orr Danon, CEO og medgrunnlegger av Hailo – Intervju-serie

Orr Danon er CEO og medgrunnlegger av Hailo, et selskap med misjonen om å muliggjøre smarte kanter-teknologier å nå sitt fulle potensiale. Løsningen Hailo presenterer broer gapet mellom eksisterende og fremtidige AI-teknologier og beregningskapasiteten som trengs for å drive disse applikasjonene. Selskapet fokuserer på å bygge AI-prosessorer effektive og kompakte nok til å beregne og tolke store mengder data i sanntid.

Kunne du dele opphavet til Hailo?

Jeg grunnla Hailo i 2017 sammen med kolleger jeg hadde møtt tidligere i Israels forsvars elite-teknologi-enhet. Mens jeg arbeidet med mine medgrunnleggere Rami Feig og Avi Baum på IoT-løsninger (Internet of Things), dukket en mindre kjent konstruksjon – “Dyp læring” – opp gjentatte ganger i vår forskning. Til slutt samlet vi sammen eksperter på området for å utvikle en ny dyp-læringsløsning som hadde som mål å løse manglene i eldre datamaskinarkitektur for å muliggjøre smarte enheter å fungere mer effektivt og effektivt på kanten. Etter Rami’s tragiske død, så Hailo-teamet hans visjon gjennom – og skapte Hailo’s banebrytende AI-prosessor.

Kunne du kort forklare hvorfor edge computing ofte er en overlegen løsning sammenlignet med sky-computing?

Når vi startet Hailo, var disruptiv AI-teknologi i stor grad begrenset til skyen eller store datasentre, da de er kostbare, krever høy beregningskraft og omfattende maskinvare for å kjøre, og forbruker en betydelig mengde energi. Vi tror at AI hjelper til å skape en bedre, tryggere, mer produktiv og mer spennende verden, men for at dette skal skje, må AI være tilgjengelig på kanten også. For implementering av sanntids- og lav-forsinkelsesapplikasjoner på enheter som nettverkskoblede kameraer, kjøretøy og IoT-enheter, er prosessering på kildepunktet essensielt for effektiv drift. Med edge-AI kan vi fullt ut utnytte en rekke nøkkelbrukssaker som driver fremtiden for smarte byer, intelligente transportmidler, autonom kjøring, videosystemer (VMS), Industri 4.0 og mer.

Hva er noen av utfordringene bak prosessering av visuell data på kanten?

Målet er å få så mye ytelse og så mange funksjoner som kan pakkes inn i edge-enheter så de kan prosessere en enorm mengde visuell data raskt og med liten forsinkelse; likevel er en av de viktigste begrensningene strømforbruk – både i forhold til hvor mye strøm som kan leveres til enheten og varmen som genereres av prosessoren.

Med intelligente kameraer, for eksempel, trenger produsentene en AI-prosessor som kan passe inn i et 2-3W-område fordi kameraet ikke kan bruke vifteavkjøling og fordi det vanligvis vil ha en begrenset strømforsyning. Disse er akutte smertepunkter fordi på så lav strøm, er ytelsen ekstremt begrenset når man bruker de fleste prosessorer på markedet.

Hvordan gjenskapte Hailo AI-prosessor-arkitekturen?

Vi gjorde det ved å spesifikt designe en AI-prosessor som er bygget for å fungere på edge-enheter, med hensyn til størrelse- og effektbegrensninger. Ved å gjøre dette, muliggjør vi utenforliggende beregningskraft på edge-enheter, som muliggjør at de kan kjøre AI mer effektivt og effektivt og utføre sofistikerte dyp-læringsapplikasjoner som objektdeteksjon, objekterkjennelse, segmentering og andre, med ytelsesnivåer som tidligere bare var mulig i skyen. Denne unike arkitekturen tillater multi-strøm- og multi-applikasjonsprosessering, og forbedrer ytelsen og kostnadseffektiviteten til edge-enheter.

Et eksempel på bruk av denne arkitekturen er Video Management Systems (VMS). Disse systemene brukes i områder med mange kameraer, som kontorbygninger, stadioner, smarte by-applikasjoner og motorveier for å bedre håndtere sikkerhet og sikkerhet, inkludert overvåking av nødsituasjoner og ulykker, mistenkelig aktivitet, trafikkhåndtering, adgangskontroll, tollsamling og mer. I mange år har bedrifter avhengig av manuelle prosesser når det gjaldt å samle inn, analysere og lagre video-data. Nå, med Hailo’s unike neurale nettverksarkitektur, kan VMS utføre flere oppgaver samtidig, i sanntid, og muliggjøre prosessering av flere kanaler og flere applikasjoner samtidig. Applikasjoner inkluderer avansert nummerplatenkjennelse (LPR), trafikkovervåking, atferddeteksjon og mer.

Kunne du diskutere den neurale nettverksprosesseringskernen og din tilnærming til å beregne neurale nettverk parallelt i stedet for sekvensielt?

Vår AI-prosessor kombinerer flere innovasjoner som addresserer de grunnleggende egenskapene til neurale nettverk. Vi anvendte en innovativ kontrollskjema basert på en kombinasjon av maskinvare og programvare for å nå svært lave joule per operasjon med en høy grad av fleksibilitet.

Vår unike dataflyt-orienterte arkitektur tilpasser seg strukturen til det neurale nettverket og tillater høy ressursutnyttelse. Hailo dataflyt-kompilator består av fullstendig programvare, ko-designet med vår maskinvare, for å muliggjøre effektiv deployering av neurale nettverk. Dataflyt-kompilatoren mottar brukermodellen som innputt. Som en del av byggeprosessen, bryter dataflyt-kompilatoren ned hver av nettverkslagene til de nødvendige beregnings-elementene, og genererer en ressursgraf som er en representasjon av mål-nettverket. Dataflyt-kompilatoren matcher deretter mål-nettverkets ressursgraf til de fysiske ressursene som er tilgjengelige på prosessoren, og genererer en tilpasset datapipeline for mål-nettverket. Når dette utføres på denne måten, er å kjøre en modell på en enhet svært effektivt, og bruker minimal beregningskraft hele tiden.

Hva er noen av de nåværende Hailo-baserte plattformene som er tilgjengelige for bedrifter?

Hailo-8™-prosessor og AI-modulene kan kobles inn i en rekke edge-enheter, og hjelper med å aktivere flere sektorer med overlegen AI-kapasitet – inkludert bil, smarte byer, smart detaljhandel og industri 4.0.

Hailo har samarbeidet med ledende VMS- og ISV-aktører som Innovatrics, Network Optix, GeoVision og Art of Logic, for å muliggjøre topptrende videoanalyse i stor skala.

Hvor mye tid kan disse løsningene spare kunder som integrerer AI-løsninger?

Å finne integrerte løsninger som kjører på etablerte VMS-plattformer er tidssparende, men dette er ikke hovedfordelen med systemet. Hailo-baserte VMS-løsninger muliggjør flere strømmer å kjøre parallelt, og flere applikasjoner å prosesseres for hver strøm.

Evnen til å utnytte AI til å prosessere flere videostrømmer betyr også at bare bestemte hendelser trenger å strømmes til skyen for lagring, og muliggjør betydelige besparelser på båndbredde og lagringskapasitet.

Hva er noen lærdommer du har lært fra å deployere dyp-læringsapplikasjoner i edge-enheter?

Vi har sett hvordan AI på kanten vil spille en nøkkelrolle i å drive innovasjon over en rekke sektorer i årene som kommer. Mens bedrifter søker etter løsninger som sikrer at deres enheter er mer kraftfulle, fleksible, responsive og sikre, vil skyen fortsette å gi vei til edge-enheter og hybride modeller. De som lykkes i å implementere AI på kanten, vil få en fordel over hele linjen.

Hva er din visjon for fremtiden til edge computing?

Edge computing — spesielt AI på kanten — har evnen til å fullstendig forvandle hvordan verden rundt oss fungerer, og muliggjør enheter som intelligente kameraer, smarte kjøretøy, autonome roboter, avanserte trafikkhåndtering-verktøy, smart konstruksjon, smarte fabrikker og mer. AI på kanten har kraften til å endre alt og noe, og muliggjør nye applikasjoner for å gjøre vår verden smartere og tryggere. Hailo’s AI-prosessor-teknologi er en viktig aktør i alle disse brukstilfellene. Vi vil fortsette å samarbeide med produsenter og innovatører over hele verden for å gjøre disse løsningene mer tilgjengelige.

Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke Hailo.