tinyMLs rolle i å enable computer vision på kanten – Tankeledere

Av: Davis Sawyer, medgrunnlegger og sjef for produktutvikling, Deeplite

Datavisjon har stor potensial til å forbedre våre daglige liv – og det finnes mange anvendelser og bruk for det. Noen eksempler inkluderer:

• Smart dørklokker for hjemmesikkerhet hjelper å forebygge “porch pirates” og innbrudd. Ifølge en undersøkelse av I.H.S. Markit (publisert i SecurityInfoWatch) ventes antallet globale overvåkingskameraer å nå en milliard i 2021. I USA alene ventes antallet kameraer å nå 85 millioner;
• I parkeringer automatiserer AI-aktiverede kameraer sporingen av ledige og okkuperte parkeringsplasser for å la forbrukerne vite hvor åpne plasser er;
• Dashboardkameraer på lastebiler leser nå hastighetsskilt og reduserer lastebilens hastighet dynamisk for å forbedre sikkerheten;
• Og drone med tilkoblede kameraer overvåker fjerntliggende og vanskelige områder, og de kan prosessere bilder og ta beslutninger i sanntid.

Alle disse anvendelsene bruker intelligente videoanalyser, drevet av AI og maskinlæring (ML), for å se video, bruke intelligens til å ta beslutninger og deretter iverksette handlinger.

Datavisjon trenger flere ressurser på kanten

Men, som mange AI-drevne anvendelser, trenger datavisjon kraftige datamaskinresurser, minne og energi for å utføre komplekse analyser og ta beslutninger. Dette er greit i et datasenter med mye datamaskinkraft, men det kan hindre flyttingen av AI til kanten. Spesifikt, små enheter som er plassert langt fra datasentre og opererer på små batterier, trenger en ny type AI som er mindre, raskere og “lettere” enn tradisjonelle metoder. Og eksisterende enheter må oppgraderes med ny AI + ML (datavisjon) funksjonalitet for å forbli livskraftige og konkurrerende.

Nye fremgangsmåter booster dype neurale nettverk

I dag er nye fremgangsmåter i AI med å gjøre dype neurale nettverk (DNN) raskere, mindre og mer energi-effektive – og hjelper med å flytte AI fra skyen og datasentrene til enheter på kanten og batteridrevne sensorer. Når det gjelder AI-modelltrening, har den overveldende karbonavtrykket blitt dokumentert og diskutert (dvs. trening av ett AI-språkmodell utsteder like mye CO2 som 5 biler over deres levetid). Men, vi må forstå hva miljøpåvirkningen av AI-modellinferens er og hvordan vi kan redusere denne påvirkningen. Dette er der modell-optimering kan ha enorme fordeler gjennom å redusere den økonomiske og miljømessige kostnaden av DNN.

TinyML muliggjør AI på små enheter

En slik fremgangsmåte er tinyML, en kraftfull ny trend for å muliggjøre små, batteridrevne enheter å bruke avansert ML for å levere datavisjon og andre persepsjonsgaver. Det muliggjør ML-inferens på små, ressursbegrensede enheter som vanligvis er på kanten av skyen, og hjelper med å aktivere kantapplikasjoner nærmere brukeren.

For eksempel har en server-GPU som NVIDIA A100 over 40 GB tilgjengelig minne, som er egnet til å kjøre komplekse AI som datavisjon og naturlig språkbehandling. Men, når vi snakker om enheter på kanten og tinyML, kan en vanlig mikrokontroller (MCU) ha bare 256 KB på-chip-minne, som er over 100 000 ganger mindre minne enn skyen! I tillegg, til forskjell fra datasentre og skyen, kan enhetshardware på kanten ikke lett oppdateres i feltet. Dette betyr at vi må “passe” vår AI til den tilgjengelige hardwaren, som kan ta måneder til år av prøving og feil for utviklere å oppnå, hvis det overhode er mulig. Dette er der tinyML, spesielt automatisk maskinlæring (også kalt AutoML), kan spille en stor rolle i å bryte barrierer for å adoptere AI i den virkelige verden.

Og tinyMLs innflytelse vokser. Med over 10 000 medlemmer, vokser tinyML-stiftelsen økosystemet for å støtte utviklingen og distribusjonen av ultra-lavt-strøm maskinlæring-løsninger på kanten. Stiftelsen forener en global samfunn av hardware-, software-, maskinlæring-, data-vitenskaps-, system- og designere, produkt-, og forretningsfolk.

En verden av muligheter

Til slutt er det milliarder av små, tilkoblede enheter overalt som kan dra nytte av avansert intelligens. Utfordringen er at de har svært begrensede ressurser, så hvordan kan vi legg til intelligens til dem? tinyML kan spille en nøkkelrolle i å bringe AI og ML til flere datavisjonsbaserte, virkelige anvendelser, på kanten på små enheter. Og dette kan låse opp en verden av fordeler for mennesker og selskaper over en rekke produkter, tjenester og industrier, og hjelpe oss å skyve inn i nye grenser for AI.