tinyML:s roll i att möjliggöra datorseende på kanten – tankeledare

Av: Davis Sawyer, medgrundare och Chief Product Officer, Deeplite

Datorseende har stor potential att förbättra våra dagliga liv – och det finns många tillämpningar och användningsområden för det. Några exempel inkluderar:

• Smart dörrklockor för hemmet säkerhet hjälper till att förhindra “porch pirates” och inbrott. Enligt en undersökning av I.H.S. Markit (publicerad i SecurityInfoWatch) förväntades antalet globala övervakningskameror i världen nå en miljard år 2021. I USA förväntades antalet kameror nå 85 miljoner;
• I parkeringar automatiserar AI-aktiverade kameror spårningen av lediga och upptagna parkeringsplatser för att låta konsumenterna veta var det finns lediga utrymmen;
• Instrumentbrädskameror på lastbilar läser nu hastighetsskyltar och minskar dynamiskt lastbilens hastighet för att förbättra säkerheten;
• Och drönare med anslutna kameror övervakar avlägsna och svårtillgängliga områden och kan bearbeta bilder och fatta beslut i realtid.

Alla dessa tillämpningar använder intelligent videoanalys, driven av AI och maskinlärande (ML), för att titta på video, använda intelligens för att fatta beslut och sedan vidta åtgärder.

Datorseende behöver fler resurser på kanten

Men, som många AI-drivna tillämpningar, behöver datorseende tillfälliga utbrott av beräkningskraft, minne och energi för att göra sin komplexa analys och fatta beslut. Medan detta är bra i ett datacenter med mycket datorkraft, kan det förhindra att AI flyttas till kanten. Specifikt behöver små enheter som är belägna långt ifrån företags datacenter och som drivs av små batterier en ny typ av AI som är mindre, snabbare och “lättare” än traditionella metoder. Och befintliga enheter kommer att behöva uppgraderas med ny AI + ML (datorseende) funktion för att förbli livskraftiga och konkurrenskraftiga.

Nya framsteg förbättrar djupa neuronnät

Idag gör nya framsteg inom AI djupa neuronnät (DNN) snabbare, mindre och mer energisnåla – och hjälper till att flytta AI från molnet och datacenter till enheter på kanten och batteridrivna sensorer. När det gäller AI-modellträning har den häpnadsväckande koldioxidavtrycket dokumenterats och diskuterats (t.ex. utbildar en AI-språkmodell utsläpp lika mycket CO2 som 5 bilar under deras livstid). Men vi måste förstå vad den miljömässiga påverkan av AI-modellinferens är och hur man kan minska denna påverkan. Här kan modelloptimering ha enorma fördelar genom att minska de ekonomiska och miljömässiga kostnaderna för DNN.

TinyML möjliggör AI på små enheter

En sådan framsteg är tinyML, en kraftfull ny trend som möjliggör att små, batteridrivna enheter använder avancerad ML för att leverera datorseende och andra uppfattningsuppgifter. Det underlättar ML-inferens på små, resursbegränsade enheter som vanligtvis finns på kanten av molnet, och hjälper till att möjliggöra kanttillämpningar närmare användaren.

Till exempel har en server-GPU som en NVIDIA A100 över 40 GB tillgängligt minne, vilket är lämpligt för att köra komplex AI som datorseende och naturligt språkbehandling. Men när vi pratar om enheter på kanten och tinyML kan en vanlig mikrokontroller (MCU) ha endast 256 KB på-chip-minne, vilket är över 100 000 gånger mindre minne än molnet! Dessutom kan enhetsmaskinvara på kanten inte enkelt uppdateras på fältet. Det betyder att vi måste “passa in” vår AI i den tillgängliga maskinvaran, vilket kan ta månader till år av trial and error för utvecklare att uppnå, om alls. Här kan tinyML, särskilt automatiserat maskinlärande (även kallat AutoML), spela en viktig roll i att bryta barriärer för att anta AI i den verkliga världen.

Och tinyML:s inflytande växer. Med över 10 000 medlemmar växer tinyML-stiftelsen ekosystemet för att stödja utveckling och distribution av ultra-lågenergi maskinlärandelösningar på kanten. Stiftelsen förenar en global gemenskap av hårdvaru-, mjukvaru-, maskinlärande-, data-, system-, designers-, produkt- och företagspersoner.

En värld av möjligheter

Sammanfattningsvis finns det miljarder små, anslutna enheter överallt som kan dra nytta av avancerad intelligens. Utmaningen är att de har mycket begränsade resurser, så hur kan vi addera intelligens till dem? tinyML kan spela en viktig roll i att bringa AI och ML till fler datorseende-baserade, realvärldstillämpningar, på kanten på små enheter. Och detta kan låsa upp en värld av fördelar för människor och företag över ett brett utbud av produkter, tjänster och branscher, vilket hjälper oss att skjuta in i nya gränser för AI.