tinyML's rolle i at muliggøre computersyn på kanten – tankeledere

Af: Davis Sawyer, medstifter og Chief Product Officer, Dybt

Computer vision har et stort potentiale til at forbedre vores hverdag – og der er mange applikationer og anvendelser for det. Et par eksempler omfatter:

• Smarte dørklokker for hjemmesikkerhed hjælpe med at forhindre "verandapirater" og indbrud. Ifølge forskning fra IHS Markit (offentliggjort i SecurityInfoWatch) antallet af globale overvågningskameraer på verdensplan forventedes at nå en milliard i 2021. Alene i USA forventedes antallet af kameraer at nå op på 85 millioner;
• In parkeringspladserAI-aktiverede kameraer automatiserer sporingen af ​​tilgængelige og besatte parkeringspladser for at lade forbrugerne vide, hvor åbne pladser er;
• Dashboard kameraer på lastbiler læser nu hastighedsgrænseskilte og reducerer dynamisk lastbilens hastighed for at forbedre sikkerheden;
• og droner med tilsluttede kameraer overvåger fjerntliggende og svært tilgængelige områder, og de kan behandle billeder og træffe beslutninger i realtid.

Alle disse applikationer bruger intelligent videoanalyse, drevet af AI og Machine Learning (ML), til at se video, bruge intelligens til at træffe beslutninger og derefter handle.

Computer Vision har brug for flere ressourcer på kanten

Men ligesom mange AI-drevne applikationer har computervision brug for udbrud af computerkraft, hukommelse og energi for at udføre sine komplekse analyser og træffe beslutninger. Selvom dette er fint i et datacenter med meget computerkraft, kan det forhindre flytning af AI til kanten. Specifikt har små enheder, der er placeret langt fra virksomhedens datacentre og opererer på små batterier, brug for en ny type AI, der er mindre, hurtigere og "lettere" end traditionelle tilgange. Og eksisterende enheder skal opgraderes med ny AI + ML (computer vision) funktionalitet for at forblive levedygtige og konkurrencedygtige.

Nye fremskridt booster dybe neurale netværk

I dag gør nye fremskridt inden for AI Deep Neural Networks (DNN'er) hurtigere, mindre og mere energieffektive – og hjælper med at flytte AI fra skyen og datacentre til kantenheder og batteridrevne sensorer. Når det kommer til AI-modeltræning, er det svimlende COXNUMX-fodaftryk blevet dokumenteret og diskuteret (dvs. træning af en AI-sprogmodel udleder lige så meget CO2 som 5 biler i løbet af deres levetid). Men vi er nødt til at forstå, hvad miljøpåvirkningen har AI model Inferens er, og hvordan man kan reducere dette fodaftryk. Det er her modeloptimering kan have enorme fordele ved at reducere de økonomiske og miljømæssige omkostninger ved DNN'er.

TinyML aktiverer kunstig intelligens på små enheder

Et sådant fremskridt er lille ML, en kraftfuld ny trend, der gør det muligt for mindre, batteridrevne enheder at bruge avanceret ML til at levere computersyn og andre perceptionsopgaver. Det letter ML-inferens på små, ressourcebegrænsede enheder, typisk på kanten af ​​skyen, og hjælper med at aktivere edge-applikationer tættere på brugeren.

For eksempel har en server-GPU som en NVIDIA A100 over 40 GB tilgængelig hukommelse, som er velegnet til at køre kompleks AI som computersyn og naturlig sprogbehandling. Men når vi taler om edge-enheder og tinyML, har en almindelig mikrocontroller (MCU) muligvis kun 256KB on-chip-hukommelse, hvilket er over 100,000 gange mindre hukommelse end skyen! Derudover, i modsætning til datacentre og skyen, kan edge-enhedshardware ikke nemt opdateres i marken. Det betyder, at vi skal "passe" vores AI ind i den tilgængelige hardware, hvilket kan tage måneder til år med forsøg og fejl for udviklere at opnå, hvis overhovedet. Det er her tinyML, især automatiseret maskinlæring (også kaldet AutoML) kan spille en stor rolle i at bryde barrierer for at adoptere AI i den virkelige verden.

Og tinyMLs indflydelse vokser. Med over 10,000 medlemmer vokser tinyML Foundation økosystemet for at understøtte udviklingen og implementeringen af ​​maskinlæringsløsninger med ultralav effekt på kanten. Fonden forener et globalt fællesskab af hardware, software, maskinlæring, dataforskere, systemingeniører, designere, produkt- og forretningsfolk.

En verden af ​​muligheder

I alt er der milliarder af små, tilsluttede enheder overalt, som kan drage fordel af avanceret intelligens. Udfordringen er, at de har meget begrænsede ressourcer, så hvordan kan vi tilføje intelligens til dem? tinyML kan spille en nøglerolle i at bringe AI og ML til mere computervisionsbaserede applikationer i den virkelige verden på kanten på små enheder. Og dette kan frigøre en verden af ​​fordele for mennesker og virksomheder på tværs af en række produkter, tjenester og industrier, og hjælpe os med at skubbe ind i nye grænser for AI.