tinyML’s rolle i at aktivere computer vision på kanten – Tankeledere

Skrevet af: Davis Sawyer, Medstifter og Chief Product Officer, Deeplite

Computer vision har stor potentiale til at forbedre vores daglige liv – og der er mange anvendelser og brug af det. Nogle eksempler inkluderer:

• Smart dørklokkersystemer til hjemmesikkerhed hjælper med at forhindre “porch pirates” og indbrud. Ifølge en undersøgelse af I.H.S. Markit (offentliggjort i SecurityInfoWatch) forventedes antallet af globale overvågningskameraer verden over at nå en milliard i 2021. I USA alene forventedes antallet af kameraer at nå 85 millioner;
• I parkeringer automatiserer AI-aktiverede kameraer sporingen af ledige og besatte parkeringspladser, så forbrugerne kan se, hvor der er åbne pladser;
• Dashboardkameraer på lastbiler læser nu fartsskilt og reducerer lastbilens fart dynamisk for at forbedre sikkerheden;
• Og droner med tilkoblede kameraer overvåger fjerneste og svært tilgængelige områder og kan behandle billeder og træffe beslutninger i realtid.

Alle disse anvendelser bruger intelligente videoanalyser, drevet af AI og Machine Learning (ML), til at se video, bruge intelligens til at træffe beslutninger og derefter handle.

Computer Vision Kræver Flere Ressourcer på Kanten

Men ligesom mange AI-drevne anvendelser kræver computer vision udbrud af beregningskraft, hukommelse og energi til at udføre komplekse analyser og træffe beslutninger. Dette er fint i et datacenter med masser af beregningskraft, men det kan forhindre flytningen af AI til kanten. Specifikt har små enheder, der er placeret langt fra virksomhedens datacentre og opererer på små batterier, brug for en ny type AI, der er mindre, hurtigere og “lettere” end traditionelle tilgange. Og eksisterende enheder skal opgraderes med nye AI + ML (computer vision) funktioner for at forblive livskraftige og konkurrencedygtige.

Nye Fremfremskridt Booster Dybe Neurale Netværk

I dag gør nye fremfremskridt i AI dybe neurale netværk (DNN) hurtigere, mindre og mere energibesparende – og hjælper med at flytte AI fra skyen og datacentrene til kantenheder og batteridrevne sensorer. Når det kommer til AI-modeltræning, er den overvældende kulstofaftryk blevet dokumenteret og diskuteret (f.eks. udsender træning af en enkelt AI-sprogmodel så meget CO2 som 5 biler over deres levetid). Men vi skal forstå, hvad den miljømæssige påvirkning af AI-modelinference er, og hvordan vi kan reducere denne påvirkning. Dette er, hvor modeloptimering kan have enorme fordele gennem reduktion af den økonomiske og miljømæssige omkostning af DNN.

TinyML Gør AI Muligt på Små Enheder

En sådan fremfremskridt er tinyML, en kraftfuld ny trend, der muliggør, at små, batteridrevne enheder kan bruge avanceret ML til at levere computer vision og andre perception-opgaver. Det faciliterer ML-inferens på små, ressourcebegrænsede enheder, typisk på kanten af skyen, og hjælper med at aktivere kantapplikationer tættere på brugeren.

For eksempel har en server-GPU som en NVIDIA A100 over 40 GB til rådighed, hvilket er egnet til at køre komplekse AI som computer vision og naturligt sprogbehandling. Men når vi taler om kantenheder og tinyML, kan en almindelig mikrocontroller (MCU) have kun 256 KB på-chip-hukommelse, hvilket er over 100.000 gange mindre hukommelse end skyen! Derudover kan kantenhedens hardware ikke let opdateres i feltet. Dette betyder, at vi må “tilpasse” vores AI til den tilgængelige hardware, hvilket kan tage måneder til år af prøvning og fejl for udviklere at opnå, hvis overhovedet. Dette er, hvor tinyML, især automatiseret maskinlæring (også kaldet AutoML), kan spille en stor rolle i at bryde barrierer for at anvende AI i den virkelige verden.

Og tinyML’s indflydelse er voksende. Med over 10.000 medlemmer er tinyML Foundation ved at udvide økosystemet til at støtte udviklingen og implementeringen af ultra-lavt-forbrugs maskinlæringssammenløsninger på kanten. Foundationen samler en global fællesskab af hardware-, software-, maskinlæring-, datavidenskabs-, systemingeniør-, design-, produkt- og forretningsfolk.

En Verden af Muligheder

I alt er der milliarder af små, tilkoblede enheder overalt, der kan drage fordel af avanceret intelligens. Udfordringen er, at de har meget begrænsede ressourcer, så hvordan kan vi tilføje intelligens til dem? tinyML kan spille en nøglerolle i at bringe AI og ML til mere computer vision-baserede, virkelige anvendelser på kanten på små enheder. Og dette kan låse op for en verden af fordele for mennesker og virksomheder på tværs af en række produkter, tjenester og brancher, hvilket hjælper os med at rykke ind i nye grænser for AI.