tinyML’s Rol in het Mogelijk Maken van Computer Vision aan de Rand – Thought Leaders

Door: Davis Sawyer, Co-Founder & Chief Product Officer, Deeplite

Computer vision heeft een groot potentieel om ons dagelijks leven te verbeteren – en er zijn veel toepassingen en gebruiken voor het. Een paar voorbeelden zijn:

• Slimme deurbellen voor thuisbeveiliging helpen voorkomen dat “porch pirates” en inbraken plaatsvinden. Volgens onderzoek van I.H.S. Markit (gepubliceerd in SecurityInfoWatch) werd verwacht dat het aantal wereldwijde bewakingscamera’s in 2021 zou bereiken 1 miljard. Alleen al in de VS werd verwacht dat het aantal camera’s zou bereiken 85 miljoen;
• In parkeergarages automatiseren AI-geactiveerde camera’s het bijhouden van beschikbare en bezette parkeerplaatsen om consumenten te laten weten waar open ruimtes zijn;
• Dashboardcamera’s op vrachtwagens lezen nu snelheidslimietborden en verminderen dynamisch de snelheid van de vrachtwagen om de veiligheid te verbeteren;
• En drones met verbonden camera’s bewaken afgelegen en moeilijk bereikbare gebieden en kunnen beelden verwerken en beslissingen nemen in real-time.

Al deze toepassingen gebruiken intelligente video-analyse, aangedreven door AI en Machine Learning (ML), om video te bekijken, intelligentie te gebruiken om beslissingen te nemen en vervolgens actie te ondernemen.

Computer Vision heeft Meer Bronnen nodig aan de Rand

Echter, zoals veel AI-gedreven toepassingen, heeft computer vision bursts van rekenkracht, geheugen en energie nodig om complexe analyses uit te voeren en beslissingen te nemen. Terwijl dit prima is in een datacenter met veel rekenkracht, kan het de verplaatsing van AI naar de rand verhinderen. Specifiek hebben kleine apparaten die ver van corporate datacenters liggen en op kleine batterijen werken een nieuwe generatie AI nodig die kleiner, sneller en “lichter” is dan traditionele benaderingen. En bestaande apparaten moeten worden geüpgraded met nieuwe AI + ML (computer vision) functionaliteit om levensvatbaar en concurrerend te blijven.

Nieuwe Vooruitgang Verbetert Diepe Neurale Netwerken

Vandaag de dag maken nieuwe vooruitgang in AI diepe neurale netwerken (DNN’s) sneller, kleiner en energiezuiniger – en helpen AI te verplaatsen van de cloud en datacenters naar randapparaten en batterijgevoede sensoren. Wanneer het gaat om AI-modeltraining, is de verbluffende koolstofvoetafdruk gedocumenteerd en besproken (d.w.z. het trainen van één AI-taalmodel uitstoot evenveel CO2 als 5 auto’s tijdens hun levensduur). Echter, we moeten begrijpen wat de milieueffecten van AI-model Inferentie zijn en hoe we deze voetafdruk kunnen verkleinen. Dit is waar modeloptimalisatie enorme voordelen kan hebben door de economische en milieukosten van DNN’s te verkleinen.

TinyML Maakt AI mogelijk op Kleine Apparaten

Een dergelijke vooruitgang is tinyML, een krachtige nieuwe trend om kleinere, batterijgevoede apparaten in staat te stellen om geavanceerde ML te gebruiken voor computer vision en andere perceptietaken. Het faciliteert ML-inferentie op kleine, bronbeperkte apparaten die meestal aan de rand van de cloud liggen, en helpt randtoepassingen dichter bij de gebruiker mogelijk te maken.

Als voorbeeld heeft een server-GPU zoals een NVIDIA A100 meer dan 40 GB aan beschikbaar geheugen, wat geschikt is om complexe AI zoals computer vision en natuurlijke taalverwerking uit te voeren. Echter, wanneer we het hebben over randapparaten en tinyML, kan een gewone microcontroller (MCU) slechts 256 KB aan on-chipgeheugen hebben, wat meer dan 100.000 keer minder geheugen is dan de cloud! Bovendien kunnen randapparaten en tinyML-hardware niet gemakkelijk in het veld worden bijgewerkt. Dit betekent dat we onze AI moeten “passen” in de beschikbare hardware, wat maanden tot jaren van trial en error voor ontwikkelaars kan kosten, als het al mogelijk is. Dit is waar tinyML, in het bijzonder geautomatiseerd machine learning (ook wel AutoML genoemd), een belangrijke rol kan spelen in het doorbreken van barrières voor het adopteren van AI in de echte wereld.

En tinyML’s invloed groeit. Met meer dan 10.000 leden, groeit de tinyML Foundation de ecosystemen om de ontwikkeling en implementatie van ultra-laagvermogende machine learning-oplossingen aan de rand te ondersteunen. De Foundation verbindt een wereldwijde gemeenschap van hardware-, software-, machine learning-, datawetenschappers, systeemingenieurs, ontwerpers, producten en zakenmensen.

Een Wereld van Mogelijkheden

In totaal zijn er miljarden kleine, verbonden apparaten overal die kunnen profiteren van geavanceerde intelligentie. De uitdaging is dat ze zeer beperkte bronnen hebben, dus hoe kunnen we intelligentie toevoegen? tinyML kan een belangrijke rol spelen in het brengen van AI en ML naar meer computer vision-gebaseerde, real-world-toepassingen, aan de rand op kleine apparaten. En dit kan een wereld van voordelen voor mensen en bedrijven over een breed scala aan producten, diensten en industrieën ontsluiten, waardoor we nieuwe grenzen voor AI kunnen bereiken.