Role tinyML při umožnění počítačového vidění na okraji – Thought Leaders

Autor: Davis Sawyer, Spoluzakladatel a Chief Product Officer, Deeplite

Počítačové vidění má velký potenciál zlepšit náš každodenní život – a existuje mnoho aplikací a použití pro něj. Některé příklady zahrnují:

• Chytré zvonečky pro domácí bezpečnost pomáhají předcházet “porch pirate” a vloupáním. Podle výzkumu I.H.S. Markit (publikovaného v SecurityInfoWatch) se předpokládalo, že počet globálních bezpečnostních kamer na celém světě dosáhne v roce 2021 jedné miliardy. Pouze ve Spojených státech se předpokládalo, že počet kamer dosáhne 85 milionů;
• V parkovištích AI-připravené kamery automatizují sledování volných a obsazených parkovacích míst, aby spotřebitelé věděli, kde jsou volná místa;
• Dashboard kamery na nákladní vozy nyní čtou značky omezující rychlost a dynamicky snižují rychlost vozidla, aby zlepšily bezpečnost;
• A drony s připojenými kamerami monitorují vzdálené a těžko přístupné oblasti a mohou zpracovávat obrázky a dělat rozhodnutí v reálném čase.

Všechny tyto aplikace využívají inteligentní videoanalytiku, poháněnou umělou inteligencí a strojovým učením (ML), aby sledovaly video, používaly inteligenci k rozhodování a poté činily akci.

Počítačové vidění potřebuje více zdrojů na okraji

Nicméně, jako mnoho aplikací poháněných umělou inteligencí, počítačové vidění potřebuje výbuchy výpočetní síly, paměti a energie, aby provedlo komplexní analýzu a rozhodnutí. Zatímco to je v pořádku v datovém centru s velkou výpočetní silou, může to zabránit přesunu AI na okraj. Konkrétně malé zařízení, které se nachází daleko od firemních datových center a funguje na malých bateriích, potřebuje novou generaci AI, která je menší, rychlejší a “lehčí” než tradiční přístupy. A existující zařízení budou muset být upgradována s novou AI + ML (počítačové vidění) funkcionalitou, aby zůstala životaschopná a konkurenceschopná.

Nové pokroky zvyšují hluboké neuronové sítě

Dnes nové pokroky v AI dělají hluboké neuronové sítě (DNN) rychlejší, menší a energeticky efektivnější – a pomáhají přesunout AI z cloudu a datových center na zařízení na okraji a bateriově napájené senzory. Když se jedná o školení AI modelů, ohromující uhlíková stopa byla zdokumentována a diskutována (tj. školení jednoho AI jazykového modelu vydává tolik CO2 jako 5 aut po celou dobu jejich životnosti). Nicméně musíme pochopit, jaký je environmentální dopad AI modelu Inferenci a jak snížit tuto stopu. To je místo, kde může optimalizace modelu mít obrovské výhody snížením ekonomické a environmentální ceny DNN.

TinyML ermögňuje AI na malých zařízeních

Jedním z takových pokroků je tinyML, silný nový trend, který umožňuje malým, bateriově napájeným zařízením používat pokročilé ML k dodání počítačového vidění a dalších percepčních úkolů. Usnadňuje ML inferenci na malých, zdrojově omezených zařízeních, obvykle na okraji cloudu, a pomáhá umožnit aplikace na okraji blíže k uživateli.

Příklad: Serverová GPU, jako je NVIDIA A100, má více než 40 GB dostupné paměti, což je vhodné pro spuštění komplexního AI, jako je počítačové vidění a zpracování přirozeného jazyka. Nicméně, když mluvíme o zařízeních na okraji a tinyML, běžný mikrokontrolér (MCU) může mít pouze 256 KB paměti, což je více než 100 000krát méně paměti než cloud! Kromě toho, na rozdíl od datových center a cloudu, nelze hardware zařízení na okraji snadno aktualizovat v terénu. To znamená, že musíme “přizpůsobit” naše AI dostupnému hardwaru, což může trvat měsíce až roky pokusů a omylů pro vývojáře, pokud se to vůbec podaří. To je místo, kde tinyML, zejména automatizované strojové učení (také nazývané AutoML), může sehrát majoritní roli v překonání bariér pro přijetí AI v reálném světě.

A vliv tinyML roste. S více než 10 000 členy, tinyML Foundation roste ekosystém na podporu vývoje a nasazení ultra-nízkoenergetických řešení strojového učení na okraji. Foundation sjednocuje globální komunitu hardwaru, softwaru, strojového učení, datových vědců, systémových inženýrů, designérů, produktů a obchodníků.

Svět plný možností

Celkově existují miliardy malých, propojených zařízení všude, které mohou mít prospěch z pokročilé inteligence. Výzvou je, že mají velmi omezené zdroje, takže jak můžeme přidat inteligenci k nim? tinyML může sehrát klíčovou roli v přinášení AI a ML do více aplikací založených na počítačovém vidění, v reálném světě, na okraji na malých zařízeních. A to může odemknout svět výhod pro lidi a společnosti napříč řadou produktů, služeb a odvětví, pomáhajícím nám tlačit do nových hranic pro AI.