TinyML: Aplikace, omezení a jeho použití v IoT a edge zařízeních

V posledních letech jsme byli svědky rychlého růstu popularity a aplikací umělé inteligence (AI) a strojového učení (ML), nejen v průmyslu, ale i v akademické sféře. Nicméně, dnešní modely ML a AI mají jednu velkou limitaci: vyžadují enormní množství výpočetní a procesní síly, aby dosáhly požadovaných výsledků a přesnosti. To často omezuje jejich použití na zařízení s vysokou výpočetní sílou.

Avšak, díky pokrokům v technologiích vestavěných systémů a podstatnému rozvoji internetu věcí, je žádoucí začlenit použití technik a konceptů ML do zařízení s omezenými zdroji pro všudypřítomnou inteligenci. Touha použít koncepty ML v zařízeních a systémech IoT je primárním motivačním faktorem za vývojem TinyML, vestavěné techniky ML, která umožňuje modely a aplikace ML na různých zařízeních s omezenými zdroji, omezenou spotřebou energie a nízkou cenou.

Nicméně, implementace ML na zařízeních s omezenými zdroji nebyla jednoduchá, protože implementace modelů ML na zařízeních s nízkou výpočetní sílou představuje své vlastní výzvy v oblasti optimalizace, zpracování, spolehlivosti, údržby modelů a mnoha dalších.

V tomto článku se budeme zabývat modelem TinyML, a dozvíme se více o jeho pozadí, nástrojích, které podporují TinyML, a aplikacích TinyML pomocí pokročilých technologií. Takže začněme.

Úvod do TinyML: Proč svět potřebuje TinyML

Zařízení internetu věcí (IoT) využívají edge computing, výpočetní paradigma, které se týká zařízení a sítí poblíž uživatele, aby umožnily bezproblémové a reálné zpracování dat z milionů senzorů a zařízení propojených navzájem. Jednou z hlavních výhod zařízení IoT je, že vyžadují nízkou výpočetní a procesní sílu, protože jsou nasazena na okraji sítě, a proto mají nízkou stopu paměti.

Navíc, zařízení IoT silně závisí na edge platformách pro sběr a přenos dat, protože edge zařízení sbírají data ze senzorů a poté je přenášejí buď do blízké lokace, nebo do cloudových platforem pro zpracování. Technologie edge computing ukládá a provádí výpočty na datech a poskytuje také nezbytnou infrastrukturu pro podporu distribuovaného výpočtu.

Implementace edge computingu v zařízeních IoT poskytuje

1. Účinnou bezpečnost, soukromí a spolehlivost pro koncové uživatele.
2. Nižší zpoždění.
3. Vyšší dostupnost a propustnost reakce na aplikace a služby.

Navíc, protože edge zařízení mohou nasadit spolupráci mezi senzory a cloudem, zpracování dat lze provádět na okraji sítě místo na cloudové platformě. To může vést k efektivnímu řízení dat, uchovávání dat, efektivnímu doručování a cachování obsahu. Kromě toho, implementace IoT v aplikacích, které se zabývají interakcí člověk-stroj a moderní zdravotní péčí, edge computing poskytuje způsob, jak významně zlepšit síťové služby.

Poslední výzkum v oblasti edge computingu IoT prokázal potenciál implementovat techniky strojového učení v několika případech použití IoT. Nicméně, hlavním problémem je, že tradiční modely strojového učení často vyžadují silnou výpočetní a procesní sílu a vysokou kapacitu paměti, což omezuje implementaci modelů ML v zařízeních a aplikacích IoT.

Navíc, technologie edge computingu dnes postrádá vysokou přenosovou kapacitu a efektivní úspory energie, což vede k heterogenním systémům, což je hlavní důvod, proč je potřeba harmonické a holistické infrastruktury, zejména pro aktualizaci, školení a nasazení modelů ML. Architektura navržená pro vestavěná zařízení představuje další výzvu, protože tyto architektury závisí na hardwarových a softwarových požadavcích, které se liší od zařízení k zařízení. Je to hlavní důvod, proč je obtížné vytvořit standardní architekturu ML pro sítě IoT.

Také, v současné situaci, data generovaná různými zařízeními jsou odeslána do cloudových platforem pro zpracování, protože síťové implementace jsou výpočetně náročné. Navíc, modely ML často závisí na hlubokém učení, hlubokých neuronových sítích, aplikacích specifických integrovaných obvodů (ASIC) a grafických procesorech (GPU) pro zpracování dat a často mají vyšší spotřebu energie a paměti. Nasazení plnohodnotných modelů ML na zařízení IoT není životaschopným řešením, protože je zřejmý nedostatek výpočetní a procesní síly a omezené úložné kapacity.

Poptávka po miniaturizaci zařízení s nízkou spotřebou energie a optimalizaci modelů ML, aby byly více energeticky a paměťově efektivní, otevřela cestu pro TinyML, který umožňuje implementovat modely a postupy ML na edge zařízeních IoT a frameworku. TinyML umožňuje zpracování signálů na zařízeních IoT a poskytuje vestavěnou inteligenci, čímž eliminuje potřebu přenosu dat do cloudových platforem pro zpracování. Úspěšná implementace TinyML na zařízeních IoT může nakonec vést ke zvýšenému soukromí a efektivitě, zatímco snižuje provozní náklady. Navíc, co dělá TinyML ještě lákavějším, je, že v případě nedostatečného připojení, může poskytnout analytiku na místě.

TinyML: Úvod a přehled

TinyML je nástroj strojového učení, který má schopnost provádět analytiku na zařízení pro různé smyslové modality, jako je audio, vidění a řeč. Modely ML postavené na nástroji TinyML mají nízkou spotřebu energie, paměti a výpočetní síly, což je činí vhodnými pro vestavěné sítě a zařízení, která fungují na bateriovou sílu. Navíc, nízké požadavky TinyML činí jej ideálním řešením pro nasazení modelů ML na frameworku IoT.

V současné situaci, cloudové systémy ML čelí několika obtížím, včetně bezpečnostních a soukromých obav, vysoké spotřeby energie, spolehlivosti a problémů se zpožděním, což je důvod, proč jsou modely na hardwarových a softwarových platformách předinstalovány. Senzory sbírají data, která simulují fyzický svět, a jsou poté zpracovávána pomocí CPU nebo MPU (mikroprocesorové jednotky). MPU vyhovuje potřebám podpory analytiky ML, umožněné edge-aware ML sítěmi a architekturou. Architektura edge ML komunikuje s cloudovou ML pro přenos dat a implementaci TinyML může vést k významnému pokroku v technologii.

Bylo by bezpečné říci, že TinyML je kombinací softwaru, hardwaru a algoritmů, které pracují společně, aby poskytly požadované výkony. Analogové nebo paměťové výpočty mohou být vyžadovány pro poskytování lepší a efektivní výukové zkušenosti pro hardwarová a IoT zařízení, která nepodporují hardwarové akcelerátory. Pokud jde o software, aplikace postavené pomocí TinyML mohou být nasazeny a implementovány na platformách, jako je Linux nebo vestavěný Linux, a na cloudových softwarových platformách. Nakonec, aplikace a systémy postavené na algoritmu TinyML musí mít podporu nových algoritmů, které vyžadují nízkou paměťovou velikost modelů, aby se zabránilo vysoké spotřebě paměti.

Abychom to shrnuli, aplikace postavené pomocí nástroje TinyML musí optimalizovat principy a metody ML, spolu s navrhováním softwaru kompaktně, v přítomnosti vysoce kvalitních dat. Tato data musí být poté přenesena do binárních souborů, které jsou generovány pomocí modelů, které jsou školeny na strojích s mnohem větší kapacitou a výpočetní sílou.

Navíc, systémy a aplikace, které běží na nástroji TinyML, musí poskytovat vysokou přesnost, když fungují pod těsnějšími omezeními, protože kompaktní software je potřebný pro nízkou spotřebu energie, která podporuje implikace TinyML. Navíc, moduly nebo aplikace TinyML mohou záviset na bateriové síle pro podporu svých operací na edge vestavěných systémech.

S tím řečeno, aplikace TinyML mají dvě základní požadavky

1. Schopnost škálovat miliardy levných vestavěných systémů.
2. Ukládání kódu na zařízení RAM s kapacitou pod několika KB.

Aplikace TinyML pomocí pokročilých technologií

Jedním z hlavních důvodů, proč je TinyML horkým tématem v oblasti AI a ML, je jeho potenciál aplikací, včetně zrakových a řečových aplikací, zdravotní diagnózy, komprese a klasifikace dat, rozhraní mozek-počítač, edge computingu, fenomiky, samořízených vozidel a dalších.

Řečové aplikace

Řečová komunikace

Typicky, řečové aplikace spoléhají na konvenční komunikační metody, ve kterých je všechna data důležitá a je přenášena. Nicméně, v posledních letech, se objevila sémantická komunikace jako alternativa k konvenční komunikaci, ve které je přenášen pouze význam nebo kontext dat. Sémantická komunikace může být implementována v řečových aplikacích pomocí metodologií TinyML.

Některé z nejpopulárnějších aplikací v oblasti řečové komunikace dnes jsou detekce řeči, rozpoznání řeči, online učení, online výuka a cílená komunikace. Tyto aplikace typicky mají vyšší spotřebu energie a také mají vysoké požadavky na hostitelské zařízení. Abychom tyto požadavky překonali, byla zavedena nová knihovna TinySpeech, která umožňuje vývojářům vytvářet architekturu s nízkou výpočetní složitostí, která používá hluboké konvoluční sítě pro vytváření nízké úložné kapacity.

Abychom použili TinyML pro zlepšení řeči, vývojáři nejprve řešili velikost modelu pro zlepšení řeči, protože byl omezen hardwarovými omezeními a omezeními. Abychom tento problém vyřešili, byla nasazena strukturovaná redukce a celočíselná kvantizace pro RNN (Recurrent Neural Network) model pro zlepšení řeči. Výsledky ukázaly, že velikost modelu byla snížena téměř 12x, zatímco operace byly sníženy téměř 3x. Navíc, je důležité, aby zdroje byly využity účinně, zejména když jsou nasazeny na aplikacích s omezenými zdroji, které spouštějí aplikace rozpoznávání hlasu.

Abychom rozdělili proces, byl navržen ko-designový metod pro aplikace TinyML založené na hlasu a rozpoznávání řeči. Vývojáři použili operaci windowing pro rozdělení softwaru a hardwaru způsobem, aby se zpracoval syrový hlasový data. Metoda se ukázala jako funkční, protože výsledky ukazovaly pokles spotřeby energie na hardwaru. Nakonec, existuje potenciál pro optimalizované rozdělení mezi softwarem a hardwarovým ko-designem pro lepší výkon v blízké budoucnosti.

Navíc, nedávný výzkum navrhl použití telefonního transduceru pro systémy rozpoznávání řeči a návrh cílí na nahrazení LSTM prediktorů vrstvou Conv1D, aby se snížila potřeba výpočtu na edge zařízeních. Když byl návrh implementován, vrátil pozitivní výsledky, protože SVD (Singular Value Decomposition) úspěšně komprimoval model, zatímco použití WFST (Weighted Finite State Transducers) založeného dekódování vedlo k větší flexibilitě v modelovém zlepšení.

Mnoho prominentních aplikací rozpoznávání řeči, jako jsou virtuální nebo hlasoví asistenti, živé titulky a hlasové příkazy, používá techniky ML, aby fungovaly. Populární hlasoví asistenti, jako je Siri a Google Assistant, pípají do cloudové platformy pokaždé, když obdrží nějaká data, a to vytváří významné obavy související s soukromím a bezpečností dat. TinyML je životaschopným řešením tohoto problému, protože umožňuje rozpoznávání řeči na zařízeních a eliminuje potřebu migrace dat do cloudových platforem. Jedním z způsobů, jak dosáhnout rozpoznávání řeči na zařízení, je použití Tiny Transducer, modelu rozpoznávání řeči, který používá DFSMN (Deep Feed-Forward Sequential Memory Block) vrstvu spojenou s jednou Conv1D vrstvou místo LSTM vrstev, aby se snížila potřeba výpočtu a síťových parametrů.

Sluchátka

Hluchota je významným zdravotním problémem po celém světě a lidská schopnost slyšet zvuky obecně slábne s věkem, a je to velký problém v zemích, které se potýkají se stárnutím populace, včetně Číny, Japonska a Jižní Koreje. Zařízení sluchátek fungují na principu zesílení všech vstupních zvuků z okolí, což dělá obtížné pro osobu rozlišit nebo rozlišovat mezi požadovaným zvukem, zejména v hlučném prostředí.

TinyML může být životaschopným řešením tohoto problému, protože použití modelu TinyLSTM, který používá algoritmus rozpoznávání řeči pro zařízení sluchátek, může pomoci uživatelům rozlišit mezi různými zvuky.

Zrakové aplikace

TinyML má potenciál sehrát významnou roli v zpracování dat založených na počítačovém vidění, protože pro rychlejší výstupy je třeba zpracovat tato data na edge platformě. Abychom toho dosáhli, model TinyML řeší praktické výzvy, kterým čelí při školení modelu pomocí desky OpenMV H7 microcontroller. Vývojáři také navrhli architekturu pro detekci amerického znakového jazyka pomocí mikrokontroléru ARM Cortex M7, který funguje pouze s 496KB frame-buffer RAM.

Implementace TinyML pro aplikace založené na počítačovém vidění na edge platformách vyžadovala, aby vývojáři překonali hlavní výzvu souboru CNN (Convolutional Neural Network) s vysokou generalizační chybou a vysokou přesností školení a testování. Nicméně, implementace se negeneralizovala účinně na obrázky v nových případech použití a na pozadí se šumem. Když vývojáři použili metodu interpolace, model vrátil přesnost skóre nad 98% na testovacích datech a asi 75% v generalizaci.

Navíc, bylo pozorováno, že když vývojáři použili metodu interpolace, došlo k poklesu přesnosti modelu během kvantizace, ale zároveň došlo k nárůstu rychlosti inferencing a generalizace. Vývojáři také navrhli metodu pro další zlepšení přesnosti modelu školení na datech získaných z různých zdrojů a testování výkonu pro prozkoumání možnosti nasazení na edge platformách, jako jsou nositelná chytrá hodinky.

Navíc, další studie o CNN ukázaly, že je možné nasadit a dosáhnout žádoucích výsledků s architekturou CNN na zařízeních s omezenými zdroji. Nedávné výzkumy ukázaly potenciál zlepšit aplikaci autonomního řízení pro mini vozidla pomocí architektury CNN a nasazením modelu na GAP8 MCI.

Další aplikací TinyML pro aplikace založené na počítačovém vidění je implementace zařízení rozpoznávání gest, které lze připevnit na hůlku pro usnadnění pohybu zrakově postižených lidí. Abychom navrhli toto zařízení, vývojáři použili sadu gest a použili tuto sadu pro školení modelu ProtoNN s klasifikačním algoritmem. Výsledky získané z nastavení byly přesné, design byl nízký a uspokojivě fungoval.

Další významnou aplikací TinyML je v průmyslu samořízených vozidel a autonomního řízení, protože nedostatek zdrojů a výpočetní síly na palubě. Abychom tento problém vyřešili, vývojáři zavedli metodu uzavřené smyčky, postavenou na modelu TinyCNN, která navrhla online prediktorový model, který zachytil obraz v reálném čase. Hlavním problémem, kterým vývojáři čelili při implementaci TinyML pro autonomní řízení, bylo, že rozhodovací model, který byl školen pro fungování v offline datech, nemusí fungovat stejně dobře, když se jedná o online data. Abychom plně využili aplikace autonomních vozidel a samořízených vozidel, model by měl ideálně být schopen přizpůsobit se reálným datům.

Klasifikace a komprese dat

Jedním z největších problémů současného frameworku TinyML je umožnit mu přizpůsobit se online školení. Abychom tento problém vyřešili, vývojáři navrhli metodu zvanou TinyOL (TinyML Online Learning), která umožňuje školení s incrementálním online učením na mikrokontrolérech, což umožňuje modelu aktualizovat se na edge zařízeních IoT. Implementace byla provedena pomocí programovacího jazyka C++ a byla přidána další vrstva do architektury TinyOL.

Navíc, vývojáři také provedli auto-kódování desky Arduino Nano 33 BLE a model, který byl školen, byl schopen klasifikovat nová data. Navíc, vývojářská práce zahrnovala návrh efektivnějších a optimalizovaných algoritmů pro neuronové sítě pro podporu školení zařízení online.

Výzkum v TinyOL a TinyML ukázal, že počet aktivních vrstev byl hlavním problémem pro edge zařízení s omezenými zdroji. Abychom tento problém vyřešili, vývojáři zavedli nový model zvaný TinyTL (Tiny Transfer Learning), který umožňuje efektivnější využití paměti na edge zařízeních, a vyhýbá se použití mezilehlých vrstev pro aktivaci. Navíc, vývojáři také zavedli nový modul nazvaný “lite-residual module”, aby maximalizovali adaptivní schopnosti a umožnili extrahovat reziduální funkce.

Když jsme porovnali s plným fine-tuningem, výsledky byly ve prospěch architektury TinyTL, protože výsledky ukázaly, že TinyTL snížil paměťový overhead o 6,5 krát s mírnou ztrátou přesnosti. Když byla fine-tunována poslední vrstva, TinyML zlepšil přesnost o 34% s mírnou ztrátou přesnosti.

Navíc, výzkum o kompresi dat ukázal, že algoritmy komprese dat musí spravovat data shromážděná na přenosném zařízení a abychom toho dosáhli, vývojáři navrhli TAC (Tiny Anomaly Compressor). TAC byl schopen překonat algoritmy SDT (Swing Door Trending) a DCT (Discrete Cosine Transform). Navíc, TAC algoritmus překonal oba SDT a DCT algoritmy, dosáhl maximální kompresní rychlosti nad 98% a měl lepší poměr signálu k šumu.

Zdravotní diagnóza

Pandemie Covid-19 otevřela nové dveře příležitostí pro implementaci TinyML, protože je nyní nezbytné kontinuálně detekovat respirační symptomy související s kašlem a nachlazením. Abychom zajistili nepřetržité monitorování, vývojáři navrhli model CNN zvaný Tiny RespNet, který funguje v multi-modelovém nastavení a je nasazen na FPGA Xilinx Artix-7 100t, která umožňuje zařízení zpracovávat informace paralelně, má vysokou efektivitu a nízkou spotřebu energie. Navíc, model TinyResp také bere v úvahu řeč pacientů, audio nahrávky a demografické informace pro klasifikaci a symptomy kašle jsou klasifikovány pomocí tří rozlišených sad dat.

Navíc, vývojáři také navrhli model schopen spouštět hluboké učení na edge zařízeních, model TinyML zvaný TinyDL. Model TinyDL může být nasazen na edge zařízeních, jako jsou chytré hodinky a nositelná zařízení, pro zdravotní diagnózu a je také schopen provádět analýzu výkonu pro snížení šířky pásma, zpoždění a spotřeby energie. Abychom dosáhli nasazení modelu TinyDL na přenosná zařízení, byl navržen a školen model LSTM speciálně pro nositelné zařízení a byl krmen shromážděnými daty jako vstup. Model má přesnost skóre asi 75-80% a byl schopen fungovat s daty mimo zařízení.

Nakonec, vývojáři také navrhli další aplikaci pro monitorování zdraví seniorů tím, že odhadují a analyzují jejich tělesné pozice. Model používá agnostický framework na zařízení, který umožňuje modelu povolit validaci a rychlé přizpůsobení pro provedení adaptací. Model implementoval algoritmy detekce tělesných pozic spojené s obličejovými rysy pro detekci prostorově-časových tělesných pozic v reálném čase.

Edge computing

Jedním z hlavních aplikací TinyML je v oblasti edge computingu, protože s rostoucími požadavky na IoT zařízení pro spojení zařízení po celém světě, je nezbytné nastavit edge zařízení, aby se snížila zátěž na cloudové architektury. Tato edge zařízení budou mít individuální datové centra, která jim umožní provádět vysoké výpočty na zařízení, místo aby se spoléhaly na cloudovou architekturu. Jako výsledek, to pomůže snížit závislost na cloudu, snížit zpoždění, zvýšit bezpečnost a soukromí a snížit šířku pásma.

Zařízení edge, která používají algoritmy TinyML, pomohou řešit současné omezení související se spotřebou energie, výpočetní sílou a pamětí a je diskutováno na obrázku níže.

Navíc, TinyML může také zlepšit použití a aplikaci bezpilotních letadel (UAV) řešením současných omezení, kterým čelí tato zařízení. Použití TinyML může umožnit vývojářům implementovat energeticky efektivní zařízení s nízkým zpožděním a vysokou výpočetní sílou, které mohou fungovat jako kontroléry pro tato UAV.

Rozhraní mozek-počítač (BCI)

TinyML má významné aplikace v oblasti zdravotnictví a může být velmi prospěšný v různých oblastech, včetně detekce rakoviny a tumorů, zdravotních predikcí pomocí ECG a EEG signálů a emocionální inteligence. Použití TinyML může umožnit adaptivní hlubokou stimulaci mozku (aDBS) přizpůsobit se klinickým adaptacím. Použití TinyML může také umožnit aDBS identifikovat bio-markery a symptomy onemocnění pomocí invazivních záznamů mozkových signálů.

Navíc, zdravotnický průmysl často zahrnuje sběr velkého množství dat pacientů, a tato data poté musí být zpracována, aby se dosáhlo konkrétních řešení pro léčbu pacienta v raných fázích onemocnění. Jako výsledek, je nezbytné vybudovat systém, který je nejen vysoce efektivní, ale také vysoce bezpečný. Když kombinujeme aplikace IoT s modelem TinyML, vzniká nový obor zvaný Healthcare Internet of Things (H-IoT), a hlavní aplikace H-IoT jsou diagnóza, monitoring, logistika, kontrola šíření a asistenční systémy. Pokud chceme vyvinout zařízení, která jsou schopna detekovat a analyzovat zdraví pacientů na dálku, je nezbytné vyvinout systém, který má globální dostupnost a nízké zpoždění.

Samořízená vozidla

Nakonec, TinyML může mít široké aplikace v průmyslu samořízených vozidel, protože tato vozidla mohou být využita v různých oblastech, včetně sledování lidí, vojenských účelů a průmyslových aplikací. Tato vozidla mají primární požadavek být schopna identifikovat objekty efektivně, když je objekt hledán.

V současné době je samořízené řízení poměrně komplexní úkol, zejména při vývoji mini nebo malých vozidel. Nedávné výzkumy ukázaly potenciál zlepšit aplikaci autonomního řízení pro mini vozidla pomocí architektury CNN a nasazením modelu na GAP8 MCI.

Výzvy

TinyML je relativně novým konceptem v oblasti AI a ML, a navzdory pokroku, stále není tak efektivní, jak bychom potřebovali pro hromadné nasazení na edge a IoT zařízeních.

Největší výzvou, kterou目前 čelí zařízení TinyML, je spotřeba energie. Ideálně by zařízení edge a IoT měla mít životnost baterie, která se rozkládá na více než 10 let. Například, v ideálním případě, zařízení IoT, které běží na baterii 2Ah, by mělo mít životnost baterie více než 10 let, pokud spotřeba energie zařízení je asi 12 μA. Nicméně, v současné situaci, architektura IoT se senzorem teploty, jednotkou MCU a modulem WiFi má spotřebu proudu asi 176,4 mA, a s touto spotřebou energie, baterie vydrží pouze asi 11 hodin, místo požadovaných 10 let.

Omezení zdrojů

Abychom udrželi konzistenci algoritmu, je nezbytné udržet dostupnost energie, a v současné situaci, omezená dostupnost energie pro zařízení TinyML je kritickou výzvou. Navíc, omezení paměti jsou také významnou výzvou, protože nasazení modelů často vyžaduje velké množství paměti, aby fungovaly účinně a přesně.

Omezení hardwaru

Omezení hardwaru činí nasazení algoritmů TinyML na širokou škálu difíciltami, protože heterogenita hardwarových zařízení. Existuje tisíce zařízení, každé se svými vlastními hardwarovými specifikacemi a požadavky, a jako výsledek, algoritmus TinyML目前 musí být upraven pro každé jednotlivé zařízení, což činí hromadné nasazení velkou výzvou.

Omezení souboru dat

Jedním z hlavních problémů modelů TinyML je, že nepodporují stávající soubory dat. Je to výzvou pro všechna edge zařízení, protože sbírají data pomocí externích senzorů, a tato zařízení často mají omezení energie a spotřeby. Jako výsledek, stávající soubory dat nemohou být použity pro efektivní školení modelů TinyML.

Závěrečné myšlenky

Vývoj technik strojového učení způsobil revoluci a posun v perspektivě ekosystému IoT. Integrace modelů ML do zařízení IoT umožní těmto edge zařízením učinit inteligentní rozhodnutí bez vnějšího lidského zásahu. Nicméně, konvenční modely ML často mají vysoké požadavky na spotřebu energie, paměti a výpočetní sílu, což je činí nevhodnými pro nasazení na edge zařízeních, která jsou často omezená.

Abychom tento problém vyřešili, byla věnována nová větev AI použití ML pro IoT zařízení, a byla nazvána TinyML. TinyML je framework ML, který umožňuje i zařízení s omezenými zdroji využít sílu AI a ML, aby zajistily vyšší přesnost, inteligenci a efektivitu.

V tomto článku, jsme diskutovali o implementaci modelů TinyML na zařízeních s omezenými zdroji, a tato implementace vyžaduje školení modelů, nasazení modelů na hardwaru a provedení technik kvantizace. Nicméně, v současné situaci, modely ML připravené pro nasazení na IoT a edge zařízeních mají několik komplexit a omezení, včetně hardwarových a frameworkových kompatibilitních problémů.