AI-modeller och plattformar
TinyML: Applikationer, BegrÃĪnsningar och AnvÃĪndning i IoT- och Edge-enheter

Under de senaste ÃĨren har artificiell intelligens (AI) och maskinlÃĪrning (ML) upplevt en meteorisk Ãķkning av popularitet och tillÃĪmpningar, inte bara inom industrin utan ocksÃĨ inom akademin. Idag har dock ML- och AI-modellerna en stor begrÃĪnsning: de krÃĪver en enorm mÃĪngd berÃĪknings- och processorkraft fÃķr att uppnÃĨ Ãķnskade resultat och noggrannhet. Detta begrÃĪnsar ofta deras anvÃĪndning till enheter med hÃķg berÃĪkningsfÃķrmÃĨga.
Men med tanke pÃĨ de framsteg som gjorts inom inbÃĪddad systemteknik och den betydande utvecklingen inom Internet of Things-industrin, ÃĪr det ÃķnskvÃĪrt att infÃķra anvÃĪndningen av ML-tekniker och -koncept i en resursbegrÃĪnsad inbÃĪddad system fÃķr allomfattande intelligens. Ãnskan att anvÃĪnda ML-koncept i inbÃĪddade och IoT-system ÃĪr den primÃĪra motivationsfaktorn bakom utvecklingen av TinyML, en inbÃĪddad ML-teknik som tillÃĨter ML-modeller och -applikationer pÃĨ flera resursbegrÃĪnsade, strÃķmbegrÃĪnsade och billiga enheter.
Men implementeringen av ML pÃĨ resursbegrÃĪnsade enheter har inte varit enkel, eftersom implementeringen av ML-modeller pÃĨ enheter med lÃĨg berÃĪkningskraft medfÃķr sina egna utmaningar i termer av optimering, bearbetningskapacitet, tillfÃķrlitlighet, underhÃĨll av modeller och mycket mer.
I den hÃĪr artikeln kommer vi att ta en djupare titt pÃĨ TinyML-modellen och lÃĪra oss mer om dess bakgrund, de verktyg som stÃķder TinyML och tillÃĪmpningarna av TinyML med hjÃĪlp av avancerad teknik. SÃĨ lÃĨt oss bÃķrja.
En Introduktion till TinyML: VarfÃķr VÃĪrlden BehÃķver TinyML
Internet of Things eller IoT-enheter syftar till att utnyttja edge-berÃĪkning, en berÃĪkningsparadigm som hÃĪnvisar till en uppsÃĪttning enheter och nÃĪtverk nÃĪra anvÃĪndaren fÃķr att mÃķjliggÃķra sÃķmlÃķs och realtidsbearbetning av data frÃĨn miljontals sensorer och enheter som ÃĪr sammanlÃĪnkade till varandra. En av de stora fÃķrdelarna med IoT-enheter ÃĪr att de krÃĪver lÃĨg berÃĪknings- och processorkraft, eftersom de kan distribueras vid nÃĪtverkskanten och dÃĪrmed har en lÃĨg minnesavtryck.
Dessutom fÃķrlitar sig IoT-enheter tungt pÃĨ edge-plattformar fÃķr att samla in och sedan ÃķverfÃķra data, eftersom dessa edge-enheter samlar in sensordata och sedan ÃķverfÃķr dem antingen till en nÃĪrliggande plats eller molnplattformar fÃķr bearbetning. Edge-berÃĪkningsteknologin lagrar och utfÃķr berÃĪkningar pÃĨ data och tillhandahÃĨller ocksÃĨ den nÃķdvÃĪndiga infrastrukturen fÃķr att stÃķdja den distribuerade berÃĪkningen.
Implementeringen av edge-berÃĪkning i IoT-enheter tillhandahÃĨller
- Effektiv sÃĪkerhet, integritet och tillfÃķrlitlighet fÃķr slutanvÃĪndarna.
- LÃĪgre fÃķrdrÃķjning.
- HÃķgre tillgÃĪnglighet och svarstid fÃķr applikationer och tjÃĪnster.
Dessutom, eftersom edge-enheter kan distribuera en samarbetsmetod mellan sensorer och molnet, kan data bearbetas vid nÃĪtverkskanten i stÃĪllet fÃķr att bearbetas pÃĨ molnplattformen. Detta kan resultera i effektiv datahantering, datapersistering, effektiv leverans och innehÃĨllscachning. Dessutom, fÃķr att implementera IoT i applikationer som hanterar H2M eller Human to Machine-interaktion och modern hÃĪlsovÃĨrd, tillhandahÃĨller edge-berÃĪkning en metod fÃķr att fÃķrbÃĪttra nÃĪtverkstjÃĪnsterna avsevÃĪrt.
Nylig forskning inom omrÃĨdet IoT-edge-berÃĪkning har visat potentialen att implementera maskinlÃĪrningstekniker i flera IoT-anvÃĪndningsfall. Men det stora problemet ÃĪr att traditionella maskinlÃĪrningsmodeller ofta krÃĪver stark berÃĪknings- och processorkraft och hÃķg minneskapacitet, vilket begrÃĪnsar implementeringen av ML-modeller i IoT-enheter och -applikationer.
Dessutom saknar edge-berÃĪkningsteknologin idag hÃķg ÃķverfÃķringskapacitet och effektiv strÃķmsparande, vilket leder till heterogena system, vilket ÃĪr den primÃĪra orsaken till behovet av en harmonisk och holistisk infrastruktur, frÃĪmst fÃķr uppdatering, utbildning och distribution av ML-modeller. Arkitekturen som ÃĪr utformad fÃķr inbÃĪddade enheter utgÃķr en annan utmaning, eftersom dessa arkitekturer beror pÃĨ hÃĨrdvaru- och programvarukrav som varierar frÃĨn enhet till enhet. Det ÃĪr den primÃĪra orsaken till att det ÃĪr svÃĨrt att bygga en standard-ML-arkitektur fÃķr IoT-nÃĪtverk.
Ãven i den nuvarande scenariot skickas de data som genereras av olika enheter till molnplattformar fÃķr bearbetning pÃĨ grund av den berÃĪkningsintensiva naturen hos nÃĪtverksimplementeringar. Dessutom ÃĪr ML-modeller ofta beroende av djupinlÃĪrning, djupa neuronnÃĪt, applikationsspecifika integrerade kretsar (ASIC) och grafikprocessorer (GPU) fÃķr att bearbeta data och de har ofta en hÃķgre effekt- och minneskrav. Att distribuera fullstÃĪndiga ML-modeller pÃĨ IoT-enheter ÃĪr inte en livskraftig lÃķsning pÃĨ grund av den uppenbara bristen pÃĨ berÃĪknings- och processorkraft och begrÃĪnsade lagringslÃķsningar.
Kraven pÃĨ att fÃķrminska lÃĨgeffektinbÃĪddade enheter i kombination med att optimera ML-modeller fÃķr att gÃķra dem mer effekt- och minneseffektiva har banat vÃĪg fÃķr TinyML, som syftar till att implementera ML-modeller och -praktiker pÃĨ edge-IoT-enheter och -ramverk. TinyML mÃķjliggÃķr signalbehandling pÃĨ IoT-enheter och tillhandahÃĨller inbÃĪddad intelligens, vilket eliminerar behovet av att ÃķverfÃķra data till molnplattformar fÃķr bearbetning. En lyckad implementering av TinyML pÃĨ IoT-enheter kan slutligen resultera i Ãķkad integritet och effektivitet samtidigt som den minskar driftskostnaderna. Dessutom ÃĪr det som gÃķr TinyML mer tilltalande att den i hÃĪndelse av otillrÃĪcklig anslutning kan tillhandahÃĨlla lokala analyser.
TinyML: Introduktion och Ãversikt
TinyML ÃĪr ett maskinlÃĪrningsverktyg som har fÃķrmÃĨgan att utfÃķra analyser pÃĨ enheten fÃķr olika sensoriska modaliteter som ljud, syn och tal. ML-modeller som byggs pÃĨ TinyML-verktyget har lÃĨg effekt, minne och berÃĪkningskrav, vilket gÃķr dem lÃĪmpliga fÃķr inbÃĪddade nÃĪtverk och enheter som drivs av batterier. Dessutom gÃķr TinyML:s lÃĨga krav det till en idealisk lÃķsning fÃķr att distribuera ML-modeller pÃĨ IoT-ramverket.
I den nuvarande scenariot stÃĨr molnbaserade ML-system infÃķr nÃĨgra svÃĨrigheter, inklusive sÃĪkerhets- och integritetsproblem, hÃķg effektÃĨtgÃĨng, tillfÃķrlitlighets- och fÃķrdrÃķjningsproblem, vilket ÃĪr varfÃķr modeller pÃĨ hÃĨrdvaru- och programvaruplattformar ÃĪr fÃķrinstallerade. Sensorer samlar in data som simulerar den fysiska vÃĪrlden och bearbetas sedan med en CPU eller MPU (mikroprocessorenhet). MPU tillgodoser behoven av ML-analytiskt stÃķd som mÃķjliggÃķrs av edge-medvetna ML-nÃĪtverk och arkitektur. Edge-ML-arkitektur kommunicerar med ML-molnet fÃķr dataÃķverfÃķring och implementeringen av TinyML kan resultera i en betydande fÃķrbÃĪttring av tekniken.
Det vore sÃĪkert att sÃĪga att TinyML ÃĪr en kombination av programvara, hÃĨrdvara och algoritmer som arbetar i samklang med varandra fÃķr att leverera den Ãķnskade prestandan. Analog eller minnesbaserad dator kan krÃĪvas fÃķr att tillhandahÃĨlla en bÃĪttre och effektivare inlÃĪrningsupplevelse fÃķr hÃĨrdvara- och IoT-enheter som inte stÃķder hÃĨrdvaruacceleratorer. NÃĪr det gÃĪller programvara kan applikationer som byggs med TinyML distribueras och implementeras pÃĨ plattformar som Linux eller inbÃĪddad Linux och pÃĨ molntjÃĪnster. Slutligen mÃĨste applikationer och system som byggs pÃĨ TinyML-algoritmen ha stÃķd fÃķr nya algoritmer som krÃĪver lÃĨg minnesstorlek fÃķr att undvika hÃķg minnesfÃķrbrukning.
FÃķr att sammanfatta, applikationer som byggs med TinyML-verktyget mÃĨste optimera ML-principer och -metoder samt designa programvaran komprimerat, i nÃĪrvaro av hÃķgkvalitetsdata. Dessa data mÃĨste sedan ÃķverfÃķras via binÃĪra filer som genereras med hjÃĪlp av modeller som trÃĪnats pÃĨ maskiner med mycket stÃķrre kapacitet och berÃĪkningskraft.
Dessutom mÃĨste system och applikationer som kÃķrs pÃĨ TinyML-verktyget tillhandahÃĨlla hÃķg noggrannhet nÃĪr de utfÃķrs under strÃĪngare begrÃĪnsningar, eftersom komprimerad programvara behÃķvs fÃķr lÃĨg effektÃĨtgÃĨng som stÃķder TinyML-implikationer. Dessutom kan TinyML-applikationer eller -moduler vara beroende av batterikraft fÃķr att stÃķdja deras drift pÃĨ edge-inbÃĪddade system.
Med det sagt har TinyML-applikationer tvÃĨ grundlÃĪggande krav
- FÃķrmÃĨga att skala miljarder billiga inbÃĪddade system.
- Lagra koden pÃĨ enhetens RAM med en kapacitet pÃĨ nÃĨgra KB.
TillÃĪmpningar av TinyML med Avancerad Teknik
En av de stora anledningarna till att TinyML ÃĪr ett hett ÃĪmne inom AI- och ML-industrin ÃĪr pÃĨ grund av dess potentiella tillÃĪmpningar, inklusive syn- och talsbaserade tillÃĪmpningar, hÃĪlsodiagnos, datamÃķnsterkomprimering och -klassificering, hjÃĪrndatorgrÃĪnssnitt, edge-berÃĪkning, fenomik, sjÃĪlvkÃķrande fordon och mer.
Talsbaserade TillÃĪmpningar
Talkommunikation
Talsbaserade tillÃĪmpningar fÃķrlitar sig vanligtvis pÃĨ konventionella kommunikationsmetoder, dÃĪr all data ÃĪr viktig och ÃķverfÃķrs. Men pÃĨ senare tid har semantisk kommunikation uppstÃĨtt som ett alternativ till konventionell kommunikation, dÃĪr endast meningen eller sammanhanget i data ÃķverfÃķrs. Semantisk kommunikation kan implementeras i talsbaserade tillÃĪmpningar med hjÃĪlp av TinyML-metoder.
NÃĨgra av de mest populÃĪra tillÃĪmpningarna inom talskommunikationsindustrin idag ÃĪr taldetektering, talsigenkÃĪnning, onlineinlÃĪrning, onlineundervisning och mÃĨlinriktad kommunikation. Dessa tillÃĪmpningar krÃĪver vanligtvis hÃķg effektÃĨtgÃĨng och har ocksÃĨ hÃķga datakrav pÃĨ vÃĪrdenheter. FÃķr att Ãķvervinna dessa krav har en ny TinySpeech-bibliotek introducerats som tillÃĨter utvecklare att bygga en lÃĨgberÃĪkningsarkitektur som anvÃĪnder djupa konvolutionsnÃĪt fÃķr att bygga en lÃĨg lagringsanlÃĪggning.
FÃķr att anvÃĪnda TinyML fÃķr talfÃķrbÃĪttring, hanterade utvecklarna fÃķrst storleken pÃĨ talfÃķrbÃĪttringsmodellen, eftersom den var fÃķremÃĨl fÃķr hÃĨrdvarubegrÃĪnsningar och -begrÃĪnsningar. FÃķr att hantera problemet distribuerades strukturerad beskÃĪrning och heltalskvantifiering fÃķr RNN eller ÃĨterkommande neuronnÃĪt talfÃķrbÃĪttringsmodell. Resultaten visade att modellens storlek minskades med cirka 12 gÃĨnger, medan operationerna minskades med cirka 3 gÃĨnger. Dessutom ÃĪr det viktigt att resurser anvÃĪnds effektivt, sÃĪrskilt nÃĪr de distribueras pÃĨ resursbegrÃĪnsade tillÃĪmpningar som kÃķr rÃķstigenkÃĪnningstillÃĪmpningar.
Som ett resultat fÃķreslogs en samdesignsmetod fÃķr TinyML-baserad rÃķst- och talsigenkÃĪnningstillÃĪmpningar. Utvecklarna anvÃĪnde fÃķnsteroperation fÃķr att partitionera programvara och hÃĨrdvara pÃĨ ett sÃĪtt som fÃķrbearbetade de rÃĨa ljuddata. Metoden tycktes fungera, eftersom resultaten visade en minskning av energifÃķrbrukningen pÃĨ hÃĨrdvaran. Slutligen finns det ocksÃĨ potential att implementera optimerad partitionering mellan programvara och hÃĨrdvara samdesign fÃķr bÃĪttre prestanda i nÃĪrtid.
Dessutom har nylig forskning fÃķreslagit att anvÃĪnda en telefonbaserad transducer fÃķr talsigenkningssystem, och fÃķrslaget syftar till att ersÃĪtta LSTM-prediktorer med Conv1D-lager fÃķr att minska berÃĪkningsbehoven pÃĨ edge-enheter. NÃĪr det implementerades returnerade fÃķrslaget positiva resultat, eftersom SVD eller singularvÃĪrdesdekomposition hade komprimerat modellen framgÃĨngsrikt, medan anvÃĪndningen av WFST eller viktade finita tillstÃĨndsautomater-baserad avkodning resulterade i stÃķrre flexibilitet i modellfÃķrbÃĪttringssystem.
MÃĨnga framstÃĨende tillÃĪmpningar av talsigenkÃĪnning, som virtuella eller rÃķstassistenter, live-undertextning och rÃķstkommandon, anvÃĪnder ML-tekniker fÃķr att fungera. PopulÃĪra rÃķstassistenter som Siri och Google Assistant pingar molnplattformen varje gÃĨng de tar emot nÃĨgra data, och det skapar betydande problem relaterade till integritet och datasÃĪkerhet. TinyML ÃĪr en livskraftig lÃķsning fÃķr problemet, eftersom den syftar till att utfÃķra talsigenkÃĪnning pÃĨ enheter och eliminera behovet av att migrera data till molnplattformar. En av metoderna fÃķr att uppnÃĨ enhetsbaserad talsigenkÃĪnning ÃĪr att anvÃĪnda Tiny Transducer, en talsigenkÃĪningsmodell som anvÃĪnder ett DFSMN eller djupt feed-forward-sekventiellt minnesblocklager kopplat med ett Conv1D-lager i stÃĪllet fÃķr LSTM-lager fÃķr att minska berÃĪkningskraven och nÃĪtverksparametrar.
HÃķrselhjÃĪlpmedel
HÃķrselnedsÃĪttning ÃĪr ett stort hÃĪlsoproblem Ãķver hela vÃĪrlden, och mÃĪnniskans fÃķrmÃĨga att hÃķra ljud fÃķrsvagas vanligtvis nÃĪr de ÃĨldras, och det ÃĪr ett stort problem i lÃĪnder som hanterar en ÃĨldrande befolkning, inklusive Kina, Japan och Sydkorea. HÃķrselhjÃĪlpmedel fungerar idag pÃĨ den enkla principen att fÃķrstÃĪrka alla ingÃĨngsljud frÃĨn omgivningen, vilket gÃķr det svÃĨrt fÃķr personen att skilja eller sÃĪrskilja det Ãķnskade ljudet, sÃĪrskilt i ett bullrigt miljÃķ.
TinyML kan vara den livskraftiga lÃķsningen fÃķr detta problem, eftersom anvÃĪndningen av en TinyLSTM-modell som anvÃĪnder talsigenkÃĪnningsalgoritmer fÃķr hÃķrselhjÃĪlpmedel kan hjÃĪlpa anvÃĪndarna att skilja mellan olika ljud.
Synbaserade TillÃĪmpningar
TinyML har potentialen att spela en avgÃķrande roll vid bearbetning av datorseende-baserade datamÃĪngder, eftersom dessa datamÃĪngder behÃķver bearbetas pÃĨ edge-plattformen sjÃĪlv fÃķr snabbare utdata. FÃķr att uppnÃĨ detta mÃķter TinyML-modellen de praktiska utmaningarna som uppstÃĨr under utbildning av modellen med hjÃĪlp av OpenMV H7-mikrokontrollern. Utvecklarna fÃķreslog ocksÃĨ en arkitektur fÃķr att upptÃĪcka amerikanskt teckensprÃĨk med hjÃĪlp av en ARM Cortex M7-mikrokontroller som fungerar med endast 496 KB ram.
Implementeringen av TinyML fÃķr datorseende-baserade tillÃĪmpningar pÃĨ edge-plattformar krÃĪvde att utvecklarna Ãķvervann den stora utmaningen med CNN eller konvolutionsneuronnÃĪt med hÃķg generaliseringsfel och hÃķg utbildnings- och testnoggrannhet. Men implementeringen generaliserade inte effektivt till bilder i nya anvÃĪndningsfall och bakgrunder med brus. NÃĪr utvecklarna anvÃĪnde interpolationsfÃķrstÃĪrkningsmetoden returnerade modellen en noggrannhetsscore pÃĨ Ãķver 98% pÃĨ testdata och cirka 75% i generalisering.

Dessutom observerades att nÃĪr utvecklarna anvÃĪnde interpolationsfÃķrstÃĪrkningsmetoden, fanns det en minskning av modellens noggrannhet under kvantifiering, men samtidigt fanns det ocksÃĨ en Ãķkning av modellens inferenshastighet och klassificeringsgeneralisering. Utvecklarna fÃķreslog ocksÃĨ en metod fÃķr att ytterligare fÃķrbÃĪttra generaliseringsmodellens utbildning pÃĨ data som erhÃĨllits frÃĨn en mÃĪngd olika kÃĪllor och testa prestandan fÃķr att undersÃķka mÃķjligheten att distribuera den pÃĨ edge-plattformar som bÃĪrbara smartklockor.
Dessutom har ytterligare studier pÃĨ CNN visat att det ÃĪr mÃķjligt att distribuera och uppnÃĨ Ãķnskade resultat med CNN-arkitektur pÃĨ enheter med begrÃĪnsade resurser. Nyligen kunde utvecklare utveckla ett ramverk fÃķr upptÃĪckt av medicinska ansiktsmasker pÃĨ en ARM Cortex M7-mikrokontroller med begrÃĪnsade resurser med hjÃĪlp av TensorFlow Lite med minimala minnesavtryck. Modellstorleken efter kvantifiering var cirka 138 KB, medan inferenshastigheten pÃĨ mÃĨlenheten var cirka 30 FPS.
En annan tillÃĪmpning av TinyML fÃķr datorseende-baserade tillÃĪmpningar ÃĪr att implementera en gestigenkÃĪnningsenhet som kan fÃĪstas pÃĨ en kÃĪpp fÃķr att hjÃĪlpa synskadade mÃĪnniskor navigera genom sina dagliga liv lÃĪtt. FÃķr att utforma den anvÃĪnde utvecklarna gestdatamÃĪngden och utbildade ProtoNN-modellen med en klassificeringsalgoritm. Resultaten som erhÃķlls frÃĨn installationen var exakta, designen var lÃĨgkostnad och den levererade tillfredsstÃĪllande resultat.
En annan betydande tillÃĪmpning av TinyML ÃĪr i den sjÃĪlvkÃķrande och autonoma fordonindustrin pÃĨ grund av bristen pÃĨ resurser och ombordberÃĪkningskraft. FÃķr att hantera problemet introducerade utvecklare en sluten loop-inlÃĪrningsmetod byggd pÃĨ TinyCNN-modellen som fÃķreslog en online-prediktor som fÃĨngar bilden i realtid. Det stora problemet som utvecklare stod infÃķr nÃĪr de implementerade TinyML fÃķr autonom kÃķrning var att beslutsmodellen som trÃĪnades fÃķr att fungera offline inte fungerade lika bra nÃĪr den hanterade online-data. FÃķr att fullt ut maximera tillÃĪmpningarna av autonoma bilar och sjÃĪlvkÃķrande fordon bÃķr modellen idealiskt kunna anpassa sig till realtidsdata.
DatamÃķnsterklassificering och Komprimering
En av de stÃķrsta utmaningarna fÃķr den nuvarande TinyML-ramen ÃĪr att mÃķjliggÃķra den fÃķr att anpassa sig till online-trÃĪningsdata. FÃķr att hantera problemet har utvecklare fÃķreslagit en metod som kallas TinyOL eller TinyML Online Learning fÃķr att tillÃĨta utbildning med inkrementell online-inlÃĪrning pÃĨ mikrokontrollenheter, vilket tillÃĨter modellen att uppdateras pÃĨ IoT-edge-enheter. Implementeringen uppnÃĨddes med hjÃĪlp av C++-programmeringssprÃĨket och en ytterligare lager lades till i TinyOL-arkitekturen.
Dessutom har utvecklare ocksÃĨ utfÃķrt auto-kodning av Arduino Nano 33 BLE-sensorn och den utbildade modellen kunde klassificera nya datamÃķnster. Dessutom ingick utvecklingsarbetet i att utforma effektiva och mer optimerade algoritmer fÃķr neurala nÃĪtverk fÃķr att stÃķdja enhetsutbildningsmÃķnster online.
Forskning i TinyOL och TinyML har visat att antalet aktiveringslager har varit ett stort problem fÃķr IoT-edge-enheter med begrÃĪnsade resurser. FÃķr att hantera problemet introducerade utvecklare den nya TinyTL eller Tiny Transfer Learning-modellen fÃķr att gÃķra anvÃĪndningen av minne pÃĨ IoT-edge-enheter mer effektiv och undvika anvÃĪndningen av mellanliggande lager fÃķr aktiveringsÃĪndamÃĨl. Dessutom introducerade utvecklare en helt ny biasmodul som kallas âlite-residualmodulâ fÃķr att maximera anpassningsfÃķrmÃĨgan och pÃĨ sÃĨ sÃĪtt tillÃĨta funktionsextraherare att upptÃĪcka restfunktioner.
NÃĪr den jÃĪmfÃķrdes med fullstÃĪndig nÃĪtverksfinjustering var resultaten till fÃķrdel fÃķr TinyTL-arkitekturen, eftersom resultaten visade att TinyTL minskade minnesÃķverhuvudet med cirka 6,5 gÃĨnger med mÃĨttlig noggrannhetsfÃķrlust. NÃĪr den sista lagern justerades fÃķrbÃĪttrades TinyML noggrannheten med 34% med mÃĨttlig noggrannhetsfÃķrlust.
Dessutom har forskning om datakomprimering visat att datakomprimeringsalgoritmer mÃĨste hantera den insamlade data pÃĨ en bÃĪrbar enhet och fÃķr att uppnÃĨ detta fÃķreslog utvecklare TAC eller Tiny Anomaly Compressor. TAC kunde ÃķvertrÃĪffa SDT eller Swing Door Trending och DCT eller Discrete Cosine Transform-algoritmer. Dessutom ÃķvertrÃĪffade TAC-algoritmen bÃĨde SDT och DCT-algoritmer genom att uppnÃĨ en maximal komprimeringshastighet pÃĨ Ãķver 98% och ha det bÃĪsta topp-vÃĪrde-till-brus-fÃķrhÃĨllandet av de tre algoritmerna.
HÃĪlsodiagnos
Covid-19-pandemin Ãķppnade nya mÃķjligheter fÃķr implementeringen av TinyML, eftersom det nu ÃĪr en viktig praxis att kontinuerligt upptÃĪcka andningsrelaterade symtom som hosta och fÃķrkylning. FÃķr att sÃĪkerstÃĪlla oavbruten Ãķvervakning har utvecklare fÃķreslagit en CNN-modell som kallas Tiny RespNet som fungerar pÃĨ en multimodell-instÃĪllning och modellen distribueras Ãķver en Xilinx Artix-7 100t FPGA som tillÃĨter enheten att bearbeta informationen parallellt, har hÃķg effektivitet och lÃĨg effektÃĨtgÃĨng. Dessutom tar TinyResp-modellen ocksÃĨ patientens tal, ljudinspelningar och demografisk information som indata fÃķr att klassificera och hostrelaterade symtom pÃĨ en patient klassificeras med hjÃĪlp av tre distinkta datamÃĪngder.
Dessutom har utvecklare ocksÃĨ fÃķreslagit en modell som kan kÃķra djupinlÃĪrningsberÃĪkningar pÃĨ edge-enheter, en TinyML-modell som kallas TinyDL. TinyDL-modellen kan distribueras pÃĨ edge-enheter som smartklockor och bÃĪrbara enheter fÃķr hÃĪlsodiagnos och ÃĪr ocksÃĨ kapabel att utfÃķra prestandaanalys fÃķr att minska bandbredd, fÃķrdrÃķjning och energifÃķrbrukning. FÃķr att uppnÃĨ distributionen av TinyDL pÃĨ handhÃĨllna enheter utformades och trÃĪnades en LSTM-modell specifikt fÃķr en bÃĪrbar enhet och den matades med insamlad data som indata. Modellen har en noggrannhetspoÃĪng pÃĨ cirka 75 till 80% och den kunde fungera med av-enhet-data ocksÃĨ.
Slutligen har utvecklare ocksÃĨ fÃķreslagit en annan tillÃĪmpning fÃķr att Ãķvervaka ÃĪldre mÃĪnniskors hÃĪlsa genom att uppskatta och analysera deras kroppsstÃĪllningar. Modellen anvÃĪnder en agnostisk ram pÃĨ enheten som tillÃĨter modellen att aktivera validering och snabb anpassning fÃķr att utfÃķra anpassningar. Modellen implementerade kroppsstÃĪllningsalgoritmer kopplade med ansiktslandmÃĪrken fÃķr att upptÃĪcka rumsliga kroppsstÃĪllningar i realtid.
Edge-berÃĪkning
En av de stora tillÃĪmpningarna av TinyML ÃĪr inom edge-berÃĪkningsomrÃĨdet, eftersom det med Ãķkningen av anvÃĪndningen av IoT-enheter fÃķr att ansluta enheter Ãķver hela vÃĪrlden ÃĪr viktigt att stÃĪlla in edge-enheter, vilket kommer att hjÃĪlpa till att minska belastningen pÃĨ molnarkitekturerna. Dessa edge-enheter kommer att ha individuella datacenter som kommer att tillÃĨta dem att utfÃķra hÃķgnivÃĨberÃĪkningar pÃĨ enheten sjÃĪlv, snarare ÃĪn att fÃķrlita sig pÃĨ molnarkitekturen. Som ett resultat kommer det att hjÃĪlpa till att minska beroendet av molnet, minska fÃķrdrÃķjningen, fÃķrbÃĪttra anvÃĪndarsÃĪkerhet och -integritet och ocksÃĨ minska bandbredden.
Edge-enheter som anvÃĪnder TinyML-algoritmer kommer att hjÃĪlpa till att lÃķsa de nuvarande begrÃĪnsningarna relaterade till effekt, berÃĪkning och minneskrav och det diskuteras i bilden nedan.

Dessutom kan TinyML ocksÃĨ fÃķrbÃĪttra anvÃĪndningen och tillÃĪmpningen av obemannade luftfartyg (UAV) genom att hantera de nuvarande begrÃĪnsningarna som dessa maskiner stÃĨr infÃķr. AnvÃĪndningen av TinyML kan tillÃĨta utvecklare att implementera en energieffektiv enhet med lÃĨg fÃķrdrÃķjning och hÃķg berÃĪkningskraft som kan fungera som en kontroller fÃķr dessa UAV.
HjÃĪrndatorgrÃĪnssnitt eller BCI
TinyML har betydande tillÃĪmpningar inom hÃĪlso- och sjukvÃĨrdsindustrin och kan visa sig vara mycket fÃķrdelaktigt i olika omrÃĨden, inklusive cancer- och tumÃķrupptÃĪckt, hÃĪlsoprognoser med hjÃĪlp av ECG- och EEG-signaler och emotionell intelligens. AnvÃĪndningen av TinyML kan tillÃĨta adaptiv djup hjÃĪrnstimulering (aDBS) att anpassa sig till kliniska anpassningar. AnvÃĪndningen av TinyML kan ocksÃĨ tillÃĨta aDBS att identifiera sjukdomsrelaterade biomarkÃķrer och deras symtom med hjÃĪlp av invasiva inspelningar av hjÃĪrnsignaler.
Dessutom ingÃĨr hÃĪlso- och sjukvÃĨrdsindustrin ofta i insamling av en stor mÃĪngd data om en patient och denna data mÃĨste sedan bearbetas fÃķr att nÃĨ specifika lÃķsningar fÃķr patientens behandling i de tidiga stadierna av en sjukdom. Som ett resultat ÃĪr det viktigt att bygga ett system som inte bara ÃĪr mycket effektivt, utan ocksÃĨ mycket sÃĪkert. NÃĪr vi kombinerar IoT-tillÃĪmpningar med TinyML-modellen fÃķds ett nytt omrÃĨde som kallas H-IoT eller HÃĪlsans Internet of Things och de viktigaste tillÃĪmpningarna av H-IoT ÃĪr diagnos, Ãķvervakning, logistik, spridningskontroll och assistanssystem. Om vi vill utveckla enheter som kan upptÃĪcka och analysera en patients hÃĪlsa pÃĨ distans ÃĪr det viktigt att utveckla ett system som har global tillgÃĪnglighet och lÃĨg fÃķrdrÃķjning.

SjÃĪlvkÃķrande fordon
Slutligen kan TinyML ha omfattande tillÃĪmpningar inom den sjÃĪlvkÃķrande fordonsindustrin, eftersom dessa fordon kan anvÃĪndas pÃĨ olika sÃĪtt, inklusive mÃĪnsklig spÃĨrning, militÃĪra ÃĪndamÃĨl och har industriella tillÃĪmpningar. Dessa fordon har ett primÃĪrt krav pÃĨ att kunna identifiera objekt effektivt nÃĪr objektet sÃķks.
FÃķr nÃĪrvarande ÃĪr sjÃĪlvkÃķrande fordon och autonom kÃķrning ett ganska komplext uppdrag, sÃĪrskilt nÃĪr man utvecklar mini- eller smÃĨ fordon. Nyliga framsteg har visat potentialen att fÃķrbÃĪttra tillÃĪmpningen av autonom kÃķrning fÃķr mini-fordon med hjÃĪlp av en CNN-arkitektur och distribuera modellen Ãķver GAP8 MCI.
Utmaningar
TinyML ÃĪr ett relativt nytt koncept inom AI- och ML-industrin och trots framstegen ÃĪr det fortfarande inte sÃĨ effektivt som vi behÃķver det fÃķr massdistribution pÃĨ edge- och IoT-enheter.
Den stÃķrsta utmaningen som TinyML-enheter stÃĨr infÃķr just nu ÃĪr effektÃĨtgÃĨngen hos dessa enheter. Idealiskt sett fÃķrvÃĪntas inbÃĪddade edge- och IoT-enheter ha en batterilivslÃĪngd som strÃĪcker sig Ãķver 10 ÃĨr. Till exempel, i idealiska fÃķrhÃĨllanden, en IoT-enhet som kÃķrs pÃĨ en 2 Ah-batteri fÃķrvÃĪntas ha en batterilivslÃĪngd pÃĨ Ãķver 10 ÃĨr, givet att effektÃĨtgÃĨngen pÃĨ enheten ÃĪr cirka 12 ΞA. Men i den givna situationen, en IoT-arkitektur med en temperatursensor, en MCU-enhet och en WiFi-modul, stÃĨr strÃķmfÃķrbrukningen pÃĨ cirka 176,4 mA och med denna effektÃĨtgÃĨng kommer batteriet att vara i drift i cirka 11 timmar, snarare ÃĪn de 10 ÃĨr som krÃĪvs.
ResursbegrÃĪnsningar
FÃķr att upprÃĪtthÃĨlla en algoritmisk konsekvens ÃĪr det viktigt att upprÃĪtthÃĨlla effekttilgÃĪnglighet och givet den nuvarande situationen ÃĪr den begrÃĪnsade effekttilgÃĪngligheten fÃķr TinyML-enheter en kritisk utmaning. Dessutom ÃĪr minnesbegrÃĪnsningar ocksÃĨ en betydande utmaning, eftersom distributionen av modeller ofta krÃĪver en stor mÃĪngd minne fÃķr att fungera effektivt och korrekt.
HÃĨrdvarubegrÃĪnsningar
HÃĨrdvarubegrÃĪnsningar gÃķr det svÃĨrt att distribuera TinyML-algoritmer pÃĨ en stor skala pÃĨ grund av heterogeniteten hos hÃĨrdvaruenheter. Det finns tusentals enheter, var och en med sina egna hÃĨrdvaruspecifikationer och krav och som ett resultat behÃķver en TinyML-algoritm fÃķr nÃĪrvarande justeras fÃķr varje enskild enhet, vilket gÃķr massdistribution till ett stort problem.
DatamÃĪngdsbegrÃĪnsningar
En av de stora problemen med TinyML-modeller ÃĪr att de inte stÃķder de befintliga datamÃĪngderna. Det ÃĪr en utmaning fÃķr alla edge-enheter, eftersom de samlar in data med hjÃĪlp av externa sensorer och dessa enheter har ofta effekt- och energibegrÃĪnsningar. DÃĪrfÃķr kan de befintliga datamÃĪngderna inte anvÃĪndas fÃķr att trÃĪna TinyML-modellerna effektivt.
Slutliga Tankar
Utvecklingen av ML-tekniker har orsakat en revolution och en fÃķrÃĪndring av perspektiv inom IoT-ekosystemet. Integrationen av ML-modeller i IoT-enheter kommer att tillÃĨta dessa edge-enheter att fatta intelligenta beslut pÃĨ egen hand utan nÃĨgon yttre mÃĪnsklig inmatning. Men konventionellt sett har ML-modeller ofta hÃķg effekt-, minnes- och berÃĪkningskrav, vilket gÃķr dem olÃĪmpliga fÃķr distribution pÃĨ edge-enheter som ofta ÃĪr resursbegrÃĪnsade.
Som ett resultat ÃĪgnades en ny gren inom AI ÃĨt anvÃĪndningen av ML fÃķr IoT-enheter och den benÃĪmndes TinyML. TinyML ÃĪr ett ML-ramverk som tillÃĨter ÃĪven resursbegrÃĪnsade enheter att utnyttja kraften hos AI och ML fÃķr att sÃĪkerstÃĪlla hÃķgre noggrannhet, intelligens och effektivitet.
I den hÃĪr artikeln har vi talat om implementeringen av TinyML-modeller pÃĨ resursbegrÃĪnsade IoT-enheter och denna implementering krÃĪver utbildning av modellerna, distribution av modellerna pÃĨ hÃĨrdvaran och genomfÃķrande av kvantifieringstekniker. Men givet den nuvarande omfattningen har ML-modellerna som ÃĪr redo att distribueras pÃĨ IoT- och edge-enheter flera komplexiteter och begrÃĪnsningar, inklusive hÃĨrdvaru- och ramverkskompatibilitetsproblem.












