TinyML: Εφαρμογές, Περιορισμοί και Χρήση σε Συσκευές IoT & Edge

Τα τελευταία χρόνια, η Τεχνητή Νοημοσύνη (AI) και Μηχανική μάθηση (ML) έχουν γίνει μάρτυρες μιας μετέωρης αύξησης της δημοτικότητας και των εφαρμογών, όχι μόνο στη βιομηχανία αλλά και στον ακαδημαϊκό κόσμο. Ωστόσο, τα σημερινά μοντέλα ML και AI έχουν έναν σημαντικό περιορισμό: απαιτούν τεράστια υπολογιστική και επεξεργαστική ισχύ για να επιτευχθούν τα επιθυμητά αποτελέσματα και ακρίβεια. Αυτό συχνά περιορίζει τη χρήση τους σε συσκευές υψηλής ικανότητας με σημαντική υπολογιστική ισχύ.

Όμως, δεδομένων των προόδων που έγιναν στην τεχνολογία ενσωματωμένων συστημάτων και της ουσιαστικής ανάπτυξης στη βιομηχανία του Διαδικτύου των Πραγμάτων, είναι επιθυμητό να ενσωματωθεί η χρήση τεχνικών και εννοιών ML σε ένα ενσωματωμένο σύστημα με περιορισμένους πόρους για πανταχού παρούσα ευφυΐα. Η επιθυμία να χρησιμοποιηθούν έννοιες ML σε ενσωματωμένα συστήματα και συστήματα IoT είναι ο κύριος κινητήριος παράγοντας πίσω από την ανάπτυξη του TinyML, μιας ενσωματωμένης τεχνικής ML που επιτρέπει μοντέλα και εφαρμογές ML σε πολλαπλούς περιορισμένους πόρους, περιορισμένης ισχύος και φθηνές συσκευές. 

Ωστόσο, η εφαρμογή της ML σε συσκευές περιορισμένων πόρων δεν ήταν απλή, επειδή η εφαρμογή μοντέλων ML σε συσκευές με χαμηλή υπολογιστική ισχύ παρουσιάζει τις δικές της προκλήσεις όσον αφορά τη βελτιστοποίηση, την ικανότητα επεξεργασίας, την αξιοπιστία, τη συντήρηση των μοντέλων και πολλά άλλα. 

Σε αυτό το άρθρο, θα κάνουμε μια βαθύτερη βουτιά στο μοντέλο TinyML και θα μάθουμε περισσότερα για το υπόβαθρό του, τα εργαλεία που υποστηρίζουν το TinyML και τις εφαρμογές του TinyML που χρησιμοποιούν προηγμένες τεχνολογίες. Ας ξεκινήσουμε λοιπόν. 

Μια εισαγωγή στο TinyML: Γιατί ο κόσμος χρειάζεται το TinyML

Οι συσκευές Internet of Things ή IoT στοχεύουν να αξιοποιήσουν τον υπολογισμό αιχμής, ένα υπολογιστικό παράδειγμα που αναφέρεται σε μια σειρά συσκευών και δικτύων κοντά στον χρήστη για να επιτρέψει την απρόσκοπτη και σε πραγματικό χρόνο επεξεργασία δεδομένων από εκατομμύρια αισθητήρες και συσκευές που συνδέονται μεταξύ τους. Ένα από τα σημαντικότερα πλεονεκτήματα των συσκευών IoT είναι ότι απαιτούν χαμηλή υπολογιστική και επεξεργαστική ισχύ καθώς μπορούν να αναπτυχθούν στην άκρη του δικτύου και ως εκ τούτου έχουν χαμηλό αποτύπωμα μνήμης. 

Επιπλέον, οι συσκευές IoT βασίζονται σε μεγάλο βαθμό σε πλατφόρμες αιχμής για τη συλλογή και μετά τη μετάδοση των δεδομένων καθώς αυτές οι συσκευές αιχμής συγκεντρώνουν αισθητηριακά δεδομένα και στη συνέχεια τα μεταδίδουν είτε σε κοντινή τοποθεσία είτε σε πλατφόρμες cloud για επεξεργασία. Η τεχνολογία υπολογιστών αιχμής αποθηκεύει και εκτελεί υπολογισμούς στα δεδομένα και παρέχει επίσης την απαραίτητη υποδομή για την υποστήριξη των κατανεμημένων υπολογιστών. 

Η εφαρμογή του edge computing σε συσκευές IoT παρέχει

1. Αποτελεσματική ασφάλεια, απόρρητο και αξιοπιστία για τους τελικούς χρήστες. 
2. Μικρότερη καθυστέρηση. 
3. Υψηλότερη διαθεσιμότητα και απόκριση απόδοσης σε εφαρμογές και υπηρεσίες. 

Επιπλέον, επειδή οι συσκευές άκρων μπορούν να αναπτύξουν μια τεχνική συνεργασίας μεταξύ των αισθητήρων και του νέφους, η επεξεργασία δεδομένων μπορεί να διεξαχθεί στην άκρη του δικτύου αντί να διεξάγεται στην πλατφόρμα cloud. Αυτό μπορεί να οδηγήσει σε αποτελεσματική διαχείριση δεδομένων, διατήρηση δεδομένων, αποτελεσματική παράδοση και προσωρινή αποθήκευση περιεχομένου. Επιπλέον, η εφαρμογή του IoT σε εφαρμογές που ασχολούνται με την αλληλεπίδραση H2M ή Human to Machine και οι σύγχρονοι υπολογιστές αιχμής της υγειονομικής περίθαλψης παρέχουν έναν τρόπο να βελτιώσουμε σημαντικά τις υπηρεσίες δικτύου. 

Πρόσφατη έρευνα στον τομέα του IoT edge computing έχει δείξει τη δυνατότητα εφαρμογής τεχνικών Machine Learning σε αρκετές περιπτώσεις χρήσης IoT. Ωστόσο, το κύριο ζήτημα είναι ότι τα παραδοσιακά μοντέλα μηχανικής εκμάθησης απαιτούν συχνά ισχυρή υπολογιστική και επεξεργαστική ισχύ και υψηλή χωρητικότητα μνήμης που περιορίζει την εφαρμογή μοντέλων ML σε συσκευές και εφαρμογές IoT. 

Επιπλέον, η τεχνολογία αιχμής υπολογιστών σήμερα στερείται υψηλής χωρητικότητας μετάδοσης και αποτελεσματικής εξοικονόμησης ενέργειας που οδηγεί σε ετερογενή συστήματα που είναι ο κύριος λόγος πίσω από την απαίτηση για αρμονική και ολιστική υποδομή κυρίως για ενημέρωση, εκπαίδευση και ανάπτυξη μοντέλων ML. Η αρχιτεκτονική που έχει σχεδιαστεί για ενσωματωμένες συσκευές αποτελεί μια άλλη πρόκληση, καθώς αυτές οι αρχιτεκτονικές εξαρτώνται από τις απαιτήσεις υλικού και λογισμικού που διαφέρουν από συσκευή σε συσκευή. Είναι ο κύριος λόγος για τον οποίο είναι δύσκολο να δημιουργηθεί μια τυπική αρχιτεκτονική ML για δίκτυα IoT. 

Επίσης, στο τρέχον σενάριο, τα δεδομένα που παράγονται από διαφορετικές συσκευές αποστέλλονται σε πλατφόρμες cloud για επεξεργασία λόγω της υπολογιστικής έντασης των υλοποιήσεων δικτύου. Επιπλέον, τα μοντέλα ML εξαρτώνται συχνά από Deep Learning, Deep Neural Networks, Application Specific Integrated Circuits (ASIC) και Graphic Processing Units (GPUs) για την επεξεργασία των δεδομένων και συχνά έχουν υψηλότερη απαίτηση ισχύος και μνήμης. Η ανάπτυξη ολοκληρωμένων μοντέλων ML σε συσκευές IoT δεν είναι βιώσιμη λύση λόγω της εμφανούς έλλειψης υπολογιστικών και επεξεργαστικών δυνάμεων και περιορισμένων λύσεων αποθήκευσης. 

Η απαίτηση για μικρογραφία ενσωματωμένων συσκευών χαμηλής κατανάλωσης σε συνδυασμό με τη βελτιστοποίηση μοντέλων ML για μεγαλύτερη απόδοση ενέργειας και μνήμης έχει ανοίξει το δρόμο για το TinyML που στοχεύει στην εφαρμογή μοντέλων και πρακτικών ML σε συσκευές και πλαίσιο IoT αιχμής. TinyML επιτρέπει την επεξεργασία σήματος σε συσκευές IoT και παρέχει ενσωματωμένη νοημοσύνη, εξαλείφοντας έτσι την ανάγκη μεταφοράς δεδομένων σε πλατφόρμες cloud για επεξεργασία. Η επιτυχής εφαρμογή του TinyML σε συσκευές IoT μπορεί τελικά να οδηγήσει σε αυξημένο απόρρητο και αποτελεσματικότητα, ενώ παράλληλα μειώνει το λειτουργικό κόστος. Επιπλέον, αυτό που κάνει το TinyML πιο ελκυστικό είναι ότι σε περίπτωση ανεπαρκούς συνδεσιμότητας, μπορεί να παρέχει αναλυτικά στοιχεία εσωτερικής εγκατάστασης. 

TinyML: Εισαγωγή και Επισκόπηση

Το TinyML είναι ένα εργαλείο μηχανικής εκμάθησης που έχει τη δυνατότητα να εκτελεί αναλύσεις στη συσκευή για διαφορετικές λειτουργίες ανίχνευσης όπως ήχος, όραση και ομιλία. Τα μοντέλα Ml που βασίζονται στο εργαλείο TinyML έχουν χαμηλή ισχύ, μνήμη και υπολογιστικές απαιτήσεις που τα καθιστά κατάλληλα για ενσωματωμένα δίκτυα και συσκευές που λειτουργούν με ισχύ μπαταρίας. Επιπλέον, οι χαμηλές απαιτήσεις του TinyML το καθιστούν ιδανικό για την ανάπτυξη μοντέλων ML στο πλαίσιο IoT.

Στο τρέχον σενάριο, τα συστήματα ML που βασίζονται σε σύννεφο αντιμετωπίζουν μερικές δυσκολίες, όπως ζητήματα ασφάλειας και απορρήτου, υψηλή κατανάλωση ενέργειας, αξιοπιστία και προβλήματα καθυστέρησης, γι' αυτό τα μοντέλα σε πλατφόρμες υλικού-λογισμικού είναι προεγκατεστημένα. Οι αισθητήρες συλλέγουν τα δεδομένα που προσομοιώνουν τον φυσικό κόσμο και στη συνέχεια υποβάλλονται σε επεξεργασία χρησιμοποιώντας μια CPU ή MPU (Μονάδα μικροεπεξεργασίας). Το MPU ανταποκρίνεται στις ανάγκες αναλυτικής υποστήριξης ML που ενεργοποιείται από δίκτυα και αρχιτεκτονική ML με επίγνωση αιχμής. Η αρχιτεκτονική Edge ML επικοινωνεί με το σύννεφο ML για τη μεταφορά δεδομένων και η εφαρμογή του TinyML μπορεί να οδηγήσει σε σημαντική πρόοδο της τεχνολογίας. 

Θα ήταν ασφαλές να πούμε ότι το TinyML είναι μια συγχώνευση λογισμικού, υλικού και αλγορίθμων που λειτουργούν σε συγχρονισμό μεταξύ τους για να προσφέρουν την επιθυμητή απόδοση. Ενδέχεται να απαιτείται αναλογικός υπολογιστής ή υπολογισμός μνήμης για την παροχή καλύτερης και αποτελεσματικής εμπειρίας εκμάθησης για συσκευές υλικού και IoT που δεν υποστηρίζουν επιταχυντές υλικού. Όσον αφορά το λογισμικό, οι εφαρμογές που έχουν δημιουργηθεί με χρήση του TinyML μπορούν να αναπτυχθούν και να υλοποιηθούν σε πλατφόρμες όπως το Linux ή το ενσωματωμένο Linux, καθώς και σε λογισμικό με δυνατότητα cloud. Τέλος, οι εφαρμογές και τα συστήματα που βασίζονται στον αλγόριθμο TinyML πρέπει να έχουν την υποστήριξη νέων αλγορίθμων που χρειάζονται μοντέλα χαμηλού μεγέθους μνήμης για να αποφευχθεί η υψηλή κατανάλωση μνήμης. 

Συνοψίζοντας τα πράγματα, οι εφαρμογές που δημιουργούνται με χρήση του εργαλείου TinyML πρέπει να βελτιστοποιούν τις αρχές και τις μεθόδους ML μαζί με το σχεδιασμό του λογισμικού συμπαγή, παρουσία δεδομένων υψηλής ποιότητας. Αυτά τα δεδομένα πρέπει στη συνέχεια να αναβοσβήνουν μέσω δυαδικών αρχείων που δημιουργούνται χρησιμοποιώντας μοντέλα που έχουν εκπαιδευτεί σε μηχανές με πολύ μεγαλύτερη χωρητικότητα και υπολογιστική ισχύ. 

Επιπλέον, τα συστήματα και οι εφαρμογές που εκτελούνται στο εργαλείο TinyML πρέπει να παρέχουν υψηλή ακρίβεια κατά την εκτέλεση υπό αυστηρότερους περιορισμούς, επειδή απαιτείται συμπαγές λογισμικό για μικρή κατανάλωση ενέργειας που υποστηρίζει τις επιπτώσεις TinyML. Επιπλέον, οι εφαρμογές ή οι μονάδες TinyML ενδέχεται να εξαρτώνται από την ισχύ της μπαταρίας για την υποστήριξη των λειτουργιών της σε ενσωματωμένα συστήματα αιχμής. 

Τούτου λεχθέντος, οι εφαρμογές TinyML έχουν δύο θεμελιώδεις απαιτήσεις

1. Δυνατότητα κλιμάκωσης δισεκατομμυρίων φθηνών ενσωματωμένων συστημάτων. 
2. Αποθήκευση του κώδικα στη μνήμη RAM της συσκευής με χωρητικότητα κάτω από μερικά KB. 

Εφαρμογές του TinyML με χρήση προηγμένων τεχνολογιών

Ένας από τους κύριους λόγους για τους οποίους το TinyML είναι ένα καυτό θέμα στη βιομηχανία AI & ML είναι λόγω των πιθανών εφαρμογών του, όπως εφαρμογές βασισμένες στην όραση και ομιλία, τη διάγνωση υγείας, τη συμπίεση και ταξινόμηση μοτίβων δεδομένων, τη διεπαφή ελέγχου εγκεφάλου, την υπολογιστική ακμή, τη φαινομενική, τον εαυτό -οδήγηση αυτοκινήτων και πολλά άλλα. 

Εφαρμογές βασισμένες στην ομιλία

Επικοινωνίες ομιλίας

Συνήθως, οι εφαρμογές που βασίζονται στην ομιλία βασίζονται σε συμβατικές μεθόδους επικοινωνίας στις οποίες όλα τα δεδομένα είναι σημαντικά και μεταδίδονται. Ωστόσο, τα τελευταία χρόνια, η σημασιολογική επικοινωνία έχει εμφανιστεί ως εναλλακτική της συμβατικής επικοινωνίας καθώς στη σημασιολογική επικοινωνία μεταδίδεται μόνο το νόημα ή το πλαίσιο των δεδομένων. Η σημασιολογική επικοινωνία μπορεί να εφαρμοστεί σε εφαρμογές που βασίζονται σε ομιλία χρησιμοποιώντας μεθοδολογίες TinyML. 

Μερικές από τις πιο δημοφιλείς εφαρμογές στον κλάδο των επικοινωνιών ομιλίας σήμερα είναι η ανίχνευση ομιλίας, η αναγνώριση ομιλίας, η διαδικτυακή μάθηση, η διαδικτυακή διδασκαλία και η επικοινωνία με στόχο. Αυτές οι εφαρμογές έχουν συνήθως υψηλότερη κατανάλωση ενέργειας και έχουν επίσης υψηλές απαιτήσεις δεδομένων στη συσκευή υποδοχής. Για να ξεπεραστούν αυτές οι απαιτήσεις, εισήχθη μια νέα βιβλιοθήκη TinySpeech που επιτρέπει στους προγραμματιστές να δημιουργήσουν μια αρχιτεκτονική χαμηλής υπολογιστικής που χρησιμοποιεί βαθιά συνελικτικά δίκτυα για τη δημιουργία μιας χαμηλής εγκατάστασης αποθήκευσης. 

Για να χρησιμοποιήσουν το TinyML για τη βελτίωση ομιλίας, οι προγραμματιστές αρχικά ασχολήθηκαν με το μέγεθος του μοντέλου βελτίωσης ομιλίας επειδή υπόκειτο σε περιορισμούς και περιορισμούς υλικού. Για την αντιμετώπιση του προβλήματος, αναπτύχθηκαν δομημένο κλάδεμα και κβαντισμός ακεραίων για το μοντέλο βελτίωσης ομιλίας RNN ή επαναλαμβανόμενων νευρωνικών δικτύων. Τα αποτελέσματα πρότειναν το μέγεθος του μοντέλου να μειωθεί σχεδόν κατά 12 φορές, ενώ οι λειτουργίες να μειωθούν σχεδόν κατά 3 φορές. Επιπλέον, είναι ζωτικής σημασίας οι πόροι να χρησιμοποιούνται αποτελεσματικά, ειδικά όταν αναπτύσσονται σε εφαρμογές με περιορισμένους πόρους που εκτελούν εφαρμογές αναγνώρισης φωνής. 

Ως αποτέλεσμα, για την κατάτμηση της διαδικασίας, προτάθηκε μια μέθοδος συν-σχεδιασμού για εφαρμογές αναγνώρισης φωνής και ομιλίας που βασίζονται στο TinyML. Οι προγραμματιστές χρησιμοποίησαν τη λειτουργία παραθύρου για την κατάτμηση λογισμικού και υλικού με τρόπο για την προεπεξεργασία των ακατέργαστων φωνητικών δεδομένων. Η μέθοδος φάνηκε να λειτουργεί καθώς τα αποτελέσματα έδειξαν μείωση στην κατανάλωση ενέργειας στο υλικό. Τέλος, υπάρχει επίσης η δυνατότητα εφαρμογής βελτιστοποιημένης κατάτμησης μεταξύ συν-σχεδιασμού λογισμικού και υλικού για καλύτερη απόδοση στο εγγύς μέλλον. 

Επιπλέον, πρόσφατη έρευνα πρότεινε τη χρήση ενός μορφοτροπέα που βασίζεται σε τηλέφωνο για συστήματα αναγνώρισης ομιλίας και η πρόταση στοχεύει στην αντικατάσταση των προγνωστικών LSTM με το στρώμα Conv1D για τη μείωση των αναγκών υπολογισμού σε συσκευές ακμής. Όταν εφαρμόστηκε, η πρόταση επέστρεψε θετικά αποτελέσματα καθώς η αποσύνθεση SVD ή Singular Value είχε συμπιέσει το μοντέλο με επιτυχία, ενώ η χρήση της αποκωδικοποίησης βασισμένης σε μετατροπείς WFST ή Weighted Finite State οδήγησε σε μεγαλύτερη ευελιξία στην προκατάληψη βελτίωσης του μοντέλου. 

Πολλές εξέχουσες εφαρμογές αναγνώρισης ομιλίας, όπως εικονικοί ή φωνητικοί βοηθοί, ζωντανοί υπότιτλοι και φωνητικές εντολές χρησιμοποιούν τεχνικές ML για να λειτουργήσουν. Οι δημοφιλείς βοηθοί φωνής, όπως ο Siri και ο Βοηθός Google, κάνουν ping στην πλατφόρμα cloud κάθε φορά που λαμβάνουν κάποια δεδομένα, και αυτό δημιουργεί σημαντικές ανησυχίες σχετικά με το απόρρητο και την ασφάλεια των δεδομένων. Το TinyML είναι μια βιώσιμη λύση για το πρόβλημα, καθώς στοχεύει να πραγματοποιήσει αναγνώριση ομιλίας σε συσκευές και να εξαλείψει την ανάγκη μετεγκατάστασης δεδομένων σε πλατφόρμες cloud. Ένας από τους τρόπους για να επιτευχθεί η αναγνώριση ομιλίας στη συσκευή είναι να χρησιμοποιήσετε το Tiny Transducer, ένα μοντέλο αναγνώρισης ομιλίας που χρησιμοποιεί ένα επίπεδο DFSMN ή Deep Feed-Forward Sequential Memory Block σε συνδυασμό με ένα επίπεδο Conv1D αντί για τα επίπεδα LSTM για να μειώσει τις απαιτήσεις υπολογισμού και τις παραμέτρους δικτύου. 

Ακουστικά βαρηκοΐας

Η απώλεια ακοής είναι μια σημαντική ανησυχία για την υγεία σε όλο τον κόσμο και η ικανότητα των ανθρώπων να ακούν ήχους γενικά εξασθενεί καθώς γερνούν και είναι ένα σημαντικό πρόβλημα σε χώρες που αντιμετωπίζουν γήρανση του πληθυσμού, όπως η Κίνα, η Ιαπωνία και η Νότια Κορέα. Οι συσκευές ακουστικών βαρηκοΐας λειτουργούν αυτήν τη στιγμή με την απλή αρχή της ενίσχυσης όλων των εισερχόμενων ήχων από το περιβάλλον, γεγονός που καθιστά δύσκολο για το άτομο να διακρίνει ή να διαφοροποιήσει τον επιθυμητό ήχο, ειδικά σε ένα θορυβώδες περιβάλλον. 

Το TinyML μπορεί να είναι η βιώσιμη λύση για αυτό το ζήτημα, καθώς η χρήση ενός μοντέλου TinyLSTM που χρησιμοποιεί αλγόριθμο αναγνώρισης ομιλίας για συσκευές βαρηκοΐας μπορεί να βοηθήσει τους χρήστες να διακρίνουν διαφορετικούς ήχους. 

Εφαρμογές που βασίζονται στο όραμα

Το TinyML έχει τη δυνατότητα να διαδραματίσει κρίσιμο ρόλο στην επεξεργασία όραση υπολογιστή που βασίζονται σε σύνολα δεδομένων, επειδή για ταχύτερες εξόδους, αυτά τα σύνολα δεδομένων πρέπει να υποβάλλονται σε επεξεργασία στην ίδια την πλατφόρμα άκρων. Για να επιτευχθεί αυτό, το μοντέλο TinyML αντιμετωπίζει τις πρακτικές προκλήσεις που αντιμετωπίζει κατά την εκπαίδευση του μοντέλου χρησιμοποιώντας την πλακέτα μικροελεγκτή OpenMV H7. Οι προγραμματιστές πρότειναν επίσης μια αρχιτεκτονική για την ανίχνευση της αμερικανικής νοηματικής γλώσσας με τη βοήθεια ενός μικροελεγκτή ARM Cortex M7 που λειτουργεί μόνο με 496 KB μνήμης RAM frame-buffer. 

Η εφαρμογή του TinyML για εφαρμογή βασισμένη στην όραση υπολογιστή σε πλατφόρμες αιχμής απαιτούσε από τους προγραμματιστές να ξεπεράσουν τη μεγάλη πρόκληση του CNN ή των Συνελικτικών Νευρωνικών Δικτύων με υψηλό σφάλμα γενίκευσης και υψηλή ακρίβεια εκπαίδευσης και δοκιμής. Ωστόσο, η υλοποίηση δεν γενικεύτηκε αποτελεσματικά σε εικόνες σε νέες περιπτώσεις χρήσης καθώς και σε φόντο με θόρυβο. Όταν οι προγραμματιστές χρησιμοποίησαν τη μέθοδο αύξησης της παρεμβολής, το μοντέλο επέστρεψε βαθμολογία ακρίβειας άνω του 98% στα δεδομένα δοκιμής και περίπου 75% σε γενίκευση. 

Επιπλέον, παρατηρήθηκε ότι όταν οι προγραμματιστές χρησιμοποίησαν τη μέθοδο αύξησης της παρεμβολής, σημειώθηκε πτώση στην ακρίβεια του μοντέλου κατά την κβαντοποίηση, αλλά ταυτόχρονα, υπήρξε επίσης μια ώθηση στην ταχύτητα συμπερασμάτων του μοντέλου και στη γενίκευση της ταξινόμησης. Οι προγραμματιστές πρότειναν επίσης μια μέθοδο για την περαιτέρω ενίσχυση της ακρίβειας της εκπαίδευσης του μοντέλου γενίκευσης σε δεδομένα που λαμβάνονται από μια ποικιλία διαφορετικών πηγών και δοκιμάζοντας την απόδοση για να διερευνήσουν τη δυνατότητα ανάπτυξής του σε πλατφόρμες αιχμής όπως φορητά έξυπνα ρολόγια. 

Επιπλέον, πρόσθετες μελέτες για CNN έδειξε ότι είναι δυνατή η ανάπτυξη και η επίτευξη επιθυμητών αποτελεσμάτων με την αρχιτεκτονική του CNN σε συσκευές με περιορισμένους πόρους. Πρόσφατα, οι προγραμματιστές μπόρεσαν να αναπτύξουν ένα πλαίσιο για την ανίχνευση ιατρικών μασκών προσώπου σε έναν μικροελεγκτή ARM Cortex M7 με περιορισμένους πόρους χρησιμοποιώντας το TensorFlow lite με ελάχιστα αποτυπώματα μνήμης. Το μέγεθος του μοντέλου μετά την κβαντοποίηση ήταν περίπου 138 KB ενώ η ταχύτητα παρεμβολής στον πίνακα στόχο ήταν περίπου 30 FPS. 

Μια άλλη εφαρμογή του TinyML για εφαρμογή που βασίζεται στην όραση υπολογιστή είναι η εφαρμογή μιας συσκευής αναγνώρισης χειρονομιών που μπορεί να στερεωθεί σε ένα μπαστούνι για να βοηθήσει τα άτομα με προβλήματα όρασης να περιηγηθούν εύκολα στην καθημερινή τους ζωή. Για να το σχεδιάσουν, οι προγραμματιστές χρησιμοποίησαν το σύνολο δεδομένων χειρονομιών και χρησιμοποίησαν το σύνολο δεδομένων για να εκπαιδεύσουν το μοντέλο ProtoNN με έναν αλγόριθμο ταξινόμησης. Τα αποτελέσματα που προέκυψαν από τη ρύθμιση ήταν ακριβή, ο σχεδιασμός ήταν χαμηλού κόστους και απέδωσε ικανοποιητικά αποτελέσματα. 

Μια άλλη σημαντική εφαρμογή του TinyML είναι στη βιομηχανία αυτόνομης οδήγησης και αυτόνομων οχημάτων λόγω της έλλειψης πόρων και της ενσωματωμένης υπολογιστικής ισχύος. Για την αντιμετώπιση του προβλήματος, οι προγραμματιστές εισήγαγαν μια μέθοδο εκμάθησης κλειστού βρόχου βασισμένη στο μοντέλο TinyCNN που πρότεινε ένα διαδικτυακό μοντέλο πρόβλεψης που καταγράφει την εικόνα κατά τη διάρκεια της εκτέλεσης. Το κύριο ζήτημα που αντιμετώπισαν οι προγραμματιστές κατά την εφαρμογή του TinyML για αυτόνομη οδήγηση ήταν ότι το μοντέλο απόφασης που εκπαιδεύτηκε για να εργάζεται σε δεδομένα εκτός σύνδεσης μπορεί να μην λειτουργεί εξίσου καλά όταν ασχολείται με διαδικτυακά δεδομένα. Για να μεγιστοποιηθούν πλήρως οι εφαρμογές των αυτόνομων αυτοκινήτων και των αυτοοδηγούμενων αυτοκινήτων, το μοντέλο θα πρέπει ιδανικά να μπορεί να προσαρμόζεται στα δεδομένα σε πραγματικό χρόνο. 

Ταξινόμηση και συμπίεση προτύπων δεδομένων

Μία από τις μεγαλύτερες προκλήσεις του τρέχοντος πλαισίου TinyML είναι να διευκολύνει την προσαρμογή του στα διαδικτυακά δεδομένα εκπαίδευσης. Για την αντιμετώπιση του προβλήματος, οι προγραμματιστές έχουν προτείνει μια μέθοδο γνωστή ως TinyOL ή TinyML Online Learning για να επιτρέψει την εκπαίδευση με σταδιακή διαδικτυακή μάθηση σε μονάδες μικροελεγκτών, επιτρέποντας έτσι στο μοντέλο να ενημερώνεται σε συσκευές IoT edge. Η υλοποίηση επιτεύχθηκε χρησιμοποιώντας τη γλώσσα προγραμματισμού C++ και προστέθηκε ένα επιπλέον επίπεδο στην αρχιτεκτονική TinyOL. 

Επιπλέον, οι προγραμματιστές πραγματοποίησαν επίσης την αυτόματη κωδικοποίηση της πλακέτας αισθητήρων Arduino Nano 33 BLE και το μοντέλο που εκπαιδεύτηκε ήταν σε θέση να ταξινομήσει νέα μοτίβα δεδομένων. Επιπλέον, το έργο ανάπτυξης περιελάμβανε τον σχεδιασμό αποτελεσματικών και πιο βελτιστοποιημένων αλγορίθμων για τα νευρωνικά δίκτυα για την υποστήριξη μοτίβων εκπαίδευσης συσκευών στο διαδίκτυο. 

Έρευνα στο TinyOL και στο TinyML έχει δείξει ότι ο αριθμός των επιπέδων ενεργοποίησης ήταν ένα σημαντικό ζήτημα για τις συσκευές IoT edge που έχουν περιορισμένους πόρους. Για την αντιμετώπιση του προβλήματος, οι προγραμματιστές εισήγαγαν το νέο μοντέλο TinyTL ή Tiny Transfer Learning για να κάνουν τη χρήση της μνήμης μέσω συσκευών IoT edge πολύ πιο αποτελεσματική και αποφεύγοντας τη χρήση ενδιάμεσων επιπέδων για σκοπούς ενεργοποίησης. Επιπλέον, οι προγραμματιστές εισήγαγαν επίσης μια εντελώς νέα ενότητα μεροληψίας γνωστή ως "lite-residual module” για να μεγιστοποιηθούν οι δυνατότητες προσαρμογής και, φυσικά, να επιτραπεί στους εξαγωγείς χαρακτηριστικών να ανακαλύψουν υπολειπόμενους χάρτες χαρακτηριστικών. 

Σε σύγκριση με τη λεπτομερή ρύθμιση του πλήρους δικτύου, τα αποτελέσματα ήταν υπέρ της αρχιτεκτονικής TinyTL, καθώς τα αποτελέσματα έδειξαν ότι το TinyTL μειώνει την επιβάρυνση της μνήμης περίπου 6.5 φορές με μέτρια απώλεια ακρίβειας. Όταν το τελευταίο επίπεδο ρυθμίστηκε με ακρίβεια, το TinyML είχε βελτιώσει την ακρίβεια κατά 34% με μέτρια απώλεια ακρίβειας. 

Επιπλέον, η έρευνα για τη συμπίεση δεδομένων έχει δείξει ότι αλγόριθμοι συμπίεσης δεδομένων πρέπει να διαχειρίζεται τα δεδομένα που συλλέγονται σε μια φορητή συσκευή και για να επιτευχθεί το ίδιο, οι προγραμματιστές πρότειναν το TAC ή το Tiny Anomaly Compressor. Το TAC κατάφερε να ξεπεράσει τους αλγόριθμους SDT ή Swing Door Trending και DCT ή Discrete Cosine Transform. Επιπλέον, ο αλγόριθμος TAC ξεπέρασε τόσο τους αλγόριθμους SDT όσο και τους αλγόριθμους DCT επιτυγχάνοντας μέγιστο ρυθμό συμπίεσης άνω του 98% και έχοντας την ανώτερη αναλογία σήματος προς θόρυβο κορυφής από τους τρεις αλγόριθμους. 

Διάγνωση Υγείας

Η παγκόσμια πανδημία του Covid-19 άνοιξε νέες πόρτες ευκαιριών για την εφαρμογή του TinyML καθώς αποτελεί πλέον ουσιαστική πρακτική η συνεχής ανίχνευση συμπτωμάτων του αναπνευστικού που σχετίζονται με βήχα και κρυολόγημα. Για να διασφαλιστεί η αδιάλειπτη παρακολούθηση, οι προγραμματιστές έχουν προτείνει ένα μοντέλο CNN Tiny RespNet που λειτουργεί σε ρύθμιση πολλαπλών μοντέλων και το μοντέλο αναπτύσσεται σε ένα Xilinx Artix-7 100t FPGA που επιτρέπει στη συσκευή να επεξεργάζεται τις πληροφορίες παράλληλα, έχει υψηλή απόδοση. και χαμηλή κατανάλωση ρεύματος. Επιπλέον, το μοντέλο TinyResp λαμβάνει επίσης την ομιλία των ασθενών, τις ηχογραφήσεις και τις πληροφορίες της δημογραφίας ως δεδομένα για ταξινόμηση και τα συμπτώματα που σχετίζονται με τον βήχα ενός ασθενούς ταξινομούνται χρησιμοποιώντας τρία διακριτά σύνολα δεδομένων. 

Επιπλέον, οι προγραμματιστές έχουν προτείνει επίσης ένα μοντέλο ικανό να εκτελεί υπολογισμούς βαθιάς μάθησης σε συσκευές edge, ένα μοντέλο TinyML που ονομάζεται TinyDL. Το μοντέλο TinyDL μπορεί να αναπτυχθεί σε συσκευές αιχμής, όπως smartwatches και wearables για διάγνωση υγείας, ενώ είναι επίσης σε θέση να πραγματοποιήσει ανάλυση απόδοσης για μείωση του εύρους ζώνης, του λανθάνοντος χρόνου και της κατανάλωσης ενέργειας. Για να επιτευχθεί η ανάπτυξη του TinyDL σε φορητές συσκευές, ένα μοντέλο LSTM σχεδιάστηκε και εκπαιδεύτηκε ειδικά για μια φορητή συσκευή και τροφοδοτήθηκε με συλλεγμένα δεδομένα ως είσοδο. Το μοντέλο έχει βαθμολογία ακρίβειας περίπου 75 έως 80%, και ήταν σε θέση να λειτουργήσει και με δεδομένα εκτός συσκευής. Αυτά τα μοντέλα που λειτουργούν σε συσκευές αιχμής έδειξαν τη δυνατότητα επίλυσης των τρεχουσών προκλήσεων που αντιμετωπίζουν οι συσκευές IoT. 

Τέλος, οι προγραμματιστές έχουν προτείνει επίσης μια άλλη εφαρμογή για την παρακολούθηση της υγείας των ηλικιωμένων ανθρώπων εκτιμώντας & αναλύοντας τις στάσεις του σώματός τους. Το μοντέλο χρησιμοποιεί το αγνωστικό πλαίσιο στη συσκευή που επιτρέπει στο μοντέλο να ενεργοποιεί την επικύρωση και την ταχεία προώθηση για την εκτέλεση προσαρμογών. Το μοντέλο εφάρμοσε αλγόριθμους ανίχνευσης στάσης σώματος σε συνδυασμό με ορόσημα του προσώπου για να ανιχνεύσει χωροχρονικές στάσεις σώματος σε πραγματικό χρόνο. 

Edge Computing

Μία από τις κύριες εφαρμογές του TinyML είναι στον τομέα των υπολογιστών αιχμής, καθώς με την αύξηση της χρήσης συσκευών IoT για τη σύνδεση συσκευών σε όλο τον κόσμο, είναι απαραίτητο να ρυθμίσετε συσκευές αιχμής, καθώς θα βοηθήσει στη μείωση του φόρτου στις αρχιτεκτονικές του cloud. . Αυτές οι συσκευές αιχμής θα διαθέτουν μεμονωμένα κέντρα δεδομένων που θα τους επιτρέπουν να πραγματοποιούν υπολογισμούς υψηλού επιπέδου στην ίδια τη συσκευή, αντί να βασίζονται στην αρχιτεκτονική του cloud. Ως αποτέλεσμα, θα βοηθήσει στη μείωση της εξάρτησης από το cloud, στη μείωση του λανθάνοντος χρόνου, στη βελτίωση της ασφάλειας και του απορρήτου των χρηστών και επίσης στη μείωση του εύρους ζώνης. 

Οι συσκευές Edge που χρησιμοποιούν τους αλγόριθμους TinyML θα βοηθήσουν στην επίλυση των υφιστάμενων περιορισμών που σχετίζονται με τις απαιτήσεις ισχύος, υπολογιστών και μνήμης, και αυτό συζητείται στην παρακάτω εικόνα. 

Επιπλέον, το TinyML μπορεί επίσης να βελτιώσει τη χρήση και την εφαρμογή μη επανδρωμένων εναέριων οχημάτων ή UAV αντιμετωπίζοντας τους τρέχοντες περιορισμούς που αντιμετωπίζουν αυτά τα μηχανήματα. Η χρήση του TinyML μπορεί να επιτρέψει στους προγραμματιστές να εφαρμόσουν μια ενεργειακά αποδοτική συσκευή με χαμηλή καθυστέρηση και υψηλή υπολογιστική ισχύ που μπορεί να λειτουργήσει ως ελεγκτής για αυτά τα UAV. 

Διεπαφή εγκεφάλου-υπολογιστή ή BCI

Το TinyML έχει σημαντικές εφαρμογές στον κλάδο της υγειονομικής περίθαλψης και μπορεί να αποδειχθεί εξαιρετικά ωφέλιμο σε διάφορους τομείς, όπως η ανίχνευση καρκίνου και όγκου, οι προβλέψεις υγείας με χρήση σημάτων ΗΚΓ & ΗΕΓ και η συναισθηματική νοημοσύνη. Η χρήση του TinyML μπορεί να επιτρέψει στο Adaptive Deep Brain Stimulation ή στο aDBS να προσαρμοστεί με επιτυχία στις κλινικές προσαρμογές. Η χρήση του TinyMl μπορεί επίσης να επιτρέψει στο ADBS να αναγνωρίσει βιολογικά σημάδια που σχετίζονται με νόσο και τα συμπτώματά τους χρησιμοποιώντας επεμβατικές καταγραφές των εγκεφαλικών σημάτων. 

Επιπλέον, ο κλάδος της υγειονομικής περίθαλψης συχνά περιλαμβάνει τη συλλογή μεγάλου όγκου δεδομένων ενός ασθενούς και τα δεδομένα αυτά πρέπει στη συνέχεια να υποβληθούν σε επεξεργασία για να βρεθούν συγκεκριμένες λύσεις για τη θεραπεία ενός ασθενούς στα αρχικά στάδια μιας νόσου. Ως αποτέλεσμα, είναι ζωτικής σημασίας να οικοδομήσουμε ένα σύστημα που δεν είναι μόνο εξαιρετικά αποτελεσματικό, αλλά και εξαιρετικά ασφαλές. Όταν συνδυάζουμε την εφαρμογή IoT με το μοντέλο TinyML, γεννιέται ένα νέο πεδίο που ονομάζεται H-IoT ή Healthcare Internet of Things και οι κύριες εφαρμογές του H-IoT είναι η διάγνωση, η παρακολούθηση, η επιμελητεία, ο έλεγχος εξάπλωσης και τα υποστηρικτικά συστήματα. Εάν θέλουμε να αναπτύξουμε συσκευές που είναι ικανές να ανιχνεύουν και να αναλύουν την υγεία ενός ασθενούς εξ αποστάσεως, είναι σημαντικό να αναπτύξουμε ένα σύστημα που να έχει παγκόσμια προσβασιμότητα και χαμηλό λανθάνοντα χρόνο. 

Αυτόνομα οχήματα

Τέλος, το TinyML μπορεί να έχει εκτεταμένες εφαρμογές στη βιομηχανία αυτόνομων οχημάτων, καθώς αυτά τα οχήματα μπορούν να χρησιμοποιηθούν με διαφορετικούς τρόπους, συμπεριλαμβανομένης της παρακολούθησης ανθρώπων, στρατιωτικών σκοπών και έχει βιομηχανικές εφαρμογές. Αυτά τα οχήματα έχουν μια πρωταρχική απαίτηση να είναι σε θέση να αναγνωρίζουν αντικείμενα αποτελεσματικά όταν το αντικείμενο αναζητείται. 

Προς το παρόν, τα αυτόνομα οχήματα και η αυτόνομη οδήγηση είναι μια αρκετά περίπλοκη εργασία, ειδικά κατά την ανάπτυξη οχημάτων μίνι ή μικρού μεγέθους. Οι πρόσφατες εξελίξεις έχουν δείξει δυνατότητες βελτίωσης της εφαρμογής της αυτόνομης οδήγησης για μίνι οχήματα με τη χρήση αρχιτεκτονικής CNN και την ανάπτυξη του μοντέλου πάνω από το GAP8 MCI. 

Προκλήσεις

Το TinyML είναι μια σχετικά νεότερη ιδέα στη βιομηχανία AI & ML και παρά την πρόοδο, εξακολουθεί να μην είναι τόσο αποτελεσματική όσο τη χρειαζόμαστε για μαζική ανάπτυξη για συσκευές edge και IoT. 

Η μεγαλύτερη πρόκληση που αντιμετωπίζουν αυτή τη στιγμή οι συσκευές TinyML είναι η κατανάλωση ενέργειας αυτών των συσκευών. Στην ιδανική περίπτωση, οι ενσωματωμένες συσκευές Edge & IoT αναμένεται να έχουν διάρκεια ζωής μπαταρίας που εκτείνεται σε περισσότερα από 10 χρόνια. Για παράδειγμα, σε ιδανική κατάσταση, μια συσκευή IoT που λειτουργεί με μπαταρία 2Ah υποτίθεται ότι έχει διάρκεια ζωής μπαταρίας πάνω από 10 χρόνια δεδομένου ότι η κατανάλωση ενέργειας της συσκευής είναι περίπου 12 uένα. Ωστόσο, στη δεδομένη κατάσταση, μια αρχιτεκτονική IoT με αισθητήρα θερμοκρασίας, μονάδα MCU και μονάδα WiFi, η τρέχουσα κατανάλωση είναι περίπου 176.4 mA και με αυτήν την κατανάλωση ενέργειας, η μπαταρία θα διαρκέσει μόνο για περίπου 11 ώρες. από τα απαιτούμενα 10 χρόνια διάρκεια ζωής της μπαταρίας. 

Περιορισμοί πόρων

Για να διατηρηθεί η συνοχή ενός αλγορίθμου, είναι ζωτικής σημασίας να διατηρηθεί η διαθεσιμότητα ενέργειας και, δεδομένου του τρέχοντος σεναρίου, η περιορισμένη διαθεσιμότητα ενέργειας στις συσκευές TinyML είναι μια κρίσιμη πρόκληση. Επιπλέον, οι περιορισμοί μνήμης είναι επίσης μια σημαντική πρόκληση, καθώς η ανάπτυξη μοντέλων απαιτεί συχνά μεγάλη ποσότητα μνήμης για να λειτουργήσει αποτελεσματικά και με ακρίβεια. 

Περιορισμοί υλικού

Οι περιορισμοί υλικού καθιστούν δύσκολη την ανάπτυξη αλγορίθμων TinyML σε ευρεία κλίμακα λόγω της ετερογένειας των συσκευών υλικού. Υπάρχουν χιλιάδες συσκευές, η καθεμία με τις δικές της προδιαγραφές και απαιτήσεις υλικού, και ως εκ τούτου, ένας αλγόριθμος TinyML πρέπει επί του παρόντος να τροποποιηθεί για κάθε μεμονωμένη συσκευή, γεγονός που καθιστά τη μαζική ανάπτυξη μείζον ζήτημα. 

Περιορισμοί συνόλου δεδομένων

Ένα από τα σημαντικότερα ζητήματα με τα μοντέλα TinyML είναι ότι δεν υποστηρίζουν τα υπάρχοντα σύνολα δεδομένων. Είναι μια πρόκληση για όλες τις συσκευές αιχμής, καθώς συλλέγουν δεδομένα χρησιμοποιώντας εξωτερικούς αισθητήρες και αυτές οι συσκευές έχουν συχνά περιορισμούς ισχύος και ενέργειας. Επομένως, τα υπάρχοντα σύνολα δεδομένων δεν μπορούν να χρησιμοποιηθούν για την αποτελεσματική εκπαίδευση των μοντέλων TinyML. 

Τελικές Σκέψεις

Η ανάπτυξη των τεχνικών ML έχει προκαλέσει μια επανάσταση και μια αλλαγή προοπτικής στο οικοσύστημα IoT. Η ενσωμάτωση μοντέλων ML σε συσκευές IoT θα επιτρέψει σε αυτές τις συσκευές αιχμής να λαμβάνουν έξυπνες αποφάσεις μόνες τους χωρίς εξωτερική ανθρώπινη συνεισφορά. Ωστόσο, συμβατικά, τα μοντέλα ML έχουν συχνά υψηλές απαιτήσεις ισχύος, μνήμης και υπολογιστών που τα καθιστά ενοποιημένα για να αναπτυχθούν σε συσκευές ακραίας τεχνολογίας που συχνά έχουν περιορισμούς πόρων. 

Ως αποτέλεσμα, ένας νέος κλάδος στο AI αφιερώθηκε στη χρήση του ML για συσκευές IoT και ονομάστηκε TinyML. Το TinyML είναι ένα πλαίσιο ML που επιτρέπει ακόμη και σε συσκευές με περιορισμένους πόρους να αξιοποιήσουν τη δύναμη του AI & ML για να εξασφαλίσουν υψηλότερη ακρίβεια, ευφυΐα και αποτελεσματικότητα. 

Σε αυτό το άρθρο, έχουμε μιλήσει για την υλοποίηση μοντέλων TinyML σε συσκευές IoT περιορισμένων πόρων και αυτή η υλοποίηση απαιτεί εκπαίδευση των μοντέλων, ανάπτυξη μοντέλων στο υλικό και εκτέλεση τεχνικών κβαντοποίησης. Ωστόσο, δεδομένου του τρέχοντος πεδίου εφαρμογής, τα μοντέλα ML που είναι έτοιμα να αναπτυχθούν σε συσκευές IoT και αιχμής έχουν αρκετές πολυπλοκότητες και περιορισμούς, συμπεριλαμβανομένων ζητημάτων συμβατότητας υλικού και πλαισίου.