Μοντέλα και πλατφόρμες AI

TinyML: Εφαρμογές, Περιορισμοί και Χρήση σε Συσκευές IoT και Edge

Kunal Kejriwal
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο TinyML επιτρέπει τη μηχανική μάθηση στη συσκευή για συσκευές IoT με περιορισμένους…
Δείτε περισσότερα
  • Το TinyML επιτρέπει τη μηχανική μάθηση στη συσκευή για συσκευές IoT με περιορισμένους πόρους, εξαλείφοντας την εξάρτηση από το σύννεφο.
  • Ενεργοποιεί κρίσιμες εφαρμογές όπως ακουστικά βαρηκοΐας και αυτόνομα οχήματα επεξεργαζόμενο δεδομένα τοπικά στο άκρο του δικτύου.
  • Τα μοντέλα TinyML απαιτούν ακραία βελτιστοποίηση για να χωρέσουν εντός κιλομπάιτ μνήμης και χιλιοστών βατ ισχύος.

Τα τελευταία χρόνια, η Τεχνητή Νοημοσύνη (AI) και η Μηχανική Μάθηση (ML) έχουν καταγράψει μια εκρηκτική αύξηση στη δημοτικότητα και τις εφαρμογές, όχι μόνο στη βιομηχανία αλλά και στην ακαδημία. Ωστόσο, τα σημερινά μοντέλα ML και AI έχουν ένα σημαντικό περιορισμό: απαιτούν μια τεράστια ποσότητα υπολογιστικής και επεξεργαστικής ισχύος για να επιτύχουν τα επιθυμητά αποτελέσματα και ακρίβεια. Αυτό συχνά περιορίζει τη χρήση τους σε συσκευές υψηλής ικανότητας με σημαντική υπολογιστική ισχύ.

Ωστόσο, λόγω των προόδων που έχουν γίνει στη τεχνολογία ενσωματωμένων συστημάτων και την ανάπτυξη του Internet of Things, είναι επιθυμητό να ενσωματωθούν τεχνικές ML σε ένα σύστημα με περιορισμένα πόρους για πανταχού παρούσα νοημοσύνη. Η επιθυμία να χρησιμοποιηθούν τεχνικές ML σε ενσωματωμένα συστήματα και συσκευές IoT είναι ο βασικός κινητήριος παράγοντας πίσω από την ανάπτυξη του TinyML, μιας τεχνικής ML που επιτρέπει τα μοντέλα ML και τις εφαρμογές σε πολλές συσκευές με περιορισμένα πόρους, περιορισμένη ισχύ και χαμηλό κόστος.

Ωστόσο, η εφαρμογή του ML σε συσκευές με περιορισμένα πόρους δεν ήταν απλή, καθώς η εφαρμογή μοντέλων ML σε συσκευές με χαμηλή υπολογιστική ισχύ παρουσιάζει τις δικές της προκλήσεις σε σχέση με την βελτιστοποίηση, την επεξεργασία, την αξιοπιστία, τη συντήρηση των μοντέλων και πολλά άλλα.

Σε αυτό το άρθρο, θα κάνουμε μια βαθύτερη εμβάθυνση στο μοντέλο TinyML και θα μάθουμε περισσότερα για το ιστορικό του, τα εργαλεία που υποστηρίζουν το TinyML και τις εφαρμογές του TinyML με τη χρήση προηγμένων τεχνολογιών. Έτσι, ας ξεκινήσουμε.

Εισαγωγή στο TinyML: Γιατί ο Κόσμος Χρειάζεται TinyML

Οι συσκευές Internet of Things (IoT) στοχεύουν να αξιοποιήσουν την επεξεργασία στα άκρα, ένα παραδειγμα επεξεργασίας που αναφέρεται σε μια σειρά συσκευών και δικτύων κοντά στον χρήστη για να επιτρέψουν την απρόσκοπτη επεξεργασία σε πραγματικό χρόνο δεδομένων από εκατομμύρια αισθητήρες και συσκευών που είναι διασυνδεμένες μεταξύ τους. Ένα από τα βασικά πλεονεκτήματα των συσκευών IoT είναι ότι απαιτούν χαμηλή υπολογιστική και επεξεργαστική ισχύ, καθώς είναι εγκατεστημένες στα άκρα του δικτύου και, ως εκ τούτου, έχουν χαμηλή αποτύπωση μνήμης.

Επιπλέον, οι συσκευές IoT βασίζονται σε μεγάλο βαθμό στις πλατφόρμες στα άκρα για να συλλέξουν και να μεταφέρουν δεδομένα, καθώς αυτά τα άκρα συλλέγουν δεδομένα αισθητήρων και τα μεταφέρουν είτε σε κοντινές τοποθεσίες είτε σε πλατφόρμες cloud για επεξεργασία. Η τεχνολογία επεξεργασίας στα άκρα αποθηκεύει δεδομένα και εκτελεί υπολογισμούς στα δεδομένα και παρέχει επίσης την απαραίτητη υποδομή για να υποστηρίξει την κατανεμημένη επεξεργασία.

Η εφαρμογή της επεξεργασίας στα άκρα στις συσκευές IoT παρέχει

  1. Αποτελεσματική ασφάλεια, ιδιωτικότητα και αξιοπιστία στους τελικούς χρήστες.
  2. Χαμηλή καθυστέρηση.
  3. Υψηλότερη διαθεσιμότητα και ρυθμό διεκπεραίωσης σε εφαρμογές και υπηρεσίες.

Επιπλέον, επειδή τα άκρα μπορούν να εφαρμόσουν μια συνεργατική τεχνική μεταξύ των αισθητήρων και του cloud, η επεξεργασία δεδομένων μπορεί να πραγματοποιηθεί στα άκρα του δικτύου αντί να πραγματοποιείται στην πλατφόρμα cloud. Αυτό μπορεί να οδηγήσει σε αποτελεσματική διαχείριση δεδομένων, διατήρηση δεδομένων, αποτελεσματική παράδοση και προσωρινή αποθήκευση περιεχομένου. Επιπλέον, για την εφαρμογή του IoT σε εφαρμογές που ασχολούνται με την αλληλεπίδραση Ανθρώπου-Μηχανής και τη σύγχρονη υγεία, η επεξεργασία στα άκρα παρέχει έναν τρόπο για να βελτιώσει σημαντικά τις υπηρεσίες δικτύου.

Πρόσφατες έρευνες στον τομέα της επεξεργασίας στα άκρα του IoT έχουν δείξει το δυναμικό να εφαρμοστούν τεχνικές ML σε διάφορες περιπτώσεις χρήσης του IoT. Ωστόσο, το βασικό πρόβλημα είναι ότι τα παραδοσιακά μοντέλα ML συχνά απαιτούν ισχυρή υπολογιστική και επεξεργαστική ισχύ, καθώς και υψηλή χωρητικότητα μνήμης, που περιορίζει την εφαρμογή των μοντέλων ML σε συσκευές και εφαρμογές IoT.

Επιπλέον, η τεχνολογία επεξεργασίας στα άκρα σήμερα λείπει σε υψηλή χωρητικότητα μετάδοσης και αποτελεσματική εξοικονόμηση ενέργειας, οδηγώντας σε ετερογενή συστήματα, που είναι ο βασικός λόγος για την ανάγκη μιας αρμονικής και ολιστικής υποδομής, κυρίως για την ενημέρωση, την εκπαίδευση και την ανάπτυξη μοντέλων ML. Η αρχιτεκτονική που σχεδιάζεται για ενσωματωμένα συστήματα παρουσιάζει μια άλλη πρόκληση, καθώς αυτή η αρχιτεκτονική εξαρτάται από τις απαιτήσεις υλικού και λογισμικού που διαφέρουν από συσκευή σε συσκευή. Είναι ο βασικός λόγος για τον οποίο είναι δύσκολο να δημιουργηθεί ένα τυποποιημένο αρχιτεκτονικό μοντέλο ML για δίκτυα IoT.

Επιπλέον, στην τρέχουσα κατάσταση, τα δεδομένα που παράγονται από διάφορες συσκευές στέλνονται σε πλατφόρμες cloud για επεξεργασία λόγω της υπολογιστικά εντατικής φύσης των δικτυακών υλοποιήσεων. Επιπλέον, τα μοντέλα ML συχνά εξαρτώνται από τη Βαθιά Μάθηση, τα Βαθιά Νευρωνικά Δίκτυα, τα Ειδικά Ολοκληρωμένα Κυκλώματα (ASICs) και τις Γραφικές Μονάδες Επεξεργασίας (GPUs) για την επεξεργασία δεδομένων και έχουν υψηλές απαιτήσεις ισχύος και μνήμης. Η ανάπτυξη πλήρων μοντέλων ML σε συσκευές IoT δεν είναι μια βιώσιμη λύση λόγω της σαφούς έλλειψης υπολογιστικής και επεξεργαστικής ισχύος, καθώς και των περιορισμένων λύσεων αποθήκευσης.

Η ζήτηση για σμίκρυνση χαμηλής ισχύος ενσωματωμένων συσκευών, σε συνδυασμό με την βελτιστοποίηση των μοντέλων ML για να τα κάνει πιο αποτελεσματικά σε ισχύ και μνήμη, έχει ανοίξει τον δρόμο για το TinyML, που στοχεύει στην εφαρμογή μοντέλων και πρακτικών ML σε συσκευές στα άκρα του IoT και πλατφόρμες. Το TinyML επιτρέπει την επεξεργασία σημάτων σε συσκευές IoT και παρέχει ενσωματωμένη νοημοσύνη, εξαλείφοντας την ανάγκη μεταφοράς δεδομένων σε πλατφόρμες cloud για επεξεργασία. Η επιτυχημένη εφαρμογή του TinyML σε συσκευές IoT μπορεί τελικά να οδηγήσει σε αυξημένη ιδιωτικότητα και αποτελεσματικότητα, ενώ μειώνει το λειτουργικό κόστος. Επιπλέον, το TinyML είναι πιο ελκυστικό επειδή σε περίπτωση ανεπαρκούς συνδεσιμότητας, μπορεί να παρέχει τοπική ανάλυση.

TinyML: Εισαγωγή και Επισκόπηση

Το TinyML είναι ένα εργαλείο ML που μπορεί να πραγματοποιεί ανάλυση πάνω στη συσκευή για διάφορους τύπους αισθητηριακών δεδομένων όπως ήχος, όραση και ομιλία. Τα μοντέλα ML που κατασκευάζονται με το εργαλείο TinyML έχουν χαμηλές απαιτήσεις ενέργειας, μνήμης και υπολογιστικής ισχύος, που τα κάνει κατάλληλα για ενσωματωμένα δίκτυα και συσκευές που λειτουργούν με μπαταρία.

Στην τρέχουσα κατάσταση, τα συστήματα ML βασισμένα στο cloud αντιμετωπίζουν ορισμένες δυσκολίες, συμπεριλαμβανομένων προβλημάτων ασφαλείας και ιδιωτικότητας, υψηλής κατανάλωσης ισχύος, εξάρτησης και προβλημάτων καθυστέρησης, που είναι ο λόγος για τον οποίο τα μοντέλα σε πλατφόρμες υλικού-λογισμικού είναι προεγκατεστημένα. Οι αισθητήρες συλλέγουν τα δεδομένα που αναπαριστούν τον φυσικό κόσμο και επεξεργάζονται χρησιμοποιώντας έναν CPU ή MPU (Μονάδα Επεξεργασίας). Το MPU προσφέρει τις ανάγκες της ανάλυσης ML που υποστηρίζεται από δίκτυα ML στα άκρα και αρχιτεκτονική. Η αρχιτεκτονική ML στα άκρα επικοινωνεί με το ML cloud για τη μεταφορά δεδομένων και η εφαρμογή του TinyML μπορεί να οδηγήσει σε σημαντική πρόοδο της τεχνολογίας.

Θα ήταν ασφαλές να πούμε ότι το TinyML είναι μια σύνθεση λογισμικού, υλικού και αλγορίθμων που εργάζονται σε συγχρονία για να παρέχουν την επιθυμητή απόδοση. Η αναλογική ή η επεξεργασία μνήμης μπορεί να απαιτηθεί για να παρέχει μια καλύτερη και αποτελεσματική εμπειρία μάθησης για συσκευές υλικού και IoT που δεν υποστηρίζουν επιταχυντές υλικού. Όσον αφορά το λογισμικό, οι εφαρμογές που κατασκευάζονται με το TinyML μπορούν να αναπτυχθούν και να εφαρμοστούν σε πλατφόρμες όπως το Linux ή το ενσωματωμένο Linux, καθώς και σε cloud-ενεργές εφαρμογές. Τέλος, οι εφαρμογές και τα συστήματα που κατασκευάζονται με τον αλγόριθμο TinyML πρέπει να έχουν την υποστήριξη νέων αλγορίθμων που απαιτούν μοντέλα με χαμηλή μνήμη για να αποφευχθεί η υψηλή κατανάλωση μνήμης.

Για να συνοψίσουμε, οι εφαρμογές που κατασκευάζονται με το εργαλείο TinyML πρέπει να βελτιστοποιούν τις αρχές και τις μεθόδους ML, καθώς και να σχεδιάζουν το λογισμικό σε μια συμπαγή μορφή, παρουσία υψηλής ποιότητας δεδομένων. Αυτά τα δεδομένα πρέπει να μεταφερθούν μέσω αρχείων δυαδικού κώδικα που παράγονται χρησιμοποιώντας μοντέλα που έχουν εκπαιδευτεί σε μηχανές με μεγαλύτερη χωρητικότητα και υπολογιστική ισχύ.

Επιπλέον, τα συστήματα και οι εφαρμογές που τρέχουν με το εργαλείο TinyML πρέπει να παρέχουν υψηλή ακρίβεια όταν εκτελούνται υπό στενότερους περιορισμούς, καθώς απαιτείται συμπαγές λογισμικό για χαμηλή κατανάλωση ισχύος που υποστηρίζει τις επιπτώσεις του TinyML. Επιπλέον, οι εφαρμογές ή μονάδες TinyML μπορεί να εξαρτώνται από την ισχύ της μπαταρίας για την υποστήριξη των λειτουργιών τους σε συσκευές στα άκρα.

Με αυτά τα δεδομένα, οι εφαρμογές TinyML έχουν δύο βασικές απαιτήσεις

  1. Ικανότητα να κλιμακωθούν σε δισεκατομμύρια φθηνές ενσωματωμένες συσκευές.
  2. Αποθήκευση του κώδικα στη μνήμη RAM της συσκευής με χωρητικότητα κάτω από λίγα KB.

Εφαρμογές του TinyML με τη Χρήση Προηγμένων Τεχνολογιών

Ένας από τους βασικούς λόγους για τον οποίο το TinyML είναι ένα hot θέμα στην βιομηχανία AI και ML είναι η δυνατότητα εφαρμογών, συμπεριλαμβανομένων εφαρμογών βασισμένων σε όραση και ομιλία, διάγνωση υγείας, συμπίεση και ταξινόμηση δεδομένων, διεπαφή εγκεφάλου-υπολογιστή, επεξεργασία στα άκρα, φαινομική, αυτονομία οχημάτων και πολλά άλλα.

Εφαρμογές Βασισμένες σε Ομιλία

Επικοινωνίες Ομιλίας

Συνήθως, οι εφαρμογές βασισμένες σε ομιλία εξαρτώνται από συμβατικές μεθόδους επικοινωνίας, στις οποίες όλα τα δεδομένα είναι σημαντικά και μεταφέρονται. Ωστόσο, τα τελευταία χρόνια, η σεμαντική επικοινωνία έχει εμφανιστεί ως εναλλακτική λύση στις συμβατικές μεθόδους επικοινωνίας, καθώς στην σεμαντική επικοινωνία, μόνο η σημασία ή το πλαίσιο των δεδομένων μεταφέρεται. Η σεμαντική επικοινωνία μπορεί να εφαρμοστεί σε εφαρμογές βασισμένες σε ομιλία χρησιμοποιώντας μεθόδους TinyML.

Μερικές από τις πιο δημοφιλείς εφαρμογές στον κλάδο των επικοινωνιών ομιλίας σήμερα είναι η ανίχνευση ομιλίας, η αναγνώριση ομιλίας, η online εκπαίδευση, η online διδασκαλία και η επικοινωνία με στόχο. Αυτές οι εφαρμογές συνήθως έχουν υψηλή κατανάλωση ισχύος και έχουν επίσης υψηλές απαιτήσεις δεδομένων στη συσκευή. Για να υπερβούν αυτές τις απαιτήσεις, μια νέα βιβλιοθήκη TinySpeech έχει εισαχθεί, η οποία επιτρέπει στους προγραμματιστές να κατασκευάσουν μια αρχιτεκτονική με χαμηλή υπολογιστική ισχύ που χρησιμοποιεί βαθιά συνελικτικά δίκτυα για να κατασκευάσουν μια εγκατάσταση με χαμηλή αποθήκευση.

Για να χρησιμοποιηθεί το TinyML για την ενίσχυση ομιλίας, οι προγραμματιστές πρώτα αντιμετώπισαν το μέγεθος του μοντέλου ενίσχυσης ομιλίας, καθώς ήταν υπό την επίδραση των περιορισμών υλικού και των περιορισμών. Για να αντιμετωπίσουν το ζήτημα, εφαρμόστηκε η δομημένο κλάδεμα και η κβάντιση σε ακεραίους για το μοντέλο RNN (Recurrent Neural Network) ενίσχυσης ομιλίας. Τα αποτελέσματα έδειξαν ότι το μέγεθος του μοντέλου μειώθηκε σχεδόν 12 φορές, ενώ οι υπολογιστικές πράξεις μειώθηκαν σχεδόν 3 φορές. Επιπλέον, είναι ζωτικό να χρησιμοποιηθούν οι πόροι αποτελεσματικά, ιδιαίτερα όταν εφαρμόζονται σε εφαρμογές με περιορισμένα πόρους που εκτελούν εφαρμογές αναγνώρισης φωνής.

Ως αποτέλεσμα, για να διαχωρίσουν τη διαδικασία, μια μέθοδος συν-σχεδιασμού προτάθηκε για εφαρμογές φωνής και ομιλίας βασισμένες σε TinyML. Οι προγραμματιστές χρησιμοποίησαν τη λειτουργία παραθύρωσης (windowing) για να διαχωρίσουν το λογισμικό και το υλικό με έναν τρόπο που να προεπεξεργάζεται τα ακατέργαστα δεδομένα φωνής. Η μέθοδος φάνηκε να λειτουργεί, καθώς τα αποτελέσματα έδειξαν μια μείωση στην κατανάλωση ενέργειας στο υλικό. Επιπλέον, υπάρχει δυνατότητα βελτιστοποιημένου διαχωρισμού μεταξύ λογισμικού και υλικού στο πλαίσιο κοινού σχεδιασμού, ώστε να επιτευχθεί καλύτερη απόδοση στο προσεχές μέλλον.

Επιπλέον, πρόσφατες έρευνες έχουν προτείνει τη χρήση ενός μετατροπέα βασισμένου σε φωνήματα για συστήματα αναγνώρισης ομιλίας, και η πρόταση στοχεύει να αντικαταστήσει τους προβλέπτες LSTM με ένα στρώμα Conv1D για να μειώσει τις απαιτήσεις υπολογισμού στα άκρα. Όταν εφαρμόστηκε, η πρόταση επέστρεψε θετικά αποτελέσματα, καθώς η SVD (Singular Value Decomposition) είχε συμπιέσει με επιτυχία το μοντέλο, ενώ η χρήση WFST (Weighted Finite State Transducers) βασισμένης αποκωδικοποίησης οδήγησε σε μεγαλύτερη ευελιξία στη βελτίωση του μοντέλου.

Πολυάριθμες εφαρμογές αναγνώρισης ομιλίας, όπως οι εικονικοί ή φωνητικοί βοηθοί, οι εφαρμογές ζωντανών υποτίτλων και οι φωνητικές εντολές, χρησιμοποιούν τεχνικές ML για να λειτουργήσουν. Οι δημοφιλείς εικονικοί βοηθοί όπως η Siri και ο Google Assistant στέλνουν δεδομένα στο cloud κάθε φορά που λαμβάνουν κάποια δεδομένα, και αυτό δημιουργεί σημαντικές ανησυχίες σχετικά με την ιδιωτικότητα και την ασφάλεια δεδομένων. Το TinyML είναι μια βιώσιμη λύση σε αυτό το ζήτημα, καθώς στοχεύει να πραγματοποιήσει αναγνώριση ομιλίας σε συσκευές και να εξαλείψει την ανάγκη μεταφοράς δεδομένων σε πλατφόρμες cloud. Ένας από τους τρόπους για να επιτύχουν την αναγνώριση ομιλίας σε συσκευές είναι να χρησιμοποιήσουν το Tiny Transducer, ένα μοντέλο αναγνώρισης ομιλίας που χρησιμοποιεί ένα στρώμα DFSMN (Deep Feed-Forward Sequential Memory Block) συνδεμένο με ένα στρώμα Conv1D αντί των στρωμάτων LSTM για να μειώσει τις απαιτήσεις υπολογισμού και τις παραμέτρους δικτύου.

Ακουστικά Βαρηκοΐας

Η απώλεια ακοής είναι ένα σημαντικό πρόβλημα υγείας σε όλο τον κόσμο, και η ικανότητα των ανθρώπων να ακούν ήχους γενικά εξασθενεί καθώς μεγαλώνουν, και είναι ένα σημαντικό πρόβλημα σε χώρες που αντιμετωπίζουν πληθυσμούς που γηράσκουν, συμπεριλαμβανομένης της Κίνας, της Ιαπωνίας και της Νότιας Κορέας. Τα βοηθήματα ακοής λειτουργούν σήμερα με το απλή αρχή της ενίσχυσης όλων των εισερχόμενων ήχων από το περιβάλλον, κάνοντας δύσκολο για τον άνθρωπο να διακρίνει ή να διαφοροποιήσει τον επιθυμητό ήχο, ιδιαίτερα σε θορυβώδες περιβάλλον.

Το TinyML μπορεί να είναι μια βιώσιμη λύση σε αυτό το ζήτημα, καθώς η χρήση ενός μοντέλου TinyLSTM που χρησιμοποιεί αλγόριθμο αναγνώρισης ομιλίας για βοηθήματα ακοής μπορεί να βοηθήσει τους χρήστες να διακρίνουν μεταξύ διαφορετικών ήχων.

Εφαρμογές Βασισμένες σε Όραση

Το TinyML έχει την δυνατότητα να παίξει έναν σημαντικό ρόλο στην επεξεργασία δεδομένων όρασης επειδή για ταχύτερα αποτελέσματα, αυτά τα δεδομένα πρέπει να επεξεργαστούν στην πλατφόρμα στα άκρα. Για να το επιτύχουν, το μοντέλο TinyML αντιμετωπίζει τις πρακτικές προκλήσεις που αντιμετωπίζονται κατά την εκπαίδευση του μοντέλου χρησιμοποιώντας την πλακέτα μικροελεγκτή OpenMV H7. Οι προγραμματιστές επίσης πρότειναν μια αρχιτεκτονική για την ανίχνευση της Αμερικανικής Νοηματικής Γλώσσας με τη χρήση ενός μικροεπεξεργαστή ARM Cortex M7 που λειτουργεί με μόλις 496 KB RAM για τον προσωρινό χώρο καρέ.

Η εφαρμογή του TinyML για εφαρμογές όρασης σε πλατφόρμες στα άκρα απαιτούσε από τους προγραμματιστές να αντιμετωπίσουν την βασική πρόκληση των CNN (Convolutional Neural Networks) με υψηλό σφάλμα γενίκευσης και υψηλή ακρίβεια εκπαίδευσης και δοκιμής. Ωστόσο, η εφαρμογή δεν γενίκευσε αποτελεσματικά σε εικόνες σε νέες περιπτώσεις χρήσης και σε φόντα με θόρυβο. Όταν οι προγραμματιστές χρησιμοποίησαν τη μέθοδο επαύξησης με παρεμβολή, το μοντέλο επέστρεψε ένα σκορ ακρίβειας πάνω από 98% στα δεδομένα δοκιμής και περίπου 75% στη γενίκευση.

Επιπλέον, παρατηρήθηκε ότι όταν οι προγραμματιστές χρησιμοποίησαν τη μέθοδο επαύξησης με παρεμβολή, υπήρχε μια πτώση στην ακρίβεια του μοντέλου κατά τη διάρκεια της κβάντισης, αλλά ταυτόχρονα, υπήρχε επίσης μια αύξηση στην ταχύτητα εξαγωγής συμπερασμάτων και στη γενίκευση. Οι προγραμματιστές επίσης πρότειναν μια μέθοδο για να αυξήσουν την ακρίβεια της γενίκευσης του μοντέλου κατά την εκπαίδευση σε δεδομένα από διάφορες πηγές και τη δοκιμή της απόδοσης για να εξερευνήσουν τη δυνατότητα ανάπτυξής του σε πλατφόρμες στα άκρα όπως φορετά έξυπνα ρολόγια.

Επιπλέον, επιπλέον μελέτες για τα CNN δείχνουν ότι είναι δυνατό να αναπτυχθούν και να επιτύχουν επιθυμητά αποτελέσματα με αρχιτεκτονική CNN σε συσκευές με περιορισμένα πόρους. Πρόσφατα, οι προγραμματιστές ήταν σε θέση να αναπτύξουν ένα πλαίσιο για την ανίχνευση ιατρικών μασκών προσώπου σε ένα μικροεπεξεργαστή ARM Cortex M7 με περιορισμένα πόρους χρησιμοποιώντας το TensorFlow Lite με ελάχιστες αποτυπώσεις μνήμης. Το μέγεθος του μοντέλου μετά την ποσοτικοποίηση ήταν περίπου 138 KB, ενώ η ταχύτητα εξαγωγής συμπερασμάτων στην πλατφόρμα-στόχο ήταν περίπου 30 FPS.

Μια άλλη εφαρμογή του TinyML για εφαρμογές όρασης είναι η υλοποίηση ενός συστήματος αναγνώρισης χειρονομιών που μπορεί να συνδεθεί σε ένα μπαστούνι για να βοηθήσει τους τυφλούς ανθρώπους να πλοηγηθούν στη ζωή τους με ευκολία. Για να το σχεδιάσουν, οι προγραμματιστές χρησιμοποίησαν το σύνολο δεδομένων χειρονομιών και χρησιμοποίησαν το σύνολο δεδομένων για να εκπαιδεύσουν το μοντέλο ProtoNN με έναν αλγόριθμο ταξινόμησης. Τα αποτελέσματα που λήφθηκαν από τη διάταξη ήταν ακριβή, το σχέδιο ήταν χαμηλού κόστους και παρείχε ικανοποιητικά αποτελέσματα.

Μια άλλη σημαντική εφαρμογή του TinyML είναι στην βιομηχανία αυτονομίας οχημάτων και αυτοκινήτων, λόγω της έλλειψης πόρων και της υπολογιστικής ισχύος. Για να αντιμετωπίσουν το ζήτημα, οι προγραμματιστές εισήγαγαν μια μέθοδο μάθησης κλειστού βρόχου που βασίζεται στο μοντέλο TinyCNN, η οποία πρότεινε ένα μοντέλο προβλέψεων online που κατέγραψε την εικόνα σε πραγματικό χρόνο. Το βασικό ζήτημα που αντιμετώπισαν οι προγραμματιστές κατά την εφαρμογή του TinyML για αυτονομία οχημάτων ήταν ότι το μοντέλο που εκπαιδεύτηκε για να λειτουργήσει σε offline δεδομένα μπορεί να μην λειτουργήσει εξίσου καλά όταν αντιμετωπίζει online δεδομένα. Για να μεγιστοποιήσουν τις εφαρμογές των αυτοκινήτων και της αυτονομίας, το μοντέλο πρέπει να μπορεί να προσαρμοστεί σε δεδομένα σε πραγματικό χρόνο.

Ταξινόμηση και Συμπίεση Δεδομένων

Ένα από τα μεγαλύτερα προβλήματα του τρέχοντος πλαισίου TinyML είναι να το κάνει να προσαρμοστεί σε δεδομένα σε πραγματικό χρόνο. Για να αντιμετωπίσουν το ζήτημα, οι προγραμματιστές έχουν προτείνει μια μέθοδο που ονομάζεται TinyOL (TinyML Online Learning) για να επιτρέψουν την εκπαίδευση με αυξητική online μάθηση σε μονάδες ελέγχου, επιτρέποντας στο μοντέλο να ενημερωθεί σε συσκευές στα άκρα του IoT. Η εφαρμογή επιτεύχθηκε χρησιμοποιώντας τη γλώσσα προγραμματισμού C++ και μια πρόσθετη στρώση προστέθηκε στην αρχιτεκτονική TinyOL.

Επιπλέον, οι προγραμματιστές έχουν επίσης πραγματοποιήσει την αυτο-κωδικοποίηση της πλακέτας Arduino Nano 33 BLE και το μοντέλο που εκπαιδεύτηκε ήταν σε θέση να ταξινομήσει νέα μοτίβα δεδομένων. Επιπλέον, η εργασία ανάπτυξης περιελάμβανε την σχεδίαση αποτελεσματικών και πιο βελτιωμένων αλγορίθμων για τα νευρωνικά δίκτυα για να υποστηρίξουν την εκπαίδευση μοτίβων σε συσκευές.

Η έρευνα στο TinyOL και το TinyML έχει δείξει ότι ο αριθμός των στρωμάτων ενεργοποίησης ήταν ένα σημαντικό ζήτημα για συσκευές στα άκρα του IoT με περιορισμένα πόρους. Για να αντιμετωπίσουν το ζήτημα, οι προγραμματιστές εισήγαγαν το νέο μοντέλο TinyTL (Tiny Transfer Learning) για να κάνουν την αξιοποίηση της μνήμης σε συσκευές στα άκρα του IoT πιο αποτελεσματική, αποφεύγοντας τη χρήση μεσαίων στρωμάτων για σκοπούς ενεργοποίησης. Επιπλέον, οι προγραμματιστές εισήγαγαν ένα νέα μονάδα πόλωσης που ονομάζεται “lite-residual module” για να μεγιστοποιήσουν τις ικανότητες προσαρμογής και να επιτρέψουν στους εξαγωγείς χαρακτηριστικών να εντοπίζουν υπολειμματικούς χάρτες χαρακτηριστικών.

Όταν συγκρίθηκε με την πλήρη βελτιστοποίηση του δικτύου, τα αποτελέσματα ήταν υπέρ του αρχιτεκτονικού μοντέλου TinyTL, καθώς τα αποτελέσματα έδειξαν ότι το TinyTL μειώνει τις πρόσθετες απαιτήσεις μνήμης περίπου 6,5 φορές με μέτρια απώλεια ακρίβειας. Όταν η τελευταία στρώση βελτιστοποιήθηκε, το TinyML βελτίωσε την ακρίβεια κατά 34% με μέτρια απώλεια ακρίβειας.

Επιπλέον, η έρευνα για τη συμπίεση δεδομένων έχει δείξει ότι οι αλγόριθμοι συμπίεσης δεδομένων πρέπει να διαχειρίζονται τα συλλεγμένα δεδομένα σε μια φορητή συσκευή και για να το επιτύχουν, οι προγραμματιστές πρότειναν τον TAC (Tiny Anomaly Compressor). Ο TAC ήταν σε θέση να υπερβεί τους αλγόριθμους SDT (Swing Door Trending) και DCT (Discrete Cosine Transform). Επιπλέον, ο αλγόριθμος TAC υπερέβη και τους δύο αλγόριθμους SDT και DCT, επιτύγχανοντας έναν μέγιστο ρυθμό συμπίεσης πάνω από 98% και έναν υψηλότερο λόγο κορυφής σήματος προς θόρυβο από τους τρεις αλγόριθμους.

Διάγνωση Υγείας

Η πανδημία του COVID-19 άνοιξε νέες ευκαιρίες για την εφαρμογή του TinyML, καθώς είναι απαραίτητο να ανιχνεύονται συνεχώς τα αναπνευστικά συμπτώματα που σχετίζονται με βήχα και κρυολόγημα. Για να το επιτύχουν, οι προγραμματιστές έχουν προτείνει ένα μοντέλο CNN που ονομάζεται TinyRespNet, το οποίο λειτουργεί σε ένα περιβάλλον πολλαπλών μοντέλων και το μοντέλο αναπτύσσεται σε μια πλατφόρμα FPGA Xilinx Artix-7 100t, η οποία επιτρέπει στη συσκευή να επεξεργάζεται τις πληροφορίες παράλληλα, έχει υψηλή απόδοση και χαμηλή κατανάλωση ισχύος. Επιπλέον, το μοντέλο TinyResp λαμβάνει επίσης ως εισόδους την ομιλία των ασθενών, τις ηχογραφήσεις και τις πληροφορίες δημογραφίας για να ταξινομήσει και να αναγνωρίσει τα συμπτώματα που σχετίζονται με τον βήχα, χρησιμοποιώντας τρία διακριτά σύνολα δεδομένων.

Επιπλέον, οι προγραμματιστές έχουν επίσης προτείνει ένα μοντέλο που ονομάζεται TinyDL, το οποίο μπορεί να εκτελεί υπολογισμούς βαθιάς μάθησης σε συσκευές παρυφών, όπως έξυπνα ρολόγια και φορετές συσκευές, για διάγνωση υγείας και είναι επίσης σε θέση να πραγματοποιήσει ανάλυση απόδοσης για να μειώσει το εύρος ζώνης, την καθυστέρηση και την κατανάλωση ενέργειας. Για να επιτύχουν την ανάπτυξη του TinyDL σε φορητές συσκευές, ένα μοντέλο LSTM σχεδιάστηκε και εκπαιδεύτηκε ειδικά για μια φορητή συσκευή και έλαβε ως εισόδους τα συλλεγμένα δεδομένα. Το μοντέλο έχει ένα σκορ ακρίβειας περίπου 75-80% και ήταν σε θέση να λειτουργήσει με δεδομένα εκτός συσκευής. Αυτά τα μοντέλα που τρέχουν σε συσκευές στα άκρα έδειξαν το δυναμικό να επιλύσουν τα τρέχοντα προβλήματα που αντιμετωπίζουν οι συσκευές IoT.

Τέλος, οι προγραμματιστές έχουν επίσης προτείνει μια άλλη εφαρμογή για να παρακολουθήσουν την υγεία των ηλικιωμένων ανθρώπων, εκτιμώντας και αναλύοντας τις στάσεις του σώματος. Το μοντέλο χρησιμοποιεί ένα πλαίσιο αγνωστικό στη συσκευή, το οποίο επιτρέπει στο μοντέλο να ενεργοποιήσει την επαλήθευση και τη γρήγορη προσαρμογή για να πραγματοποιήσει προσαρμογές. Το μοντέλο εφαρμόζει αλγόριθμους ανίχνευσης στάσεων σώματος και σημείων προσώπου για να ανιχνεύσει χωροχρονικές στάσεις σώματος σε πραγματικό χρόνο.

Επεξεργασία στα Άκρα

Μια από τις βασικές εφαρμογές του TinyML είναι στον τομέα της επεξεργασίας στα άκρα, καθώς με την αύξηση της χρήσης των συσκευών IoT για τη σύνδεση συσκευών σε όλο τον κόσμο, είναι απαραίτητο να εγκατασταθούν συσκευές στα άκρα για να μειώσουν το φορτίο στις αρχιτεκτονικές cloud. Αυτές οι συσκευές στα άκρα θα έχουν ιδιαίτερους κέντρους δεδομένων που θα επιτρέψουν να πραγματοποιούνται υψηλού επιπέδου υπολογισμοί στη συσκευή, αντί να εξαρτώνται από την αρχιτεκτονική cloud. Ως αποτέλεσμα, θα βοηθήσει στη μείωση της εξάρτησης από το cloud, τη μείωση της καθυστέρησης, την αύξηση της ασφάλειας και της ιδιωτικότητας και τη μείωση του εύρους ζώνης.

Οι συσκευές στα άκρα που χρησιμοποιούν τους αλγόριθμους TinyML θα βοηθήσουν να επιλυθούν τους τρέχοντες περιορισμούς που σχετίζονται με την ισχύ, την υπολογιστική ισχύ και τις απαιτήσεις μνήμης, και αυτό συζητείται στην εικόνα παρακάτω.

Επιπλέον, το TinyML μπορεί επίσης να βελτιώσει τη χρήση και την εφαρμογή των Ανεπάνδρωτων Αεροπορικών Οχημάτων (UAVs) αντιμετωπίζοντας τους τρέχοντες περιορισμούς που αντιμετωπίζουν αυτά τα μηχανήματα. Η χρήση του TinyML μπορεί να επιτρέψει στους προγραμματιστές να υλοποιήσουν μια ενεργειακά αποτελεσματική συσκευή με χαμηλή καθυστέρηση και υψηλή υπολογιστική ισχύ που μπορεί να λειτουργήσει ως ελεγκτής για αυτά τα UAVs.

Διεπαφή Εγκεφάλου-Υπολογιστή

Το TinyML έχει σημαντικές εφαρμογές στην βιομηχανία υγείας και μπορεί να αποδειχθεί πολύ ωφέλιμο σε διάφορους τομείς, συμπεριλαμβανομένης της ανίχνευσης καρκίνου και όγκων, των προβλέψεων υγείας με χρήση σημάτων ECG και EEG και της συναισθηματικής νοημοσύνης. Η χρήση του TinyML μπορεί να επιτρέψει την προσαρμογή της Προσαρμοστικής Εν τω Βάθει Εγκεφαλικής Διέγερσης (aDBS) για να προσαρμοστεί επιτυχώς στις κλινικές προσαρμογές. Η χρήση του TinyML μπορεί επίσης να επιτρέψει την aDBS να αναγνωρίσει βιο-σημάδια και συμπτώματα με επεμβατικές καταγραφές εγκεφαλικών σημάτων.

Επιπλέον, η βιομηχανία υγείας συχνά περιλαμβάνει τη συλλογή ενός μεγάλου όγκου δεδομένων ενός ασθενή, και αυτά τα δεδομένα πρέπει να επεξεργαστούν για να φθάσουν σε συγκεκριμένες λύσεις για την αντιμετώπιση του ασθενή στις πρώτες φάσεις μιας νόσου. Ως αποτέλεσμα, είναι ζωτικό να κατασκευαστεί ένα σύστημα που είναι όχι μόνο υψηλά αποτελεσματικό, αλλά και υψηλά ασφαλές. Όταν συνδυάζουμε την εφαρμογή IoT με το μοντέλο TinyML, γεννιέται ένα νέο πεδίο που ονομάζεται Healthcare Internet of Things (H-IoT), και οι βασικές εφαρμογές του H-IoT είναι η διάγνωση, η παρακολούθηση, η εφοδιαστική, ο έλεγχος της εξάπλωσης και τα συστήματα υποστήριξης. Αν θέλουμε να αναπτύξουμε συσκευές που είναι σε θέση να ανιχνεύουν και να αναλύουν την υγεία ενός ασθενή από απόσταση, είναι απαραίτητο να αναπτύξουμε ένα σύστημα που έχει παγκόσμια πρόσβαση και χαμηλή καθυστέρηση.

Αυτονομία Οχημάτων

Τέλος, το TinyML μπορεί να έχει ευρεία εφαρμογή στην βιομηχανία αυτονομίας οχημάτων, καθώς αυτά τα οχήματα μπορούν να χρησιμοποιηθούν σε διάφορους τρόπους, συμπεριλαμβανομένης της ανίχνευσης ανθρώπων, των στρατιωτικών σκοπών και των βιομηχανικών εφαρμογών. Αυτά τα οχήματα έχουν μια βασική απαιτηση να είναι σε θέση να αναγνωρίζουν αντικείμενα αποτελεσματικά όταν το αντικείμενο αναζητείται.

Ως τώρα, η αυτονομία οχημάτων και η αυτονομία οδήγησης είναι μια αρκετά σύνθετη εργασία, ιδιαίτερα κατά την ανάπτυξη mini ή μικρών οχημάτων. Πρόσφατες εξελίξεις έχουν δείξει δυναμικό να βελτιώσουν την εφαρμογή της αυτονομίας οδήγησης για mini οχήματα χρησιμοποιώντας αρχιτεκτονική CNN και αναπτύσσοντας το μοντέλο σε μια πλατφόρμα GAP8 MCI.

Προκλήσεις

Το TinyML είναι ένα σχετικά νέα έννοια στην βιομηχανία AI και ML, και παρά την πρόοδο, εξακολουθεί να μην είναι τόσο αποτελεσματικό όσο χρειαζόμαστε για μαζική ανάπτυξη σε συσκευές στα άκρα και IoT.

Η μεγαλύτερη πρόκληση που αντιμετωπίζουν οι συσκευές TinyML είναι η κατανάλωση ισχύος. Ιδανικά, οι ενσωματωμένες συσκευές στα άκρα και οι συσκευές IoT πρέπει να έχουν μια διάρκεια ζωής μπαταρίας που υπερβαίνει τα 10 χρόνια. Για παράδειγμα, σε ιδανικές συνθήκες, μια συσκευή IoT που λειτουργεί με μια μπαταρία 2Ah πρέπει να έχει μια διάρκεια ζωής μπαταρίας που υπερβαίνει τα 10 χρόνια, εφόσον η κατανάλωση ισχύος της συσκευής είναι περίπου 12 μA. Ωστόσο, στην τρέχουσα κατάσταση, μια αρχιτεκτονική IoT με έναν αισθητήρα θερμοκρασίας, μια μονάδα ελέγχου και μια μονάδα WiFi, η κατανάλωση ρεύματος είναι περίπου 176,4 mA, και με αυτή την κατανάλωση ισχύος, η μπαταρία θα διαρκέσει μόνο περίπου 11 ώρες, αντί για τα 10 χρόνια που απαιτούνται.

Περιορισμοί Πόρων

Για να διατηρήσουν την ομοιομορφία ενός αλγορίθμου, είναι ζωτικό να διατηρηθεί η διαθεσιμότητα ισχύος, και στην τρέχουσα κατάσταση, η περιορισμένη διαθεσιμότητα ισχύος στις συσκευές TinyML είναι μια κρίσιμη πρόκληση. Επιπλέον, οι περιορισμοί μνήμης είναι επίσης μια σημαντική πρόκληση, καθώς η ανάπτυξη μοντέλων συχνά απαιτεί μεγάλη ποσότητα μνήμης για να λειτουργήσει αποτελεσματικά και ακριβώς.

Περιορισμοί Υλικού

Οι περιορισμοί υλικού καθιστούν την ανάπτυξη αλγορίθμων TinyML σε μεγάλη κλίμακα δύσκολη λόγω της ετερογένειας των συσκευών υλικού. Υπάρχουν χιλιάδες συσκευές, κάθε μια με τις δικές της προδιαγραφές υλικού και απαιτήσεις, και ως αποτέλεσμα, ένας αλγόριθμος TinyML πρέπει να τροποποιηθεί για κάθε συσκευή, κάνοντας την μαζική ανάπτυξη ένα σημαντικό ζήτημα.

Περιορισμοί Συνόλου Δεδομένων

Ένα από τα βασικά προβλήματα με τα μοντέλα TinyML είναι ότι δεν υποστηρίζουν τα υπάρχοντα συνόλα δεδομένων. Είναι μια πρόκληση για όλες τις συσκευές στα άκρα, καθώς συλλέγουν δεδομένα χρησιμοποιώντας εξωτερικούς αισθητήρες, και αυτές οι συσκευές συχνά έχουν περιορισμούς ισχύος και ενέργειας. Ως αποτέλεσμα, τα υπάρχοντα συνόλα δεδομένων δεν μπορούν να χρησιμοποιηθούν για να εκπαιδεύσουν τα μοντέλα TinyML αποτελεσματικά.

Τελικές Σκέψεις

Η ανάπτυξη τεχνικών ML έχει προκαλέσει μια επανάσταση και μια αλλαγή προοπτικής στο οικοσύστημα IoT. Η ενσωμάτωση μοντέλων ML σε συσκευές IoT θα επιτρέψει σε αυτές τις συσκευές στα άκρα να λάβουν έξυπνες αποφάσεις χωρίς εξωτερική ανθρώπινη επέμβαση. Ωστόσο, παραδοσιακά, τα μοντέλα ML έχουν υψηλές απαιτήσεις ισχύος, μνήμης και υπολογιστικής ισχύος, που τα κάνει ακατάλληλα για ανάπτυξη σε συσκευές στα άκρα που είναι συχνά περιορισμένες σε πόρους.

Ως αποτέλεσμα, ένας νέος κλάδος στην AI αφιερωμένος στη χρήση ML για συσκευές IoT ονομάζεται TinyML. Το TinyML είναι ένα πλαίσιο ML που επιτρέπει ακόμη και τις συσκευές με περιορισμένα πόρους να αξιοποιήσουν τη δύναμη της AI και του ML για να εξασφαλίσουν υψηλότερη ακρίβεια, νοημοσύνη και αποτελεσματικότητα.

Σε αυτό το άρθρο, έχουμε συζητήσει την εφαρμογή μοντέλων TinyML σε συσκευές στα άκρα με περιορισμένα πόρους, και αυτή η εφαρμογή απαιτεί την εκπαίδευση των μοντέλων, την ανάπτυξη των μοντέλων σε υλικό και την εφαρμογή τεχνικών κβάντισης. Ωστόσο, στην τρέχουσα εμβέλεια, τα μοντέλα ML που είναι έτοιμα για ανάπτυξη σε συσκευές IoT και στα άκρα έχουν πολλές πολυπλοκότητες και περιορισμούς, συμπεριλαμβανομένων περιορισμών υλικού και προβλημάτων συμβατότητας.

Ο Kunal Kejriwal είναι μηχανικός back‑end που ειδικεύεται στην Python, PostgreSQL, Redis και στην υποδομή cloud στο GCP και το AWS. Με τρία χρόνια εμπειρίας στην κατασκευή και κλιμάκωση συστημάτων παραγωγής, γράφει για την υποδομή AI, τα κατανεμημένα συστήματα και την αρχιτεκτονική πίσω από την ανάπτυξη φορτίων εργασίας μηχανικής μάθησης.