TinyML: Εφαρμογές, Περιορισμοί και Χρήση σε Συσκευές IoT και Edge

Τα τελευταία χρόνια, η Τεχνητή Νοημοσύνη (AI) και η Μηχανική Μάθηση (ML) έχουν καταγράψει μια εκρηκτική αύξηση στη δημοτικότητα και τις εφαρμογές, όχι μόνο στη βιομηχανία αλλά και στην ακαδημία. Ωστόσο, τα σημερινά μοντέλα ML και AI έχουν ένα σημαντικό περιορισμό: απαιτούν eine τεράστια ποσότητα υπολογιστικής και επεξεργαστικής ισχύος για να επιτύχουν τα επιθυμητά αποτελέσματα και ακρίβεια. Αυτό συχνά περιορίζει τη χρήση τους σε συσκευές υψηλής ικανότητας με σημαντική υπολογιστική ισχύ.

Ωστόσο, λόγω των προόδων που έχουν γίνει στη τεχνολογία ενσωματωμένων συστημάτων και την ανάπτυξη του Internet of Things, είναι επιθυμητό να ενσωματωθούν τεχνικές ML σε ένα σύστημα με περιορισμένα recursos για παγκόσμια νοημοσύνη. Η επιθυμία να χρησιμοποιηθούν τεχνικές ML σε ενσωματωμένα και συσκευές IoT είναι ο основной мотιβатор πίσω από την ανάπτυξη του TinyML, μιας τεχνικής ML που επιτρέπει τα μοντέλα ML και τις εφαρμογές σε πολλές συσκευές με περιορισμένα recursos, περιορισμένη ισχύ και χαμηλό κόστος.

Ωστόσο, η εφαρμογή του ML σε συσκευές με περιορισμένα recursos δεν ήταν απλή, καθώς η εφαρμογή μοντέλων ML σε συσκευές με χαμηλή υπολογιστική ισχύ παρουσιάζει τις δικές της προκλήσεις σε σχέση με την βελτιστοποίηση, την επεξεργασία, την αξιοπιστία, τη συντήρηση των μοντέλων και πολλά άλλα.

Σε αυτό το άρθρο, θα κάνουμε einen sâuτερο погружение στο μοντέλο TinyML και θα μάθουμε περισσότερα για το ιστορικό του, τα εργαλεία που υποστηρίζουν το TinyML και τις εφαρμογές του TinyML με τη χρήση προηγμένων τεχνολογιών. Έτσι, ας ξεκινήσουμε.

Εισαγωγή στο TinyML: Γιατί ο Κόσμος Χρειάζεται TinyML

Οι συσκευές Internet of Things (IoT) στοχεύουν να αξιοποιήσουν την επεξεργασία στα άκρα, ένα παραδειγμα επεξεργασίας που αναφέρεται σε μια σειρά συσκευών και δικτύων κοντά στον χρήστη για να επιτρέψουν την ομαλή και πραγματική επεξεργασία δεδομένων από εκατομμύρια αισθητήρες και συσκευών που είναι διασυνδεμένες μεταξύ τους. Ένα από τα основικά πλεονεκτήματα των συσκευών IoT είναι ότι απαιτούν χαμηλή υπολογιστική και επεξεργαστική ισχύ, καθώς είναι εγκατεστημένες στα άκρα του δικτύου και, ως εκ τούτου, έχουν χαμηλή αποτύπωση μνήμης.

Επιπλέον, οι συσκευές IoT βασίζονται σε μεγάλο βαθμό στις πλατφόρμες στα άκρα για να συλλέξουν και να μεταφέρουν δεδομένα, καθώς αυτά τα άκρα συλλέγουν δεδομένα αισθητήρων και τα μεταφέρουν είτε σε κοντινές τοποθεσίες είτε σε πλατφόρμες cloud για επεξεργασία. Η τεχνολογία επεξεργασίας στα άκρα αποθηκεύει και thực hiện επεξεργασία στα δεδομένα και παρέχει επίσης την απαραίτητη υποδομή για να υποστηρίξει την κατανεμημένη επεξεργασία.

Η εφαρμογή της επεξεργασίας στα άκρα στις συσκευές IoT παρέχει

1. Εфективική ασφάλεια, ιδιωτικότητα και αξιοπιστία στους τελικούς χρήστες.
2. Χαμηλή καθυστέρηση.
3. Υψηλή διαθεσιμότητα και απόκριση σε εφαρμογές και υπηρεσίες.

Επιπλέον, επειδή τα άκρα μπορούν να εφαρμόσουν μια συνεργατική τεχνική μεταξύ των αισθητήρων και του cloud, η επεξεργασία δεδομένων μπορεί να πραγματοποιηθεί στα άκρα του δικτύου αντί να πραγματοποιείται στην πλατφόρμα cloud. Αυτό μπορεί να οδηγήσει σε αποτελεσματική διαχείριση δεδομένων, διατήρηση δεδομένων, αποτελεσματική παράδοση και κρυπτογράφηση περιεχομένου. Επιπλέον, για την εφαρμογή του IoT σε εφαρμογές που ασχολούνται με την αλληλεπίδραση Ανθρώπου-Μηχανής και τη σύγχρονη υγεία, η επεξεργασία στα άκρα παρέχει einen τρόπο để βελτιώσει σημαντικά τις υπηρεσίες δικτύου.

Πρόσφατες έρευνες στον τομέα της επεξεργασίας στα άκρα του IoT έχουν δείξει το δυναμικό να εφαρμοστούν τεχνικές ML σε διάφορες περιπτώσεις χρήσης του IoT. Ωστόσο, το основικό πρόβλημα είναι ότι τα παραδοσιακά μοντέλα ML συχνά απαιτούν ισχυρή υπολογιστική και επεξεργαστική ισχύ, καθώς και υψηλή χωρητικότητα μνήμης, που περιορίζει την εφαρμογή των μοντέλων ML σε συσκευές και εφαρμογές IoT.

Επιπλέον, η τεχνολογία επεξεργασίας στα άκρα σήμερα λείπει σε υψηλή χωρητικότητα μετάδοσης και αποτελεσματική εξοικονόμηση ενέργειας, οδηγώντας σε ετερογενή συστήματα, που είναι ο основικός λόγος για την ανάγκη μιας αρμονικής και ολιστικής υποδομής, κυρίως για την ενημέρωση, την εκπαίδευση και την ανάπτυξη μοντέλων ML. Η αρχιτεκτονική που σχεδιάζεται για ενσωματωμένα συστήματα παρουσιάζει μια άλλη πρόκληση, καθώς αυτή η αρχιτεκτονική εξαρτάται από τις απαιτήσεις υλικού και λογισμικού που διαφέρουν από συσκευή σε συσκευή. Είναι ο основικός λόγος για τον οποίο είναι δύσκολο να δημιουργηθεί ένα τυποποιημένο αρχιτεκτονικό μοντέλο ML για δίκτυα IoT.

Επιπλέον, στην τρέχουσα κατάσταση, τα δεδομένα που παράγονται από διάφορες συσκευές στέλνονται σε πλατφόρμες cloud για επεξεργασία λόγω της υπολογιστικά εντατικής φύσης των δικτυακών υλοποιήσεων. Επιπλέον, τα μοντέλα ML συχνά εξαρτώνται από τη Βαθιά Μάθηση, τα Βαθιά Νευρωνικά Δίκτυα, τα Ειδικά Ολοκληρωμένα Κυκλώματα (ASICs) και τις Γραφικές Μονάδες Επεξεργασίας (GPUs) για την επεξεργασία δεδομένων και έχουν υψηλές απαιτήσεις ισχύος και μνήμης. Η ανάπτυξη πλήρων μοντέλων ML σε συσκευές IoT δεν είναι μια βιώσιμη λύση λόγω της σαφούς έλλειψης υπολογιστικής και επεξεργαστικής ισχύος, καθώς και των περιορισμένων λύσεων αποθήκευσης.

Η ζήτηση για miniaturization χαμηλής ισχύος ενσωματωμένων συσκευών, σε συνδυασμό με την βελτιστοποίηση των μοντέλων ML για να τα κάνει πιο αποτελεσματικά σε ισχύ και μνήμη, έχει ανοίξει τον δρόμο για το TinyML, που στοχεύει στην εφαρμογή μοντέλων και πρακτικών ML σε συσκευές στα άκρα του IoT και πλατφόρμες. Το TinyML επιτρέπει την επεξεργασία σημάτων σε συσκευές IoT και παρέχει ενσωματωμένη νοημοσύνη, εξαλείφοντας την ανάγκη μεταφοράς δεδομένων σε πλατφόρμες cloud για επεξεργασία. Η επιτυχημένη εφαρμογή του TinyML σε συσκευές IoT μπορεί τελικά να οδηγήσει σε αυξημένη ιδιωτικότητα και αποτελεσματικότητα, ενώ μειώνει τους λειτουργικούς κόστους. Επιπλέον, το TinyML είναι πιο ελκυστικό επειδή σε περίπτωση ανεπαρκούς συνδεσιμότητας, μπορεί να παρέχει ανάλυση σε πραγματικό χρόνο.

TinyML: Εισαγωγή και Επισκόπηση

Το TinyML είναι ένα εργαλείο ML που έχει την ικανότητα να thực hiện ανάλυση σε πραγματικό χρόνο για διάφορες αισθητήριες modalities όπως ήχος, όραση και ομιλία. Τα μοντέλα ML που κατασκευάζονται με το εργαλείο TinyML έχουν χαμηλή ισχύ, μνήμη και υπολογιστική ισχύ, που τα κάνει κατάλληλα για ενσωματωμένα δίκτυα και συσκευές που λειτουργούν με μπαταρία.

Στην τρέχουσα κατάσταση, τα συστήματα ML dựaμένα στο cloud αντιμετωπίζουν einige δυσκολίες, συμπεριλαμβανομένων προβλημάτων ασφαλείας και ιδιωτικότητας, υψηλής κατανάλωσης ισχύος, εξάρτησης και προβλημάτων καθυστέρησης, που είναι ο λόγος για τον οποίο τα μοντέλα σε πλατφόρμες υλικού-λογισμικού είναι προεγκατεστημένα. Οι αισθητήρες συλλέγουν τα δεδομένα που模拟νουν τον φυσικό κόσμο και επεξεργάζονται χρησιμοποιώντας einen CPU ή MPU (Μονάδα Επεξεργασίας). Το MPU προσφέρει τις ανάγκες της ανάλυσης ML που υποστηρίζεται από δίκτυα ML στα άκρα και αρχιτεκτονική. Η αρχιτεκτονική ML στα άκρα επικοινωνεί με το ML cloud για τη μεταφορά δεδομένων και η εφαρμογή του TinyML μπορεί να οδηγήσει σε σημαντική πρόοδο της τεχνολογίας.

Θα ήταν ασφαλές να πούμε ότι το TinyML είναι μια σύνθεση λογισμικού, υλικού και αλγορίθμων που εργάζονται σε συγχρονία για να παρέχουν την επιθυμητή απόδοση. Η αναλογική ή η επεξεργασία μνήμης μπορεί να απαιτηθεί για να παρέχει μια καλύτερη και αποτελεσματική εμπειρία μάθησης για συσκευές υλικού και IoT που δεν υποστηρίζουν επιταχυντές υλικού. Όσον αφορά το λογισμικό, οι εφαρμογές που κατασκευάζονται με το TinyML μπορούν να αναπτυχθούν και να εφαρμοστούν σε πλατφόρμες όπως το Linux ή το ενσωματωμένο Linux, καθώς και σε cloud-ενεργές εφαρμογές. Τέλος, οι εφαρμογές και τα συστήματα που κατασκευάζονται με τον αλγόριθμο TinyML πρέπει να έχουν την υποστήριξη νέων αλγορίθμων που απαιτούν μοντέλα με χαμηλή μνήμη για να αποφευχθεί η υψηλή κατανάλωση μνήμης.

Για να συνοψίσουμε, οι εφαρμογές που κατασκευάζονται με το εργαλείο TinyML πρέπει να βελτιστοποιούν τις αρχές και τις μεθόδους ML, καθώς και να σχεδιάζουν το λογισμικό σε μια συμπαγή μορφή, παρουσία υψηλής ποιότητας δεδομένων. Αυτά τα δεδομένα πρέπει να μεταφερθούν μέσω αρχείων δυαδικού κώδικα που παράγονται χρησιμοποιώντας μοντέλα που έχουν εκπαιδευτεί σε μηχανές με μεγαλύτερη χωρητικότητα και υπολογιστική ισχύ.

Επιπλέον, τα συστήματα και οι εφαρμογές που τρέχουν με το εργαλείο TinyML πρέπει να παρέχουν υψηλή ακρίβεια όταν εκτελούνται υπό στενότερους περιορισμούς, καθώς απαιτείται συμπαγές λογισμικό για χαμηλή κατανάλωση ισχύος που υποστηρίζει τις επιπτώσεις του TinyML. Επιπλέον, οι εφαρμογές ή μονάδες TinyML μπορεί να εξαρτώνται από την ισχύ της μπαταρίας για την υποστήριξη των λειτουργιών τους σε συσκευές στα άκρα.

Με αυτά τα δεδομένα, οι εφαρμογές TinyML έχουν δύο βασικές απαιτήσεις

1. Ικανότητα να κλιμακωθούν σε δισεκατομμύρια φθηνές ενσωματωμένες συσκευές.
2. Αποθήκευση του κώδικα στη μνήμη RAM της συσκευής με χωρητικότητα κάτω από quelques KB.

Εφαρμογές του TinyML με τη Χρήση Προηγμένων Τεχνολογιών

Ένας από τους основικούς λόγους για τον οποίο το TinyML είναι ένα hot θέμα στην βιομηχανία AI και ML είναι η δυνατότητα εφαρμογών, συμπεριλαμβανομένων εφαρμογών βασισμένων σε όραση και ομιλία, διάγνωση υγείας, συμπίεση και ταξινόμηση δεδομένων, διεπαφή εγκεφάλου-υπολογιστή, επεξεργασία στα άκρα, φαινομική, αυτονομία οχημάτων και πολλά άλλα.

Εφαρμογές Βασισμένες σε Ομιλία

Επικοινωνίες Ομιλίας

Συνήθως, οι εφαρμογές βασισμένες σε ομιλία εξαρτώνται από συμβατικές μεθόδους επικοινωνίας, στις οποίες όλα τα δεδομένα είναι σημαντικά και μεταφέρονται. Ωστόσο, τα τελευταία χρόνια, η σεμαντική επικοινωνία έχει εμφανιστεί ως εναλλακτική λύση στις συμβατικές μεθόδους επικοινωνίας, καθώς στην σεμαντική επικοινωνία, μόνο η σημασία ή ο контекστς των δεδομένων μεταφέρεται. Η σεμαντική επικοινωνία μπορεί να εφαρμοστεί σε εφαρμογές βασισμένες σε ομιλία χρησιμοποιώντας μεθόδους TinyML.

Μερικές από τις πιο δημοφιλείς εφαρμογές στον κλάδο των επικοινωνιών ομιλίας σήμερα είναι η ανίχνευση ομιλίας, η αναγνώριση ομιλίας, η online εκπαίδευση, η online διδασκαλία και η επικοινωνία με στόχο. Αυτές οι εφαρμογές συνήθως έχουν υψηλή κατανάλωση ισχύος και έχουν επίσης υψηλές απαιτήσεις δεδομένων στη συσκευή. Για να υπερβούν αυτές τις απαιτήσεις, μια νέα βιβλιοθήκη TinySpeech έχει εισαχθεί, η οποία επιτρέπει στους développers να κατασκευάσουν μια αρχιτεκτονική με χαμηλή υπολογιστική ισχύ που χρησιμοποιεί βαθιά συννευρωνικά δίκτυα για να κατασκευάσουν μια εγκατάσταση με χαμηλή αποθήκευση.

Για να χρησιμοποιηθεί το TinyML για την ενίσχυση ομιλίας, οι développers πρώτα αντιμετώπισαν το μέγεθος του μοντέλου ενίσχυσης ομιλίας, καθώς ήταν υπό την επίδραση των περιορισμών υλικού και των περιορισμών. Για να αντιμετωπίσουν το ζήτημα, εφαρμόστηκε η δομημένη κλάδωση και η ακέραιη ποσοτικοποίηση για το μοντέλο RNN (Recurrent Neural Network) ενίσχυσης ομιλίας. Τα αποτελέσματα έδειξαν ότι το μέγεθος του μοντέλου μειώθηκε σχεδόν 12 φορές, ενώ οι επιχειρήσεις μειώθηκαν σχεδόν 3 φορές. Επιπλέον, είναι ζωτικό να χρησιμοποιηθούν οι πόροι αποτελεσματικά, ιδιαίτερα όταν εφαρμόζονται σε εφαρμογές με περιορισμένα recursos που εκτελούν εφαρμογές αναγνώρισης φωνής.

Ως αποτέλεσμα, για να διαχωρίσουν τη διαδικασία, μια μέθοδος συν-σχεδιασμού προτάθηκε για εφαρμογές φωνής και ομιλίας βασισμένες σε TinyML. Οι développers χρησιμοποίησαν την επιχείρηση windowing για να διαχωρίσουν το λογισμικό και το υλικό με έναν τρόπο που να προεπεξεργάζεται τα ακατέργαστα δεδομένα φωνής. Η μέθοδος φάνηκε να λειτουργεί, καθώς τα αποτελέσματα έδειξαν μια μείωση στην κατανάλωση ενέργειας στο υλικό.

Επιπλέον, πρόσφατες έρευνες έχουν προτείνει τη χρήση ενός τηλεφώνου-μετατροπέα για συστήματα αναγνώρισης ομιλίας, και η πρόταση στοχεύει να αντικαταστήσει τους προβλέπτες LSTM με ένα στρώμα Conv1D για να μειώσει τις απαιτήσεις υπολογισμού στα άκρα. Όταν εφαρμόστηκε, η πρόταση επέστρεψε θετικά αποτελέσματα, καθώς η SVD (Singular Value Decomposition) είχε συμπιέσει με επιτυχία το μοντέλο, ενώ η χρήση WFST (Weighted Finite State Transducers) βασισμένης αποκωδικοποίησης οδήγησε σε μεγαλύτερη ευελιξία στη βελτίωση του μοντέλου.

Πολυάριθμες εφαρμογές αναγνώρισης ομιλίας, όπως οι εικονικοί βοηθοί και οι εφαρμογές live captioning, χρησιμοποιούν τεχνικές ML για να λειτουργήσουν. Οι δημοφιλείς εικονικοί βοηθοί όπως η Siri και ο Google Assistant στέλνουν δεδομένα στο cloud κάθε φορά που λαμβάνουν κάποια δεδομένα, και αυτό δημιουργεί σημαντικές ανησυχίες σχετικά με την ιδιωτικότητα και την ασφάλεια δεδομένων. Το TinyML είναι μια βιώσιμη λύση σε αυτό το ζήτημα, καθώς στοχεύει να πραγματοποιήσει αναγνώριση ομιλίας σε συσκευές και να εξαλείψει την ανάγκη μεταφοράς δεδομένων σε πλατφόρμες cloud. Ένας από τους τρόπους για να επιτύχουν την αναγνώριση ομιλίας σε συσκευές είναι να χρησιμοποιήσουν το Tiny Transducer, ένα μοντέλο αναγνώρισης ομιλίας που χρησιμοποιεί ένα στρώμα DFSMN (Deep Feed-Forward Sequential Memory Block) συνδεμένο με ένα στρώμα Conv1D αντί των στρωμάτων LSTM για να μειώσει τις απαιτήσεις υπολογισμού και τις παραμέτρους δικτύου.

Βοηθήματα Ακουστικής

Η απώλεια ακοής είναι ένα σημαντικό πρόβλημα υγείας σε όλο τον κόσμο, και η ικανότητα των ανθρώπων να ακούν ήχους γενικά εξασθενεί καθώς μεγαλώνουν, και είναι ένα σημαντικό πρόβλημα σε χώρες που αντιμετωπίζουν πληθυσμούς που γηράσκουν, συμπεριλαμβανομένης της Κίνας, της Ιαπωνίας και της Νότιας Κορέας. Τα βοηθήματα ακοής λειτουργούν σήμερα με το απλό principio της ενίσχυσης όλων των εισερχόμενων ήχων από το περιβάλλον, κάνοντας δύσκολο για τον άνθρωπο να διακρίνει ή να διαφοροποιήσει τον επιθυμητό ήχο, ιδιαίτερα σε θορυβώδες περιβάλλον.

Το TinyML μπορεί να είναι μια βιώσιμη λύση σε αυτό το ζήτημα, καθώς η χρήση ενός μοντέλου TinyLSTM που χρησιμοποιεί αλγόριθμο αναγνώρισης ομιλίας για βοηθήματα ακοής μπορεί να βοηθήσει τους χρήστες να διακρίνουν μεταξύ διαφορετικών ήχων.

Εφαρμογές Βασισμένες σε Όραση

Το TinyML έχει την δυνατότητα να παίξει einen σημαντικό ρόλο στην επεξεργασία δεδομένων όρασης επειδή για ταχύτερα αποτελέσματα, αυτά τα δεδομένα πρέπει να επεξεργαστούν στην πλατφόρμα στα άκρα. Για να το επιτύχουν, το μοντέλο TinyML αντιμετωπίζει τις πρακτικές προκλήσεις που αντιμετωπίζονται κατά την εκπαίδευση του μοντέλου χρησιμοποιώντας το πίνακα ελέγχου OpenMV H7. Οι développers επίσης πρότειναν μια αρχιτεκτονική για την ανίχνευση της Αμερικανικής Νοηματικής Γλώσσας με τη χρήση ενός μικροεπεξεργαστή ARM Cortex M7 που λειτουργεί μόνο με 496KB της μνήμης RAM.

Η εφαρμογή του TinyML για εφαρμογές όρασης σε πλατφόρμες στα άκρα απαιτούσε από τους développers να αντιμετωπίσουν την основική πρόκληση των CNN (Convolutional Neural Networks) με υψηλό σφάλμα γενίκευσης και υψηλή ακρίβεια εκπαίδευσης και δοκιμής. Ωστόσο, η εφαρμογή δεν γενίκευσε αποτελεσματικά σε εικόνες σε νέες περιπτώσεις χρήσης και σε φόνους με θόρυβο. Όταν οι développers χρησιμοποίησαν τη μέθοδο interpolation augmentation, το μοντέλο επέστρεψε ένα σκορ ακρίβειας πάνω από 98% στα δεδομένα δοκιμής και περίπου 75% στη γενίκευση.

Επιπλέον, παρατηρήθηκε ότι όταν οι développers χρησιμοποίησαν τη μέθοδο interpolation augmentation, υπήρχε μια πτώση στην ακρίβεια του μοντέλου κατά τη διάρκεια της ποσοτικοποίησης, αλλά同時, υπήρχε επίσης μια αύξηση στην ταχύτητα inference και στη γενίκευση. Οι développers επίσης πρότειναν μια μέθοδο για να αυξήσουν την ακρίβεια της γενίκευσης του μοντέλου κατά την εκπαίδευση σε δεδομένα από διάφορες πηγές και τη δοκιμή της απόδοσης για να εξερευνήσουν τη δυνατότητα ανάπτυξής του σε πλατφόρμες στα άκρα όπως φορητοί έξυπνοι ρολόγια.

Επιπλέον, επιπλέον μελέτες για τα CNN δείχνουν ότι είναι δυνατό να αναπτυχθούν και να επιτύχουν επιθυμητά αποτελέσματα με αρχιτεκτονική CNN σε συσκευές με περιορισμένα recursos. Πρόσφατα, οι développers ήταν σε θέση να αναπτύξουν ένα πλαίσιο για την ανίχνευση mặtών σε ένα μικροεπεξεργαστή ARM Cortex M7 με περιορισμένα recursos χρησιμοποιώντας το TensorFlow Lite με ελάχιστες αποτυπώσεις μνήμης. Το μέγεθος του μοντέλου μετά την ποσοτικοποίηση ήταν περίπου 138 KB, ενώ η ταχύτητα inference στη στόχο πλατφόρμα ήταν περίπου 30 FPS.

Μια άλλη εφαρμογή του TinyML για εφαρμογές όρασης είναι η υλοποίηση ενός συστήματος αναγνώρισης χειρονομιών που μπορεί να συνδεθεί σε einen κάνα για να βοηθήσει τους τυφλούς ανθρώπους να πλοηγηθούν στη ζωή τους με ευκολία. Για να το σχεδιάσουν, οι développers χρησιμοποίησαν το σύνολο δεδομένων χειρονομιών και χρησιμοποίησαν το σύνολο δεδομένων για να εκπαιδεύσουν το μοντέλο ProtoNN με έναν αλγόριθμο ταξινόμησης. Τα αποτελέσματα που λήφθηκαν από τη διάταξη ήταν ακριβή, το σχέδιο ήταν χαμηλού κόστους και παρείχε ικανοποιητικά αποτελέσματα.

Μια άλλη σημαντική εφαρμογή του TinyML είναι στην βιομηχανία αυτονομίας οχημάτων και αυτοκινήτων, λόγω της έλλειψης πόρων και της υπολογιστικής ισχύος. Για να αντιμετωπίσουν το ζήτημα, οι développers εισήγαγαν μια μέθοδο μάθησης κλειστού βρόχου που βασίζεται στο μοντέλο TinyCNN, η οποία πρότεινε ένα μοντέλο προβλέψεων online που κατέγραψε την εικόνα σε πραγματικό χρόνο. Το основικό ζήτημα που αντιμετώπισαν οι développers κατά την εφαρμογή του TinyML για αυτονομία οχημάτων ήταν ότι το μοντέλο που εκπαιδεύτηκε για να λειτουργήσει σε offline δεδομένα μπορεί να μην λειτουργήσει εξίσου καλά όταν αντιμετωπίζει online δεδομένα. Για να μεγιστοποιήσουν τις εφαρμογές των αυτοκινήτων και της αυτονομίας, το μοντέλο πρέπει να μπορεί να προσαρμοστεί σε δεδομένα σε πραγματικό χρόνο.

Ταξινόμηση και Συμπίεση Δεδομένων

Ένα από τα μεγαλύτερα προβλήματα του τρέχοντος πλαισίου TinyML είναι να το κάνει να προσαρμοστεί σε δεδομένα σε πραγματικό χρόνο. Για να αντιμετωπίσουν το ζήτημα, οι développers έχουν προτείνει μια μέθοδο που ονομάζεται TinyOL (TinyML Online Learning) για να επιτρέψουν την εκπαίδευση με αυξητική online μάθηση σε μονάδες ελέγχου, επιτρέποντας στο μοντέλο να ενημερωθεί σε συσκευές στα άκρα του IoT. Η εφαρμογή επιτεύχθηκε χρησιμοποιώντας τη γλώσσα προγραμματισμού C++ και μια πρόσθετη στρώση προστέθηκε στην αρχιτεκτονική TinyOL.

Επιπλέον, οι développers έχουν επίσης πραγματοποιήσει την αυτο-κωδικοποίηση της πλακέτας Arduino Nano 33 BLE και το μοντέλο που εκπαιδεύτηκε ήταν σε θέση να ταξινομήσει νέα μοτίβα δεδομένων. Επιπλέον, η εργασία ανάπτυξης περιελάμβανε την σχεδίαση αποτελεσματικών και πιο βελτιωμένων αλγορίθμων για τα νευρωνικά δίκτυα για να υποστηρίξουν την εκπαίδευση μοτίβων σε συσκευές.

Η έρευνα στο TinyOL και το TinyML έχει δείξει ότι ο αριθμός των στρωμάτων ενεργοποίησης ήταν ένα σημαντικό ζήτημα για συσκευές στα άκρα του IoT με περιορισμένα recursos. Για να αντιμετωπίσουν το ζήτημα, οι développers εισήγαγαν το νέο μοντέλο TinyTL (Tiny Transfer Learning) για να κάνουν την利用ηση της μνήμης σε συσκευές στα άκρα του IoT πιο αποτελεσματική, αποφεύγοντας τη χρήση μεσαίων στρωμάτων για σκοπούς ενεργοποίησης. Επιπλέον, οι développers εισήγαγαν ένα νέο module προκαταβολής που ονομάζεται “lite-residual module” για να μεγιστοποιήσουν τις ικανότητες προσαρμογής και να επιτρέψουν στους εκπαιδευτές να ανακαλύψουν υπολειμματικά χάρτες χαρακτηριστικών.

Όταν συγκρίθηκε με την πλήρη βελτιστοποίηση του δικτύου, τα αποτελέσματα ήταν υπέρ του αρχιτεκτονικού μοντέλου TinyTL, καθώς τα αποτελέσματα έδειξαν ότι το TinyTL μειώνει την υπερβολική μνήμη περίπου 6,5 φορές με μέτρια απώλεια ακρίβειας. Όταν η τελευταία στρώση βελτιστοποιήθηκε, το TinyML βελτίωσε την ακρίβεια κατά 34% με μέτρια απώλεια ακρίβειας.

Επιπλέον, η έρευνα για τη συμπίεση δεδομένων έχει δείξει ότι οι αλγόριθμοι συμπίεσης δεδομένων πρέπει να διαχειρίζονται τα συλλεγμένα δεδομένα σε μια φορητή συσκευή και για να το επιτύχουν, οι développers πρότειναν τον TAC (Tiny Anomaly Compressor). Ο TAC ήταν σε θέση να υπερβεί τους αλγόριθμους SDT (Swing Door Trending) και DCT (Discrete Cosine Transform). Επιπλέον, ο αλγόριθμος TAC υπερέβη και τους δύο αλγόριθμους SDT και DCT, επιτύγχανοντας einen μέγιστο ρυθμό συμπίεσης πάνω από 98% και έναν υψηλότερο ρυθμό σήματος προς θόρυβο από τους τρεις αλγόριθμους.

Διάγνωση Υγείας

Η πανδημία του COVID-19 άνοιξε νέες ευκαιρίες για την εφαρμογή του TinyML, καθώς είναι απαραίτητο να ανιχνεύονται συνεχώς τα συμπτώματα της πνευμονίας, του κρυολογήματος και της γρίπης. Για να το επιτύχουν, οι développers έχουν προτείνει ένα μοντέλο CNN που ονομάζεται TinyRespNet, το οποίο λειτουργεί σε ένα περιβάλλον πολλαπλών μοντέλων και το μοντέλο αναπτύσσεται σε μια πλατφόρμα FPGA Xilinx Artix-7 100t, η οποία επιτρέπει στη συσκευή να επεξεργάζεται τις πληροφορίες παράλληλα, έχει υψηλή απόδοση και χαμηλή κατανάλωση ισχύος. Επιπλέον, το μοντέλο TinyResp λαμβάνει επίσης ως εισόδους την ομιλία των ασθενών, τις ηχογραφήσεις και τις πληροφορίες δημογραφίας για να ταξινομήσει και να αναγνωρίσει τα συμπτώματα της πνευμονίας.

Επιπλέον, οι développers έχουν επίσης προτείνει ένα μοντέλο που ονομάζεται TinyDL, το οποίο μπορεί να εκτελεστεί σε συσκευές στα άκρα για διάγνωση υγείας και είναι επίσης σε θέση να πραγματοποιήσει ανάλυση απόδοσης για να μειώσει το εύρος ζώνης, την καθυστέρηση και την κατανάλωση ενέργειας. Για να επιτύχουν την ανάπτυξη του TinyDL σε φορητές συσκευές, ένα μοντέλο LSTM σχεδιάστηκε και εκπαιδεύτηκε ειδικά για μια φορητή συσκευή και έλαβε ως εισόδους τα συλλεγμένα δεδομένα. Το μοντέλο έχει einen σκορ ακρίβειας περίπου 75-80% και ήταν σε θέση να λειτουργήσει με δεδομένα εκτός συσκευής. Αυτά τα μοντέλα που τρέχουν σε συσκευές στα άκρα έδειξαν το δυναμικό να επιλύσουν τα τρέχοντα προβλήματα που αντιμετωπίζουν οι συσκευές IoT.

Τέλος, οι développers έχουν επίσης προτείνει μια άλλη εφαρμογή για να παρακολουθήσουν την υγεία των ηλικιωμένων ανθρώπων, εκτιμώντας και αναλύοντας τις στάσεις του σώματος. Το μοντέλο χρησιμοποιεί ένα πλαίσιο αγνωστικό στη συσκευή, το οποίο επιτρέπει στο μοντέλο να ενεργοποιήσει την επαλήθευση και τη γρήγορη προσαρμογή για να πραγματοποιήσει προσαρμογές. Το μοντέλο εφαρμόζει αλγόριθμους ανίχνευσης στάσεων σώματος και σημείων προσώπου για να ανιχνεύσει χωροχρονικές στάσεις σώματος σε πραγματικό χρόνο.

Επεξεργασία στα Άκρα

Μια από τις основικές εφαρμογές του TinyML είναι στον τομέα της επεξεργασίας στα άκρα, καθώς με την αύξηση της χρήσης των συσκευών IoT για τη σύνδεση συσκευών σε όλο τον κόσμο, είναι απαραίτητο να εγκατασταθούν συσκευές στα άκρα για να μειώσουν το φορτίο στις αρχιτεκτονικές cloud. Αυτές οι συσκευές στα άκρα θα έχουν ιδιαίтерους κέντρους δεδομένων που θα επιτρέψουν να πραγματοποιούνται υψηλού επιπέδου υπολογισμοί στη συσκευή, αντί να εξαρτώνται από την αρχιτεκτονική cloud. Ως αποτέλεσμα, θα βοηθήσει στη μείωση της εξάρτησης από το cloud, τη μείωση της καθυστέρησης, την αύξηση της ασφάλειας και της ιδιωτικότητας και τη μείωση του εύρους ζώνης.

Οι συσκευές στα άκρα που χρησιμοποιούν τους αλγόριθμους TinyML θα βοηθήσουν να επιλυθούν τα τρέχοντα περιορισμοί που σχετίζονται με την ισχύ, την υπολογιστική ισχύ και τις απαιτήσεις μνήμης, και αυτό συζητείται στην εικόνα παρακάτω.

Επιπλέον, το TinyML μπορεί επίσης να βελτιώσει τη χρήση και την εφαρμογή των Ανεπάνδρωτων Αεροπορικών Οχημάτων (UAVs) αντιμετωπίζοντας τα τρέχοντα περιορισμοί που αντιμετωπίζουν αυτά τα μηχανήματα. Η χρήση του TinyML μπορεί να επιτρέψει στους développers να υλοποιήσουν μια ενεργειακά αποτελεσματική συσκευή με χαμηλή καθυστέρηση και υψηλή υπολογιστική ισχύ που μπορεί να λειτουργήσει ως ελεγκτής για αυτά τα UAVs.

Διεπαφή Εγκεφάλου-Υπολογιστή

Το TinyML έχει σημαντικές εφαρμογές στην βιομηχανία υγείας και μπορεί να αποδειχθεί πολύ ωφέλιμο σε διάφορους τομείς, συμπεριλαμβανομένης της ανίχνευσης καρκίνου και όγκων, των προβλέψεων υγείας με χρήση σημάτων ECG και EEG και της συναισθηματικής νοημοσύνης. Η χρήση του TinyML μπορεί να επιτρέψει την προσαρμογή της Βαθιάς Εγκεφαλικής Επεξεργασίας (aDBS) για να προσαρμοστεί επιτυχώς στις κλινικές προσαρμογές. Η χρήση του TinyML μπορεί επίσης να επιτρέψει την aDBS να αναγνωρίσει βιο-σημάδια και συμπτώματα με χρήση εισαγωγών εγκεφαλικών σημάτων.

Επιπλέον, η βιομηχανία υγείας συχνά περιλαμβάνει τη συλλογή ενός μεγάλου όγκου δεδομένων ενός ασθενή, και αυτά τα δεδομένα πρέπει να επεξεργαστούν για να φθάσουν σε συγκεκριμένες λύσεις για την αντιμετώπιση του ασθενή στις πρώτες φάσεις μιας νόσου. Ως αποτέλεσμα, είναι ζωτικό να κατασκευαστεί ένα σύστημα που είναι όχι μόνο υψηλά αποτελεσματικό, αλλά και υψηλά ασφαλές. Όταν συνδυάζουμε την εφαρμογή IoT με το μοντέλο TinyML, γεννιέται ένα νέο πεδίο που ονομάζεται Healthcare Internet of Things (H-IoT), και οι основικές εφαρμογές του H-IoT είναι η διάγνωση, ο έλεγχος, η λογιστική, ο έλεγχος της διάδοσης και τα συστήματα υποστήριξης. Αν θέλουμε να αναπτύξουμε συσκευές που είναι σε θέση να ανιχνεύουν και να αναλύουν την υγεία ενός ασθενή από απόσταση, είναι απαραίτητο να αναπτύξουμε ένα σύστημα που έχει παγκόσμια πρόσβαση και χαμηλή καθυστέρηση.

Αυτονομία Οχημάτων

Τέλος, το TinyML μπορεί να έχει ευρεία εφαρμογή στην βιομηχανία αυτονομίας οχημάτων, καθώς αυτά τα οχήματα μπορούν να χρησιμοποιηθούν σε διάφορους τρόπους, συμπεριλαμβανομένης της ανίχνευσης ανθρώπων, των στρατιωτικών σκοπών και των βιομηχανικών εφαρμογών. Αυτά τα οχήματα έχουν μια основική απαιτηση να είναι σε θέση να αναγνωρίζουν αντικείμενα αποτελεσματικά όταν το αντικείμενο αναζητείται.

Ως τώρα, η αυτονομία οχημάτων και η αυτονομία οδήγησης είναι μια assez σύνθετη εργασία, ιδιαίτερα κατά την ανάπτυξη mini ή μικρών οχημάτων. Πρόσφατες εξελίξεις έχουν δείξει δυναμικό να βελτιώσουν την εφαρμογή της αυτονομίας οδήγησης για mini οχήματα χρησιμοποιώντας αρχιτεκτονική CNN και αναπτύσσοντας το μοντέλο σε μια πλατφόρμα GAP8 MCI.

Προκλήσεις

Το TinyML είναι ένα σχετικά νέο concept στην βιομηχανία AI και ML, και παρά την πρόοδο, vẫn δεν είναι τόσο αποτελεσματικό όσο χρειαζόμαστε για μαζική ανάπτυξη σε συσκευές στα άκρα και IoT.

Η μεγαλύτερη πρόκληση που αντιμετωπίζουν οι συσκευές TinyML είναι η κατανάλωση ισχύος. Ιδανικά, οι ενσωματωμένες συσκευές στα άκρα και οι συσκευές IoT πρέπει να έχουν μια διάρκεια ζωής μπαταρίας που υπερβαίνει τα 10 χρόνια. Για παράδειγμα, σε ιδανικές συνθήκες, μια συσκευή IoT που λειτουργεί με μια μπαταρία 2Ah πρέπει να έχει μια διάρκεια ζωής μπαταρίας που υπερβαίνει τα 10 χρόνια, εφόσον η κατανάλωση ισχύος της συσκευής είναι περίπου 12 μA. Ωστόσο, στην τρέχουσα κατάσταση, μια αρχιτεκτονική IoT με einen αισθητήρα θερμοκρασίας, einen μονάδα ελέγχου και einen μονάδα WiFi, η κατανάλωση ρεύματος είναι περίπου 176,4 mA, και με αυτή την κατανάλωση ισχύος, η μπαταρία θα διαρκέσει μόνο περίπου 11 ώρες, αντί για τα 10 χρόνια που απαιτούνται.

Περιορισμοί Πόρων

Για να διατηρήσουν την ομοιομορφία ενός αλγορίθμου, είναι ζωτικό να διατηρηθεί η διαθεσιμότητα ισχύος, και στην τρέχουσα κατάσταση, η περιορισμένη διαθεσιμότητα ισχύος στις συσκευές TinyML είναι μια κρίσιμη πρόκληση. Επιπλέον, οι περιορισμοί μνήμης είναι επίσης μια σημαντική πρόκληση, καθώς η ανάπτυξη μοντέλων συχνά απαιτεί μεγάλη ποσότητα μνήμης για να λειτουργήσει αποτελεσματικά και ακριβώς.

Περιορισμοί Υλικού

Οι περιορισμοί υλικού καθιστούν την ανάπτυξη αλγορίθμων TinyML σε μεγάλη κλίμακα δύσκολη λόγω της ετερογένειας των συσκευών υλικού. Υπάρχουν χιλιάδες συσκευές, κάθε μια με τις δικές της προδιαγραφές υλικού και απαιτήσεις, και ως αποτέλεσμα, ένας αλγόριθμος TinyML πρέπει να τροποποιηθεί για κάθε συσκευή, κάνοντας την μαζική ανάπτυξη ένα σημαντικό ζήτημα.

Περιορισμοί Συνόλου Δεδομένων

Ένα από τα основικά προβλήματα με τα μοντέλα TinyML είναι ότι δεν υποστηρίζουν τα υπάρχοντα συνόλα δεδομένων. Είναι μια πρόκληση για όλες τις συσκευές στα άκρα, καθώς συλλέγουν δεδομένα χρησιμοποιώντας εξωτερικούς αισθητήρες, και αυτές οι συσκευές συχνά έχουν περιορισμοί ισχύος και ενέργειας. Ως αποτέλεσμα, τα υπάρχοντα συνόλα δεδομένων δεν μπορούν να χρησιμοποιηθούν για να εκπαιδεύσουν τα μοντέλα TinyML αποτελεσματικά.

Τελικές Σκέψεις

Η ανάπτυξη τεχνικών ML έχει προκαλέσει μια επανάσταση και μια αλλαγή προοπτικής στο οικοσύστημα IoT. Η ενσωμάτωση μοντέλων ML σε συσκευές IoT θα επιτρέψει σε αυτές τις συσκευές στα άκρα να λάβουν έξυπνες αποφάσεις χωρίς εξωτερική ανθρώπινη επέμβαση. Ωστόσο, παραδοσιακά, τα μοντέλα ML έχουν υψηλές απαιτήσεις ισχύος, μνήμης και υπολογιστικής ισχύος, που τα κάνει ακατάλληλα για ανάπτυξη σε συσκευές στα άκρα που είναι συχνά περιορισμένες σε πόρους.

Ως αποτέλεσμα, ένας νέος κλάδος στην AI αφιερωμένος στη χρήση ML για συσκευές IoT ονομάζεται TinyML. Το TinyML είναι ένα πλαίσιο ML που επιτρέπει ακόμη και τις συσκευές με περιορισμένα recursos να αξιοποιήσουν τη δύναμη της AI και του ML για να обеспечουν υψηλότερη ακρίβεια, νοημοσύνη και αποτελεσματικότητα.

Σε αυτό το άρθρο, έχουμε συζητήσει την εφαρμογή μοντέλων TinyML σε συσκευές στα άκρα με περιορισμένα recursos, και αυτή η εφαρμογή απαιτεί την εκπαίδευση των μοντέλων, την ανάπτυξη των μοντέλων σε υλικό και την εφαρμογή τεχνικών ποσοτικοποίησης. Ωστόσο, στην τρέχουσα εμβέλεια, τα μοντέλα ML που είναι έτοιμα για ανάπτυξη σε συσκευές IoT και στα άκρα έχουν πολλές сложности και περιορισμοί, συμπεριλαμβανομένων περιορισμών υλικού και προβλημάτων συμβατότητας.