Πώς να διατηρήσετε τα έξυπνα τηλέφωνα ψύχρα όταν εκτελούν μοντέλα μηχανικής μάθησης

Ερευνητές από το Πανεπιστήμιο του Όστιν και το Carnegie Mellon έχουν προτείνει einen νέο τρόπο για να εκτελούνται υπολογιστικά ακριβά μοντέλα μηχανικής μάθησης σε κινητές συσκευές όπως τα έξυπνα τηλέφωνα και σε συσκευές περιφερειακής επεξεργασίας με χαμηλότερη ισχύ, χωρίς να ενεργοποιούνται θερμική ρύθμιση – ένα κοινό μηχανισμό προστασίας σε επαγγελματικές και καταναλωτικές συσκευές, σχεδιασμένο για να μειώνει τη θερμοκρασία της συσκευής φιλοξενίας με την επιβράδυνση της απόδοσής της, μέχρι να επιτευχθούν και πάλι αποδεκτές θερμοκρασίες λειτουργίας.

Η νέα προσέγγιση θα μπορούσε να βοηθήσει πιο σύνθετα μοντέλα ML να εκτελούν εύρεση και διάφορους άλλους τύπους εργασιών χωρίς να απειλούν τη σταθερότητα, για παράδειγμα, του κινητού τηλεφώνου φιλοξενίας.

Η κεντρική ιδέα είναι να χρησιμοποιούνται δυναμικά δίκτυα, όπου τα βαρίδια ενός μοντέλου μπορούν να προσεγγιστούν και από μια ‘χαμηλής πίεσης’ και ‘πλήρους έντασης’ έκδοση του τοπικού μοντέλου μηχανικής μάθησης.

Στις περιπτώσεις όπου η λειτουργία της τοπικής εγκατάστασης ενός μοντέλου μηχανικής μάθησης θα πρέπει να προκαλέσει την αύξηση της θερμοκρασίας της συσκευής κριτικά, το μοντέλο θα μεταβαίνει δυναμικά σε ένα λιγότερο απαιτητικό μοντέλο μέχρι να σταθεροποιηθεί η θερμοκρασία και στη συνέχεια να μεταβαίνει πίσω στη πλήρη έκδοση.

Οι δοκιμαστικές εργασίες αποτελούνταν από μια εργασία ταξινόμησης εικόνας και μια εργασία φυσικής γλώσσας – και οι δύο τύποι λειτουργιών που πιθανότατα θα ενεργοποιήσουν τις εφαρμογές κινητής AI. Πηγή: https://arxiv.org/pdf/2206.10849.pdf

Οι ερευνητές διεξήγαγαν δοκιμές απόδειξης концепτού για μοντέλα υπολογιστικής όρασης και φυσικής γλώσσας σε ένα κινητό τηλέφωνο Honor V30 Pro του 2019 και σε μια συσκευή Raspberry Pi 4B 4GB.

Από τα αποτελέσματα (για το κινητό τηλέφωνο), μπορούμε να δούμε στη διπλανή εικόνα τη θερμοκρασία της συσκευής φιλοξενίας να αυξάνεται και να μειώνεται με τη χρήση. Οι κόκκινες γραμμές αντιπροσωπεύουν ένα μοντέλο που εκτελείται χωρίς Dynamic Shifting.

Αν και τα αποτελέσματα μπορεί να φαίνονται αρκετά παρόμοια, δεν είναι: αυτό που προκαλεί τη θερμοκρασία να κυμαίνεται για τις μπλε γραμμές (δηλ. χρησιμοποιώντας τη νέα μέθοδο του εγγράφου) είναι η εναλλαγή μεταξύ απλών και πιο σύνθετων εκδόσεων του μοντέλου. Σε κανένα σημείο της λειτουργίας δεν ενεργοποιείται ποτέ η θερμική ρύθμιση.

Αυτό που προκαλεί τη θερμοκρασία να αυξάνεται και να μειώνεται στην περίπτωση των κόκκινων γραμμών είναι η αυτόματη ενεργοποίηση της θερμικής ρύθμισης στη συσκευή, η οποία επιβραδύνει τη λειτουργία του μοντέλου και αυξάνει τη καθυστέρηση.

Όσον αφορά τη χρηστικότητα του μοντέλου, μπορούμε να δούμε στη διπλανή εικόνα ότι η καθυστέρηση για το ανεπίλυτο μοντέλο είναι σημαντικά υψηλότερη ενώ βρίσκεται υπό θερμική ρύθμιση:

Την ίδια στιγμή, η εικόνα πάνω δείχνει σχεδόν keine μεταβολή στη καθυστέρηση για το μοντέλο που διαχειρίζεται από Dynamic Shifting, το οποίο παραμένει ανταποκρίνεται καθ’ όλη τη διάρκεια.

Για τον τελικό χρήστη, υψηλή καθυστέρηση μπορεί να σημαίνει αυξημένο χρόνο αναμονής, ο οποίος μπορεί να προκαλέσει εγκατάλειψη μιας εργασίας και δυσαρέσκεια με την εφαρμογή που τη φιλοξενεί.

Στην περίπτωση των συστημάτων NLP (αντί της υπολογιστικής όρασης), υψηλές χρόνοι απόκρισης μπορούν να είναι ακόμη πιο ανησυχητικοί, поскольку οι εργασίες μπορεί να βασίζονται σε άμεση απόκριση (όπως αυτόματη μετάφραση, ή βοηθήματα για τους χρήστες με αναπηρίες).

Για πραγματικά κρίσιμες εφαρμογές – όπως η εικονική πραγματικότητα σε πραγματικό χρόνο – υψηλή καθυστέρηση θα σκότωνε τη βασική χρησιμότητα του μοντέλου.

Οι ερευνητές δηλώνουν:

‘Υποστηρίζουμε ότι η θερμική ρύθμιση αποτελεί σοβαρή απειλή για τις κινητές εφαρμογές ML που είναι κρίσιμες για την καθυστέρηση. Για παράδειγμα, κατά τη διάρκεια της πραγματικής οπτικής απόδοσης για βίντεο ή παιχνίδια, μια απότομη αύξηση της καθυστέρησης της επεξεργασίας ανά καρέ θα έχει σημαντική αρνητική επίδραση στην εμπειρία του χρήστη. Επίσης, τα σύγχρονα κινητά λειτουργικά συστήματα συχνά παρέχουν ειδικές υπηρεσίες και εφαρμογές για άτομα με προβλήματα όρασης, όπως η VoiceOver στο iOS και η TalkBack στο Android.

‘Ο χρήστης συνήθως αλληλεπιδρά με τα κινητά τηλέφωνα βασίζοντας αποκλειστικά τη φωνή, οπότε η ποιότητα αυτών των υπηρεσιών εξαρτάται σε μεγάλο βαθμό από την ανταπόκριση ή την καθυστέρηση της εφαρμογής.’

Γράφοι που δείχνουν την απόδοση του BERT w50 d50 ανεπίλυτου (κόκκινο) και με Dynamic Shifting (μπλε). Σημειώστε την ομοιομορφία της καθυστέρησης στο Dynamic Shifting (μπλε).

Το έγγραφο έχει τον τίτλο Παίξε το Κρύο: Η Δυναμική Μετάβαση Αποτρέπει τη Θερμική Ρύθμιση και είναι μια συνεργασία μεταξύ δύο ερευνητών από το UoA, ενός από το Carnegie Mellon και ενός που αντιπροσωπεύει και τα δύο ιδρύματα.

CPU-Βασισμένες Κινητές Εφαρμογές AI

Αν και η Δυναμική Μετάβαση και οι πολλαπλάσιες αρχιτεκτονικές είναι ένα καθιερωμένο και ενεργό πεδίο μελέτης, οι περισσότερες πρωτοβουλίες έχουν επικεντρωθεί σε υψηλότερες συσκευές υπολογισμού και ο στόχος της προσπάθειας αυτή τη στιγμή είναι διαιρεμένος μεταξύ της εντατικής βελτίωσης των τοπικών (δηλ. συσκευής-βασισμένων) νευρωνικών δικτύων, συνήθως για τους σκοπούς της εύρεσης και όχι της εκπαίδευσης, και της βελτίωσης της αφομοιωμένης κινητής υλικολογισμικού.

Οι δοκιμές που διεξήχθησαν από τους ερευνητές διεξήχθησαν σε CPU και όχι σε GPU.尽管 αυξανόμενο ενδιαφέρον για την αξιοποίηση των τοπικών πόρων GPU στις κινητές εφαρμογές μηχανικής μάθησης (και ακόμη εκπαίδευση trực tiếp σε κινητές συσκευές, η οποία μπορεί να βελτιώσει την ποιότητα του τελικού μοντέλου), τα GPU τypically τягούν περισσότερη ισχύ, ένας κρίσιμος παράγοντας στην προσπάθεια της AI να είναι ανεξάρτητη (από τις υπηρεσίες cloud) και χρήσιμη σε μια συσκευή με περιορισμένους πόρους.

Δοκιμές Κοινής Χρήσης Βαρών

Τα δίκτυα που δοκιμάστηκαν για το έργο ήταν λιγότερα δίκτυα και DynaBERT, αντιπροσωπεύοντας, αντίστοιχα, μια εργασία υπολογιστικής όρασης και μια εργασία NLP-βασισμένη.

Αν και υπήρξαν διάφορες πρωτοβουλίες για να κάνουν επαναλήψεις του BERT που μπορούν να εκτελεστούν αποτελεσματικά και οικονομικά σε κινητές συσκευές, κάποιες από τις προσπάθειες έχουν κριθεί ως δυσκολίες, και οι ερευνητές του νέου εγγράφου σημειώνουν ότι η χρήση του BERT στο κινητό χώρο είναι μια πρόκληση και ότι ‘τα μοντέλα BERT γενικά είναι πολύ υπολογιστικά εντατικά για τα κινητά τηλέφωνα’.

DynaBERT είναι μια κινεζική πρωτοβουλία για να βελτιώσει το ισχυρό πλαίσιο NLP/NLU της Google στο контέκστ ενός περιβάλλοντος με περιορισμένους πόρους, αλλά ακόμη και αυτή η εφαρμογή του BERT, οι ερευνητές βρήκαν, ήταν πολύ απαιτητική.

Ωστόσο, και στο κινητό τηλέφωνο και στη συσκευή Raspberry PI, οι συγγραφείς έτρεξαν δύο πειράματα. Στην εργασία υπολογιστικής όρασης, μια seule, τυχαία επιλεγμένη εικόνα επεξεργαζόταν συνεχώς και επαναλαμβανόμενα στο ResNet50 ως εργασία ταξινόμησης και ήταν σε θέση να εκτελεστεί σταθερά και χωρίς να ενεργοποιήσει τη θερμική ρύθμιση για όλη τη διάρκεια της εργασίας.

Το έγγραφο δηλώνει:

‘Αν και μπορεί να θυσιάσει κάποια ακρίβεια, η προτεινόμενη Δυναμική Μετάβαση έχει ταχύτερη ταχύτητα εύρεσης. Το πιο σημαντικό, η προσέγγισή μας Δυναμική Μετάβαση απολαμβάνει μια συνεχή εύρεση.’

Εκτέλεση ResNet50 ανεπίλυτου και με Dynamic Shifting μεταξύ Slimmable ResNet50 x1.0 και της x0.25 έκδοσης σε μια συνεχής εργασία ταξινόμησης εικόνας, για εξήντα λεπτά.

Για τις δοκιμές NLP, οι συγγραφείς έθεσαν το πείραμα να μεταβαίνει μεταξύ των δύο μικρότερων μοντέλων στη συλλογή DynaBERT, αλλά βρήκαν ότι σε 1,4X καθυστέρηση, το BERT ενεργοποιεί τη θερμική ρύθμιση περίπου στο 70°. Έτσι, έθεσαν τη μείωση να συμβεί όταν η λειτουργική θερμοκρασία έφτασε στα 65°.

Η δοκιμή BERT περιελάμβανε να αφήσει την εγκατάσταση να εκτελέσει εύρεση συνεχώς σε ένα ζευγάρι ερώτησης/απάντησης από το συνόλου δεδομένων ONLI του GLUE.

Η ανταλλαγή καθυστέρησης και ακρίβειας ήταν πιο σοβαρή με την φιλόδοξη εργασία BERT παρά με την εφαρμογή υπολογιστικής όρασης, και η ακρίβεια ήρθε με το τίμημα μιας πιο σοβαρής ανάγκης για έλεγχο της θερμοκρασίας της συσκευής, για να αποφευχθεί η θερμική ρύθμιση:

Καθυστέρηση έναντι ακρίβειας για τα πειράματα των ερευνητών σε cả τις δύο εργασίες.

Οι συγγραφείς παρατηρούν:

‘Η Δυναμική Μετάβαση, γενικά, δεν μπορεί να αποτρέψει τα μοντέλα BERT από τη θερμική ρύθμιση λόγω της τεράστιας υπολογιστικής έντασης του μοντέλου. Ωστόσο, υπό ορισμένες περιορισμοί, η δυναμική μετάβαση μπορεί ακόμη να είναι χρήσιμη όταν αναπτύσσεται το μοντέλο BERT σε κινητά τηλέφωνα.’

Οι συγγραφείς βρήκαν ότι τα μοντέλα BERT προκαλούν την αύξηση της θερμοκρασίας του CPU του τηλεφώνου Honor V30 στο 80° σε λιγότερο από 32 δευτερόλεπτα και θα ενεργοποιήσουν τη θερμική ρύθμιση σε λιγότερο από έξι λεπτά δραστηριότητας. Έτσι, οι συγγραφείς χρησιμοποίησαν μόνο μοντέλα BERT με μισό πλάτος.

Οι δοκιμές επαναλήφθηκαν στη συσκευή Raspberry PI και η τεχνική ήταν επίσης σε θέση να αποτρέψει την ενεργοποίηση της θερμικής ρύθμισης σε αυτό το περιβάλλον. Ωστόσο, οι συγγραφείς σημειώνουν ότι η συσκευή Raspberry PI δεν λειτουργεί υπό τις ίδιες ακραίες θερμικές περιορισμοί όπως ένα πυκνά συσκευασμένο κινητό τηλέφωνο και φαίνεται να έχουν προστεθεί αυτές οι δοκιμές ως μια weitere απόδειξη της αποτελεσματικότητας της μεθόδου σε περιβάλλοντα επεξεργασίας με μετριοπαθείς εξοπλισμούς.

Πρώτη δημοσίευση 23ης Ιουνίου 2022.