Πώς να διατηρείτε τα smartphones ψύχρα όταν εκτελούν μοντέλα μηχανικής μάθησης

Ερευνητές από το Πανεπιστήμιο του Όστιν και το Carnegie Mellon έχουν προτείνει einen νέο τρόπο για να εκτελούνται μοντέλα μηχανικής μάθησης υψηλής υπολογιστικής πολυπλοκότητας σε κινητές συσκευές όπως τα smartphones και σε συσκευές περιφέρειας με χαμηλότερη ισχύ, χωρίς να ενεργοποιούνται θερμική ρύθμιση – ένα κοινό προστατευτικό μηχανισμό σε επαγγελματικές και καταναλωτικές συσκευές, που σχεδιάζεται για να μειώνει τη θερμοκρασία της συσκευής host με την επιβράδυνση της απόδοσής της, μέχρι να επιτευχθούν αποδεκτές θερμοκρασίες λειτουργίας.

Η νέα προσέγγιση μπορεί να βοηθήσει πιο σύνθετα μοντέλα ML να εκτελούν εύρεση και διάφορους άλλους τύπους εργασιών χωρίς να απειλούν τη σταθερότητα, για παράδειγμα, του host smartphone.

Η κεντρική ιδέα είναι να χρησιμοποιούνται δυναμικές δικτυώσεις, όπου τα βαρίδια ενός μοντέλου μπορούν να προσεγγιστούν και από μια ‘χαμηλή πίεση’ και ‘πλήρη ένταση’ εκδοχή του τοπικού μοντέλου μηχανικής μάθησης.

Στις περιπτώσεις όπου η λειτουργία της τοπικής εγκατάστασης του μοντέλου μηχανικής μάθησης θα πρέπει να προκαλέσει την αύξηση της θερμοκρασίας της συσκευής, το μοντέλο θα μεταβαίνει δυναμικά σε ένα λιγότερο απαιτητικό μοντέλο μέχρι να σταθεροποιηθεί η θερμοκρασία, και στη συνέχεια να μεταβαίνει πίσω στην πλήρη εκδοχή.

Οι δοκιμαστικές εργασίες αποτελούσαν μια εργασία ταξινόμησης εικόνας και μια εργασία ερωτήσεων-απαντήσεων φυσικής γλώσσας (QNLI) – και οι δύο τύποι λειτουργιών που πιθανότατα να εμπλέκονται σε εφαρμογές κινητής AI. Πηγή: https://arxiv.org/pdf/2206.10849.pdf

Οι ερευνητές διεξήγαγαν δοκιμαστικές εργασίες για μοντέλα υπολογιστικής όρασης και φυσικής γλώσσας σε ένα smartphone Honor V30 Pro του 2019 και σε einen Raspberry Pi 4B 4GB.

Από τα αποτελέσματα (για το smartphone), μπορούμε να δούμε στην εικόνα παρακάτω τη θερμοκρασία της συσκευής host να αυξάνεται και να μειώνεται με τη χρήση. Οι κόκκινες γραμμές αντιπροσωπεύουν ένα μοντέλο που εκτελείται χωρίς δυναμική μετατόπιση.

Αν και τα αποτελέσματα μπορεί να φαίνονται khá παρόμοια, δεν είναι: αυτό που προκαλεί τη θερμοκρασία να κυμαίνεται για τις μπλε γραμμές (δηλαδή χρησιμοποιώντας τη νέα μέθοδο) είναι η μετάβαση μπρος-πίσω μεταξύ απλών και πιο σύνθετων εκδοχών του μοντέλου. Σε κανένα σημείο της λειτουργίας δεν ενεργοποιείται η θερμική ρύθμιση.

Αυτό που προκαλεί τη θερμοκρασία να αυξάνεται και να μειώνεται στην περίπτωση των κόκκινων γραμμών είναι η αυτόματη ενεργοποίηση της θερμικής ρύθμισης στη συσκευή, η οποία επιβραδύνει την απόδοση του μοντέλου και αυξάνει την καθυστέρηση.

Όσον αφορά τη χρηστικότητα του μοντέλου, μπορούμε να δούμε στην εικόνα παρακάτω ότι η καθυστέρηση για το αβοήθητο μοντέλο είναι σημαντικά υψηλότερη ενώ βρίσκεται υπό θερμική ρύθμιση:

Την ίδια στιγμή, η εικόνα παραπάνω δείχνει σχεδόν keine μεταβολή στην καθυστέρηση για το μοντέλο που διαχειρίζεται η δυναμική μετατόπιση, το οποίο παραμένει ανταποκρίνεται καθ’ όλη τη διάρκεια.

Για τον τελικό χρήστη, υψηλή καθυστέρηση μπορεί να σημαίνει αυξημένο χρόνο αναμονής, ο οποίος μπορεί να προκαλέσει εγκατάλειψη μιας εργασίας και δυσαρέσκεια με την εφαρμογή που τη φιλοξενεί.

Στην περίπτωση των συστημάτων NLP (αντί για υπολογιστικής όρασης), υψηλές χρόνοι απόκρισης μπορούν να είναι ακόμη πιο ανησυχητικοί, поскольку οι εργασίες μπορεί να βασίζονται σε άμεση απόκριση (όπως αυτόματη μετάφραση, ή βοηθήματα για άτομα με αναπηρίες).

Για πραγματικά κρίσιμες εφαρμογές – όπως η πραγματική-time VR/AR – υψηλή καθυστέρηση θα σκότωνε αποτελεσματικά τη βασική χρησιμότητα του μοντέλου.

Οι ερευνητές δηλώνουν:

‘Επικαλόμαστε ότι η θερμική ρύθμιση αποτελεί σοβαρή απειλή για τις κινητές εφαρμογές ML που είναι κρίσιμες για την καθυστέρηση. Για παράδειγμα, κατά τη διάρκεια πραγματικής-time οπτικής απόδοσης για βίντεο streaming ή gaming, μια ξαφνική αύξηση της καθυστέρησης της επεξεργασίας ανά καρέ θα είχε σημαντική αρνητική επίδραση στην εμπειρία του χρήστη. Επίσης, τα σύγχρονα κινητά λειτουργικά συστήματα συχνά παρέχουν ειδικές υπηρεσίες και εφαρμογές για άτομα με προβλήματα όρασης, όπως η VoiceOver στο iOS και η TalkBack στο Android.

‘Ο χρήστης συνήθως αλληλεπιδρά με τα κινητά τηλέφωνα βασίζοντας αποκλειστικά στη φωνή, οπότε η ποιότητα αυτών των υπηρεσιών είναι εξαιρετικά εξαρτημένη από την ανταπόκριση ή την καθυστέρηση της εφαρμογής.’

Γράφοι που δείχνουν την απόδοση του BERT w50 d50 αβοήθους (κόκκινο), και βοηθούμενου από τη δυναμική μετατόπιση (μπλε). Σημειώστε την ομοιομορφία της καθυστέρησης στη δυναμική μετατόπιση (μπλε).

Το έγγραφο έχει τον τίτλο Παίξε το κρύο: Η δυναμική μετατόπιση αποτρέπει τη θερμική ρύθμιση, και είναι μια συνεργασία μεταξύ δύο ερευνητών από το UoA: ένας από το Carnegie Mellon: και ένας που αντιπροσωπεύει και τα δύο ιδρύματα.

CPU-Based Mobile AI

Αν και η δυναμική μετατόπιση και οι πολυ-κλιμακωτές αρχιτεκτονικές είναι ένα καθιερωμένο και ενεργό πεδίο μελέτης, οι περισσότερες πρωτοβουλίες έχουν επικεντρωθεί σε υψηλότερες συσκευές υπολογισμού, και ο πυρήνας της προσπάθειας αυτή τη στιγμή είναι διαιρεμένος μεταξύ της εντατικής βελτίωσης των τοπικών (δηλαδή συσκευής-βασισμένων) νευρωνικών δικτύων, συνήθως για τους σκοπούς της εύρεσης και όχι της εκπαίδευσης, και της βελτίωσης των αφοσιωμένων κινητών υλικών.

Δοκιμή της κοινής χρήσης βαρίδων

Τα δίκτυα που δοκιμάστηκαν για το έργο ήταν λιγότερα δίκτυα και DynaBERT, αντιπροσωπεύοντας, αντίστοιχα, μια εργασία υπολογιστικής όρασης και μια εργασία NLP-βασισμένη.

Αν και υπάρχουν διάφορες πρωτοβουλίες για να κάνουν επαναλήψεις του BERT που μπορούν να εκτελεστούν αποτελεσματικά και οικονομικά σε κινητές συσκευές, κάποιες από τις προσπάθειες έχουν κριθεί ως δυσκολίες, και οι ερευνητές του νέου εγγράφου σημειώνουν ότι η χρήση του BERT στο κινητό χώρο είναι μια πρόκληση, και ότι ‘τα μοντέλα BERT γενικά είναι πολύ υπολογιστικά εντατικά για κινητά τηλέφωνα’.

Το DynaBERT είναι μια κινεζική πρωτοβουλία για να βελτιώσει το ισχυρό πλαίσιο NLP/NLU της Google στο контέκστ ενός περιβάλλοντος με λιγότερους πόρους: αλλά ακόμη και αυτή η εφαρμογή του BERT, οι ερευνητές βρήκαν, ήταν πολύ απαιτητική.

Παρά ταύτα, και στο smartphone και στη συσκευή Raspberry PI, οι συγγραφείς έτρεξαν δύο πειράματα. Στην πειραματική εργασία CV, μια seule, τυχαία επιλεγμένη εικόνα επεξεργαζόταν συνεχώς και επαναλαμβανόμενα στο ResNet50 ως εργασία ταξινόμησης, και ήταν σε θέση να εκτελεστεί σταθερά και χωρίς να ενεργοποιήσει τη θερμική ρύθμιση για όλη τη διάρκεια της πειραματικής εργασίας.

Το έγγραφο δηλώνει:

‘Αν και μπορεί να θυσιάσει κάποια ακρίβεια, η προτεινόμενη δυναμική μετατόπιση έχει ταχύτερη ταχύτητα εύρεσης. Το πιο σημαντικό, η προσέγγισή μας για τη δυναμική μετατόπιση απολαμβάνει μια συνεχή εύρεση.’

Εκτέλεση του ResNet50 αβοήθους και με τη δυναμική μετατόπιση μεταξύ Slimmable ResNet50 x1.0 και της x0.25 εκδοχής σε μια συνεχή εργασία ταξινόμησης εικόνας, για εξήντα λεπτά.

Για τις δοκιμές NLP, οι συγγραφείς ρύθμισαν το πείραμα να μεταβαίνει μεταξύ των δύο μικρότερων μοντέλων στη συλλογή DynaBERT, αλλά βρήκαν ότι σε 1,4X καθυστέρηση, το BERT ενεργοποιεί τη θερμική ρύθμιση περίπου στους 70°. Έτσι, ρύθμισαν τη μετατόπιση να συμβαίνει όταν η λειτουργική θερμοκρασία έφτανε τους 65°.

Το πείραμα BERT περιελάμβανε να αφήσει την εγκατάσταση να εκτελεί εύρεση συνεχώς σε ένα ζευγάρι ερωτήσεων-απαντήσεων από το σύνολο δεδομένων ONLI του GLUE.

Οι ανταλλαγές καθυστέρησης και ακρίβειας ήταν πιο σοβαρές με την φιλόδοξη εργασία BERT παρά για την εφαρμογή υπολογιστικής όρασης, και η ακρίβεια ήρθε με το κόστος μιας πιο σοβαρής ανάγκης για έλεγχο της θερμοκρασίας της συσκευής, για να αποφευχθεί η θερμική ρύθμιση:

Καθυστέρηση έναντι ακρίβειας για τα πειράματα των ερευνητών σε διάφορες εργασίες.

Οι συγγραφείς παρατηρούν:

‘Η δυναμική μετατόπιση, γενικά, δεν μπορεί να αποτρέψει τα μοντέλα BERT από τη θερμική ρύθμιση λόγω της τεράστιας υπολογιστικής έντασης του μοντέλου. Ωστόσο, υπό ορισμένες περιορισμούς, η δυναμική μετατόπιση μπορεί ακόμη να είναι χρήσιμη όταν αναπτύσσεται το μοντέλο BERT σε κινητά τηλέφωνα.’

Οι συγγραφείς βρήκαν ότι τα μοντέλα BERT προκαλούν τη θερμοκρασία του CPU του τηλεφώνου Honor V30 να ανέβει στους 80° σε λιγότερο από 32 δευτερόλεπτα, και θα ενεργοποιήσουν τη θερμική ρύθμιση σε λιγότερο από έξι λεπτά δραστηριότητας. Έτσι, οι συγγραφείς χρησιμοποίησαν μόνο ημι-πλάτος μοντέλα BERT.

Τα πειράματα επαναλήφθηκαν στη συσκευή Raspberry PI, και η τεχνική ήταν επίσης σε θέση να αποτρέψει την ενεργοποίηση της θερμικής ρύθμισης σε αυτό το περιβάλλον. Ωστόσο, οι συγγραφείς σημειώνουν ότι η Raspberry PI δεν λειτουργεί υπό τις ίδιες ακραίες θερμικές περιορισμοί όπως ένα πυκνά συσκευασμένο smartphone, και φαίνεται να έχουν προσθέσει αυτή τη σειρά πειραμάτων ως μια weitere απόδειξη της αποτελεσματικότητας της μεθόδου σε περιβάλλοντα επεξεργασίας με μέτρια εξοπλισμό.

Πρώτη δημοσίευση 23ης Ιουνίου 2022.