Πώς να διατηρείτε δροσερά τα smartphones όταν εκτελούν μοντέλα μηχανικής μάθησης

Ερευνητές από το Πανεπιστήμιο του Όστιν και το Carnegie Mellon έχουν προτείνει έναν νέο τρόπο για να εκτελούνται μοντέλα μηχανικής μάθησης υψηλής υπολογιστικής πολυπλοκότητας σε κινητές συσκευές όπως τα smartphones και σε συσκευές περιφέρειας με χαμηλότερη ισχύ, χωρίς να ενεργοποιούνται θερμική ρύθμιση – ένα κοινό προστατευτικό μηχανισμό σε επαγγελματικές και καταναλωτικές συσκευές, που σχεδιάζεται για να μειώνει τη θερμοκρασία της συσκευής host με την επιβράδυνση της απόδοσής της, μέχρι να επιτευχθούν αποδεκτές θερμοκρασίες λειτουργίας.

Η νέα προσέγγιση μπορεί να βοηθήσει πιο σύνθετα μοντέλα ML να εκτελούν συμπερασμό και διάφορους άλλους τύπους εργασιών χωρίς να απειλούν τη σταθερότητα, για παράδειγμα, του host smartphone.

Η κεντρική ιδέα είναι να χρησιμοποιούνται δυναμικά δίκτυα, όπου τα βάρη ενός μοντέλου μπορούν να προσεγγιστούν και από μια ‘χαμηλή πίεση’ και ‘πλήρη ένταση’ εκδοχή του τοπικού μοντέλου μηχανικής μάθησης.

Στις περιπτώσεις όπου η λειτουργία της τοπικής εγκατάστασης του μοντέλου μηχανικής μάθησης θα πρέπει να προκαλέσει την αύξηση της θερμοκρασίας της συσκευής, το μοντέλο θα μεταβαίνει δυναμικά σε ένα λιγότερο απαιτητικό μοντέλο μέχρι να σταθεροποιηθεί η θερμοκρασία, και στη συνέχεια να μεταβαίνει πίσω στην πλήρη εκδοχή.

Οι δοκιμαστικές εργασίες αποτελούσαν μια εργασία ταξινόμησης εικόνας και μια εργασία ερωτήσεων-απαντήσεων φυσικής γλώσσας (QNLI) – και οι δύο τύποι λειτουργιών που πιθανότατα να εμπλέκονται σε εφαρμογές κινητής AI. Πηγή: https://arxiv.org/pdf/2206.10849.pdf

Οι ερευνητές διεξήγαγαν δοκιμαστικές εργασίες για μοντέλα υπολογιστικής όρασης και φυσικής γλώσσας σε ένα smartphone Honor V30 Pro του 2019 και σε έναν Raspberry Pi 4B 4GB.

Από τα αποτελέσματα (για το smartphone), μπορούμε να δούμε στην εικόνα παρακάτω τη θερμοκρασία της συσκευής host να αυξάνεται και να μειώνεται με τη χρήση. Οι κόκκινες γραμμές αντιπροσωπεύουν ένα μοντέλο που εκτελείται χωρίς δυναμική μετατόπιση.

Αν και τα αποτελέσματα μπορεί να φαίνονται αρκετά παρόμοια, δεν είναι: αυτό που προκαλεί τη θερμοκρασία να κυμαίνεται για τις μπλε γραμμές (δηλαδή χρησιμοποιώντας τη νέα μέθοδο) είναι η μετάβαση μπρος-πίσω μεταξύ απλών και πιο σύνθετων εκδοχών του μοντέλου. Σε κανένα σημείο της λειτουργίας δεν ενεργοποιείται η θερμική ρύθμιση.

Αυτό που προκαλεί τη θερμοκρασία να αυξάνεται και να μειώνεται στην περίπτωση των κόκκινων γραμμών είναι η αυτόματη ενεργοποίηση της θερμικής ρύθμισης στη συσκευή, η οποία επιβραδύνει την απόδοση του μοντέλου και αυξάνει την καθυστέρηση.

Όσον αφορά τη χρηστικότητα του μοντέλου, μπορούμε να δούμε στην εικόνα παρακάτω ότι η καθυστέρηση για το αβοήθητο μοντέλο είναι σημαντικά υψηλότερη ενώ βρίσκεται υπό θερμική ρύθμιση:

Την ίδια στιγμή, η εικόνα παραπάνω δείχνει σχεδόν καμία μεταβολή στην καθυστέρηση για το μοντέλο που διαχειρίζεται η δυναμική μετατόπιση, το οποίο παραμένει ανταποκρινόμενο καθ’ όλη τη διάρκεια.

Για τον τελικό χρήστη, υψηλή καθυστέρηση μπορεί να σημαίνει αυξημένο χρόνο αναμονής, ο οποίος μπορεί να προκαλέσει εγκατάλειψη μιας εργασίας και δυσαρέσκεια με την εφαρμογή που τη φιλοξενεί.

Στην περίπτωση των συστημάτων NLP (αντί για υπολογιστικής όρασης), υψηλοί χρόνοι απόκρισης μπορούν να είναι ακόμη πιο ανησυχητικοί, επειδή οι εργασίες μπορεί να βασίζονται σε άμεση απόκριση (όπως αυτόματη μετάφραση, ή βοηθήματα για άτομα με αναπηρίες).

Για πραγματικά κρίσιμες εφαρμογές – όπως η VR/AR σε πραγματικό χρόνο – υψηλή καθυστέρηση θα σκότωνε αποτελεσματικά τη βασική χρησιμότητα του μοντέλου.

Οι ερευνητές δηλώνουν:

‘Επικαλόμαστε ότι η θερμική ρύθμιση αποτελεί σοβαρή απειλή για τις κινητές εφαρμογές ML που είναι κρίσιμες για την καθυστέρηση. Για παράδειγμα, κατά τη διάρκεια οπτικής απόδοσης σε πραγματικό χρόνο για βίντεο streaming ή gaming, μια ξαφνική αύξηση της καθυστέρησης της επεξεργασίας ανά καρέ θα είχε σημαντική αρνητική επίδραση στην εμπειρία του χρήστη. Επίσης, τα σύγχρονα κινητά λειτουργικά συστήματα συχνά παρέχουν ειδικές υπηρεσίες και εφαρμογές για άτομα με προβλήματα όρασης, όπως η VoiceOver στο iOS και η TalkBack στο Android.

‘Ο χρήστης συνήθως αλληλεπιδρά με τα κινητά τηλέφωνα βασιζόμενος αποκλειστικά στη φωνή, οπότε η ποιότητα αυτών των υπηρεσιών είναι εξαιρετικά εξαρτημένη από την ανταπόκριση ή την καθυστέρηση της εφαρμογής.’

Γράφοι που δείχνουν την απόδοση του BERT w50 d50 αβοήθους (κόκκινο), και βοηθούμενου από τη δυναμική μετατόπιση (μπλε). Σημειώστε την ομοιομορφία της καθυστέρησης στη δυναμική μετατόπιση (μπλε).

Το έγγραφο έχει τον τίτλο Play It Cool: Dynamic Shifting Prevents Thermal Throttling, και είναι μια συνεργασία μεταξύ δύο ερευνητών από το UoA: ένας από το Carnegie Mellon: και ένας που αντιπροσωπεύει και τα δύο ιδρύματα.

Κινητή τεχνητή νοημοσύνη βασισμένη σε CPU

Αν και η δυναμική μετατόπιση και οι πολυ-κλιμακωτές αρχιτεκτονικές είναι ένα καθιερωμένο και ενεργό πεδίο μελέτης, οι περισσότερες πρωτοβουλίες έχουν επικεντρωθεί σε υψηλότερες συσκευές υπολογισμού, και ο πυρήνας της προσπάθειας αυτή τη στιγμή είναι διαιρεμένος μεταξύ της εντατικής βελτίωσης των τοπικών (δηλαδή συσκευής-βασισμένων) νευρωνικών δικτύων, συνήθως για τους σκοπούς του συμπερασμού και όχι της εκπαίδευσης, και της βελτίωσης των ειδικού υλικού για κινητές συσκευές.

Οι δοκιμές των ερευνητών έγιναν σε CPU και όχι σε GPU. Παρά το αυξανόμενο ενδιαφέρον για την αξιοποίηση τοπικών GPU σε εφαρμογές μηχανικής μάθησης για κινητές συσκευές, ακόμη και για εκπαίδευση απευθείας σε κινητές συσκευές, η οποία θα μπορούσε να βελτιώσει την ποιότητα του τελικού μοντέλου, οι GPU συνήθως καταναλώνουν περισσότερη ενέργεια. Αυτό είναι κρίσιμο για την ανεξαρτησία της τεχνητής νοημοσύνης από υπηρεσίες νέφους και τη χρησιμότητά της σε συσκευές περιορισμένων πόρων.

Δοκιμή της κοινής χρήσης βαρών

Τα δίκτυα που δοκιμάστηκαν για το έργο ήταν δίκτυα με ρυθμιζόμενο πλάτος (slimmable) και DynaBERT, αντιπροσωπεύοντας, αντίστοιχα, μια εργασία υπολογιστικής όρασης και μια εργασία NLP-βασισμένη.

Αν και υπάρχουν διάφορες πρωτοβουλίες για να κάνουν επαναλήψεις του BERT που μπορούν να εκτελεστούν αποτελεσματικά και οικονομικά σε κινητές συσκευές, κάποιες από τις προσπάθειες έχουν κριθεί ως δυσκολίες, και οι ερευνητές του νέου εγγράφου σημειώνουν ότι η χρήση του BERT στο κινητό χώρο είναι μια πρόκληση, και ότι ‘τα μοντέλα BERT γενικά είναι πολύ υπολογιστικά εντατικά για κινητά τηλέφωνα’.

Το DynaBERT είναι μια κινεζική πρωτοβουλία για να βελτιώσει το ισχυρό πλαίσιο NLP/NLU της Google στο πλαίσιο ενός περιβάλλοντος με λιγότερους πόρους: αλλά ακόμη και αυτή η εφαρμογή του BERT, οι ερευνητές βρήκαν, ήταν πολύ απαιτητική.

Παρά ταύτα, και στο smartphone και στη συσκευή Raspberry PI, οι συγγραφείς έτρεξαν δύο πειράματα. Στην πειραματική εργασία CV, μια μοναδική, τυχαία επιλεγμένη εικόνα επεξεργαζόταν συνεχώς και επαναλαμβανόμενα στο ResNet50 ως εργασία ταξινόμησης, και ήταν σε θέση να εκτελεστεί σταθερά και χωρίς να ενεργοποιήσει τη θερμική ρύθμιση για ολόκληρη τη μία ώρα του πειράματος.

Το έγγραφο δηλώνει:

‘Αν και μπορεί να θυσιάσει κάποια ακρίβεια, η προτεινόμενη δυναμική μετατόπιση έχει ταχύτερη ταχύτητα συμπερασμού. Το πιο σημαντικό, η προσέγγισή μας για τη δυναμική μετατόπιση απολαμβάνει σταθερό συμπερασμό.’

Εκτέλεση του ResNet50 αβοήθους και με τη δυναμική μετατόπιση μεταξύ Slimmable ResNet50 x1.0 και της x0.25 εκδοχής σε μια συνεχή εργασία ταξινόμησης εικόνας, για εξήντα λεπτά.

Για τις δοκιμές NLP, οι συγγραφείς ρύθμισαν το πείραμα να μεταβαίνει μεταξύ των δύο μικρότερων μοντέλων στη συλλογή DynaBERT, αλλά βρήκαν ότι σε 1,4X καθυστέρηση, το BERT ενεργοποιεί τη θερμική ρύθμιση περίπου στους 70°. Έτσι, ρύθμισαν τη μετατόπιση να συμβαίνει όταν η λειτουργική θερμοκρασία έφτανε τους 65°.

Το πείραμα BERT περιελάμβανε να αφήσει την εγκατάσταση να εκτελεί συμπερασμό συνεχώς σε ένα ζευγάρι ερωτήσεων-απαντήσεων από το σύνολο δεδομένων ONLI του GLUE.

Οι ανταλλαγές καθυστέρησης και ακρίβειας ήταν πιο σοβαρές με την φιλόδοξη εργασία BERT παρά για την εφαρμογή υπολογιστικής όρασης, και η ακρίβεια ήρθε με το κόστος μιας πιο σοβαρής ανάγκης για έλεγχο της θερμοκρασίας της συσκευής, για να αποφευχθεί η θερμική ρύθμιση:

Καθυστέρηση έναντι ακρίβειας για τα πειράματα των ερευνητών σε διάφορες εργασίες.

Οι συγγραφείς παρατηρούν:

‘Η δυναμική μετατόπιση, γενικά, δεν μπορεί να αποτρέψει τα μοντέλα BERT από τη θερμική ρύθμιση λόγω της τεράστιας υπολογιστικής έντασης του μοντέλου. Ωστόσο, υπό ορισμένους περιορισμούς, η δυναμική μετατόπιση μπορεί ακόμη να είναι χρήσιμη όταν αναπτύσσεται το μοντέλο BERT σε κινητά τηλέφωνα.’

Οι συγγραφείς βρήκαν ότι τα μοντέλα BERT προκαλούν τη θερμοκρασία του CPU του τηλεφώνου Honor V30 να ανέβει στους 80° σε λιγότερο από 32 δευτερόλεπτα, και θα ενεργοποιήσουν τη θερμική ρύθμιση σε λιγότερο από έξι λεπτά δραστηριότητας. Έτσι, οι συγγραφείς χρησιμοποίησαν μόνο ημι-πλάτος μοντέλα BERT.

Τα πειράματα επαναλήφθηκαν στη συσκευή Raspberry PI, και η τεχνική ήταν επίσης σε θέση να αποτρέψει την ενεργοποίηση της θερμικής ρύθμισης σε αυτό το περιβάλλον. Ωστόσο, οι συγγραφείς σημειώνουν ότι η Raspberry PI δεν λειτουργεί υπό τις ίδιες ακραίες θερμικές περιορισμοί όπως ένα πυκνά συσκευασμένο smartphone, και φαίνεται να έχουν προσθέσει αυτή τη σειρά πειραμάτων ως μια επιπλέον απόδειξη της αποτελεσματικότητας της μεθόδου σε περιβάλλοντα επεξεργασίας με μέτριο εξοπλισμό.

Πρώτη δημοσίευση 23ης Ιουνίου 2022.