Συνεχής Μάθηση Σε Συσκευές Μόνο Με Νέα Τεχνική Εκπαίδευσης

Μια ομάδα ερευνητών στο MIT και στο MIT-IBM Watson AI Lab ανέπτυξε μια νέα τεχνική που επιτρέπει την εκπαίδευση σε συσκευές χρησιμοποιώντας λιγότερο από ένα τέταρτο του μεγαμπάιτ μνήμης. Η νέα ανάπτυξη είναι ένα εντυπωσιακό επίτευγμα, καθώς άλλες λύσεις εκπαίδευσης συνήθως απαιτούν περισσότερα από 500 μεγαμπάιτ μνήμης, τα οποία υπερβαίνουν τη χωρητικότητα 256 κιλoμπάιτ των περισσότερων μικροελεγκτών.

Βάσει της εκπαίδευσης ενός μοντέλου μηχανικής μάθησης σε μια έξυπνη συσκευή, μπορεί να προσαρμοστεί σε νέα δεδομένα και να κάνει καλύτερες προβλέψεις. Με αυτό που έχει कहθεί, η διαδικασία εκπαίδευσης συνήθως απαιτεί πολλή μνήμη, οπότε συχνά πραγματοποιείται με υπολογιστές σε ένα κέντρο δεδομένων πριν από την ανάπτυξη του μοντέλου στη συσκευή. Αυτή η διαδικασία είναι πολύ πιο δαπανηρή και δημιουργεί προβλήματα ιδιωτικότητας σε σύγκριση με τη νέα τεχνική που ανέπτυξε η ομάδα.

Οι ερευνητές ανέπτυξαν τους αλγόριθμους και το πλαίσιο με τρόπο που μειώνει τον αριθμό των υπολογισμών που απαιτούνται για την εκπαίδευση ενός μοντέλου, καθιστώντας τη διαδικασία ταχύτερη και πιο αποδοτική σε μνήμη. Η τεχνική μπορεί να βοηθήσει στην εκπαίδευση ενός μοντέλου μηχανικής μάθησης σε einen μικροελεγκτή σε λίγα μόνο λεπτά.

Η νέα τεχνική επίσης βοηθά στην ιδιωτικότητα, καθώς διατηρεί τα δεδομένα στη συσκευή, το οποίο είναι σημαντικό όταν εμπλέκονται ευαίσθητα δεδομένα. Ταυτόχρονα, το πλαίσιο βελτιώνει την ακρίβεια του μοντέλου σε σύγκριση με άλλες προσεγγίσεις.

Ο Song Han είναι αναπληρωτής καθηγητής στο Τμήμα Ηλεκτρικής Μηχανικής και Επιστήμης Υπολογιστών (EECS), μέλος του MIT-IBM Watson AI Lab και старший συγγραφέας της έρευνας.

«Η μελέτη μας ermögνει στις συσκευές IoT να μην thựcτοποιούν μόνο ερμηνεία αλλά και να ενημερώνουν συνεχώς τα μοντέλα AI με νέα δεδομένα, ανοίγοντας τον δρόμο για τη συνεχή εκπαίδευση στη συσκευή», είπε ο Han. «Η χαμηλή χρήση πόρων καθιστά τη βαθιά μάθηση πιο προσιτή και μπορεί να έχει ευρύτερη εμβέλεια, ιδιαίτερα για τις συσκευές με χαμηλή κατανάλωση ενέργειας».

Το έγγραφο περιελάμβανε τους συν-πρώτους συγγραφείς και φοιτητές του EECS Ji Lin και Ligeng Zhu, καθώς και τους μεταδιδάκτορες του MIT Wei-Ming Chen και Wei-Chen Wang. Περιελάμβανε επίσης τον Chuang Gan, μέλος του ερευνητικού προσωπικού στο MIT-IBM Watson AI Lab.

Κάνωντας τη Διαδικασία Εκπαίδευσης Πιο Αποδοτική

Για να κάνουν τη διαδικασία εκπαίδευσης πιο αποδοτική και λιγότερο απαιτητική σε μνήμη, η ομάδα βασίστηκε σε δύο αλγοριθμικές λύσεις. Η πρώτη είναι γνωστή ως σπάνια ενημέρωση, η οποία χρησιμοποιεί έναν αλγόριθμο που αναγνωρίζει τα πιο σημαντικά βάρη για ενημέρωση κατά τη διάρκεια κάθε γύρου εκπαίδευσης. Ο αλγόριθμος παγώνει τα βάρη ένα-ένα μέχρι να πέσει η ακρίβεια σε ένα bestimmμένο όριο, στο οποίο σημείο σταματά. Τα υπόλοιπα βάρη ενημερώνονται και οι ενεργοποιήσεις που αντιστοιχούν στα παγωμένα βάρη δεν χρειάζεται να αποθηκευτούν στη μνήμη.

«Η ενημέρωση του ολόκληρου μοντέλου είναι πολύ δαπανηρή επειδή υπάρχει πολύ ενεργοποίηση, οπότε οι άνθρωποι tend να ενημερώνουν μόνο το τελευταίο στρώμα, αλλά όπως μπορείτε να φανταστείτε, αυτό βλάπτει την ακρίβεια», είπε ο Han. «Για τη μέθοδό μας, επιλεκτικά ενημερώνουμε τα σημαντικά βάρη και διασφαλίζουμε ότι η ακρίβεια είναι πλήρως διατηρημένη».

Η δεύτερη λύση που ανέπτυξε η ομάδα αφορά την ποσοτική εκπαίδευση και την απλοποίηση των βαρών. Ένας αλγόριθμος πρώτα στρογγυλοποιεί τα βάρη σε μόνο οκτώ bits μέσω μιας διαδικασίας ποσοτικοποίησης, η οποία επίσης μειώνει την ποσότητα μνήμης για εκπαίδευση και ερμηνεία, με την ερμηνεία να είναι η διαδικασία εφαρμογής ενός μοντέλου σε ένα σύνολο δεδομένων και γεννήτριας προβλέψεων. Ο αλγόριθμος στη συνέχεια βασίζεται σε μια τεχνική που ονομάζεται ποσοτικοποίηση-ευαίσθητη κλιμάκωση (QAS), η οποία λειτουργεί σαν ένας πολλαπλασιαστής για να điều chỉnh το λόγο μεταξύ βάρους και κλίσης. Αυτό βοηθά να αποφευχθεί οποιαδήποτε πτώση στην ακρίβεια που θα μπορούσε να προκύψει από την ποσοτική εκπαίδευση.

Οι ερευνητές ανέπτυξαν ένα σύστημα που ονομάζεται μικρός κινητήρας εκπαίδευσης, το οποίο εκτελεί τις καινοτομίες των αλγορίθμων σε έναν απλό μικροελεγκτή που λείπει από λειτουργικό σύστημα. Για να ολοκληρώσει περισσότερο έργο στη φάση συλλογής, πριν από την ανάπτυξη του μοντέλου στη συσκευή, το σύστημα αλλάζει τη σειρά των βημάτων στη διαδικασία εκπαίδευσης.

«Βάζουμε πολλή υπολογιστική δύναμη, όπως την αυτο-διαφοροποίηση και την βελτιστοποίηση του γράφου, στη φάση συλλογής. Επίσης, κόβουμε τους περιττούς χειριστές για να υποστηρίξουμε τις σπάνιες ενημερώσεις. Μόλις στη φάση εκτέλεσης, έχουμε πολύ λιγότερο έργο να κάνουμε στη συσκευή», λέει ο Han.

Πολύ Αποδοτική Τεχνική

Ενώ οι παραδοσιακές τεχνικές που σχεδιάστηκαν για ελαφριά εκπαίδευση συνήθως απαιτούσαν περίπου 300 έως 600 μεγαμπάιτ μνήμης, η βελτιστοποίηση της ομάδας χρειαζόταν μόνο 157 κιλoμπάιτ για την εκπαίδευση ενός μοντέλου μηχανικής μάθησης σε einen μικροελεγκτή.

Το πλαίσιο δοκιμάστηκε με την εκπαίδευση ενός μοντέλου οπτικής ανίχνευσης για την ανίχνευση ανθρώπων σε εικόνες, και μάθεινε να ολοκληρώνει αυτή τη εργασία σε μόλις 10 λεπτά. Η μέθοδος ήταν επίσης σε θέση να εκπαιδεύσει ένα μοντέλο περισσότερο από 20 φορές ταχύτερα από άλλες μεθόδους.

Οι ερευνητές θα εφαρμόσουν τις τεχνικές σε μοντέλα γλωσσών και διαφορετικά είδη δεδομένων. Επίσης, θέλουν να χρησιμοποιήσουν αυτή τη γνώση για να μειώσουν μεγαλύτερα μοντέλα χωρίς απώλεια ακρίβειας, το οποίο θα μπορούσε επίσης να βοηθήσει στη μείωση του αποτυπώματος άνθρακα της εκπαίδευσης μεγάλης κλίμακας μοντέλων μηχανικής μάθησης.