Η διά βίου μάθηση στη συσκευή πιο κοντά χάρη σε νέα τεχνική εκπαίδευσης

Μια ομάδα ερευνητών στο MIT και στο MIT-IBM Watson AI Lab ανέπτυξε μια νέα τεχνική που επιτρέπει την εκπαίδευση σε συσκευές χρησιμοποιώντας λιγότερο από ένα τέταρτο του μεγαμπάιτ μνήμης. Η νέα ανάπτυξη είναι ένα εντυπωσιακό επίτευγμα, καθώς άλλες λύσεις εκπαίδευσης συνήθως απαιτούν περισσότερα από 500 μεγαμπάιτ μνήμης, τα οποία υπερβαίνουν τη χωρητικότητα 256 κιλομπάιτ των περισσότερων μικροελεγκτών.

Με την εκπαίδευση ενός μοντέλου μηχανικής μάθησης σε μια έξυπνη συσκευή edge, το μοντέλο μπορεί να προσαρμοστεί σε νέα δεδομένα και να κάνει καλύτερες προβλέψεις. Ωστόσο, η διαδικασία εκπαίδευσης συνήθως απαιτεί πολλή μνήμη, οπότε συχνά πραγματοποιείται με υπολογιστές σε ένα κέντρο δεδομένων πριν από την ανάπτυξη του μοντέλου στη συσκευή. Αυτή η διαδικασία είναι πολύ πιο δαπανηρή και δημιουργεί προβλήματα ιδιωτικότητας σε σύγκριση με τη νέα τεχνική που ανέπτυξε η ομάδα.

Οι ερευνητές ανέπτυξαν τους αλγόριθμους και το πλαίσιο με τρόπο που μειώνει τον αριθμό των υπολογισμών που απαιτούνται για την εκπαίδευση ενός μοντέλου, καθιστώντας τη διαδικασία ταχύτερη και πιο αποδοτική σε μνήμη. Η τεχνική μπορεί να βοηθήσει στην εκπαίδευση ενός μοντέλου μηχανικής μάθησης σε έναν μικροελεγκτή σε λίγα μόνο λεπτά.

Η νέα τεχνική επίσης βοηθά στην ιδιωτικότητα, καθώς διατηρεί τα δεδομένα στη συσκευή, το οποίο είναι σημαντικό όταν εμπλέκονται ευαίσθητα δεδομένα. Ταυτόχρονα, το πλαίσιο βελτιώνει την ακρίβεια του μοντέλου σε σύγκριση με άλλες προσεγγίσεις.

Ο Song Han είναι αναπληρωτής καθηγητής στο Τμήμα Ηλεκτρικής Μηχανικής και Επιστήμης Υπολογιστών (EECS), μέλος του MIT-IBM Watson AI Lab και ανώτερος συγγραφέας της έρευνας.

«Η μελέτη μας επιτρέπει στις συσκευές IoT να μην πραγματοποιούν μόνο εξαγωγή συμπερασμάτων αλλά και να ενημερώνουν συνεχώς τα μοντέλα AI με νέα δεδομένα, ανοίγοντας τον δρόμο για τη δια βίου μάθηση στη συσκευή», είπε ο Han. «Η χαμηλή χρήση πόρων καθιστά τη βαθιά μάθηση πιο προσιτή και μπορεί να έχει ευρύτερη εμβέλεια, ιδιαίτερα για τις συσκευές edge με χαμηλή κατανάλωση ενέργειας».

Το έγγραφο περιελάμβανε τους συν-πρώτους συγγραφείς και υποψήφιους διδάκτορες του EECS Ji Lin και Ligeng Zhu, καθώς και τους μεταδιδάκτορες του MIT Wei-Ming Chen και Wei-Chen Wang. Περιελάμβανε επίσης τον Chuang Gan, ανώτερο στέλεχος του ερευνητικού προσωπικού στο MIT-IBM Watson AI Lab.

Κάνοντας τη Διαδικασία Εκπαίδευσης Πιο Αποδοτική

Για να κάνουν τη διαδικασία εκπαίδευσης πιο αποδοτική και λιγότερο απαιτητική σε μνήμη, η ομάδα βασίστηκε σε δύο αλγοριθμικές λύσεις. Η πρώτη είναι γνωστή ως αραιή ενημέρωση, η οποία χρησιμοποιεί έναν αλγόριθμο που αναγνωρίζει τα πιο σημαντικά βάρη για ενημέρωση κατά τη διάρκεια κάθε γύρου εκπαίδευσης. Ο αλγόριθμος παγώνει τα βάρη ένα-ένα μέχρι να πέσει η ακρίβεια σε ένα συγκεκριμένο όριο, στο οποίο σημείο σταματά. Τα υπόλοιπα βάρη ενημερώνονται και οι ενεργοποιήσεις που αντιστοιχούν στα παγωμένα βάρη δεν χρειάζεται να αποθηκευτούν στη μνήμη.

«Η ενημέρωση του ολόκληρου μοντέλου είναι πολύ δαπανηρή επειδή υπάρχουν πολλές ενεργοποιήσεις, οπότε οι άνθρωποι τείνουν να ενημερώνουν μόνο το τελευταίο στρώμα, αλλά όπως μπορείτε να φανταστείτε, αυτό βλάπτει την ακρίβεια», είπε ο Han. «Για τη μέθοδό μας, επιλεκτικά ενημερώνουμε τα σημαντικά βάρη και διασφαλίζουμε ότι η ακρίβεια είναι πλήρως διατηρημένη».

Η δεύτερη λύση που ανέπτυξε η ομάδα αφορά την κβαντισμένη εκπαίδευση και την απλοποίηση των βαρών. Ένας αλγόριθμος πρώτα στρογγυλοποιεί τα βάρη σε μόνο οκτώ bits μέσω μιας διαδικασίας κβαντισμού, η οποία επίσης μειώνει την ποσότητα μνήμης για εκπαίδευση και εξαγωγή συμπερασμάτων, με την εξαγωγή συμπερασμάτων να είναι η διαδικασία εφαρμογής ενός μοντέλου σε ένα σύνολο δεδομένων και παραγωγής μιας πρόβλεψης. Ο αλγόριθμος στη συνέχεια βασίζεται σε μια τεχνική που ονομάζεται κλιμάκωση με επίγνωση του κβαντισμού (QAS), η οποία λειτουργεί σαν ένας πολλαπλασιαστής για να προσαρμόσει τον λόγο μεταξύ βάρους και κλίσης. Αυτό βοηθά να αποφευχθεί οποιαδήποτε πτώση στην ακρίβεια που θα μπορούσε να προκύψει από την κβαντισμένη εκπαίδευση.

Οι ερευνητές ανέπτυξαν ένα σύστημα που ονομάζεται μικρή μηχανή εκπαίδευσης, το οποίο εκτελεί τις καινοτομίες των αλγορίθμων σε έναν απλό μικροελεγκτή που δεν διαθέτει λειτουργικό σύστημα. Για να ολοκληρώσει περισσότερο έργο στη φάση μεταγλώττισης, πριν από την ανάπτυξη του μοντέλου στη συσκευή, το σύστημα αλλάζει τη σειρά των βημάτων στη διαδικασία εκπαίδευσης.

«Μεταφέρουμε μεγάλο μέρος των υπολογισμών, όπως την αυτόματη παραγώγιση και τη βελτιστοποίηση του γράφου, στη φάση μεταγλώττισης. Επίσης, κόβουμε τους περιττούς τελεστές για να υποστηρίξουμε τις αραιές ενημερώσεις. Μόλις στη φάση εκτέλεσης, έχουμε πολύ λιγότερο έργο να κάνουμε στη συσκευή», λέει ο Han.

Πολύ Αποδοτική Τεχνική

Ενώ οι παραδοσιακές τεχνικές που σχεδιάστηκαν για ελαφριά εκπαίδευση συνήθως απαιτούσαν περίπου 300 έως 600 μεγαμπάιτ μνήμης, η βελτιστοποίηση της ομάδας χρειαζόταν μόνο 157 κιλομπάιτ για την εκπαίδευση ενός μοντέλου μηχανικής μάθησης σε έναν μικροελεγκτή.

Το πλαίσιο δοκιμάστηκε με την εκπαίδευση ενός μοντέλου οπτικής ανίχνευσης για την ανίχνευση ανθρώπων σε εικόνες, και έμαθε να ολοκληρώνει αυτή την εργασία σε μόλις 10 λεπτά. Η μέθοδος ήταν επίσης σε θέση να εκπαιδεύσει ένα μοντέλο περισσότερο από 20 φορές ταχύτερα από άλλες μεθόδους.

Οι ερευνητές θα εφαρμόσουν τις τεχνικές σε γλωσσικά μοντέλα και διαφορετικά είδη δεδομένων. Επίσης, θέλουν να χρησιμοποιήσουν αυτή τη γνώση για να μειώσουν μεγαλύτερα μοντέλα χωρίς απώλεια ακρίβειας, το οποίο θα μπορούσε επίσης να βοηθήσει στη μείωση του αποτυπώματος άνθρακα της εκπαίδευσης μεγάλης κλίμακας μοντέλων μηχανικής μάθησης.