Μηχανικοί Ανάπτυξαν Ενεργειακά Αποδοτικό Μέθοδο “Early Bird” για την Εκπαίδευση Βαθιάς Νευρωνικής Δικτύου

Οι μηχανικοί στο Πανεπιστήμιο Rice έχουν αναπτύξει eine νέα μέθοδο για την εκπαίδευση βαθιάς νευρωνικής δικτύου (DNN) με ένα κλάσμα της ενέργειας που απαιτείται συνήθως. Τα DNN είναι η μορφή της τεχνητής νοημοσύνης (AI) που играє einen κρίσιμο ρόλο στην ανάπτυξη τεχνολογιών όπως τα αυτονομικά οχήματα, οι έξυπνοι βοηθοί, η αναγνώριση προσώπου και άλλες εφαρμογές.

Το Early Bird περιγράφηκε σε eine εργασία στις 29 Απριλίου από ερευνητές από το Rice και το Πανεπιστήμιο Texas A&M. Πραγματοποιήθηκε στη Διεθνή Διάσκεψη για την Εκμάθηση Αναπαραστάσεων, ή ICLR 2020.

Οι κύριοι συγγραφείς της μελέτης ήταν οι Haoran You και Chaojian Li από το Εργαστήριο Αποδοτικής και Ευφυούς Υπολογιστικής (EIC) του Rice. Σε μια μελέτη, έδειξαν πώς η μέθοδος μπορούσε να εκπαιδεύσει ένα DNN στο ίδιο επίπεδο και ακρίβεια με τις μεθόδους σήμερα, αλλά χρησιμοποιώντας 10,7 φορές λιγότερη ενέργεια.

Η έρευνα ήταν υπό την ηγεσία του διευθυντή του Εργαστηρίου EIC, Yingyan Lin, του Richard Baraniuk του Rice και του Zhangyang Wang του Texas A&M. Άλλοι συν-συγγραφείς περιλαμβάνουν τους Pengfei Xu, Yonggan Fu, Yue Wang και Xiaohan Chen.

“Eine κύρια độngική δύναμη στις πρόσφατες επιτυχίες της AI είναι η εισαγωγή μεγαλύτερων, πιο ακριβών DNN”, είπε ο Lin. “Αλλά η εκπαίδευση αυτών των DNN απαιτεί σημαντική ενέργεια. Για περισσότερες καινοτομίες να ανακαλυφθούν, είναι απαραίτητο να βρεθούν ‘πράσινες’ μεθόδους εκπαίδευσης που αντιμετωπίζουν περιβαλλοντικά προβλήματα και μειώνουν τα οικονομικά εμπόδια της έρευνας AI”.

Ακριβό για την Εκπαίδευση DNN

Μπορεί να είναι πολύ ακριβό να εκπαιδεύσει τα καλύτερα DNN του κόσμου, και το κόστος συνεχίζει να αυξάνεται. Το 2019, μια μελέτη υπό την ηγεσία του Ινστιτούτου Allen για την AI στο Σιάτλ βρήκε ότι για να εκπαιδεύσει ένα κορυφαίο βαθύ νευρωνικό δίκτυο, χρειάζονται 300.000 φορές περισσότερες υπολογισμοί σε σύγκριση με το 2012-2018. Eine άλλη μελέτη του 2019, αυτή τη φορά υπό την ηγεσία ερευνητών στο Πανεπιστήμιο του Massachusetts Amherst, βρήκε ότι με την εκπαίδευση ενός単ικού, ελίτ DNN, περίπου η ίδια ποσότητα εκπομπών διοξείδιου του άνθρακα απελευθερώνεται όπως πέντε οχήματα των ΗΠΑ.

Για τα DNN να εκτελέσουν τις εξειδικευμένες εργασίες τους, αποτελούνται από τουλάχιστον εκατομμύρια τεχνητά νευρώνες. Είναι ικανά να μαθαίνουν πώς να λαμβάνουν αποφάσεις, đôi φορές υπερβαίνοντας τους ανθρώπους, παρατηρώντας μεγάλο αριθμό παραδειγμάτων. Μπορούν να το κάνουν αυτό χωρίς να χρειάζονται ρητή προγραμματισμό.

Κόψτε και Εκπαιδεύστε

Ο Lin είναι βοηθός καθηγητής ηλεκτρικού και υπολογιστικού μηχανικού στο Σχολείο Μηχανικής Brown του Rice.

“Ο τρόπος εκτέλεσης της εκπαίδευσης DNN είναι ο λεγόμενος προοδευτικός κόψιμος και εκπαίδευση”, είπε ο Lin. “Πρώτα, εκπαιδεύετε ένα πυκνό, γιγαντιαίο δίκτυο,然后 αφαιρείτε τα μέρη που δεν φαίνονται σημαντικά — όπως το κόψιμο ενός δέντρου. Sonra, επανα-εκπαιδεύετε το κομμένο δίκτυο για να αποκαταστήσετε την απόδοση, επειδή η απόδοση χειροτερεύει μετά το κόψιμο. Και στην πράξη, χρειάζεται να κόψετε και να επανα-εκπαιδεύσετε πολλές φορές για να πάρει καλή απόδοση”.

Αυτή η μέθοδος χρησιμοποιείται επειδή δεν χρειάζονται όλα τα τεχνητά νευρώνες για την ολοκλήρωση της εξειδικευμένης εργασίας. Οι συνδέσεις μεταξύ των νευρώνων ενισχύονται λόγω της εκπαίδευσης και άλλα μπορεί να απορριφθούν. Αυτή η μέθοδος κόψιμου μειώνει το κόστος υπολογισμού και μειώνει το μέγεθος του μοντέλου, καθιστώντας τα πλήρως εκπαιδευμένα DNN πιο προσιτά.

“Ο πρώτος βήμα, η εκπαίδευση του πυκνού, γιγαντιαίου δικτύου, είναι ο πιο ακριβός”, είπε ο Lin. “Η ιδέα μας σε αυτή τη δουλειά είναι να αναγνωρίσουμε το τελικό, πλήρως λειτουργικό κομμένο δίκτυο, το οποίο ονομάζουμε ‘early-bird ticket’, στην αρχική φάση αυτού του ακριβού πρώτου βήματος”.

Οι ερευνητές το κάνουν αυτό αναζητώντας κρίσιμους σχηματισμούς συνδεσιμότητας δικτύου και ήταν σε θέση να ανακαλύψουν αυτά τα early-bird tickets. Αυτό τους επέτρεψε να επιταχύνουν την εκπαίδευση DNN.

Early Bird στην Αρχική Φάση της Εκπαίδευσης

Ο Lin και οι άλλοι ερευνητές βρήκαν ότι το Early Bird μπορεί να εμφανιστεί ένα δέκατο ή λιγότερο από την αρχική φάση της εκπαίδευσης.

“Η μέθοδος μας μπορεί να αναγνωρίσει αυτόματα early-bird tickets εντός του πρώτου 10% ή λιγότερο της εκπαίδευσης των πυκνών, γιγαντιαίων δικτύων”, είπε ο Lin. “Αυτό σημαίνει ότι μπορείτε να εκπαιδεύσετε ένα DNN για να επιτύχετε την ίδια ή ακόμη και καλύτερη ακρίβεια για μια δεδομένη εργασία σε περίπου 10% ή λιγότερο του χρόνου που απαιτείται για την παραδοσιακή εκπαίδευση, το οποίο μπορεί να οδηγήσει σε περισσότερες από μία τάξη εξοικονόμησης τόσο σε υπολογισμό όσο και σε ενέργεια”.

Εκτός από το ότι είναι ταχύτερη και πιο ενεργειακά αποδοτική, οι ερευνητές έχουν einen ισχυρό εστιασμό στην περιβαλλοντική επίδραση.

“Ο στόχος μας είναι να κάνουμε την AI και πιο περιβαλλοντικά φιλική και πιο περιεκτική”, είπε. “Το μέγεθος των σύνθετων προβλημάτων AI έχει κρατήσει έξω μικρότερους παίκτες. Η πράσινη AI μπορεί να ανοίξει την πόρτα, επιτρέποντας στους ερευνητές με einen laptop ή περιορισμένες υπολογιστικές πόρους να εξερευνήσουν καινοτομίες AI”.

Η έρευνα έλαβε υποστήριξη από το Εθνικό Ίδρυμα Επιστημών.