Μηχανικοί αναπτύσσουν ενεργειακά αποδοτική μέθοδο "Early Bird" για να εκπαιδεύσουν βαθιά νευρωνικά δίκτυα

Μηχανικοί στο Πανεπιστήμιο Rice ανέπτυξαν μια νέα μέθοδο για την εκπαίδευση των βαθιών νευρωνικών δικτύων (DNN) με ένα κλάσμα της ενέργειας που συνήθως απαιτείται. Τα DNN είναι η μορφή τεχνητής νοημοσύνης (AI) που διαδραματίζει βασικό ρόλο στην ανάπτυξη τεχνολογιών όπως τα αυτοοδηγούμενα αυτοκίνητα, οι έξυπνοι βοηθοί, η αναγνώριση προσώπου και άλλες εφαρμογές.

Το Early Bird περιγράφηκε λεπτομερώς ένα χαρτί στις 29 Απριλίου από ερευνητές από το Rice and Texas A&M University. Πραγματοποιήθηκε στο Διεθνές συνέδριο για τις μαθησιακές παραστάσεις, ή ICLR 2020. 

Οι κύριοι συγγραφείς της μελέτης ήταν ο Haoran You και ο Chaojian Li από το εργαστήριο του Rice's Efficient and Intelligent Computing (EIC). Σε μια μελέτη, έδειξαν πώς η μέθοδος θα μπορούσε να εκπαιδεύσει ένα DNN στο ίδιο επίπεδο και ακρίβεια με τις σημερινές μεθόδους, αλλά χρησιμοποιώντας 10.7 φορές λιγότερη ενέργεια. 

Επικεφαλής της έρευνας ήταν ο διευθυντής του εργαστηρίου EIC Yingyan Lin, ο Richard Baraniuk της Rice και ο Zhangyang Wang της Texas A&M. Άλλοι συν-συγγραφείς είναι οι Pengfei Xu, Yonggan Fu, Yue Wang και Xiaohan Chen. 

«Μια σημαντική κινητήρια δύναμη στις πρόσφατες ανακαλύψεις στην Τεχνητή Νοημοσύνη είναι η εισαγωγή μεγαλύτερων, πιο ακριβών DNN», δήλωσε ο Λιν. «Ωστόσο, η εκπαίδευση αυτών των DNN απαιτεί σημαντική ενέργεια. Για να αποκαλυφθούν περισσότερες καινοτομίες, είναι επιτακτική ανάγκη να βρεθούν «πιο οικολογικές» μέθοδοι εκπαίδευσης που να αντιμετωπίζουν τόσο τις περιβαλλοντικές ανησυχίες όσο και να μειώνουν τα οικονομικά εμπόδια στην έρευνα για την Τεχνητή Νοημοσύνη».

Ακριβά για την εκπαίδευση DNN

Μπορεί να είναι πολύ ακριβό η εκπαίδευση των καλύτερων DNN στον κόσμο και η τιμή συνεχίζει να αυξάνεται. Το 2019, μια μελέτη με επικεφαλής το Ινστιτούτο Άλεν για την Τεχνητή Νοημοσύνη στο Σιάτλ διαπίστωσε ότι για να εκπαιδευτεί ένα κορυφαίο βαθύ νευρωνικό δίκτυο, απαιτούνται 300,000 φορές περισσότεροι υπολογισμοί σε σύγκριση με το 2012-2018. Μια άλλη μελέτη του 2019, αυτή τη φορά με επικεφαλής ερευνητές στο Πανεπιστήμιο της Μασαχουσέτης Άμχερστ, διαπίστωσε ότι με την εκπαίδευση ενός μόνο, ελίτ DNN, απελευθερώνεται περίπου η ίδια ποσότητα εκπομπών διοξειδίου του άνθρακα με πέντε αυτοκίνητα των ΗΠΑ. 

Προκειμένου τα DNN να εκτελούν τις εξαιρετικά εξειδικευμένες εργασίες τους, αποτελούνται από τουλάχιστον εκατομμύρια τεχνητούς νευρώνες. Είναι σε θέση να μάθουν πώς να παίρνουν αποφάσεις, μερικές φορές ξεπερνώντας τους ανθρώπους, παρατηρώντας μεγάλο αριθμό παραδειγμάτων. Μπορούν να το κάνουν αυτό χωρίς να χρειάζονται ρητό προγραμματισμό. 

Κλαδέψτε και Εκπαιδεύστε

Ο Lin είναι επίκουρος καθηγητής ηλεκτρολογίας και μηχανικής υπολογιστών στο Rice's Brown School of Engineering. 

«Ο πιο σύγχρονος τρόπος για την εκτέλεση εκπαίδευσης DNN ονομάζεται προοδευτικό κλάδεμα και εκπαίδευση», είπε ο Lin. «Πρώτα, εκπαιδεύετε ένα πυκνό, γιγάντιο δίκτυο και στη συνέχεια αφαιρείτε μέρη που δεν φαίνονται σημαντικά — όπως το κλάδεμα ενός δέντρου. Στη συνέχεια, επανεκπαιδεύετε το κλαδεμένο δίκτυο για να αποκαταστήσετε την απόδοση, επειδή η απόδοση υποβαθμίζεται μετά το κλάδεμα. Και στην πράξη, πρέπει να κλαδεύετε και να επανεκπαιδεύετε πολλές φορές για να έχετε καλή απόδοση».

Αυτή η μέθοδος χρησιμοποιείται αφού δεν χρειάζονται όλοι οι τεχνητοί νευρώνες για την ολοκλήρωση της εξειδικευμένης εργασίας. Οι συνδέσεις μεταξύ των νευρώνων ενισχύονται λόγω της εκπαίδευσης και άλλοι μπορούν να απορριφθούν. Αυτή η μέθοδος κλαδέματος μειώνει το υπολογιστικό κόστος και μειώνει το μέγεθος του μοντέλου, γεγονός που καθιστά τα πλήρως εκπαιδευμένα DNN πιο προσιτά. 

«Το πρώτο βήμα, η εκπαίδευση του πυκνού, γιγαντιαίου δικτύου, είναι το πιο ακριβό», είπε ο Λιν. «Η ιδέα μας σε αυτή την εργασία είναι να εντοπίσουμε το τελικό, πλήρως λειτουργικό, κλαδεμένο δίκτυο, το οποίο ονομάζουμε «εισιτήριο πρόωρου πουλιού», στο αρχικό στάδιο αυτού του δαπανηρού πρώτου βήματος».

Οι ερευνητές το κάνουν αυτό αναζητώντας βασικά μοτίβα συνδεσιμότητας δικτύου και μπόρεσαν να ανακαλύψουν αυτά τα πρώιμα εισιτήρια. Αυτό τους επέτρεψε να επιταχύνουν την εκπαίδευση DNN. 

Early Bird στην Αρχική Φάση της Εκπαίδευσης

Ο Lin και οι άλλοι ερευνητές ανακάλυψαν ότι το Early Bird θα μπορούσε να εμφανιστεί στο ένα δέκατο ή λιγότερο στην αρχική φάση της εκπαίδευσης. 

«Η μέθοδός μας μπορεί να αναγνωρίσει αυτόματα εισιτήρια για πρώιμο πουλάκι εντός του πρώτου 10% ή λιγότερο της εκπαίδευσης των πυκνών, γιγάντων δικτύων», είπε ο Λιν. "Αυτό σημαίνει ότι μπορείτε να εκπαιδεύσετε ένα DNN για να επιτύχετε την ίδια ή ακόμα καλύτερη ακρίβεια για μια δεδομένη εργασία στο 10% ή λιγότερο του χρόνου που απαιτείται για την παραδοσιακή εκπαίδευση, κάτι που μπορεί να οδηγήσει σε εξοικονόμηση σε περισσότερες από μία παραγγελίες τόσο στον υπολογισμό όσο και στην ενέργεια."

Εκτός από το ότι είναι ταχύτεροι και πιο ενεργειακά αποδοτικοί, οι ερευνητές επικεντρώνονται έντονα στις περιβαλλοντικές επιπτώσεις. 

«Στόχος μας είναι να κάνουμε την τεχνητή νοημοσύνη πιο φιλική προς το περιβάλλον και πιο περιεκτική», είπε. «Το τεράστιο μέγεθος των πολύπλοκων προβλημάτων τεχνητής νοημοσύνης έχει κρατήσει μακριά τους μικρότερους παίκτες. Η πράσινη τεχνητή νοημοσύνη μπορεί να ανοίξει την πόρτα δίνοντας τη δυνατότητα στους ερευνητές με φορητό υπολογιστή ή περιορισμένους υπολογιστικούς πόρους να εξερευνήσουν τις καινοτομίες της τεχνητής νοημοσύνης».

Η έρευνα έλαβε υποστήριξη από το Εθνικό Ίδρυμα Επιστημών.