Οι GPU μπορεί να είναι καλύτερα, όχι μόνο ταχύτερα, στην εκπαίδευση βαθιών νευρωνικών δικτύων

Ερευνητές από την Πολωνία και την Ιαπωνία, που εργάζονται με τη Sony, έχουν βρει ενδείξεις ότι τα συστήματα μηχανικής μάθησης που εκπαιδεύονται σε GPU αντί για CPU μπορεί να περιέχουν λιγότερα λάθη κατά τη διαδικασία εκπαίδευσης και να παράγουν υπεροχή αποτελέσματα, αντίθετα με την κοινή κατανόηση ότι τα GPU thực hiện τέτοιες λειτουργίες μόνο ταχύτερα και όχι καλύτερα.

Η έρευνα, με τίτλο Επίδραση της αβεβαιότητας του GPU στην εκπαίδευση προβλεπτικών βαθιών νευρωνικών δικτύων, προέρχεται από το Τμήμα Ψυχολογίας και Γνωστικών Επιστημών του Πανεπιστημίου Αδάμ Μιτσκιέβιτς και δύο ιαπωνικά πανεπιστήμια, μαζί με τα Εργαστήρια Επιστήμης Υπολογιστών της Sony.

Η μελέτη υποδηλώνει ότι οι ‘αβεβαιότητες’ που παρουσιάζουν τα βαθιά νευρωνικά δίκτυα στην περίπτωση διαφόρων υλικών και λογισμικών ρυθμίσεων ευνοούν περισσότερο τις ακριβότερες (και περισσότερο σπάνιες) μονάδες επεξεργασίας γραφικών, και βρήκαν σε δοκιμές ότι ένα βαθύ νευρωνικό δίκτυο που εκπαιδεύτηκε αποκλειστικά σε CPU παρήγαγε υψηλότερους ρυθμούς σφαλμάτων κατά τη διάρκεια του ίδιου αριθμού επαναλήψεων (ο αριθμός των φορών που το σύστημα επεξεργάζεται τα δεδομένα εκπαίδευσης κατά τη διάρκεια μιας συνεδρίας).

Σε αυτό το συμπληρωματικό παράδειγμα από το έγγραφο, βλέπουμε (κατώτερες δύο σειρές), παρόμοια ποιότητα αποτελεσμάτων που λαμβάνονται από eine ποικιλία GPU, και (πρώτη σειρά), τα κατώτερα αποτελέσματα που λαμβάνονται από μια σειρά από άλλως ικανά CPU. Πηγή: https://arxiv.org/pdf/2109.01451.pdf

Παράξενα Φαινόμενα

Αυτές οι προκαταρκτικές ευρήματα δεν ισχύουν ομοιόμορφα σε όλα τα δημοφιλή αλγόριθμοι μηχανικής μάθησης, και στην περίπτωση απλών αρχιτεκτονημάτων autoencoder, το φαινόμενο δεν εμφανίζεται.

Ωστόσο, η εργασία υποδηλώνει μια πιθανή ‘ταχύτητα απόδρασης’ για την αποτελεσματικότητα της εκπαίδευσης σε σύνθετα νευρωνικά δίκτυα, όπου η κάλυψη των ίδιων λειτουργιών σε χαμηλότερη ταχύτητα και μεγαλύτερο χρόνο εκπαίδευσης δεν επιτυγχάνει την ισότητα της απόδοσης που θα αναμενόταν από τις μαθηματικές εναλλαγές.

Οι ερευνητές προτείνουν ότι αυτή η απόκλιση της απόδοσης μπορεί να είναι ιδιαίτερη για certains τύπους νευρωνικών δικτύων, και ότι οι αδιευκρίνιστες πτυχές της επεξεργασίας που είναι ιδιαίτερες για τα GPU, συχνά θεωρούνται ως εμπόδιο που θα πρέπει να υπερπηδηθεί, μπορεί να προσφέρουν σημαντικά οφέλη, αλλά θα μπορούσαν επίσης να ενσωματωθούν σκόπιμα σε μεταγενέστερα συστήματα. Το έγγραφο επίσης προτείνει ότι τα ευρήματα θα μπορούσαν να προσφέρουν βαθύτερες γνώσεις για την επεξεργασία που σχετίζεται με τον εγκέφαλο.

Η ταυτοποίηση των ιδιαιτεροτήτων που αυξάνουν την αποτελεσματικότητα και την ποιότητα των αποτελεσμάτων με αυτόν τον τρόπο στα GPU έχει τη δυνατότητα να προσφέρει μια βαθύτερη γνώση για τις ‘μαύρες κουτί’ αρχιτεκτονικές AI, και ακόμη και για την βελτίωση της απόδοσης των CPU – αν και προς το παρόν, οι υποκείμενες αιτίες είναι δυσχερείς.

Autoencoder Vs. PredNet

Στη μελέτη των ανωμαλιών, οι ερευνητές χρησιμοποίησαν ένα βασικό autoencoder και επίσης το Προβλεπτικό Νευρωνικό Δίκτυο του Πανεπιστημίου Χάρβαρντ PredNet, έρευνα από το 2016 που σχεδιάστηκε για να εξερευνήσει και να προσπαθήσει να αναπαράγει τη συμπεριφορά του ανθρώπινου εγκεφάλου.

Και τα δύο συστήματα είναι βαθιά νευρωνικά δίκτυα που σχεδιάστηκαν για να συνθέτουν κατάλληλες εικόνες μέσω μη επιτηρούμενης μάθησης (με δεδομένα από τα οποία οι ετικέτες είχαν παραλειφθεί), αν και το autoencoder αντιμετωπίζει γραμμικά μια εικόνα ανά批, η οποία θα παράγει μια έξοδο ως την επόμενη εικόνα σε μια επαναλαμβανόμενη διαδικασία. Το autoencoder εκπαιδεύτηκε στο MNIST βάση δεδομένων γραφής χεριού.

Το autoencoder στις δοκιμές των ερευνητών εκπαιδεύτηκε στο MNIST βάση δεδομένων, η οποία αποτελείται από 60.000 εικόνες εκπαίδευσης σε 28×28 pixels, anti-aliased για induction σε κλίμακα του γκρι, καθώς και 10.000 εικόνες δοκιμής.

Αντίθετα, το PredNet αξιολογεί σύνθετα βίντεο εισόδου, και στην περίπτωση αυτής της έρευνας, εκπαιδεύτηκε στο FPSI dataset, το οποίο περιλαμβάνει εκτεταμένα βίντεο που καταγράφονται από σώματα σε μια μέρα στο Disney World στην Ορλάντο, Φλόριντα (η Disney ήταν ένας από τους συνεταίρους της έρευνας το 2012).

Σειρές εικόνων από το FPSI, δείχνοντας πρώτες προοπτικές σε μια μέρα στο Disney World.

Τα δύο αρχιτεκτονικά είναι πολύ διαφορετικά όσον αφορά τη σύνθετη πολυπλοκότητα. Το autoencoder σχεδιάστηκε για να αναπαράγει εικόνες αντί να προβλέπει στόχους. Αντίθετα, το PredNet έχει τέσσερις στρώσεις, καθεμία από τις οποίες αποτελείται από νευρώνες αναπαράστασης που χρησιμοποιούν συνελικτική μακράς διαρκείας μνήμη (LSTM).

Οι στρώσεις εξόδου προβλέπουν”context” που συγκρίνονται με ένα στόχο για να παράγουν einen όρο σφάλματος που διαδίδεται σε όλο το δίκτυο. Και τα δύο μοντέλα χρησιμοποιούν μη επιτηρούμενη μάθηση.

Η απλή, γραμμική αρχιτεκτονική του autoencoder, και το πιο λαβυρινθώδες και αναδρομικό δίκτυο του PredNet.

Και τα δύο συστήματα δοκιμάστηκαν σε μια σειρά από υλικές και λογισμικές ρυθμίσεις, συμπεριλαμβανομένων CPU χωρίς GPU (Intel i5-4590, i7-6800K, i5-7600K, ή AMD Ryzen-5-3600) και CPU με GPU (Intel i5-7600K + NVIDIA GTX-750Ti, i5-7600K + GTX-970, i7-6700K + GTX-1080, i7-7700K + GTX-1080Ti, i7-9700 + RTX-2080Ti, i5-7600K + RTX-2060 super, AMD Ryzen-5-3600 + RTX-2070 super, ή i5-9400 + Titan-RTX).

Η διαδραστική προβολή διαδικασίας htop χρησιμοποιήθηκε για να διασφαλιστεί ότι όλες οι δοκιμές πραγματοποιήθηκαν είτε σε ένα μόνο νήμα (σε ένα Intel i7-6800K), σε τέσσερα νήματα (σε ένα Intel i5-4590 και i5-7600K), ή σε έξι νήματα (σε ένα AMD Ryzen-5-3600).

Σημεία Ιππασίας

Στο autoencoder, η μέση διαφορά σε όλες τις ρυθμίσεις, με και χωρίς cuDNN, δεν ήταν σημαντική. Για το PredNet, τα αποτελέσματα ήταν πιο εκπληκτικά, με αξιοσημείωτες διαφορές στην αξιολόγηση της απώλειας και της ποιότητας μεταξύ CPU και GPU εκπαίδευσης.

Τα μέσα αποτελέσματα απώλειας για την εκπαίδευση του PredNet σε τέσσερις CPU και οκτώ GPU, με το δίκτυο εκπαιδευμένο σε 5000 καρέ βίντεο σε 250 δόσεις, με μέσο όρο απώλειας για τα τελευταία 1000 καρέ (50 δόσεις) που απεικονίζονται. Το cuDNN ήταν απενεργοποιημένο.

Οι ερευνητές καταλήγουν στο συμπέρασμα ότι ‘Αν και ο μηχανισμός είναι ασαφής, το υλικό του GPU φαίνεται να έχει τη δυνατότητα να προωθήσει την εκπαίδευση των DNN.’

Τα αποτελέσματα δείχνουν ότι τα GPU μπορεί να είναι καλύτερα στην αποφυγή σημείων ιππασίας – τις περιοχές σε μια καθοδική κλίση που περιγράφουν το κάτω μέρος μιας κλίσης.

Το χαμηλότερο σημείο των κλίσεων σε μια καθοδική κλίση είναι το ‘σημείο ιππασίας’, που ονομάζεται για σαφείς λόγους. Πηγή: https://www.pinterest.com.au/pin/436849232581124086/

Τα σημεία ιππασίας, αν και είναι ένα εμπόδιο, έχουν απορριφθεί ως εύκολα να υπερπηδηθούν σε πρόσφατες σκέψεις για την βελτιστοποίηση της τυχαίας καθοδικής κλίσης (SGD), αλλά η νέα μελέτη προτείνει όχι μόνο ότι τα GPU μπορεί να είναι μοναδικά εξοπλισμένα για να αποφύγουν αυτά τα σημεία, αλλά ότι η επίδραση των σημείων ιππασίας θα πρέπει ίσως να επανεξεταστεί.