Η έρευνα της Google ανακαλύπτει ένα εμπόδιο στις υπερκλίμακες προσεγγίσεις του AI

Μια νέα μελέτη από την έρευνα της Google υποδηλώνει ότι η τρέχουσα τάση για τη δημιουργία πολύ μεγάλων συνόλων δεδομένων μπορεί να είναι αντίθετη με την ανάπτυξη αποτελεσματικών συστημάτων τεχνητής νοημοσύνης. Στην πραγματικότητα, η έρευνα δείχνει ότι καλύτερα προϊόντα μηχανικής μάθησης μπορεί να προκύψουν από την εκπαίδευση σε λιγότερο ακριβή (δηλαδή τεχνικά “χειρότερα”) συνόλου δεδομένων.

Εάν οι αρχές που αποκτήθηκαν από τους ερευνητές είναι έγκυρες, αυτό σημαίνει ότι τα “υπερκλίμακα” συνόλου δεδομένων, όπως το πρόσφατα κυκλοφορημένο LAION-400M (το οποίο περιέχει 400 εκατομμύρια ζευγάρια κειμένου/εικόνας) και τα δεδομένα πίσω από τον νευρωνικό κινητήρα γλώσσας GPT-3 (περιέχοντας 175 δισεκατομμύρια παραμέτρους), είναι πιθανό να υπόκεινται σε ένα είδος “θερμικού ορίου” στις παραδοσιακές και δημοφιλείς αρχιτεκτονικές και μεθοδολογίες της μηχανικής μάθησης, όπου ο απίστευτος όγκος δεδομένων “ισχύει” τις εφαρμογές και τις εμποδίζει να γενικεύουν με einen χρήσιμο τρόπο.

Οι ερευνητές προτείνουν επίσης εναλλακτικές μεθόδους για να ξανασκέφτουν την αρχιτεκτονική του υπερκλίμακα συνόλου δεδομένων, για να αποκαταστήσουν την ανισορροπία.

Η μελέτη αναφέρει:

‘Πηγαίνοντας πιο sâu για να κατανοήσουμε τους λόγους που οδηγούν σε αυτά τα φαινόμενα, δείχνουμε ότι η συμπεριφορά κορεσμού που παρατηρούμε είναι στενά συνδεδεμένη με τον τρόπο που οι αναπαραστάσεις εξελίσσονται μέσω των στρωμάτων των μοντέλων. Παρουσιάζουμε ένα ακόμη πιο ακραίο σценάριο όπου η απόδοση του αντίστροφου και του κατωτέρω είναι σε αντίθεση με την απόδοση του πάνω και του κάτω. Δηλαδή, για να έχουμε καλύτερη απόδοση του κατωτέρου, πρέπει να βλάψουμε την ακρίβεια του αντίστροφου.’

Η μελέτη έχει τον τίτλο Exploring the Limits of Large Scale Pre-training και προέρχεται από τέσσερις συγγραφείς της έρευνας της Google.

Ερευνώντας τον ‘Κορεσμό’

Οι συγγραφείς αμφισβητούν τις κυρίαρχες υποθέσεις των σχέσεων μεταξύ της μηχανικής μάθησης και των δεδομένων στην εποχή των υπερκλίμακων δεδομένων: ότι η κλίμακα των μοντέλων και του μεγέθους των δεδομένων βελτιώνει σημαντικά την απόδοση (μια πεποίθηση που έχει ενισχυθεί από την υπεραπάντηση για τον GPT-3 από την κυκλοφορία του); και ότι αυτή η βελτιωμένη απόδοση “περνά” στις κατωτέρω εργασίες με έναν γραμμικό (δηλαδή επιθυμητό) τρόπο, ώστε οι αλγόριθμοι που τελικά κυκλοφορούν στην αγορά, που προέρχονται από τα αλλιώς ακαταμάχητα μεγάλα συνόλου δεδομένων και τα μη αποσταλμένα εκπαιδευμένα μοντέλα, να ωφελούνται πλήρως από τις γνώσεις των πλήρως μεγεθυσμένων, αντίστροφων αρχιτεκτονικών.

‘Αυτές οι απόψεις,’ σημειώνουν οι ερευνητές ‘δείχνουν ότι η δαπάνη υπολογιστικών πόρων και της ερευνητικής προσπάθειας για τη βελτίωση της απόδοσης σε ένα τεράστιο σώμα θα αποδίδει, γιατί αυτό θα μας επέτρεπε να λύσουμε πολλές κατωτέρω εργασίες σχεδόν δωρεάν.’

Αλλά η μελέτη υποστηρίζει ότι η έλλειψη υπολογιστικών πόρων και οι επόμενες “οικονομικές” μεθόδους της αξιολόγησης των μοντέλων συμβάλλουν σε μια ψευδή εντύπωση για τη δυναμική των σχέσεων μεταξύ του όγκου δεδομένων και των χρήσιμων συστημάτων AI. Οι συγγραφείς αναφέρουν αυτήν την συνήθεια ως “μια σημαντική ελλείψη”, поскольку η ερευνητική κοινότητα συνήθως υποθέτει ότι οι τοπικές (θετικές) αποτελέσματα θα μεταφραστούν σε χρήσιμες μεταγενέστερες εφαρμογές:

‘[Λόγω] των περιορισμών υπολογισμού, η απόδοση για διαφορετικές επιλογές των παραμέτρων του υπερ-παραμέτρου δεν αναφέρεται. Οι γραφικές παραστάσεις φαίνονται πιο ευνοϊκές εάν ο υπερ-παράμετρος που επιλέγεται για κάθε κλίμακα είναι σταθερός ή καθορίζεται από μια απλή συνάρτηση κλίμακας.’

Οι ερευνητές αναφέρουν επίσης ότι πολλές μελέτες κλίμακας μετρώνονται όχι σε απόλυτες κλίμακες, αλλά ως τακτικές βελτιώσεις έναντι του state-of-the-art (SotA), παρατηρώντας ότι “δεν υπάρχει λόγος, a priori, για την κλίμακα να ισχύει έξω από το μελετημένο εύρος”.

Προ-εκπαίδευση

Η μελέτη αναφέρεται στην πρακτική της “προ-εκπαίδευσης”, ενός μέτρου που σχεδιάστηκε για να σώσει υπολογιστικούς πόρους και να μειώσει τους χρόνους που απαιτούνται για την εκπαίδευση ενός μοντέλου σε μεγάλα δεδομένα από το μηδέν. Τα σναπσότ της προ-εκπαίδευσης χειρίζονται τα “ABC” του τρόπου που τα δεδομένα μέσα σε ένα τομέα θα γενικεύονται κατά την εκπαίδευση, και χρησιμοποιούνται συνήθως σε eine ποικιλία τομέων και ειδικοτήτων της μηχανικής μάθησης, από την επεξεργασία φυσικής γλώσσας (NLP) μέχρι τα deepfakes.

Προηγούμενες ακαδημαϊκές έρευνες έχουν βρει ότι η προ-εκπαίδευση μπορεί να βελτιώσει σημαντικά την αντοχή και την ακρίβεια του μοντέλου, αλλά η νέα μελέτη υποδηλώνει ότι η πολυπλοκότητα των χαρακτηριστικών, ακόμη και σε σχετικά σύντομες προ-εκπαιδευτικές προτυπώσεις, μπορεί να είναι πιο полезной εάν μεταφερθεί σε μεταγενέστερες διαδικασίες στη διαδικασία.

Ωστόσο, αυτό δεν μπορεί να συμβεί εάν οι ερευνητές συνεχίσουν να εξαρτώνται από προ-εκπαιδευμένα μοντέλα που χρησιμοποιούν την τρέχουσα καλύτερη πρακτική στην εφαρμογή των ρυθμών μάθησης, τα οποία, σύμφωνα με την έρευνα, μπορούν να επηρεάσουν σημαντικά την τελική ακρίβεια των τελικών εφαρμογών της εργασίας. Σε αυτό το πλαίσιο, οι συγγραφείς σημειώνουν ότι “δεν μπορούμε να ελπίσουμε να βρούμε ένα προ-εκπαιδευμένο σημείο που να λειτουργεί καλά σε όλες τις δυνατές κατωτέρω εργασίες”.

Η Μελέτη

Για να καθορίσουν την επίδραση του κορεσμού, οι συγγραφείς διεξήγαγαν 4800 πειράματα σε Vision Transformers, ResNets και MLP-Mixers, κάθε一个 με διαφορετικό αριθμό παραμέτρων, από 10 εκατομμύρια έως 10 δισεκατομμύρια, όλα εκπαιδευμένα στα μεγαλύτερα συνόλου δεδομένων που είναι διαθέσιμα στους αντίστοιχους τομείς, συμπεριλαμβανομένων ImageNet21K και του JFT-300M της Google.

Τα αποτελέσματα, σύμφωνα με τη μελέτη, δείχνουν ότι η ποικιλία των δεδομένων πρέπει να θεωρηθεί ως ένας επιπλέον άξονας όταν προσπαθούμε να “κλιμακώσουμε” τα δεδομένα, τις παραμέτρους του μοντέλου και τον χρόνο υπολογισμού. Όπως είναι τώρα, η έντονη συγκέντρωση των πόρων εκπαίδευσης (και της προσοχής των ερευνητών) στο αντίστροφο τμήμα της πipeline του AI είναι αποτελεσματικά βόμβαρδη με μια καταιγίδα παραμέτρων μέχρι ένα σημείο “κορεσμού”, μειώνοντας την ικανότητα των αναπτυγμένων αλγορίθμων να πλοηγηθούν μέσα από χαρακτηριστικά και να εκτελέσουν εύρεση ή μετασχηματισμούς.

Η μελέτη καταλήγει:

‘Μέσω μιας εκτεταμένης μελέτης, καθιερώνουμε ότι καθώς βελτιώνουμε την απόδοση της αντίστροφης εργασίας είτε με την αύξηση της κλίμακας είτε με τις επιλογές των υπερ-παραμέτρων και αρχιτεκτονικών, η απόδοση των κατωτέρω εργασιών δείχνει μια συμπεριφορά κορεσμού. Επιπλέον, παρέχουμε ισχυρά εμπειρικά στοιχεία ότι, αντίθετα με το κοινό αφηγηματικό, η κλίμακα δεν οδηγεί σε μια λύση που ταιριάζει σε όλα.’