Η Ζημιά Από Τον Λεπτοεπεξεργασμό Ένα Μοντέλο AI Μπορεί Εύκολα Να Ανακτηθεί, Βρίσκουν οι Έρευνες

Νέα έρευνα από τις Ηνωμένες Πολιτείες δείχνει ότι ο λεπτοεπεξεργασμός ενός μοντέλου AI με βάση τα δεδομένα σας δεν χρειάζεται να μειώσει ή να επιβραδύνει τη λειτουργικότητα του αρχικού μοντέλου – και ότι μια σχετικά απλή επιδιόρθωση μπορεί να αποκαταστήσει όχι μόνο τις ικανότητες του αρχικού μοντέλου, αλλά και να βελτιώσει την ποιότητα της έξοδου που προσπαθείτε να λάβετε από το (ήδη εκπαιδευμένο) μοντέλο.

Βελτιώσεις απόδοσης σε διάφορα μοντέλα με τη νέα μεθόδο μετα-εκπαίδευσης των συγγραφέων. Περισσότερες λεπτομέρειες αργότερα στο άρθρο. Πηγή: http://export.arxiv.org/pdf/2409.16223

Οι επιπτώσεις από αυτό είναι σημαντικές, όχι μόνο για τους τεχνολογικούς γίγαντες που επικεντρώνονται στα οικονομικά οφέλη από την ενοικίαση γενετικών συστημάτων “ως υπηρεσία”, αλλά και για τον αυξανόμενο αριθμό “αποσυνδεδεμένων” χομπίστας που κατεβάζουν και προσαρμόζουν ανοιχτά μοντέλα, ώστε να έχουν πρόσβαση σε προσωποποιημένα συστήματα γραφής και γεννήτριας εικόνων/βίντεο με χαμηλότερο κόστος – και με λιγότερες περιορισμούς.

Οι συγγραφείς του εγγράφου δεν φοβούνται να δείξουν την ενθουσιασμό τους για το δυναμικό της μεθόδου τους, η οποία φαίνεται να κάνει σημαντικές προόδους σε σχέση με την υποβολή του 2023 υποβολής Ολιστική Μεταφορά: Προς Μια Μη Διαταρακτική Λεπτοεπεξεργασία με Μερικά Στόχους Δεδομένων (συν-συγγραφείς με πολλούς από τους συντελεστές της νέας εργασίας).

Λένε:

‘Τα [αποτελέσματα] είναι ενθαρρυντικά και έχουν βαθιά επιπτώσεις! Υποδηλώνουν ότι μια απλή μετα-επεξεργαστική καλιμπράτσια μπορεί να αντιμετωπίσει την κατώτερη ακρίβεια του λεπτοεπεξεργασμένου μοντέλου στις απουσιάζουσες κατηγορίες, επαναφέροντας την ικανότητα του προ-εκπαιδευμένου μοντέλου ενώ αποκαλύπτει τη βελτιωμένη ποιότητα χαρακτηριστικών σε όλες τις κατηγορίες.’

Θα εξετάσουμε τη νέα εργασία σύντομα. Πρώτα, ας δούμε ποιο πρόβλημα προσπαθεί να λύσει.

Γιατί Μαθαίνει

Η πρώτη хвиλή του ευρείας λεπτοεπεξεργασίας συνέβη μετά την κυκλοφορία του μοντέλου Stable Diffusion της Stability.ai σε κείμενο-εικόνα τον Αύγουστο του 2002. Τα πρώτα μοντέλα, εκπαιδευμένα σε ένα υποσύνολο του υπερκλίμακας LAION dataset, ήταν διαθέσιμα για κατέβασμα από οποιονδήποτε.

Ωστόσο, οι χρήστες που ήθελαν να εισαγάγουν συγκεκριμένο περιεχόμενο (όπως τα δικά τους πρόσωπα, στυλ τέχνης ή την απεικόνιση διασημοτήτων) στις εξαιρετικές γενετικές ιδιότητες του Stable Diffusion, ήταν αναγκασμένοι να στραφούν σε τεχνικές όπως DreamBooth – μια εξαγωγή μιας μεθόδου προσαρμογής της Google Research, η οποία επέτρεψε στον χρήστη να εκπαιδεύσει νέα δεδομένα στο ελεύθερα διαθέσιμο μοντέλο, μέσω λεπτοεπεξεργασίας.

Παραδείγματα της διαδικασίας χρήστη για την επίσημη εφαρμογή DreamBooth της Google το 2022. Ο χρήστης επιλέγει μια μικρή συλλογή εικόνων και επιλέγει ένα μοναδικό όνομα (ένα που το Stable Diffusion δεν έχει στα δεδομένα εκπαίδευσής του) σε κείμενο-προτροπές από το λεπτοεπεξεργασμένο μοντέλο. Πηγή: https://dreambooth.github.io/

Με αυτόν τον τρόπο, ήταν δυνατό να ληφθεί ένα αντίγραφο του μοντέλου που ήταν πολύ καλό στην δημιουργία ενός συγκεκριμένου προσώπου ή ενός προσαρμοσμένου στυλ τέχνης, αλλά το οποίο ήταν τώρα ‘επιβλαβές’ για γενική χρήση.

Αυτό σήμαινε ότι αν ήθελες να λεπτοεπεξεργαστείς το Stable Diffusion ώστε να μπορεί να απεικονίζει με ακρίβεια τρία διαφορετικά πρόσωπα, ήταν αναγκαστικό να δημιουργήσεις τρία διαφορετικά μοντέλα, το καθένα περίπου 2-4GB, ή περισσότερο.

Κάθε προσπάθεια να λεπτοεπεξεργαστείς αυτά τα μοντέλα για δεύτερη φορά δεν θα μειώσει μόνο τη γενική απόδοση του μοντέλου, αλλά θα επηρεάσει αρνητικά την έξοδο από την προηγούμενη συνεδρία λεπτοεπεξεργασίας.

Σε κάθε περίπτωση, τα μοντέλα DreamBooth διασημοτήτων θα εξαπλώσουν σύντομα στο διαδίκτυο, συγκεντρωμένα κυρίως στην τοποθεσία civit.ai. Τελικά, λιγότερο επιβαρυντικές μεθόδοι όπως Λογοτεχνική Προσαρμογή (LoRA) θα ξεπεράσουν τη λεπτοεπεξεργασία σε δημοτικότητα (αν και το εάν η έξοδος LoRA είναι τόσο αποτελεσματική όσο μια πλήρης λεπτοεπεξεργασία παραμένει αμφισβητούμενο, και η NVIDIA έχει από τότε ανοίξει μια φαινομενικά πιο αποτελεσματική προσέγγιση που ονομάζεται DoRA).

Μια LoRA υπάγεται στην κατηγορία της Εξοικονόμησης Παράμετρων Λεπτοεπεξεργασίας (PEFT), η οποία επηρεάζει μόνο ένα υποσύνολο των εκπαιδευμένων παραμέτρων του μοντέλου.

Κάποιοι χρήστες ήθελαν να αλλάξουν τη θεμελιώδη φύση των ανοιχτών μοντέλων Stable Diffusion σημεία ελέγχου, λεπτοεπεξεργαζόμενοι τα σε χιλιάδες εικόνες.

Αυτό, ουσιαστικά, παρήγαγε ένα εναλλακτικό μοντέλο θεμελίου, αφιερωμένο σε όποιο τομέα ο χρήστης προσπαθούσε να εκπαιδεύσει (όπως ένα συγκεκριμένο στυλ τέχνης). Για αυτόν τον σκοπό, “ελαφριές” μεθόδοι όπως η LoRA θα ήταν πιθανότατα λιγότερο αποτελεσματικές, поскольку τα βάρη του μοντέλου χρειάζονταν μια σκληρή προκατάληψη προς τα νέα δεδομένα εκπαίδευσης.

Τοπική Συνομιλία

Με την πρόσφατη άνοδο του ενδιαφέροντος για Μεγάλους Μοντέλους Γλώσσας (LLMs), οι χρήστες που θέλουν να αποφύγουν τις αυξανόμενες εξόδους (και τους συνδεδεμένους κόστους) των API-κίνητων υπηρεσιών όπως το ChatGPT, έχουν αυξανόμενα κατεβάσει και λεπτοεπεξεργαστεί αποτελεσματικά ανοιχτά μοντέλα όπως το Llama 3, μεταξύ πολλών άλλων.

Εδώ, μπορούν να χρησιμοποιηθούν LoRAs αντί για λεπτοεπεξεργασία ενός πλήρους σημείου ελέγχου. Έχουμε υποστηρίξει προηγουμένως ότι η λεπτοεπεξεργασία είναι μια ανώτερη μέθοδος για την παραγωγή LLMs που προσαρμόζονται στις συγκεκριμένες ανάγκες του χρήστη. Αν και η λεπτοεπεξεργασία μπορεί να έχει μεγαλύτερες απαιτήσεις υλικού και μπορεί να διαρκέσει περισσότερο, προσφέρει μια βαθύτερη γενίκευση των νέων δεδομένων που ο χρήστης θέλει το μοντέλο να ενσωματώσει.

Το πρόβλημα με τη λεπτοεπεξεργασία είναι ότι είναι μια καταστροφική διαδικασία που δεν μπορεί να εκπαιδευτεί επαναλαμβανόμενα με επιπλέον δεδομένα αργότερα, όπως σημειώσαμε παραπάνω.

Τα χαρακτηριστικά και οι προκαταλήψεις που εγχέονται στο μοντέλο φαίνεται να ενοχλούν την αρχική ισορροπία των βαρών στο σύνολο δεδομένων, σημαίνοντας ότι το μοντέλο είναι είτε υπερβολικά πιθανό να αντανακλά τα δεδομένα που συνεισέφεραν οι χρήστες, είτε θα εκτελέσει χειρότερα συνολικά από το αρχικό μοντέλο θεμελίου (σε εργασίες που δεν σχετίζονται με τα νέα δεδομένα).

Μπορείτε να θεραπεύσετε αυτό, μέχρι ένα certo βαθμό, παγώνοντας ορισμένα μέρη του μοντέλου κατά την εκπαίδευση· αλλά αυτό μπορεί να οδηγήσει σε μειωμένη γενική λειτουργικότητα, поскольку το παγωμένο μέρος της αρχιτεκτονικής μπορεί να μην γενικεύεται καλά στα νέα δεδομένα λεπτοεπεξεργασίας μέσα στο λατινικό χώρο του μοντέλου.

Θα ήταν, λοιπόν, πραγματικά καλό αν υπήρχε ένας πιο εύκολος τρόπος για να διατηρηθούν οι αρχικές ικανότητες ενός λεπτοεπεξεργασμένου μοντέλου, ενώ να διατηρείται η ικανότητα του μοντέλου να παράγει έξοδο με βάση τα δεδομένα λεπτοεπεξεργασίας.

Eine τέτοια εξέλιξη θα ήταν ωφέλιμη σε όλο το φάσμα των πιθανών χρηστών, από χομπίστες και πρώτους υιοθετητές που χρησιμοποιούν τοπικά LLMs και άλλα είδη γενετικών μοντέλων, μέχρι τα επίπεδα FAANG (όπου ένα πολύ ακριβό μοντέλο AI θα μπορούσε να βελτιωθεί επαναλαμβανόμενα και μη καταστροφικά, χωρίς το πολύ-εκατομμυρια δολάρια κόστος της επανεκκίνησης της εκπαίδευσης με τα επιπλέον δεδομένα).

Μετα-Επεξεργαστική Καλιμπράτσια

Αυτό μας οδηγεί πίσω στη νέα εργασία, η οποία ονομάζεται Η Λεπτοεπεξεργασία είναι Εντάξει, Αν Καλιμπραριστεί, και προέρχεται από 11 ερευνητές από το Ohio State University, το University of Wisconsin Madison, και το Rensselar Polytechnic Institute.

Οι ερευνητές προσπαθούσαν να ανακαλύψουν ακριβώς τι καταστρέφεται σε ένα μοντέλο θεμελίου όταν λεπτοεπεξεργάζεται. Έχουν συνειδητοποιήσει ότι η μόνη σημαντική διαφορά μεταξύ του “πριν και μετά” μοντέλου είναι ότι οι κλίμακες logit μεταξύ των κατηγοριών λεπτοεπεξεργασίας και των αρχικών κατηγοριών στο μοντέλο παρουσιάζουν μια σημαντική διαφορά.

Οι συνδέσεις logit προβλέπουν την πιθανότητα επιτυχίας σε μια λογική回归 διαδικασία, μετατρέποντας τις εκτιμώμενες τιμές (που μπορεί να είναι πολύ ακριβείς) σε ένα μηδέν ή ένα ένα.

Οι συγγραφείς όχι μόνο βρήκαν ότι αυτό το έλλειμμα είναι σχεδόν ακαταμάχητο με μια τεχνική καλιμπράτσιας, αλλά ότι αυτή η μετα-επεξεργαστική επιδιόρθωση στην πραγματικότητα βελτιώνει την ποιότητα της έξοδου για τα δεδομένα λεπτοεπεξεργασίας. Έτσι, με αυτή τη τεχνική, όχι μόνο παίρνετε τις αρχικές ικανότητες του μοντέλου θεμελίου, αλλά και μια καλύτερη ενσωμάτωση των δικών σας δεδομένων λεπτοεπεξεργασίας.

(Αν και η εργασία δεν εξετάζει την προοπτική, αυτή η τεχνική υποδηλώνει ότι ένα μοντέλο θα μπορούσε να λεπτοεπεξεργαστεί πολλές φορές και να παραμείνει αποτελεσματικό)

Συζητώντας τα ευρήματά τους σχετικά με την έρευνα για την ζημιά του μοντέλου μετά τη λεπτοεπεξεργασία, οι συγγραφείς λένε:

‘Για μας την έκπληξη, βρήκαμε ότι το λεπτοεπεξεργασμένο μοντέλο δεν ξεχνά τη σχέση μεταξύ των άλλων κατηγοριών ούτε επιβλαβεί τα χαρακτηριστικά για την αναγνώριση αυτών των κατηγοριών.

‘Αντίθετα, το λεπτοεπεξεργασμένο μοντέλο συχνά παράγει πιο διακριτικά χαρακτηριστικά για αυτές τις άλλες κατηγορίες, ακόμη και αν ήταν απουσιάζουσες κατά τη λεπτοεπεξεργασία!

‘[Τι] πραγματικά βλάπτει την ακρίβεια είναι η διαφορά κλίμακας logit μεταξύ των κατηγοριών λεπτοεπεξεργασίας και των άλλων [κατηγοριών], υποδηλώνοντας ότι μια απλή μετα-επεξεργαστική καλιμπράτσια θα επαναφέρει την ικανότητα του προ-εκπαιδευμένου μοντέλου και θα αποκαλύψει τη βελτίωση των χαρακτηριστικών σε όλες τις κατηγορίες.’

Οι συγγραφείς έχουν κάνει τα αποτελέσματα των δοκιμών τους για αυτή τη θεωρία αναπαραγώγιμα σε ένα GitHub repository.

Βρήκαν ότι κατά την έρευνα, το μόνο μέρος της αρχιτεκτονικής του μοντέλου θεμελίου που καταστρέφεται κατά τη λεπτοεπεξεργασία είναι ο δυαδικός ταξινομητής, ο οποίος ταξινομεί λανθασμένα τις κατηγορίες που είναι απουσιάζουσες στο αρχικό μοντέλο ως κατηγορίες λεπτοεπεξεργασίας.

Η εργασία αναφέρει*:

‘[Προσθέτοντας] einen σταθερό παράγοντα καλιμπράτσιας σε όλα τα απουσιάζοντα λογικά [4, 40 ], το λεπτοεπεξεργασμένο μοντέλο μπορεί να ανακτήσει με επιτυχία την ακρίβεια της απουσιάζουσας κατηγορίας και να λάβει μια αξιοσημείωτη βελτίωση στην συνολική απόδοση στη ροή εργασιών.’

‘Η αποτέλεσμα ακόμη και ξεπερνά την ισχυρή βάση [Ολιστική Μεταφορά – την εργασία στην οποία βασίζεται αυτή η εργασία] σε πολλές από τις δοκιμές, συμπεριλαμβανομένων του ImageNet και των παραλλαγών του [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, και VTAB, χωρίς περίπλοκη εκπαίδευση και ρύθμιση παραμέτρων.’

Αποτελέσματα από την εργασία: ένα λεπτοεπεξεργασμένο μοντέλο που έχει υποβληθεί σε μετα-επεξεργαστική καλιμπράτσια μπορεί, σύμφωνα με τους συγγραφείς, να ξεπεράσει την καλύτερη προσέγγιση στο πρόβλημα.

Οι συγγραφείς ταξινομούν την βελτιωμένη απόδοση ενός μετα-καλιμπραρισμένου λεπτοεπεξεργασμένου μοντέλου ως ‘απρόσμενες ευνοϊκές συμπεριφορές’, και παρατηρούν ότι όταν χρησιμοποιείται ένας βασικός τυχαίος κατηγοριοποιητής (SGD) βελτιωτής, ένα καλύτερο αποτέλεσμα λαμβάνεται από ότι με πιο δημοφιλείς τρέχοντες βελτιστές, όπως Adam.

‘Ακόμη,’ σημειώνουν ‘με αρκετά μικρές ταχύτητες μάθησης και αποσύνδεση βαρών, οι ευνοϊκές συμπεριφορές εμφανίζονται και διατηρούνται.’

Ελαφριές Επισκευές

Για να επιδιορθώσετε τις διαφορές logit που προκύπτουν από τη λεπτοεπεξεργασία, οι συγγραφείς δανείστηκαν μια τεχνική από μηδενική μάθηση, προσθέτοντας einen σταθερό παράγοντα στις λογικές όλων των απουσιάζουσων κατηγοριών. Αυτό οδηγεί σε một νέο κανόνα ταξινόμησης.

Οι συγγραφείς σημειώνουν ότι αυτή η διαδικασία ‘προωθεί’ τις παραμελημένες απουσιάζουσες κατηγορίες στην ίδια ποιότητα προβλέψεων όπως οι κατηγορίες λεπτοεπεξεργασίας, αποκαθιστώντας την αρχική απόδοση και βελτιώνοντας την απόδοση των ‘προσθεμένων’ δεδομένων κατά την εύρεση.

Στις δοκιμές, η τεχνική μετα-καλιμπράτσιας αποκαθιστά την απόδοση σε eine ποικιλία λεπτοεπεξεργασμένων μοντέλων. Το ‘Oracle’ που αναφέρεται στον πίνακα αναφέρεται σε einen λεπτοεπεξεργασμένο ταξινομητή που λαμβάνει επίσης υπόψη τα δεδομένα λείπουσας κατηγορίας.

Παρατηρούν επίσης ότι η μετα-επεξεργαστική καλιμπράτσια είναι ‘πотεντικά εφαρμόσιμη σε οποιοδήποτε μοντέλο’, και ότι οι μέθοδοι που επιδιώκουν να διατηρήσουν την ακεραιότητα του μοντέλου θεμελίου μέσω της παγώσεως των στρωμάτων (όπως ο ταξινομητής και ο σκελετός) βαθμολογούν χαμηλά σε σύγκριση με την προτεινόμενη προσέγγισή τους.

Συμπέρασμα

Τα ευρήματα από αυτή τη συνεργασία φαίνεται να είναι σημαντικά. Η εκπαίδευση ενός μοντέλου AI σε ένα υπερκλίμακα σύνολο δεδομένων είναι ένας τεράστιος δεσμός, ανάλογος με την απογείωση ενός επιβατικού αεροπλάνου. Αν και η εκπαίδευση μπορεί να διακοπεί, και οποιαδήποτε ζημιά μπορεί να μειωθεί με τη σωστή αποθήκευση των τρεχουσών βαρών (σε σημαντικό κόστος αποθήκευσης), για να επιτρέψουν διακοπές στην εκπαίδευση, υπάρχει σχετικά λίγο που μπορείτε να κάνετε για να αλλάξετε το αποτέλεσμα μετά την απογείωση.

Τι είναι εντυπωσιακό σε αυτή τη δουλειά είναι ότι οι ερευνητές φαίνεται να έχουν ανακαλύψει ένα θεμελιώδες αρχή στη γενική εκπαίδευση μοντέλων AI, και ότι η λύση τους είναι εκπληκτικά απλή.

Οι οικονομικές επιπτώσεις της δυνατότητας διατήρησης της ακρίβειας του μοντέλου θεμελίου μετά τη λεπτοεπεξεργασία είναι επίσης σημαντικές. Μέχρι σήμερα, η πιο κοινή μέθοδος αντιμετώπισης των ελαττωμάτων των μοντέλων πολλών εκατομμυρίων δολαρίων ήταν να φιλτράρετε την έξοδο κατά την εύρεση, ή να ελέγχετε την εύρεση για να αποφύγετε οποιοδήποτε αδύνατο σημείο που είναι ορατό στο μοντέλο.

Επιπλέον, μια τέτοια τεχνική θα μπορούσε θεωρητικά να φέρει σημαντικές βελτιώσεις στις ικανότητες των λεπτοεπεξεργασμένων γενετικών μοντέλων στο επίπεδο του καταναλωτή, με το μπόνους μιας βελτίωσης στην ποιότητα της έξοδου.

* Η μετατροπή μου των εσωτερικών παραπομπών των συγγραφέων σε υπερσύνδεσμους.

Πρώτη δημοσίευση την Τρίτη, 1 Οκτωβρίου 2024