Τι είναι η Transfer Learning;

Τι είναι η Transfer Learning;

Κατά την εξάσκηση της μηχανικής μάθησης, η εκπαίδευση ενός μοντέλου μπορεί να διαρκέσει πολύ. Η δημιουργία μιας αρχιτεκτονικής μοντέλου από την αρχή, η εκπαίδευση του μοντέλου και στη συνέχεια η προσαρμογή του μοντέλου είναι τεράστιος χρόνος και προσπάθεια. Ένας πολύ πιο αποτελεσματικός τρόπος για να εκπαιδεύσετε ένα μοντέλο μηχανικής μάθησης είναι να χρησιμοποιήσετε μια αρχιτεκτονική που έχει ήδη καθοριστεί, ενδεχομένως με βάρη που έχουν ήδη υπολογιστεί. Αυτή είναι η κύρια ιδέα πίσω μεταφορά της μάθησης, λαμβάνοντας ένα μοντέλο που έχει ήδη χρησιμοποιηθεί και επαναχρησιμοποιώντας το για μια νέα εργασία.

Πριν εμβαθύνουμε στους διαφορετικούς τρόπους με τους οποίους μπορεί να χρησιμοποιηθεί η μεταβιβαστική μάθηση, ας αφιερώσουμε λίγο χρόνο για να καταλάβουμε γιατί η μάθηση με μεταφορά είναι μια τόσο ισχυρή και χρήσιμη τεχνική.

Επίλυση ενός προβλήματος βαθιάς μάθησης

Όταν προσπαθείτε να λύσετε ένα πρόβλημα βαθιάς μάθησης, όπως η κατασκευή ενός ταξινομητή εικόνων, πρέπει να δημιουργήσετε μια αρχιτεκτονική μοντέλου και στη συνέχεια να εκπαιδεύσετε το μοντέλο στα δεδομένα σας. Η εκπαίδευση του ταξινομητή μοντέλων περιλαμβάνει την προσαρμογή των βαρών του δικτύου, μια διαδικασία που μπορεί να διαρκέσει ώρες ή και μέρες ανάλογα με την πολυπλοκότητα τόσο του μοντέλου όσο και του συνόλου δεδομένων. Ο χρόνος εκπαίδευσης θα κλιμακωθεί σύμφωνα με το μέγεθος του συνόλου δεδομένων και την πολυπλοκότητα της αρχιτεκτονικής του μοντέλου.

Εάν το μοντέλο δεν επιτύχει το είδος της ακρίβειας που απαιτείται για την εργασία, πιθανότατα θα χρειαστεί να γίνει προσαρμογή του μοντέλου και στη συνέχεια το μοντέλο θα πρέπει να επανεκπαιδευτεί. Αυτό σημαίνει περισσότερες ώρες εκπαίδευσης μέχρι να βρεθεί μια βέλτιστη αρχιτεκτονική, μήκος εκπαίδευσης και διαμέρισμα δεδομένων. Όταν εξετάζετε πόσες μεταβλητές πρέπει να ευθυγραμμιστούν μεταξύ τους για να είναι χρήσιμος ένας ταξινομητής, είναι λογικό ότι οι μηχανικοί μηχανικής μάθησης αναζητούν πάντα ευκολότερους, πιο αποτελεσματικούς τρόπους εκπαίδευσης και εφαρμογής μοντέλων. Για το λόγο αυτό δημιουργήθηκε η τεχνική transfer learning.

Μετά το σχεδιασμό και τη δοκιμή ενός μοντέλου, εάν το μοντέλο αποδειχθεί χρήσιμο, μπορεί να αποθηκευτεί και να χρησιμοποιηθεί ξανά αργότερα για παρόμοια προβλήματα.

Τύποι Εκμάθησης Μεταβίβασης

Γενικά, υπάρχουν δύο διαφορετικά είδη μάθησης μεταφοράς: ανάπτυξη ενός μοντέλου από την αρχή και χρήση ενός προεκπαιδευμένου μοντέλου.

Όταν αναπτύσσετε ένα μοντέλο από την αρχή, θα χρειαστεί να δημιουργήσετε μια αρχιτεκτονική μοντέλου ικανή να ερμηνεύει τα δεδομένα της προπόνησής σας και να εξάγει μοτίβα από αυτά. Αφού το μοντέλο εκπαιδευτεί για πρώτη φορά, πιθανότατα θα χρειαστεί να κάνετε αλλαγές σε αυτό για να έχετε τη βέλτιστη απόδοση από το μοντέλο. Στη συνέχεια, μπορείτε να αποθηκεύσετε την αρχιτεκτονική του μοντέλου και να τη χρησιμοποιήσετε ως σημείο εκκίνησης για ένα μοντέλο που θα χρησιμοποιηθεί σε παρόμοια εργασία.

Στη δεύτερη συνθήκη – τη χρήση ενός προεκπαιδευμένου μοντέλου – πρέπει απλώς να επιλέξετε ένα προεκπαιδευμένο μοντέλο για χρήση. Πολλά πανεπιστήμια και ερευνητικές ομάδες θα διαθέσουν τις προδιαγραφές του μοντέλου τους για γενική χρήση. Μπορείτε να κατεβάσετε την αρχιτεκτονική του μοντέλου μαζί με τα βάρη.

Κατά τη διεξαγωγή της εκμάθησης μεταφοράς, ολόκληρη η αρχιτεκτονική του μοντέλου και τα βάρη μπορούν να χρησιμοποιηθούν για την εργασία που εκτελείται ή μπορούν να χρησιμοποιηθούν μόνο ορισμένα τμήματα/στρώσεις του μοντέλου. Χρησιμοποιώντας μόνο μέρος του προεκπαιδευμένου μοντέλου και εκπαίδευση, το υπόλοιπο μοντέλο αναφέρεται ως μικροσυντονισμός.

Τελειοποίηση Δικτύου

Η τελειοποίηση ενός δικτύου περιγράφει τη διαδικασία εκπαίδευσης μερικών μόνο από τα επίπεδα σε ένα δίκτυο. Εάν ένα νέο σύνολο δεδομένων εκπαίδευσης μοιάζει πολύ με το σύνολο δεδομένων που χρησιμοποιείται για την εκπαίδευση του αρχικού μοντέλου, μπορούν να χρησιμοποιηθούν πολλά από τα ίδια βάρη.

Ο αριθμός των επιπέδων στο δίκτυο που θα πρέπει να ξεπαγώσει και να επανεκπαιδευτεί θα πρέπει να κλιμακώνεται σύμφωνα με το μέγεθος του νέου συνόλου δεδομένων. Εάν το σύνολο δεδομένων στο οποίο εκπαιδεύεται είναι μικρό, είναι καλύτερη πρακτική να διατηρείτε τα περισσότερα επίπεδα ως έχουν και να εκπαιδεύσετε μόνο τα τελευταία λίγα επίπεδα. Αυτό γίνεται για να αποτραπεί η υπερπροσαρμογή του δικτύου. Εναλλακτικά, τα τελικά στρώματα του προεκπαιδευμένου δικτύου μπορούν να αφαιρεθούν και να προστεθούν νέα στρώματα, τα οποία στη συνέχεια εκπαιδεύονται. Αντίθετα, εάν το σύνολο δεδομένων είναι ένα μεγάλο σύνολο δεδομένων, δυνητικά μεγαλύτερο από το αρχικό σύνολο δεδομένων, ολόκληρο το δίκτυο θα πρέπει να επανεκπαιδευτεί. Για να χρησιμοποιήσετε το δίκτυο ως έναν εξολκέα σταθερών χαρακτηριστικών, το μεγαλύτερο μέρος του δικτύου μπορεί να χρησιμοποιηθεί για την εξαγωγή των χαρακτηριστικών, ενώ μόνο το τελευταίο στρώμα του δικτύου μπορεί να ξεπαγώσει και να εκπαιδευτεί.

Όταν ρυθμίζετε με ακρίβεια ένα δίκτυο, απλώς θυμηθείτε ότι τα προηγούμενα επίπεδα του ConvNet είναι αυτά που περιέχουν τις πληροφορίες που αντιπροσωπεύουν τα πιο γενικά χαρακτηριστικά των εικόνων. Αυτά είναι χαρακτηριστικά όπως άκρες και χρώματα. Αντίθετα, τα μεταγενέστερα στρώματα του ConvNet περιέχουν τις λεπτομέρειες που είναι πιο συγκεκριμένες για τις μεμονωμένες κλάσεις που φυλάσσονται στο σύνολο δεδομένων στο οποίο εκπαιδεύτηκε αρχικά το μοντέλο. Εάν εκπαιδεύετε ένα μοντέλο σε ένα σύνολο δεδομένων που είναι αρκετά διαφορετικό από το αρχικό σύνολο δεδομένων, πιθανότατα θα θέλετε να χρησιμοποιήσετε τα αρχικά επίπεδα του μοντέλου για να εξαγάγετε χαρακτηριστικά και απλώς να επανεκπαιδεύσετε το υπόλοιπο μοντέλο.

Παραδείγματα μάθησης μεταφοράς

Οι πιο κοινές εφαρμογές της μάθησης μεταφοράς είναι πιθανώς αυτές που χρησιμοποιούν δεδομένα εικόνας ως εισόδους. Αυτές είναι συχνά εργασίες πρόβλεψης/ταξινόμησης. Ο ΤΡΟΠΟΣ Συγκεντρωτικά νευρωνικά δίκτυα Η ερμηνεία των δεδομένων εικόνας προσφέρεται για την επαναχρησιμοποίηση πτυχών μοντέλων, καθώς τα συνελικτικά στρώματα συχνά διακρίνουν πολύ παρόμοια χαρακτηριστικά. Ένα παράδειγμα ενός κοινού προβλήματος μάθησης μεταφοράς είναι η εργασία ImageNet 1000, ένα τεράστιο σύνολο δεδομένων γεμάτο 1000 διαφορετικές κατηγορίες αντικειμένων. Οι εταιρείες που αναπτύσσουν μοντέλα που επιτυγχάνουν υψηλή απόδοση σε αυτό το σύνολο δεδομένων συχνά κυκλοφορούν τα μοντέλα τους με άδειες που επιτρέπουν σε άλλους να τα επαναχρησιμοποιήσουν. Μερικά από τα μοντέλα που προέκυψαν από αυτή τη διαδικασία περιλαμβάνουν το Μοντέλο Microsoft ResNet, το μοντέλο Google Inception και το Μοντέλο Oxford VGG ομάδα.