Τι είναι η Μεταφορά Μάθησης;

Τι είναι η Μεταφορά Μάθησης;

Όταν ασκείστε στην μηχανική μάθηση, η εκπαίδευση ενός μοντέλου μπορεί να διαρκέσει πολύ ώρα. Η δημιουργία μιας αρχιτεκτονικής μοντέλου από την αρχή, η εκπαίδευση του μοντέλου και στη συνέχεια η βελτίωση του μοντέλου είναι một τεράστια ποσότητα χρόνου και εργασίας. Ένας πολύ πιο αποτελεσματικός τρόπος για την εκπαίδευση ενός μοντέλου μηχανικής μάθησης είναι να χρησιμοποιηθεί μια αρχιτεκτονική που έχει ήδη οριστεί, πιθανώς με βάρη που έχουν ήδη υπολογιστεί. Αυτή είναι η βασική ιδέα πίσω από την μεταφορά μάθησης, λαμβάνοντας ένα μοντέλο που έχει ήδη χρησιμοποιηθεί και επαναχρησιμοποιώντας το για μια νέα εργασία.

Πριν διεισδύσουμε στα διαφορετικά τρόπα με τους οποίους η μεταφορά μάθησης μπορεί να χρησιμοποιηθεί, ας πάρουμε μια στιγμή για να κατανοήσουμε γιατί η μεταφορά μάθησης είναι μια τόσο ισχυρή και χρήσιμη τεχνική.

Λύση ενός Προβλήματος Βαθιάς Μάθησης

Όταν προσπαθείτε να λύσετε ένα πρόβλημα βαθιάς μάθησης, όπως η κατασκευή ενός ταξινομητή εικόνων, πρέπει να δημιουργήσετε μια αρχιτεκτονική μοντέλου και στη συνέχεια να εκπαιδεύσετε το μοντέλο με τα δεδομένα σας. Η εκπαίδευση του ταξινομητή του μοντέλου περιλαμβάνει την điều chỉnh των βαρών του δικτύου, μια διαδικασία που μπορεί να διαρκέσει ώρες ή ακόμη και ημέρες, ανάλογα με την πολυπλοκότητα του μοντέλου και του συνόλου δεδομένων. Ο χρόνος εκπαίδευσης θα αυξηθεί αναλογικά με το μέγεθος του συνόλου δεδομένων και την πολυπλοκότητα της αρχιτεκτονικής του μοντέλου.

Εάν το μοντέλο δεν επιτύχει τον επιθυμητό βαθμό ακρίβειας για την εργασία, είναι πιθανό να χρειαστεί να γίνουν điều chỉnh στο μοντέλο και στη συνέχεια το μοντέλο πρέπει να επαναεκπαιδευτεί. Αυτό σημαίνει περισσότερες ώρες εκπαίδευσης μέχρι να βρεθεί μια βέλτιστη αρχιτεκτονική, διάρκεια εκπαίδευσης και διαίρεση του συνόλου δεδομένων. Όταν λάβουμε υπόψη πόσα переменτά πρέπει να ευθυγραμμιστούν μεταξύ τους για να είναι ένας ταξινομητής χρήσιμος, έχει νόημα ότι οι μηχανικοί της μηχανικής μάθησης ψάχνουν πάντα για ευκολότερους, πιο αποτελεσματικούς τρόπους για την εκπαίδευση και την εφαρμογή των μοντέλων. Για αυτόν τον λόγο, δημιουργήθηκε η τεχνική της μεταφοράς μάθησης.

Μετά τη σχεδίαση και τον έλεγχο ενός μοντέλου, εάν το μοντέλο αποδείχθηκε χρήσιμο, μπορεί να αποθηκευτεί και να επαναχρησιμοποιηθεί αργότερα για παρόμοια προβλήματα.

Τύποι Μεταφοράς Μάθησης

Γενικά, υπάρχουν δύο διαφορετικά είδη μεταφοράς μάθησης: η ανάπτυξη ενός μοντέλου από την αρχή και η χρήση ενός προ-εκπαιδευμένου μοντέλου.

Όταν αναπτύσσετε ένα μοντέλο από την αρχή, θα χρειαστεί να δημιουργήσετε μια αρχιτεκτονική μοντέλου ικανή να ερμηνεύσει τα δεδομένα εκπαίδευσής σας και να εξαγάγει μοτίβα από αυτά. Μετά την πρώτη εκπαίδευση του μοντέλου, θα χρειαστεί πιθανώς να κάνετε αλλαγές σε αυτό για να πετύχετε την βέλτιστη απόδοση του μοντέλου. Στη συνέχεια, μπορείτε να αποθηκεύσετε την αρχιτεκτονική του μοντέλου και να τη χρησιμοποιήσετε ως σημείο εκκίνησης για ένα μοντέλο που θα χρησιμοποιηθεί για μια παρόμοια εργασία.

Στην δεύτερη περίπτωση – τη χρήση ενός προ-εκπαιδευμένου μοντέλου – πρέπει απλώς να επιλέξετε ένα προ-εκπαιδευμένο μοντέλο για να το χρησιμοποιήσετε. Πολλά πανεπιστήμια και ερευνητικές ομάδες θα κάνουν τις προδιαγραφές του μοντέλου τους διαθέσιμες για γενική χρήση. Η αρχιτεκτονική του μοντέλου μπορεί να κατεβαστεί μαζί με τα βάρη.

Κατά τη διεξαγωγή της μεταφοράς μάθησης, η ολόκληρη αρχιτεκτονική του μοντέλου και τα βάρη μπορούν να χρησιμοποιηθούν για την εργασία που έχει ανατεθεί, ή μόνο certains τμήματα/στρώματα του μοντέλου μπορούν να χρησιμοποιηθούν. Η χρήση μόνο κάποιων τμημάτων του προ-εκπαιδευμένου μοντέλου και η εκπαίδευση του υπόλοιπου μοντέλου ονομάζεται λεπτοβελτίωση.

Λεπτοβελτίωση ενός Δικτύου

Η λεπτοβελτίωση ενός δικτύου περιγράφει τη διαδικασία της εκπαίδευσης μόνο κάποιων στρωμάτων σε ένα δίκτυο. Εάν ένα νέο σύνολο δεδομένων εκπαίδευσης είναι πολύ παρόμοιο με το σύνολο δεδομένων που χρησιμοποιήθηκε για την εκπαίδευση του αρχικού μοντέλου, πολλά από τα ίδια βάρη μπορούν να χρησιμοποιηθούν.

Ο αριθμός των στρωμάτων στο δίκτυο που πρέπει να αφαιρεθούν και να επαναεκπαιδευτούν πρέπει να αυξηθεί αναλογικά με το μέγεθος του νέου συνόλου δεδομένων. Εάν το σύνολο δεδομένων που εκπαιδεύεται είναι μικρό, είναι καλύτερη πρακτική να κρατήσετε την πλειοψηφία των στρωμάτων όπως είναι και να εκπαιδεύσετε μόνο τα τελευταία λίγα στρώματα. Αυτό γίνεται για να αποφευχθεί η υπερ-προσαρμογή του δικτύου. Εναλλακτικά, τα τελευταία στρώματα του προ-εκπαιδευμένου δικτύου μπορούν να αφαιρεθούν και να προστεθούν νέα στρώματα, τα οποία στη συνέχεια εκπαιδεύονται. Αντίθετα, εάν το σύνολο δεδομένων είναι ένα μεγάλο σύνολο δεδομένων, πιθανώς μεγαλύτερο από το αρχικό σύνολο δεδομένων, όλο το δίκτυο πρέπει να επαναεκπαιδευτεί. Για να χρησιμοποιηθεί το δίκτυο ως σταθερό εξαγωγέα χαρακτηριστικών, η πλειοψηφία του δικτύου μπορεί να χρησιμοποιηθεί για την εξαγωγή των χαρακτηριστικών ενώ μόνο το τελευταίο στρώμα του δικτύου μπορεί να αφαιρεθεί και να εκπαιδευτεί.

Όταν λεπτοβελτιώνετε ένα δίκτυο, απλώς θυμηθείτε ότι τα πρώτα στρώματα του ConvNet είναι αυτά που περιέχουν τις πληροφορίες που αντιπροσωπεύουν τα πιο γενικά χαρακτηριστικά των εικόνων. Αυτά είναι χαρακτηριστικά όπως τα контούρα και τα χρώματα. Αντίθετα, τα τελευταία στρώματα του ConvNet περιέχουν τις λεπτομέρειες που είναι πιο συγκεκριμένες για τις μεμονωμένες κατηγορίες που περιέχονται στο σύνολο δεδομένων με το οποίο το μοντέλο εκπαιδεύτηκε αρχικά. Εάν εκπαιδεύετε ένα μοντέλο σε ένα σύνολο δεδομένων που είναι khá διαφορετικό από το αρχικό σύνολο δεδομένων, θα θέλατε πιθανώς να χρησιμοποιήσετε τα αρχικά στρώματα του μοντέλου για την εξαγωγή των χαρακτηριστικών και να επαναεκπαιδεύσετε μόνο το υπόλοιπο μοντέλο.

Παραδείγματα Μεταφοράς Μάθησης

Οι πιο κοινοί εφαρμογές της μεταφοράς μάθησης είναι πιθανώς αυτές που χρησιμοποιούν δεδομένα εικόνων ως εισόδους. Αυτά είναι συχνά προβλήματα πρόβλεψης/ταξινόμησης. Ο τρόπος με τον οποίο τα Convolutional Neural Networks ερμηνεύουν τα δεδομένα εικόνων τους επιτρέπει να επαναχρησιμοποιούνται, поскольку τα στρώματα convolution συχνά διακρίνουν πολύ παρόμοια χαρακτηριστικά. Ένα παράδειγμα ενός κοινού προβλήματος μεταφοράς μάθησης είναι η εργασία ImageNet 1000, ένα τεράστιο σύνολο δεδομένων γεμάτο με 1000 διαφορετικές κατηγορίες αντικειμένων. Οι εταιρείες που αναπτύσσουν μοντέλα που επιτύχουν υψηλή απόδοση σε αυτό το σύνολο δεδομένων συχνά κυκλοφορούν τα μοντέλα τους με άδειες που επιτρέπουν σε άλλους να τα επαναχρησιμοποιήσουν. Κάποια από τα μοντέλα που έχουν προκύψει από αυτή τη διαδικασία περιλαμβάνουν το μοντέλο Microsoft ResNet, το μοντέλο Google Inception και το μοντέλο Oxford VGG ομάδας.