Τι είναι η Μεταφορά Μάθησης;

Τι είναι η Μεταφορά Μάθησης;

Όταν ασκείστε στη μηχανική μάθηση, η εκπαίδευση ενός μοντέλου μπορεί να διαρκέσει πολύ χρόνο. Η δημιουργία μιας αρχιτεκτονικής μοντέλου από την αρχή, η εκπαίδευση του μοντέλου και στη συνέχεια η βελτίωση του μοντέλου είναι một τεράστια ποσότητα χρόνου και εργασίας. Ένας πολύ πιο αποτελεσματικός τρόπος για την εκπαίδευση ενός μοντέλου μηχανικής μάθησης είναι να χρησιμοποιήσετε μια αρχιτεκτονική που έχει ήδη οριστεί, πιθανώς με βάρη που έχουν ήδη υπολογιστεί. Αυτή είναι η βασική ιδέα πίσω από μεταφορά μάθησης, λαμβάνοντας ένα μοντέλο που έχει ήδη χρησιμοποιηθεί και επαναχρησιμοποιώντας το για μια νέα εργασία.

Πριν εισέλθουμε στις διαφορετικές τρόπους που η μεταφορά μάθησης μπορεί να χρησιμοποιηθεί, ας πάρουμε μια στιγμή για να κατανοήσουμε γιατί η μεταφορά μάθησης είναι μια τόσο ισχυρή και χρήσιμη τεχνική.

Λύση ενός Προβλήματος Βαθιάς Μάθησης

Όταν προσπαθείτε να λύσετε ένα πρόβλημα βαθιάς μάθησης, όπως η κατασκευή ενός ταξινομητή εικόνων, πρέπει να δημιουργήσετε μια αρχιτεκτονική μοντέλου και στη συνέχεια να εκπαιδεύσετε το μοντέλο με τα δεδομένα σας. Η εκπαίδευση του ταξινομητή μοντέλου περιλαμβάνει την điều chỉnh των βαρών του δικτύου, μια διαδικασία που μπορεί να διαρκέσει ώρες ή ακόμη και ημέρες, ανάλογα με τη сложικότητα του μοντέλου και του συνόλου δεδομένων. Ο χρόνος εκπαίδευσης θα αυξηθεί ανάλογα με το μέγεθος του συνόλου δεδομένων και τη сложικότητα της αρχιτεκτονικής του μοντέλου.

Εάν το μοντέλο δεν επιτύχει τον επιθυμητό βαθμό ακρίβειας για την εργασία, πιθανότατα θα χρειαστεί να γίνει μια βελτίωση του μοντέλου και στη συνέχεια να επαναεκπαιδευτεί. Αυτό σημαίνει περισσότερες ώρες εκπαίδευσης μέχρι να βρεθεί μια βέλτιστη αρχιτεκτονική, χρόνος εκπαίδευσης και διαίρεση του συνόλου δεδομένων. Όταν λάβετε υπόψη πόσοι παράγοντες πρέπει να ευθυγραμμιστούν μεταξύ τους για να είναι ένας ταξινομητής χρήσιμος, έχει νόημα ότι οι μηχανικοί μηχανικής μάθησης είναι πάντα στην αναζήτηση για ευκολότερους, πιο αποτελεσματικούς τρόπους για την εκπαίδευση και την εφαρμογή μοντέλων. Για αυτόν τον λόγο, δημιουργήθηκε η τεχνική της μεταφοράς μάθησης.

Μετά τη σχεδίαση και τον έλεγχο ενός μοντέλου, εάν το μοντέλο αποδείχθηκε χρήσιμο, μπορεί να αποθηκευτεί και να ξαναχρησιμοποιηθεί αργότερα για παρόμοια προβλήματα.

Τύποι Μεταφοράς Μάθησης

Γενικά, υπάρχουν δύο διαφορετικά είδη μεταφοράς μάθησης: ανάπτυξη ενός μοντέλου από την αρχή και χρήση ενός προ-εκπαιδευμένου μοντέλου.

Όταν αναπτύσσετε ένα μοντέλο από την αρχή, πρέπει να δημιουργήσετε μια αρχιτεκτονική μοντέλου που είναι ικανή να ερμηνεύσει τα δεδομένα εκπαίδευσης σας και να εξαγάγει πρότυπα από αυτά. Μετά την πρώτη εκπαίδευση του μοντέλου, πιθανότατα θα χρειαστεί να κάνετε αλλαγές σε αυτό για να πάρει την βέλτιστη απόδοση από το μοντέλο. Στη συνέχεια, μπορείτε να αποθηκεύσετε την αρχιτεκτονική του μοντέλου και να τη χρησιμοποιήσετε ως σημείο εκκίνησης για ένα μοντέλο που θα χρησιμοποιηθεί για μια παρόμοια εργασία.

Στην δεύτερη περίπτωση – τη χρήση ενός προ-εκπαιδευμένου μοντέλου – απλώς πρέπει να επιλέξετε ένα προ-εκπαιδευμένο μοντέλο για χρήση. Πολλά πανεπιστήμια και ερευνητικές ομάδες θα κάνουν τις προδιαγραφές του μοντέλου τους διαθέσιμες για γενική χρήση. Η αρχιτεκτονική του μοντέλου μπορεί να κατεβαστεί μαζί με τα βάρη.

Όταν thực hiện μεταφορά μάθησης, ολόκληρη η αρχιτεκτονική του μοντέλου και τα βάρη μπορούν να χρησιμοποιηθούν για την εργασία που έχει ανατεθεί, ή μόνο certains τμήματα/στρώματα του μοντέλου μπορούν να χρησιμοποιηθούν. Η χρήση μόνο certains του προ-εκπαιδευμένου μοντέλου και η εκπαίδευση του υπόλοιπου μοντέλου ονομάζεται fine-tuning.

Βελτίωση ενός Δικτύου

Η βελτίωση ενός δικτύου περιγράφει τη διαδικασία εκπαίδευσης μόνο certains στρώματα του δικτύου. Εάν ένα νέο σύνολο δεδομένων εκπαίδευσης είναι πολύ παρόμοιο με το σύνολο δεδομένων που χρησιμοποιήθηκε για την εκπαίδευση του αρχικού μοντέλου, πολλά από τα ίδια βάρη μπορούν να χρησιμοποιηθούν.

Ο αριθμός των στρώμάτων του δικτύου που πρέπει να αφαιρεθούν και να επαναεκπαιδευτούν πρέπει να αυξηθεί ανάλογα με το μέγεθος του νέου συνόλου δεδομένων. Εάν το σύνολο δεδομένων που εκπαιδεύεται είναι μικρό, είναι μια καλύτερη πρακτική να κρατήσετε τα περισσότερα από τα στρώματα όπως είναι και να εκπαιδεύσετε μόνο τα τελευταία λίγα στρώματα. Αυτό είναι για να αποφευχθεί η υπερ-προσαρμογή του δικτύου. Εναλλακτικά, τα τελευταία στρώματα του προ-εκπαιδευμένου δικτύου μπορούν να αφαιρεθούν και να προστεθούν νέα στρώματα, τα οποία στη συνέχεια εκπαιδεύονται. Από την άλλη πλευρά, εάν το σύνολο δεδομένων είναι ένα μεγάλο σύνολο δεδομένων, πιθανότατα μεγαλύτερο από το αρχικό σύνολο δεδομένων, όλο το δίκτυο πρέπει να επαναεκπαιδευτεί. Για να χρησιμοποιηθεί το δίκτυο ως एक σταθερό εξαγωγέα χαρακτηριστικών, τα περισσότερα από το δίκτυο μπορούν να χρησιμοποιηθούν για την εξαγωγή χαρακτηριστικών ενώ μόνο το τελευταίο στρώμα του δικτύου μπορεί να αφαιρεθεί και να εκπαιδευτεί.

Όταν βελτιώνετε ένα δίκτυο, απλώς θυμηθείτε ότι τα πρώτα στρώματα του ConvNet είναι αυτά που περιέχουν τις πληροφορίες που αντιπροσωπεύουν τα πιο γενικά χαρακτηριστικά των εικόνων. Αυτά είναι χαρακτηριστικά όπως τα άκρα και τα χρώματα. Από την άλλη πλευρά, τα τελευταία στρώματα του ConvNet περιέχουν τις λεπτομέρειες που είναι πιο συγκεκριμένες για τις μεμονωμένες κατηγορίες που περιέχονται στο σύνολο δεδομένων που το μοντέλο αρχικά εκπαιδεύτηκε. Εάν εκπαιδεύετε ένα μοντέλο σε ένα σύνολο δεδομένων που είναι πολύ διαφορετικό από το αρχικό σύνολο δεδομένων, πιθανότατα θα θέλετε να χρησιμοποιήσετε τα αρχικά στρώματα του μοντέλου για να εξαγάγετε χαρακτηριστικά και να επαναεκπαιδεύσετε μόνο το υπόλοιπο μοντέλο.

Παραδείγματα Μεταφοράς Μάθησης

Οι πιο κοινές εφαρμογές της μεταφοράς μάθησης είναι πιθανότατα αυτές που χρησιμοποιούν δεδομένα εικόνων ως εισόδους. Αυτά είναι συχνά προβλήματα πρόβλεψης/ταξινόμησης. Ο τρόπος με τον οποίο τα Συμβολικά Νευρωνικά Δίκτυα ερμηνεύουν τα δεδομένα εικόνων προσφέρεται για την επαναχρήση των μερών των μοντέλων, поскольку τα στρώματα σύγκολης συχνά διακρίνουν πολύ παρόμοια χαρακτηριστικά. Ένα παράδειγμα ενός κοινού προβλήματος μεταφοράς μάθησης είναι η εργασία ImageNet 1000, ένα τεράστιο σύνολο δεδομένων που περιέχει 1000 διαφορετικές κατηγορίες αντικειμένων. Οι εταιρείες που αναπτύσσουν μοντέλα που επιτύγχαναν υψηλή απόδοση σε αυτήν την εργασία συχνά κυκλοφορούν τα μοντέλα τους με άδειες που επιτρέπουν σε άλλους να τα ξαναχρησιμοποιήσουν. Κάποια από τα μοντέλα που έχουν προκύψει από αυτήν τη διαδικασία περιλαμβάνουν το μοντέλο Microsoft ResNet, το μοντέλο Google Inception και την ομάδα μοντέλων Oxford VGG.