Μοντέλα και πλατφόρμες AI

EfficientViT: Μετασχηματιστής όρασης με αποδοτική χρήση μνήμης για υπολογιστική όραση υψηλής ανάλυσης

Kunal Kejriwal
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΗ EfficientViT εισάγει μια διάταξη σάντουιτς που τοποθετεί ένα μόνο επίπεδο προσοχής…
Δείτε περισσότερα
  • Η EfficientViT εισάγει μια διάταξη σάντουιτς που τοποθετεί ένα μόνο επίπεδο προσοχής, περιορισμένο από τη μνήμη, ανάμεσα σε αποδοτικά επίπεδα FFN για να μειώσει τις δαπανηρές λειτουργίες μνήμης.
  • Η ενότητα της καθοδικής ομαδικής προσοχής της τροφοδοτεί κάθε κεφαλή μόνο με ένα τμήμα του πλήρους χαρακτηριστικού για να κόψει τον υπολογιστικό πλεονασμό και να βελτιώσει την ποικιλομορφία της προσοχής.
  • Το μοντέλο ανακατανέμει παραμέτρους διευρύνοντας κρίσιμα στοιχεία, όπως οι προβολές τιμής, ενώ συρρικνώνει λιγότερο σημαντικά, όπως οι κρυφές διαστάσεις των FFN.

Λόγω της υψηλής ικανότητας του μοντέλου, τα μοντέλα μετασχηματιστών όρασης έχουν απολαύσει μεγάλη επιτυχία τα τελευταία χρόνια. Παρά την απόδοσή τους, τα μοντέλα μετασχηματιστών όρασης έχουν ένα σημαντικό ελάττωμα: η αξιοσημείωτη υπολογιστική τους ικανότητα έρχεται με υψηλό υπολογιστικό κόστος, και είναι ο λόγος για τον οποίο οι μετασχηματίστές όρασης δεν είναι η πρώτη επιλογή για εφαρμογές σε πραγματικό χρόνο. Για να αντιμετωπίσουν αυτό το ζήτημα, μια ομάδα προγραμματιστών δημιούργησε τον EfficientViT, μια οικογένεια γρήγορων μετασχηματιστών όρασης.

Κατά την εργασία στον EfficientViT, οι προγραμματιστές παρατήρησαν ότι η ταχύτητα των τρεχόντων μοντέλων μετασχηματιστών συχνά περιορίζεται από μη αποδοτικές λειτουργίες μνήμης, ιδιαίτερα τις πράξεις ανά στοιχείο και την αναδιαμόρφωση του τανυστή στο δίκτυο πολυκεφαλικής αυτοπροσοχής (MHSA). Για να αντιμετωπίσουν αυτές τις μη αποδοτικές λειτουργίες μνήμης, οι προγραμματιστές του EfficientViT έχουν εργαστεί σε ένα νέο δομικό στοιχείο χρησιμοποιώντας μια διάταξη σάντουιτς, δηλαδή το μοντέλο EfficientViT χρησιμοποιεί ένα μόνο δίκτυο πολυκεφαλικής αυτοπροσοχής (MHSA) μεταξύ των αποτελεσματικών στρωμάτων FFN που βοηθούν στην βελτίωση της μνήμης και στην ενίσχυση της συνολικής επικοινωνίας του καναλιού. Επιπλέον, το μοντέλο ανακαλύπτει ότι οι χάρτες προσοχής συχνά έχουν υψηλή ομοιότητα μεταξύ των κεφαλών, οδηγώντας σε υπολογιστικό πλεονασμό. Για να αντιμετωπίσουν το ζήτημα του πλεονασμού, το μοντέλο EfficientViT παρουσιάζει μια μονάδα διαδοχικής ομαδικής προσοχής (CGA) που τροφοδοτεί τις κεφαλές προσοχής με διαφορετικές διαιρέσεις του πλήρους χαρακτηριστικού. Η μέθοδος δεν μόνο βοηθά στην εξοικονόμηση υπολογιστικών κόστων, αλλά και βελτιώνει την ποικιλία προσοχής του μοντέλου.

Περιεκτικές πειραματικές μελέτες που διεξήχθησαν στο μοντέλο EfficientViT σε διάφορες σενάρια δείχνουν ότι το EfficientViT υπερέχει των υφιστάμενων αποτελεσματικών μοντέλων για υπολογιστική όραση, ενώ επιτυγχάνει μια καλή ισορροπία μεταξύ ακρίβειας και ταχύτητας. Έτσι, ας πάρουμε μια πιο λεπτομερή ματιά και εξετάσουμε το μοντέλο EfficientViT σε λίγο περισσότερο βάθος.

Εισαγωγή στους Μετασχηματιστές Όρασης και τον EfficientViT

Οι μετασχηματίστές όρασης παραμένουν ένα από τα πιο δημοφιλή πλαίσια στη βιομηχανία υπολογιστικής όρασης, επειδή προσφέρουν υπεροχή απόδοση και υψηλή υπολογιστική ικανότητα. Ωστόσο, με την συνεχώς βελτιωμένη ακρίβεια και απόδοση των μοντέλων μετασχηματιστών όρασης, τα λειτουργικά κόστη και η υπολογιστική επιβάρυνση αυξάνονται επίσης. Για παράδειγμα, τα τρέχοντα μοντέλα που είναι γνωστά για την παροχή κορυφαίας απόδοσης σε σύνολα δεδομένων ImageNet όπως SwinV2 και V-MoE χρησιμοποιούν 3 και 14,7 δισεκατομμύρια παραμέτρους, αντίστοιχα. Το μέγεθος αυτών των μοντέλων, σε συνδυασμό με τα υπολογιστικά κόστη και τις απαιτήσεις, τα κάνει πρακτικά ακατάλληλα για εφαρμογές σε πραγματικό χρόνο.

Το EfficientViT εξετάζει πώς να αυξήσει την απόδοση των μοντέλων μετασχηματιστών όρασης και να βρει τις αρχές που εμπλέκονται στη σχεδίαση αποδοτικών και αποτελεσματικών αρχιτεκτονικών μετασχηματιστών. Το μοντέλο EfficientViT βασίζεται σε υφιστάμενα πλαίσια μετασχηματιστών όρασης όπως Swin και DeiT και αναλύει τρεις απαραίτητες παράμετρους που επηρεάζουν την ταχύτητα των μοντέλων, συμπεριλαμβανομένης του υπολογιστικού πλεονασμού, της πρόσβασης μνήμης και της χρήσης παραμέτρων. Επιπλέον, το μοντέλο παρατηρεί ότι η ταχύτητα των μοντέλων μετασχηματιστών όρασης είναι περιορισμένη από την πρόσβαση μνήμης, που σημαίνει ότι η πλήρης αξιοποίηση της υπολογιστικής ισχύος σε CPU/GPU είναι περιορισμένη από την καθυστέρηση πρόσβασης μνήμης, που έχει αρνητική επίδραση στην ταχύτητα εκτέλεσης των μετασχηματιστών. Οι πράξεις ανά στοιχείο και η αναδιαμόρφωση του τανυστή στο δίκτυο πολυκεφαλικής αυτοπροσοχής (MHSA) είναι οι λιγότερο αποδοτικές λειτουργίες ως προς τη μνήμη. Το μοντέλο επίσης παρατηρεί κάποια κόπωση στις χάρτες προσοχής ως αποτέλεσμα της τάσης των κεφαλών να μάθουν παρόμοιες γραμμικές προβολές.

Το μοντέλο είναι το τελικό αποτέλεσμα των ευρημάτων κατά τη διάρκεια της έρευνας για τον EfficientViT. Το μοντέλο διαθέτει ένα νέο δομικό στοιχείο με διάταξη σάντουιτς που εφαρμόζει ένα μόνο δίκτυο πολυκεφαλικής αυτοπροσοχής (MHSA) μεταξύ των στρωμάτων FFN. Η προσέγγιση δεν μόνο μειώνει τον χρόνο εκτέλεσης των μεθόδων πρόσβασης μνήμης, αλλά και κάνει τη διαδικασία πιο αποτελεσματική, επιτρέποντας περισσότερα στρώματα FFN να διευκολύνουν την επικοινωνία μεταξύ των καναλιών. Το μοντέλο επίσης χρησιμοποιεί μια νέα μονάδα διαδοχικής ομαδικής προσοχής (CGA) που στοχεύει να κάνει τις υπολογιστικές διαδικασίες πιο αποτελεσματικές, μειώνοντας τον υπολογιστικό πλεονασμό στις κεφαλές προσοχής και αυξάνοντας το βάθος του δικτύου, άρα και τη χωρητικότητα του μοντέλου. Τέλος, ανακατανέμει τις παραμέτρους αυξάνοντας το πλάτος καναλιών σε σημαντικά στοιχεία, όπως οι προβολές τιμών, και μειώνοντάς το σε λιγότερο σημαντικά στοιχεία, όπως οι κρυφές διαστάσεις των FFN.

Όπως φαίνεται στην παραπάνω εικόνα, το πλαίσιο EfficientViT εκτελείται καλύτερα από τα τρέχοντα μοντέλα CNN και ViT όσον αφορά την ακρίβεια και την ταχύτητα. Αλλά πώς κατάφερε το πλαίσιο EfficientViT να υπερέχει των τρεχόντων μοντέλων; Ας το ανακαλύψουμε.

EfficientViT: Βελτιώνοντας την Αποτελεσματικότητα των Μετασχηματιστών Όρασης

Το μοντέλο EfficientViT στοχεύει να βελτιώσει την αποτελεσματικότητα των υφιστάμενων μοντέλων μετασχηματιστών όρασης από τρεις οπτικές γωνίες,

  1. Υπολογιστικός Πλεονασμός.
  2. Πρόσβαση Μνήμης.
  3. Χρήση Παραμέτρων.

Το μοντέλο στοχεύει να ανακαλύψει πώς οι παραπάνω παράμετροι επηρεάζουν την αποτελεσματικότητα των μοντέλων μετασχηματιστών όρασης και πώς να τις λύσει για να επιτύχει καλύτερα αποτελέσματα με μεγαλύτερη αποτελεσματικότητα. Ας μιλήσουμε για αυτές τις παραμέτρους σε μεγαλύτερο βάθος.

Πρόσβαση Μνήμης και Αποτελεσματικότητα

Μια από τις βασικές παράμετρους που επηρεάζουν την ταχύτητα του μοντέλου είναι η επιβάρυνση πρόσβασης στη μνήμη ή MAO. Όπως φαίνεται στην εικόνα παρακάτω, διάφορες λειτουργίες στο μετασχηματιστή, συμπεριλαμβανομένων των προσθέσεων ανά στοιχείο, της κανονικοποίησης και της συχνής αναδιαμόρφωσης, είναι μη αποδοτικές λειτουργίες μνήμης, επειδή απαιτούν πρόσβαση σε διάφορες μονάδες μνήμης, που είναι μια χρονοβόρα διαδικασία.

Αν και υπάρχουν κάποιες υφιστάμενες μεθόδους που μπορούν να απλοποιήσουν τις τυπικές υπολογιστικές διαδικασίες αυτο-προσοχής, όπως η προσέγγιση χαμηλού βαθμού και η αραιή προσοχή, συχνά προσφέρουν περιορισμένη επιτάχυνση και μειώνουν την ακρίβεια.

Από την άλλη πλευρά, το πλαίσιο EfficientViT στοχεύει να μειώσει το κόστος πρόσβασης μνήμης μειώνοντας τον αριθμό των μη αποδοτικών λειτουργιών μνήμης στο μοντέλο. Το μοντέλο κλιμακώνει το DeiT-T και το Swin-T σε μικρότερα υποδίκτυα με υψηλότερη ταχύτητα inference 1,25X και 1,5X, και συγκρίνει την απόδοση των υποδικτύων με τις αναλογίες των στρωμάτων MHSA. Όπως φαίνεται στην εικόνα παρακάτω, όταν εφαρμοστεί, η προσέγγιση, σύμφωνα με την περιγραφή του αρχικού άρθρου, αυξάνει την ακρίβεια των στρωμάτων MHSA κατά περίπου 20–40%.

Υπολογιστική Αποτελεσματικότητα

Τα στρώματα MHSA τείνουν να ενσωματώνουν την είσοδο ακολουθίας σε πολλαπλούς υποχώρους ή κεφαλές και υπολογίζουν τους χάρτες προσοχής ατομικά, μια προσέγγιση που είναι γνωστή ότι αυξάνει την απόδοση. Ωστόσο, οι χάρτες προσοχής δεν είναι υπολογιστικά φθηνοί, και για να εξετάσουν το υπολογιστικό κόστος, το μοντέλο EfficientViT εξετάζει πώς να μειώσει τον πλεονασμό στην προσοχή σε μικρότερα μοντέλα ViT. Το μοντέλο μετράει την μέγιστη ομοιότητα cosine κάθε κεφαλής και των υπόλοιπων κεφαλών σε κάθε μπλοκ με την εκπαίδευση των μοντέλων DeiT-T και Swin-T με 1,25 φορές επιτάχυνση. Όπως φαίνεται στην εικόνα παρακάτω, υπάρχει υψηλός αριθμός ομοιότητας μεταξύ των κεφαλών προσοχής, που υποδηλώνει ότι το μοντέλο υποφέρει από υπολογιστικό πλεονασμό επειδή πολλές κεφαλές τείνουν να μάθουν παρόμοιες προβολές του πλήρους χαρακτηριστικού.

Για να ενθαρρύνουν τις κεφαλές να μάθουν διαφορετικά μοτίβα, το μοντέλο εφαρμόζει μια διαισθητική λύση στην οποία κάθε κεφαλή τροφοδοτείται μόνο με ένα μέρος του πλήρους χαρακτηριστικού, μια τεχνική που μοιάζει με την ιδέα της ομαδοποιημένης συνέλιξης. Το μοντέλο εκπαιδεύει τα διαφορετικά πτυχές των μοντέλων με τροποποιημένα στρώματα MHSA.

Αποτελεσματικότητα Παραμέτρων

Τα τυπικά μοντέλα ViT κληρονομούν τις στρατηγικές σχεδιασμού τους, όπως η χρήση ισοδύναμου πλάτους για προβολές, η ρύθμιση του αναλογικού λόγου στο 4 στο FFN και η αύξηση των κεφαλών στα στάδια από NLP μετασχηματιστές. Οι ρυθμίσεις αυτών των στοιχείων πρέπει να σχεδιαστούν προσεκτικά για ελαφριά μοντέλα. Το μοντέλο EfficientViT εφαρμόζει την τεχνική Taylor για να βρει τα απαραίτητα στοιχεία στα στρώματα Swin-T και DeiT-T αυτόματα και εξετάζει τις αρχές της χρήσης παραμέτρων. Σε ορισμένα περιορισμένα πόρους, οι μέθοδοι κλάδευσης αφαιρούν τα μη σημαντικά κανάλια και διατηρούν τις κρίσιμες για να εξασφαλίσουν την υψηλότερη δυνατή ακρίβεια. Η εικόνα παρακάτω συγκρίνει το λόγο των καναλιών με τις είσοδους ενσωματώσεων πριν και μετά την κλάδευση στο πλαίσιο Swin-T. Παρατηρήθηκε ότι: Ακρίβεια βάσης: 79,1%; ακρίβεια κλάδευσης: 76,5%.

Η παραπάνω εικόνα δείχνει ότι τα δύο πρώτα στάδια του μοντέλου διατηρούν περισσότερες διαστάσεις, ενώ τα δύο τελευταία στάδια διατηρούν πολύ λιγότερες διαστάσεις. Μπορεί να σημαίνει ότι μια τυπική διαμόρφωση καναλιού που διπλασιάζει το πλάτος του καναλιού μετά από κάθε στάδιο ή χρησιμοποιεί ισοδύναμο πλάτος για όλα τα μπλοκ, μπορεί να οδηγήσει σε σημαντικό πλεονασμό στα τελευταία μπλοκ.

Αποτελεσματικός Μετασχηματίστης Όρασης: Αρχιτεκτονική

Βασισμένοι στις γνώσεις που αποκτήθηκαν κατά την ανάλυση, οι προγραμματιστές εργάστηκαν στην δημιουργία ενός νέου ιεραρχικού μοντέλου που προσφέρει γρήγορη inference, το μοντέλο EfficientViT. Ας δούμε μια πιο λεπτομερή ματιά στην αρχιτεκτονική του μοντέλου EfficientViT. Η εικόνα παρακάτω δίνει μια γενική ιδέα για το μοντέλο EfficientViT.

Δομικά Στοιχεία του Μοντέλου EfficientViT

Το δομικό στοιχείο για το πιο αποτελεσματικό δίκτυο μετασχηματιστών όρασης εμφανίζεται στην εικόνα παρακάτω.

Το μοντέλο αποτελείται από μια μονάδα διαδοχικής ομαδικής προσοχής (CGA), μια διάταξη σάντουιτς και μια στρατηγική ανακατανομής παραμέτρων που στοχεύουν στην βελτίωση της αποτελεσματικότητας του μοντέλου σε υπολογιστική, μνήμη και παραμέτρους, αντίστοιχα. Ας μιλήσουμε για αυτές τις παραμέτρους σε μεγαλύτερο βάθος.

Διάταξη Σάντουιτς

Το μοντέλο χρησιμοποιεί μια νέα διάταξη σάντουιτς για να δημιουργήσει ένα πιο αποδοτικό και αποτελεσματικό μπλοκ μνήμης για το μοντέλο. Η διάταξη σάντουιτς χρησιμοποιεί λιγότερα στρώματα αυτοπροσοχής που περιορίζονται από την πρόσβαση στη μνήμη και περισσότερα αποδοτικά στρώματα FFN για επικοινωνία μεταξύ καναλιών. Πιο συγκεκριμένα, το μοντέλο εφαρμόζει ένα μόνο στρώμα αυτο-προσοχής για χωρική ανάμιξη που είναι σάντουιτς μεταξύ των στρωμάτων FFN. Η σχεδίαση δεν μόνο μειώνει τον χρόνο εκτέλεσης των μεθόδων πρόσβασης μνήμης, αλλά και επιτρέπει αποτελεσματική επικοινωνία μεταξύ των καναλιών μέσα στο δίκτυο χάρη στην χρήση των στρωμάτων FFN. Το μοντέλο επίσης εφαρμόζει ένα επιπλέον στρώμα αλληλεπίδρασης μεταξύ διακριτικών πριν από κάθε στρώμα FFN χρησιμοποιώντας τον τελεστή συνέλιξης DWConv και αυξάνει την ικανότητα του μοντέλου εισάγοντας την επαγωγική προκατάληψη της τοπικής δομικής πληροφορίας.

Διαδοχική Ομαδική Προσοχή

Ένα από τα βασικά προβλήματα των στρωμάτων MHSA είναι ο πλεονασμός στις κεφαλές προσοχής, που κάνει τις υπολογιστικές διαδικασίες λιγότερο αποτελεσματικές. Για να λύσει αυτό το ζήτημα, το μοντέλο προτείνει την διαδοχική ομαδική προσοχή για μετασχηματιστές όρασης, μια νέα μονάδα προσοχής που εμπνέεται από τις ομαδοποιημένες συνελίξεις στα αποτελεσματικά CNN. Σε αυτήν την προσέγγιση, το μοντέλο τροφοδοτεί τις κεφαλές με διαφορετικά τμήματα του πλήρους χαρακτηριστικού και διασπάει την υπολογιστική προσοχής ρητά μεταξύ των κεφαλών. Η διαίρεση των χαρακτηριστικών αντί να τροφοδοτεί τις κεφαλές με το πλήρες χαρακτηριστικό εξοικονομεί υπολογιστικές διαδικασίες και κάνει τη διαδικασία πιο αποτελεσματική, και το μοντέλο συνεχίζει να εργάζεται για την βελτίωση της ακρίβειας και της ικανότητας ακόμη περισσότερο, ενθαρρύνοντας τα στρώματα να μάθουν προβολές σε χαρακτηριστικά με πλουσιότερη πληροφορία.

Ανακατανομή Παραμέτρων

Για να βελτιώσει την αποτελεσματικότητα των παραμέτρων, το μοντέλο ανακατανέμει τις παραμέτρους στο δίκτυο επεκτείνοντας το πλάτος του καναλιού των κρίσιμων στοιχείων ενώ συρρικνώνει το πλάτος του καναλιού των μη σημαντικών στοιχείων. Βασισμένοι στην ανάλυση Taylor, το μοντέλο ρυθμίζει μικρές διαστάσεις καναλιού για προβολές σε κάθε κεφαλή κατά τη διάρκεια κάθε στάδιου ή επιτρέπει τις προβολές να έχουν την ίδια διάσταση με την είσοδο. Ο αναλογικός λόγος του στρώματος FFN μειώνεται σε 2 από 4 για να βοηθήσει στην ανακατανομή παραμέτρων. Η προτεινόμενη στρατηγική ανακατανομής που εφαρμόζει το μοντέλο EfficientViT, ανακατανέμει περισσότερα κανάλια στα σημαντικά στοιχεία για να επιτρέψει να μάθουν αναπαραστάσεις σε υψηλότερο διαστατικό χώρο καλύτερα, που ελαχιστοποιεί την απώλεια πληροφορίας χαρακτηριστικών. Επιπλέον, για να επιταχύνει τη διαδικασία inference και να βελτιώσει την αποτελεσματικότητα του μοντέλου ακόμη περισσότερο, το μοντέλο αφαιρεί αυτόματα τις πλεονάζουσες παραμέτρους στα μη σημαντικά στοιχεία.

Η επισκόπηση του μοντέλου EfficientViT μπορεί να εξηγηθεί στην παραπάνω εικόνα, όπου τα μέρη:

  1. Αρχιτεκτονική του EfficientViT,
  2. Μπλοκ διάταξης σάντουιτς,
  3. Διαδοχική ομαδική προσοχή.

 

EfficientViT: Αρχιτεκτονικές Δικτύου

Η παραπάνω εικόνα συνοψίζει την αρχιτεκτονική του μοντέλου EfficientViT. Το μοντέλο εισάγει μια επικαλυπτόμενη ενσωμάτωση patch [20,80] που ενσωματώνει 16×16 patches σε tokens διάστασης C1 που αυξάνει την ικανότητα του μοντέλου να εκτελεί καλά στην εκμάθηση οπτικών αναπαραστάσεων χαμηλού επιπέδου. Η αρχιτεκτονική του μοντέλου αποτελείται από τρία στάδια, όπου κάθε στάδιο στοιβάζει τα προτεινόμενα δομικά στοιχεία του μοντέλου EfficientViT, και ο αριθμός των tokens σε κάθε στάδιο (με υποδειγματοληψία της ανάλυσης κατά 2 σε κάθε άξονα) μειώνεται κατά παράγοντα 4. Για αποδοτικότερη υποδειγματοληψία, το μοντέλο προτείνει ένα μπλοκ υποδειγματοληψίας που έχει επίσης την προτεινόμενη διάταξη σάντουιτς με την εξαίρεση ότι ένα ανεστραμμένο υπολειμματικό block αντικαθιστά το στρώμα προσοχής για να μειώσει την απώλεια πληροφορίας κατά τη δειγματοληψία. Επιπλέον, αντί για την τυπική LayerNorm(LN), το μοντέλο χρησιμοποιεί BatchNorm(BN) επειδή το BN μπορεί να ενσωματωθεί στα προηγούμενα γραμμικά ή συνελικτικά στρώματα, που του δίνει ένα πλεονέκτημα εκτέλεσης έναντι του LN.

 

Οικογένεια Μοντέλων EfficientViT

Η οικογένεια μοντέλων EfficientViT αποτελείται από 6 μοντέλα με διαφορετικά βάθη και πλάτος, και ένας καθορισμένος αριθμός κεφαλών ανατείνεται σε κάθε στάδιο. Τα μοντέλα χρησιμοποιούν λιγότερα μπλοκ στα αρχικά στάδια σε σύγκριση με τα τελικά στάδια, μια διαδικασία που μοιάζει με αυτή που ακολουθεί το πλαίσιο MobileNetV3, επειδή η διαδικασία της πρώιμης επεξεργασίας με μεγαλύτερες ανάλυσεις είναι χρονοβόρα. Το πλάτος αυξάνεται στα στάδια με ένα μικρό παράγοντα για να μειώσει τον πλεονασμό στα τελευταία στάδια. Ο πίνακας που ακολουθεί παρέχει τις αρχιτεκτονικές λεπτομέρειες της οικογένειας μοντέλων EfficientViT, όπου C, L και H αναφέρονται στο πλάτος, το βάθος και τον αριθμό κεφαλών στο συγκεκριμένο στάδιο.

EfficientViT: Υλοποίηση Μοντέλου και Αποτελέσματα

Το μοντέλο EfficientViT έχει συνολικό μέγεθος batch 2.048, είναι κατασκευασμένο με Timm και PyTorch, εκπαιδεύεται από την αρχή για 300 εποχές εκπαίδευσης χρησιμοποιώντας 8 Nvidia V100 GPUs, χρησιμοποιεί έναν προγραμματιστή συνημιτονοειδούς ρυθμού μάθησης, έναν AdamW optimizer και διεξάγει πειράματα ταξινόμησης εικόνων στο ImageNet-1K. Οι είσοδοι εικόνων είναι τυχαία κομμένες και αναδιαμορφωμένες σε ανάλυση 224×224. Για τα πειράματα που αφορούν την ταξινόμηση εικόνων, το μοντέλο EfficientViT προσαρμόζει το μοντέλο με πρόσθετη εκπαίδευση για 300 εποχές εκπαίδευσης και χρησιμοποιεί AdamW optimizer με μέγεθος batch 256. Το μοντέλο χρησιμοποιεί το μοντέλο που αναφέρεται ως RetineNet στο πρωτότυπο για ανίχνευση αντικειμένων στο COCO και συνεχίζει να εκπαιδεύει τα μοντέλα για 12 επιπλέον εποχές εκπαίδευσης με τις ίδιες ρυθμίσεις.

Αποτελέσματα στο ImageNet

Για να αναλύσει την απόδοση του EfficientViT, συγκρίνεται με τα τρέχοντα μοντέλα ViT και CNN στο σύνολο δεδομένων ImageNet. Τα αποτελέσματα από τη σύγκριση αναφέρονται στην παρακάτω εικόνα. Όπως φαίνεται, η οικογένεια μοντέλων EfficientViT υπερέχει των τρεχόντων μοντέλων στις περισσότερες περιπτώσεις και επιτυγχάνει μια ιδανική ισορροπία μεταξύ ταχύτητας και ακρίβειας.

Σύγκριση με Αποτελεσματικά CNN και Efficient ViTs

Το μοντέλο συγκρίνεται πρώτα με τα αποτελεσματικά CNN όπως EfficientNet και τα τυπικά CNN όπως MobileNets. Όπως φαίνεται, όταν συγκρίνεται με τα μοντέλα MobileNet, τα μοντέλα EfficientViT επιτύγχάνουν καλύτερη ακρίβεια top-1, ενώ τρέχουν 3,0X και 2,5X ταχύτερα σε Intel CPU και V100 GPU, αντίστοιχα.

Η παραπάνω εικόνα συγκρίνει την απόδοση του μοντέλου EfficientViT με τα μοντέλα ViT μεγάλης κλίμακας που τρέχουν στο σύνολο δεδομένων ImageNet-1K.

Ταξινόμηση εικόνων σε επακόλουθες εργασίες

Το μοντέλο EfficientViT εφαρμόζεται σε διάφορες εργασίες για να μελετήσει την ικανότητα μεταφοράς του μοντέλου, και η παρακάτω εικόνα συνοψίζει τα αποτελέσματα του πειράματος. Όπως φαίνεται, το μοντέλο EfficientViT-M5 επιτυγχάνει καλύτερα ή παρόμοια αποτελέσματα σε όλα τα σύνολα δεδομένων, ενώ διατηρεί υψηλότερη ταχύτητα. Η μόνη εξαίρεση είναι το σύνολο δεδομένων Cars, όπου το μοντέλο EfficientViT δεν επιτυγχάνει στην ακρίβεια.

Ανίχνευση Αντικειμένων

Για να αναλύσει την ικανότητα ανίχνευσης αντικειμένων του EfficientViT, συγκρίνεται με τα αποτελεσματικά μοντέλα στο task ανίχνευσης αντικειμένων COCO, και η παρακάτω εικόνα συνοψίζει τα αποτελέσματα της σύγκρισης.

Τελικές Σκέψεις

Σε αυτό το άρθρο, μιλήσαμε για τον EfficientViT, μια οικογένεια γρήγορων μετασχηματιστών όρασης που χρησιμοποιούν διαδοχική ομαδική προσοχή και προσφέρουν αποτελεσματικές μεθόδους μνήμης. Περιεκτικές πειραματικές μελέτες που διεξήχθησαν για να αναλύσουν την απόδοση του EfficientViT έχουν δείξει υποσχόμενες αποτελέσματα, καθώς το μοντέλο EfficientViT υπερέχει των τρεχόντων μοντέλων CNN και μετασχηματιστών όρασης στις περισσότερες περιπτώσεις. Επίσης, προσπαθήσαμε να παρέχουμε μια ανάλυση των παραγόντων που επηρεάζουν την ταχύτητα inference των μετασχηματιστών όρασης.

Ο Kunal Kejriwal είναι μηχανικός back‑end που ειδικεύεται στην Python, PostgreSQL, Redis και στην υποδομή cloud στο GCP και το AWS. Με τρία χρόνια εμπειρίας στην κατασκευή και κλιμάκωση συστημάτων παραγωγής, γράφει για την υποδομή AI, τα κατανεμημένα συστήματα και την αρχιτεκτονική πίσω από την ανάπτυξη φορτίων εργασίας μηχανικής μάθησης.