Μοντέλα και πλατφόρμες AI

SHOW-O: ένας ενιαίος μετασχηματιστής για πολυτροπική κατανόηση και δημιουργία

Kunal Kejriwal
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο Show-O ενοποιεί την πολυτροπική κατανόηση και παραγωγή μέσα σε ένα μοντέλο…
Δείτε περισσότερα
  • Το Show-O ενοποιεί την πολυτροπική κατανόηση και παραγωγή μέσα σε ένα μοντέλο μετασχηματιστή.
  • Συνδυάζει την αυτοπαλινδρομική μοντελοποίηση κειμένου με διακριτή διάχυση για εικόνες, απαιτώντας πολύ λιγότερα βήματα δειγματοληψίας.
  • Το μοντέλο επιτυγχάνει ανταγωνιστική απόδοση σε εργασίες οπτικής-γλώσσας χωρίς να χρειάζεται ξεχωριστά εξειδικευμένα μοντέλα.

Η πρόοδος των μεγάλων γλωσσικών μοντέλων (LLM) οδήγησε στην ανάπτυξη πολυτροπικών μεγάλων γλωσσικών μοντέλων (MLLM). Πρώιμα συστήματα όπως τα LLaVA, MiniGPT-4 και InstructBLIP έδειξαν αξιόλογη πολυτροπική κατανόηση. Προβάλλουν χαρακτηριστικά από προεκπαιδευμένους κωδικοποιητές, όπως το CLIP, στον χώρο εισόδου ενός LLM, επιτρέποντας κατανόηση και συλλογισμό μέσα στον μετασχηματιστή. Παρά τις διαφορές στους κωδικοποιητές εικόνας, στους προσαρμογείς ευθυγράμμισης και στα δεδομένα, τα περισσότερα εκπαιδεύονται με αυτοπαλίνδρομη παραγωγή, η οποία έχει αποδειχθεί αποτελεσματική για το κείμενο. Ωστόσο, επικεντρώνονται κυρίως στην οπτική αντίληψη και δεν μπορούν να παράγουν πολυτροπικές εξόδους πέρα από το κείμενο.

Οι μετασχηματιστές έχουν σημειώσει μεγάλη επιτυχία στην αυτοπαλίνδρομη μοντελοποίηση της φυσικής γλώσσας. Προηγούμενες μελέτες εφάρμοσαν την ίδια προσέγγιση στις εξαρτήσεις μεταξύ εικονοστοιχείων για τη δημιουργία εικόνων και βίντεο. Το VideoPoet, για παράδειγμα, χρησιμοποιεί μετασχηματιστή μόνο με αποκωδικοποιητή για τη σύνθεση βίντεο υψηλής ποιότητας από πολυτροπικές εισόδους. Το LlamaGen έδειξε επίσης ότι μια αρχιτεκτονική όπως το Llama μπορεί να μοντελοποιήσει αυτοπαλίνδρομα διακριτικά εικόνας, με καλά αποτελέσματα στη δημιουργία εικόνων υπό συνθήκη κατηγορίας.

Το Show-O είναι ένας ενιαίος μετασχηματιστής που συνδυάζει πολυτροπική κατανόηση και δημιουργία. Σε αντίθεση με τα πλήρως αυτοπαλίνδρομα μοντέλα, συνδυάζει αυτοπαλίνδρομη μοντελοποίηση και διακριτή διάχυση, προσαρμόζοντας τον χειρισμό εισόδων και εξόδων διαφορετικών ή μικτών τροπικοτήτων. Υποστηρίζει οπτικές ερωταποκρίσεις, δημιουργία εικόνας από κείμενο, συμπλήρωση και επέκταση εικόνας με καθοδήγηση κειμένου και δημιουργία μικτών τροπικοτήτων. Σε διάφορες δοκιμασίες επιτυγχάνει συγκρίσιμα ή καλύτερα αποτελέσματα από μεμονωμένα μοντέλα με ίσο ή μεγαλύτερο αριθμό παραμέτρων, δείχνοντας δυνατότητες ως βασικό μοντέλο επόμενης γενιάς.

Στη συνεχή διάχυση, το μοντέλο προβλέπει τον γκαουσιανό θόρυβο που προστίθεται στις συνεχείς λανθάνουσες αναπαραστάσεις. Αντίθετα, τα D3PM, Mask-predict, ARDM και MaskGIT χρησιμοποιούν διακριτή αλλοίωση. Η εικόνα αναπαρίσταται ως ακολουθία διακριτικών με κατηγορικές ετικέτες. Μια στοχαστική διαδικασία μετατρέπει την κατανομή τους σε ομοιόμορφη. Κατά την εκπαίδευση, ορισμένα διακριτικά αποκρύπτονται τυχαία και το μοντέλο προβλέπει τις αρχικές τιμές τους. Το Show-O υιοθετεί διακριτή διάχυση για την οπτική δημιουργία.

SHOW-O: ενοποίηση πολυτροπικής κατανόησης και δημιουργίας

Τα τελευταία χρόνια σημειώθηκε σημαντική πρόοδος στους δύο βασικούς πυλώνες της πολυτροπικής νοημοσύνης: την κατανόηση και τη δημιουργία. Πολυτροπικά μεγάλα γλωσσικά μοντέλα (MLLM), όπως το LLaVA, έχουν ισχυρές δυνατότητες σε εργασίες εικόνας–γλώσσας, όπως οι οπτικές ερωταποκρίσεις (VQA). Στην οπτική δημιουργία, τα πιθανοτικά μοντέλα διάχυσης με αποθορυβοποίηση (DDPM) άλλαξαν τις παραδοσιακές προσεγγίσεις, επιτυγχάνοντας πρωτοφανή αποτελέσματα στη δημιουργία εικόνων και βίντεο από κείμενο.

Είναι φυσικό να εξετάζεται η σύνδεση αυτών των δύο πεδίων. Πρόσφατες προσπάθειες συνδυάζουν εξειδικευμένα μοντέλα σε ενιαία συστήματα, αλλά συχνά διατηρούν χωριστά μοντέλα κατανόησης και δημιουργίας. Το NExT-GPT, για παράδειγμα, χρησιμοποιεί ένα γλωσσικό μοντέλο για την πολυτροπική κατανόηση και ένα επιπλέον προεκπαιδευμένο μοντέλο διάχυσης για τη δημιουργία εικόνων. Μπορεί ένας μόνο μετασχηματιστής να αναλάβει και τις δύο λειτουργίες;

Το Chameleon έδειξε ότι αυτό είναι εφικτό, συνδυάζοντας διαφορετικές τροπικότητες και παράγοντας διακριτικά κειμένου και εικόνας αυτοπαλίνδρομα. Ωστόσο, δεν είναι σαφές αν η αυτοπαλίνδρομη μοντελοποίηση είναι η βέλτιστη επιλογή για τμήματα εικόνας ή εικονοστοιχεία. Η πρόβλεψη μιας εικόνας απαιτεί πολλά βήματα δειγματοληψίας, ιδιαίτερα σε υψηλή ανάλυση. Τα μοντέλα συνεχούς διάχυσης έχουν παρουσιάσει καλύτερη οπτική δημιουργία από τα αυτοπαλίνδρομα.

Το ερώτημα είναι επομένως αν ένας μετασχηματιστής μπορεί να ενσωματώσει τόσο αυτοπαλίνδρομη μοντελοποίηση όσο και διάχυση. Το Show-O εξετάζει ένα παράδειγμα όπου το κείμενο αποτελείται από διακριτικά και μοντελοποιείται αυτοπαλίνδρομα, ενώ η εικόνα δημιουργείται μέσω αποθορυβοποίησης. Η ένωση των δύο τεχνικών είναι δύσκολη λόγω της διαφοράς ανάμεσα στα διακριτικά κειμένου και στις συνεχείς αναπαραστάσεις εικόνας. Επιπλέον, τα μοντέλα διάχυσης συνήθως χρειάζονται χωριστό κωδικοποιητή κειμένου και δίκτυο αποθορυβοποίησης.

Το Show-O αντιμετωπίζει αυτά τα ζητήματα με ενιαία αρχιτεκτονική που συνδυάζει αυτοπαλίνδρομη μοντελοποίηση και διάχυση. Βασίζεται σε προεκπαιδευμένο LLM και αξιοποιεί την αυτοπαλίνδρομη ικανότητά του για συλλογισμό μέσω κειμένου. Για τις εικόνες χρησιμοποιεί διακριτή διάχυση αποθορυβοποίησης αντί για συνεχείς αναπαραστάσεις. Κωδικοποιεί εγγενώς την πληροφορία κειμένου που καθοδηγεί τη δημιουργία, χωρίς πρόσθετο κωδικοποιητή. Με κωδικοποιητές διακριτικών κειμένου και εικόνας επεξεργάζεται διαφορετικά δεδομένα και εργασίες, παράγοντας αυτοπαλίνδρομα απαντήσεις σε εργασίες εικόνας–γλώσσας και εικόνες μέσω διακριτής διάχυσης.

Σε διάφορες δοκιμασίες το Show-O είναι συγκρίσιμο ή καλύτερο από μεμονωμένα μοντέλα με ίσο ή μεγαλύτερο αριθμό παραμέτρων. Απαιτεί περίπου είκοσι φορές λιγότερα βήματα δειγματοληψίας από την αυτοπαλίνδρομη δημιουργία εικόνων, γεγονός που το καθιστά ταχύτερο. Υποστηρίζει επίσης συμπλήρωση και επέκταση εικόνας με καθοδήγηση κειμένου χωρίς πρόσθετη λεπτομερή προσαρμογή, όπως δείχνει η επόμενη εικόνα.

Το Show-O μπορεί επίσης να υποστηρίξει δημιουργία μικτών τροπικοτήτων, όπως εναλλασσόμενα βασικά καρέ βίντεο και περιγραφές κειμένου, με προοπτική για βίντεο μεγάλης διάρκειας. Εξετάζει ακόμη πώς οι διακριτές και συνεχείς αναπαραστάσεις εικόνας επηρεάζουν την πολυτροπική κατανόηση, προσφέροντας στοιχεία για μελλοντικά ενιαία μοντέλα.

Η επόμενη εικόνα συγκρίνει τα χαρακτηριστικά του Show-O με υπάρχουσες μεθόδους σε διαφορετικά πεδία. Το Show-O ξεχωρίζει ως ενιαίο μοντέλο που συνδυάζει προηγμένες τεχνικές κατανόησης και δημιουργίας.

Οι κύριες συνεισφορές της εργασίας είναι οι εξής:

  • Ενιαίο μοντέλο: το Show-O συνδυάζει πολυτροπική κατανόηση και δημιουργία σε έναν μόνο μετασχηματιστή.
  • Συνδυασμός αυτοπαλίνδρομης μοντελοποίησης και διακριτής διάχυσης: κείμενο και εικόνες υποστηρίζονται αποτελεσματικά στην ίδια αρχιτεκτονική.
  • Ανταγωνιστικές επιδόσεις: φτάνει ή ξεπερνά μεμονωμένα μοντέλα αναφοράς με ίσο ή μεγαλύτερο αριθμό παραμέτρων σε δοκιμασίες κατανόησης και δημιουργίας.
  • Υποστήριξη εφαρμογών: επιτρέπει συμπλήρωση και επέκταση εικόνας βάσει κειμένου χωρίς λεπτομερή προσαρμογή και δείχνει δυνατότητες δημιουργίας μικτών τροπικοτήτων.
  • Μελέτη αναπαραστάσεων: εξετάζει πώς διαφορετικές αναπαραστάσεις μπορούν να βελτιώσουν την πολυτροπική κατανόηση ενιαίων μοντέλων.

Όλο και περισσότερες μελέτες εξετάζουν ενιαία πολυτροπικά μοντέλα με ικανότητες κατανόησης και δημιουργίας. Ορισμένες συνδυάζουν συνεχείς αναπαραστάσεις εικόνας και διακριτικά κειμένου για αυτοπαλίνδρομη δημιουργία. Το SEED-X προτείνει ένα ευέλικτο βασικό σύστημα: αναπαραστάσεις εικόνας από τον κωδικοποιητή CLIP ViT συνδυάζονται με διακριτικά κειμένου και εισάγονται σε LLM για πρόβλεψη της επόμενης λέξης και παλινδρόμηση της αναπαράστασης εικόνας. Το Chameleon αναπαριστά όλες τις τροπικότητες ως διακριτικά και εκπαιδεύει μια ενιαία αρχιτεκτονική μετασχηματιστή από την αρχή, από άκρο σε άκρο. Το Show-O χρησιμοποιεί επίσης διακριτικά για όλες τις τροπικότητες, αλλά για την οπτική δημιουργία επιλέγει διακριτή διάχυση αντί για αυτοπαλίνδρομη μοντελοποίηση.

SHOW-O: μεθοδολογία και αρχιτεκτονική

Στόχος είναι ένα ενιαίο μοντέλο που συνδυάζει αυτοπαλίνδρομη μοντελοποίηση και διάχυση για πολυτροπική κατανόηση και δημιουργία. Οι βασικές προκλήσεις είναι ο καθορισμός του χώρου εισόδου/εξόδου, η ενοποίηση δεδομένων από διαφορετικές τροπικότητες, η ενσωμάτωση των δύο τεχνικών σε έναν μετασχηματιστή και η αποτελεσματική εκπαίδευσή του.

Το Show-O προτείνει τις ακόλουθες λύσεις:

  • Κατασκευάζει τον χώρο εισόδου/εξόδου μετατρέποντας κείμενο και εικόνες σε διακριτικά.
  • Χρησιμοποιεί μια βασική αρχιτεκτονική και ενιαία στρατηγική διατύπωσης προτροπών για τη διάρθρωση των δεδομένων και των τροπικοτήτων.
  • Ενσωματώνει αυτοπαλίνδρομη μοντελοποίηση και διάχυση στον ίδιο μετασχηματιστή.
  • Προτείνει διαδικασία εκπαίδευσης τριών σταδίων.

Μετατροπή σε διακριτικά

Επειδή το Show-O βασίζεται σε προεκπαιδευμένα LLM, η ενιαία μάθηση στον διακριτό χώρο είναι φυσική επιλογή. Διατηρεί κοινό λεξιλόγιο διακριτικών κειμένου και εικόνας και χρησιμοποιεί κοινό μαθησιακό στόχο: την πρόβλεψη διακριτικών.

Διακριτικά κειμένου

Το Show-O χρησιμοποιεί τον ίδιο κωδικοποιητή διακριτικών με το προεκπαιδευμένο LLM, χωρίς τροποποιήσεις για τα δεδομένα κειμένου.

Διακριτικά εικόνας

Ακολουθώντας το MAGVIT-v2, το Show-O εκπαιδεύει έναν κβαντιστή χωρίς πίνακα αναζήτησης σε περίπου 35 εκατομμύρια εικόνες. Ο κβαντιστής διαθέτει λεξικό 8.192 κωδίκων και μετατρέπει εικόνες 256×256 σε πλέγμα 16×16 διακριτικών. Το MAGVIT-v2 επιλέγεται επειδή προσαρμόζεται εύκολα και μπορεί να λειτουργήσει ως κωδικοποιητής βίντεο με χρονική συμπίεση, δυνατότητα που προβλέπεται να εξεταστεί μελλοντικά. Μια εναλλακτική είναι διαφορετικοί κωδικοποιητές για κατανόηση και δημιουργία. Το Show-O εξετάζει επίσης συνεχείς αναπαραστάσεις από προεκπαιδευμένους MAGVIT-v2 και CLIP-ViT για βελτίωση της κατανόησης. Στη βασική εκδοχή που περιγράφεται εδώ χρησιμοποιεί διακριτικά εικόνας και για τις δύο λειτουργίες.

Αρχιτεκτονική

Το Show-O κληρονομεί την αρχιτεκτονική των υπαρχόντων LLM, προσθέτοντας μόνο μια λειτουργία QK-Norm πριν από κάθε στρώμα προσοχής. Αρχικοποιείται με τα βάρη ενός προεκπαιδευμένου LLM και διευρύνει το στρώμα ενσωματώσεων με 8.192 νέες εκπαιδεύσιμες ενσωματώσεις για διακριτικά εικόνας. Σε αντίθεση με μοντέλα διάχυσης που χρειάζονται πρόσθετο κωδικοποιητή κειμένου, κωδικοποιεί εγγενώς το κείμενο που καθοδηγεί τη δημιουργία εικόνας.

Ενιαία διατύπωση προτροπών

Για κοινή εκμάθηση κατανόησης και δημιουργίας, το Show-O μορφοποιεί διαφορετικές εισόδους με ενιαία στρατηγική προτροπών. Ένα ζεύγος εικόνας–κειμένου (x, y) μετατρέπεται σε M διακριτικά εικόνας και N διακριτικά κειμένου. Στη συνέχεια σχηματίζεται ακολουθία εισόδου ανάλογα με την εργασία, όπως φαίνεται στην εικόνα.

Αυτός ο σχεδιασμός κωδικοποιεί ως ακολουθίες δεδομένα για πολυτροπική κατανόηση, δημιουργία εικόνας από κείμενο και δημιουργία μικτών τροπικοτήτων. Η ενιαία μάθηση εφαρμόζεται ομαλά σε όλες αυτές τις εργασίες. Μετά την εκπαίδευση, το μοντέλο μπορεί να λάβει προτροπές για πολλές εργασίες εικόνας–γλώσσας, συμπεριλαμβανομένων οπτικών ερωταποκρίσεων και δημιουργίας εικόνων.

Μηχανισμός καθολικής προσοχής

Αντί να μοντελοποιεί όλες τις ακολουθίες μόνο αυτοπαλίνδρομα, το Show-O εισάγει την καθολική προσοχή (omni-attention), που χειρίζεται διαφορετικά είδη σημάτων με διαφορετικούς τρόπους. Ο μηχανισμός εναλλάσσεται προσαρμοστικά μεταξύ αιτιακής και πλήρους προσοχής, ανάλογα με τη μορφή της ακολουθίας εισόδου. Η εικόνα παρουσιάζει παραδείγματα.

Τα διακριτικά κειμένου χρησιμοποιούν αιτιακή προσοχή, ενώ τα διακριτικά εικόνας πλήρη προσοχή, ώστε να αλληλεπιδρούν μεταξύ τους. Στην πολυτροπική κατανόηση, το κείμενο μπορεί να προσέχει όλα τα προηγούμενα διακριτικά εικόνας. Στη δημιουργία εικόνας από κείμενο, η εικόνα μπορεί να αλληλεπιδρά με όλα τα προηγούμενα διακριτικά κειμένου. Η καθολική προσοχή διατηρεί τη γνώση συλλογισμού του προεκπαιδευμένου LLM και μειώνει τα βήματα δειγματοληψίας για αποτελεσματικότερη δημιουργία εικόνων. Υποστηρίζει επίσης συμπλήρωση και επέκταση χωρίς λεπτομερή προσαρμογή. Όταν υπάρχουν μόνο διακριτικά κειμένου, λειτουργεί ως αιτιακή προσοχή.

SHOW-O: πειράματα και αποτελέσματα

Ο ακόλουθος πίνακας παρουσιάζει την πολυτροπική κατανόηση του Show-O σε δημόσιες δοκιμασίες, όπως περιγραφή εικόνων και οπτικές ερωταποκρίσεις.

Η εξεταζόμενη έκδοση του Show-O βασίζεται στο Phi-1.5, επομένως άμεσο σημείο αναφοράς είναι το LLaVA-v1.5-Phi-1.5, που υποστηρίζει μόνο κατανόηση. Το Show-O έχει συγκρίσιμα αποτελέσματα σε όλες τις μετρήσεις, δείχνοντας ότι ένας μετασχηματιστής μπορεί να ενοποιήσει κατανόηση και δημιουργία. Παρά το πολύ μικρότερο μέγεθός του, είναι ανταγωνιστικό απέναντι στα InstructBLIP, Qwen-VL-Chat και mPLUG-Owl2 στα POPE, MME, Flickr30k και VQAv2 και καλύτερο στο GQA. Συγκρινόμενο με τα πολύ μεγαλύτερα ενιαία μοντέλα NExT-GPT-13B και Chameleon-34B, έχει επίσης ισχυρές επιδόσεις στο Flickr30k και πολύ καλύτερες στο VQAv2.

Τα αποτελέσματα δείχνουν προοπτικές για το Show-O ως βασικό μοντέλο επόμενης γενιάς που ενοποιεί κατανόηση και δημιουργία. Υποδεικνύουν επίσης ότι η αύξηση της κλίμακάς του μπορεί να οδηγήσει σε κορυφαίες επιδόσεις.

Ποιοτικές συγκρίσεις

Η επόμενη εικόνα συγκρίνει ποιοτικά το Show-O με τα μοντέλα διάχυσης SDv1.5 και SDXL, το αυτοπαλίνδρομο LlamaGen και τα ενιαία μοντέλα LWM και SEED-X.

Το Show-O δημιουργεί ρεαλιστικές εικόνες με περιεχόμενο που ανταποκρίνεται σε σύντομες και εκτενείς προτροπές. Σε σχέση με τα SDv1.5 και LlamaGen, προσφέρει καλύτερη οπτική ποιότητα και αντιστοίχιση εικόνας–κειμένου. Στη δεύτερη στήλη, για παράδειγμα, τα δύο μοντέλα παραλείπουν στοιχεία όπως το ηλιοβασίλεμα και οι μπλε θόλοι. Σε σχέση με το SDXL, η ποιότητα και η αντιστοίχιση είναι συγκρίσιμες, όπως στα παραδείγματα αγώνα αυτοκινήτων ράλι και έντονης αντίθεσης με ένα ζωηρό ηλιοβασίλεμα.

Συμπλήρωση και επέκταση εικόνας με καθοδήγηση κειμένου

Το Show-O υποστηρίζει εγγενώς συμπλήρωση και επέκταση εικόνας βάσει κειμένου, χωρίς λεπτομερή προσαρμογή. Η εικόνα δείχνει παραδείγματα.

Στο επάνω μέρος, με μια εικόνα εισόδου και μια μάσκα συμπλήρωσης, το Show-O μετατρέπει ένα κόκκινο τραμ σε μπλε σπορ αυτοκίνητο με κομψές καμπύλες και φιμέ τζάμια, ακολουθώντας την προτροπή του χρήστη. Μπορεί επίσης να επεκτείνει την εικόνα οριζόντια ή κάθετα. Στη δεύτερη σειρά προσθέτει, για παράδειγμα, κόκκινα αγριολούλουδα. Οι νέες περιοχές παραμένουν συνεπείς με την αρχική εικόνα. Τα παραδείγματα αναδεικνύουν τα πλεονεκτήματα του Show-O έναντι αυτοπαλίνδρομων μοντέλων σε αυτές τις εφαρμογές.

Συμπεράσματα

Το Show-O ενοποιεί πολυτροπική κατανόηση και δημιουργία σε έναν μετασχηματιστή, συνδυάζοντας αυτοπαλίνδρομη μοντελοποίηση και διακριτή διάχυση για διαφορετικές ή μικτές τροπικότητες. Υποστηρίζει οπτικές ερωταποκρίσεις, δημιουργία εικόνας από κείμενο, συμπλήρωση και επέκταση εικόνας και δημιουργία μικτών τροπικοτήτων. Σε πολλές δοκιμασίες είναι συγκρίσιμο ή καλύτερο από εξειδικευμένα μοντέλα με ίσο ή μεγαλύτερο αριθμό παραμέτρων. Στη συνεχή διάχυση προβλέπεται γκαουσιανός θόρυβος σε λανθάνουσες αναπαραστάσεις, ενώ προσεγγίσεις όπως τα D3PM, Mask-predict, ARDM και MaskGIT χρησιμοποιούν διακριτή αλλοίωση. Το Show-O συνδυάζει αυτοπαλίνδρομη μοντελοποίηση και διακριτή διάχυση, χειριζόμενο κάθε τροπικότητα με κατάλληλο τρόπο. Τα εκτενή πειράματα αναδεικνύουν τις δυνατότητές του ως βασικού μοντέλου επόμενης γενιάς.

Ο Kunal Kejriwal είναι μηχανικός back‑end που ειδικεύεται στην Python, PostgreSQL, Redis και στην υποδομή cloud στο GCP και το AWS. Με τρία χρόνια εμπειρίας στην κατασκευή και κλιμάκωση συστημάτων παραγωγής, γράφει για την υποδομή AI, τα κατανεμημένα συστήματα και την αρχιτεκτονική πίσω από την ανάπτυξη φορτίων εργασίας μηχανικής μάθησης.