SHOW-O: Ένας Μονός Μετασχηματιστής Ενοποιώντας Πολυμεσική Κατανόηση και Γενεσιουργία

Σημαντικές προόδους στα μεγάλου μεγέθους γλωσσικά μοντέλα (LLMs) έχουν εμπνεύσει την ανάπτυξη πολυμεσικών μεγάλου μεγέθους γλωσσικών μοντέλων (MLLMs). Οι πρώτες προσπάθειες MLLM, όπως LLaVA, MiniGPT-4 και InstructBLIP, αποδεικνύουν αξιοσημείωτες ικανότητες πολυμεσικής κατανόησης. Για να ενσωματώσουν τα LLMs σε πολυμεσικά πεδία, αυτές οι μελέτες εξέτασαν την προβολή χαρακτηριστικών από einen προ-εκπαιδευμένο modality-ειδικό κωδικοποιητή, όπως CLIP, στο χώρο εισόδου των LLMs, ermöglicht πολυμεσική κατανόηση και συλλογισμό εντός του πλαισίου του μετασχηματιστή. Αν και υπάρχουν διάφορες επιλογές σχεδιασμού για MLLMs, όπως κωδικοποιητές οράματος, προσαρμογείς ευθυγράμμισης χαρακτηριστικών και συνόλους δεδομένων, η εκπαίδευση για τα περισσότερα από αυτά τα μοντέλα ακολουθεί το παραδειγματικό αυτο-αναγωγικό γενεσιουργικό παράδειγμα, το οποίο έχει αποδειχθεί αποτελεσματικό για τη γενεσιουργία κειμένου σε LLMs.尽管 αυτά τα μοντέλα έχουν ισχυρές ικανότητες πολυμεσικής κατανόησης, αυτά τα μοντέλα επικεντρώνονται κυρίως στην οπτική αντίληψη και λείπουν της ικανότητας να γεννήσουν πολυμεσικά αποτελέσματα πέρα από το κείμενο.

… (rest of the translation remains the same, following the exact structure and rules provided)