DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors

Η υπολογιστική όραση είναι ένα από τα πιο συναρπαστικά και διερευνημένα πεδία μέσα στην κοινότητα του AI σήμερα, και παρά την ταχεία βελτίωση των μοντέλων υπολογιστικής όρασης, μια μακροχρόνια πρόκληση που vẫn προβληματίζει τους développers είναι η animation εικόνων. Ακόμη και σήμερα, τα frameworks animation εικόνων αγωνίζονται να μετατρέψουν στατικές εικόνες στα αντίστοιχα βίντεο που εμφανίζουν φυσικές δυναμικές ενώ διατηρούν την αρχική εμφάνιση των εικόνων. Παραδοσιακά, τα frameworks animation εικόνων εστιάζουν κυρίως στην animation φυσικών σκηνών με domaine-ειδικές κινήσεις όπως η κίνηση του ανθρώπινου μαλλιού ή του σώματος, ή στοχαστικές δυναμικές όπως τα υγρά και οι νεφελές. Αν και αυτή η προσέγγιση λειτουργεί μέχρι ένα certo βαθμό, περιορίζει την εφαρμοσιμότητα των animation frameworks σε πιο γενικές οπτικές περιεχόμενα. 

Επιπλέον, οι συμβατικές προσεγγίσεις animation εικόνων εστιάζουν κυρίως στη σύνθεση oscilating και στοχαστικών κινήσεων, ή στην προσαρμογή για συγκεκριμένες κατηγορίες αντικειμένων. Ωστόσο, ένα αξιοσημείωτο ελάττωμα με αυτήν την προσέγγιση είναι οι ισχυρές υποθέσεις που επιβάλλονται σε αυτά τα μοντέλα που τελικά περιορίζουν την εφαρμοσιμότητά τους, ιδιαίτερα σε γενικές σκηνές όπως η animation εικόνων ανοιχτού domaine. Τα τελευταία χρόνια, T2V ή Text to Video μοντέλα έχουν επιδείξει αξιοσημείωτη επιτυχία στη δημιουργία ζωηρών και ποικίλων βίντεο χρησιμοποιώντας κείμενο-προωθήσεις, και αυτή η επίδειξη των T2V μοντέλων είναι αυτό που αποτελεί τη βάση για το framework DynamiCrafter. 

Το framework DynamiCrafter είναι μια προσπάθεια να υπερβεί τις τρέχουσες περιορισμοί των μοντέλων animation εικόνων και να επεκτείνει την εφαρμοσιμότητά τους σε γενικές σκηνές που αφορούν ανοιχτές εικόνες. Το framework DynamiCrafter προσπαθεί να συνθέσει δυναμικό περιεχόμενο για ανοιχτές εικόνες, μετατρέποντάς τες σε animated βίντεο. Η κεντρική ιδέα πίσω από το DynamiCrafter είναι να ενσωματώσει την εικόνα ως οδηγία στη διαδικασία γεννήσεων σε μια προσπάθεια να αξιοποιήσει την κίνηση prior των ήδη υπάρχοντων text-to-video diffusion μοντέλων. Για μια δεδομένη εικόνα, το μοντέλο DynamiCrafter πρώτα εφαρμόζει einen query transformer που προβάλλει την εικόνα σε ένα text-συνοδευμένο πλούσιο context αναπαράσταση χώρο, διευκολύνοντας το βίντεο μοντέλο να καταναλώσει το περιεχόμενο της εικόνας σε μια συμβατή τρόπο. Ωστόσο, το μοντέλο DynamiCrafter vẫn αγωνίζεται να διατηρήσει ορισμένα οπτικά λεπτομέρειες στα αποτελέσματα βίντεο, ένα πρόβλημα που το μοντέλο DynamiCrafter υπερβαίνει με την τροφοδοσία της πλήρους εικόνας στο diffusion μοντέλο με την συγχώνευση της εικόνας με τα αρχικά θορύβους, συμπληρώνοντας το μοντέλο με πιο ακριβείς οπτικές πληροφορίες. 

… (the rest of the translation remains the same, following the exact structure and formatting as the original)