Μοντέλα και πλατφόρμες AI

AnimateLCM: επιτάχυνση της δημιουργίας κινούμενων εικόνων με εξατομικευμένα μοντέλα διάχυσης

Kunal Kejriwal
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο AnimateLCM επιταχύνει τη δημιουργία βίντεο αποσυνδέοντας τις προϋποθέσεις κίνησης…
Δείτε περισσότερα
  • Το AnimateLCM επιταχύνει τη δημιουργία βίντεο αποσυνδέοντας τις προϋποθέσεις κίνησης και εικόνας σε ένα αποσταγμένο μοντέλο συνέπειας.
  • Το πλαίσιο ενσωματώνει προσαρμογείς plug-and-play από το Stable Diffusion χωρίς να θυσιάζει την υψηλή ταχύτητα δειγματοληψίας του.
  • Χρησιμοποιεί μια στρατηγική προσαρμογής χωρίς δάσκαλο για την εκπαίδευση ή προσαρμογή υπαρχόντων ελεγκτών για αποτελεσματική δημιουργία βίντεο.

Τα τελευταία χρόνια, τα μοντέλα διάχυσης έχουν γνωρίσει μεγάλη επιτυχία στη δημιουργία εικόνων και βίντεο. Ιδιαίτερα τα μοντέλα διάχυσης βίντεο προσελκύουν ενδιαφέρον επειδή παράγουν βίντεο με υψηλή συνοχή και πιστότητα. Χρησιμοποιούν μια επαναληπτική διαδικασία αποθορυβοποίησης που μετατρέπει σταδιακά τον γκαουσιανό θόρυβο υψηλών διαστάσεων σε πραγματικά δεδομένα.

Το Stable Diffusion είναι ένα από τα χαρακτηριστικότερα μοντέλα δημιουργίας εικόνων. Χρησιμοποιεί έναν μεταβολικό αυτοκωδικοποιητή (VAE) για την αντιστοίχιση ανάμεσα στην πραγματική εικόνα και σε λανθάνοντα χαρακτηριστικά μειωμένης ανάλυσης. Έτσι περιορίζει το κόστος δημιουργίας, ενώ ο μηχανισμός διασταυρούμενης προσοχής επιτρέπει τη δημιουργία εικόνων με βάση κείμενο. Το Stable Diffusion αποτελεί επίσης τη βάση για πολλούς προσαρμογείς άμεσης σύνδεσης που προσφέρουν νέες δυνατότητες δημιουργίας εικόνων και βίντεο. Ωστόσο, η επαναληπτική διαδικασία των περισσότερων μοντέλων διάχυσης βίντεο είναι χρονοβόρα και σχετικά δαπανηρή, περιορίζοντας τις εφαρμογές τους.

Σε αυτό το άρθρο εξετάζουμε το AnimateLCM, ένα εξατομικευμένο μοντέλο διάχυσης με προσαρμογείς που επιδιώκει τη δημιουργία βίντεο υψηλής πιστότητας με ελάχιστα βήματα και χαμηλό υπολογιστικό κόστος. Βασίζεται στα μοντέλα συνέπειας, τα οποία επιταχύνουν τη δειγματοληψία μέσω απόσταξης προεκπαιδευμένων μοντέλων διάχυσης εικόνων, καθώς και στην επέκτασή τους, το μοντέλο λανθάνουσας συνέπειας (LCM), που επιτρέπει δημιουργία εικόνων υπό συνθήκη. Αντί να εφαρμόζει εκμάθηση συνέπειας απευθείας στα ακατέργαστα δεδομένα βίντεο, το AnimateLCM διαχωρίζει την απόσταξη της πρότερης γνώσης για την κίνηση από την απόσταξη της πρότερης γνώσης για τη δημιουργία εικόνων. Έτσι βελτιώνει ταυτόχρονα την οπτική ποιότητα και την αποδοτικότητα της εκπαίδευσης. Προτείνει επίσης την εκπαίδευση προσαρμογέων από την αρχή ή την προσαρμογή υπαρχόντων στο αποσταγμένο μοντέλο συνέπειας βίντεο. Αυτό επιτρέπει τον συνδυασμό προσαρμογέων της οικογένειας Stable Diffusion για διαφορετικές λειτουργίες, χωρίς μείωση της ταχύτητας δειγματοληψίας.

Ακολουθεί αναλυτική παρουσίαση του μηχανισμού, της μεθοδολογίας και της αρχιτεκτονικής του AnimateLCM, μαζί με συγκρίσεις με προηγμένες μεθόδους δημιουργίας εικόνων και βίντεο.

AnimateLCM: δημιουργία κινούμενων εικόνων με εξατομικευμένα μοντέλα διάχυσης

Τα μοντέλα διάχυσης χρησιμοποιούνται ευρέως για τη δημιουργία εικόνων και βίντεο χάρη στις δυνατότητές τους σε παραγωγικές εργασίες. Τα περισσότερα μετατρέπουν σταδιακά γκαουσιανό θόρυβο υψηλών διαστάσεων σε δεδομένα μέσω επαναληπτικής αποθορυβοποίησης. Παρότι τα αποτελέσματα είναι ικανοποιητικά, τα πολλά βήματα επιβραδύνουν τη δημιουργία και αυξάνουν τις υπολογιστικές απαιτήσεις σε σχέση με άλλες αρχιτεκτονικές, όπως τα παραγωγικά ανταγωνιστικά δίκτυα (GAN). Τα μοντέλα συνέπειας (CM) προτάθηκαν ως εναλλακτική λύση για την επιτάχυνση της δημιουργίας με σταθερές υπολογιστικές απαιτήσεις.

Τα μοντέλα συνέπειας μαθαίνουν αντιστοιχίσεις που διατηρούν την αυτοσυνέπεια των τροχιών των προεκπαιδευμένων μοντέλων διάχυσης. Έτσι δημιουργούν εικόνες υψηλής ποιότητας με λίγα βήματα, αποφεύγοντας τις υπολογιστικά δαπανηρές επαναλήψεις. Το μοντέλο λανθάνουσας συνέπειας (LCM), που βασίζεται στο Stable Diffusion, μπορεί να ενσωματωθεί σε διαδικτυακή διεπαφή μαζί με υπάρχοντες προσαρμογείς, προσφέροντας λειτουργίες όπως μετατροπή εικόνας σε εικόνα σε πραγματικό χρόνο. Αν και τα υπάρχοντα μοντέλα διάχυσης βίντεο δίνουν αποδεκτά αποτελέσματα, χρειάζεται περαιτέρω πρόοδος στην επιτάχυνση της δειγματοληψίας, λόγω του υψηλού κόστους δημιουργίας βίντεο.

Το AnimateLCM είναι ένα πλαίσιο δημιουργίας βίντεο υψηλής πιστότητας με ελάχιστα βήματα. Ακολουθώντας το LCM, αντιμετωπίζει την αντίστροφη διάχυση ως επίλυση μιας ροής πιθανότητας ενισχυμένης με καθοδήγηση χωρίς ταξινομητή (CFG) και εκπαιδεύεται ώστε να προβλέπει απευθείας τη λύση στον λανθάνοντα χώρο. Η εκμάθηση συνέπειας απευθείας σε ακατέργαστα βίντεο απαιτεί πολλούς πόρους και συχνά δίνει χαμηλή ποιότητα. Γι’ αυτό το AnimateLCM διαχωρίζει την απόσταξη συνέπειας της πρότερης γνώσης για την κίνηση από εκείνη για τη δημιουργία εικόνων.

Αρχικά, το AnimateLCM αποστάζει τη συνέπεια του βασικού μοντέλου διάχυσης εικόνων ώστε να το μετατρέψει σε μοντέλο συνέπειας εικόνων. Στη συνέχεια επεκτείνει τα μοντέλα συνέπειας και διάχυσης εικόνων σε τρεις διαστάσεις, για να υποστηρίξουν τρισδιάστατα χαρακτηριστικά. Τέλος, αποκτά το μοντέλο συνέπειας βίντεο μέσω απόσταξης σε δεδομένα βίντεο. Προτείνει επίσης μια στρατηγική αρχικοποίησης για να περιορίσει πιθανή αλλοίωση των χαρακτηριστικών. Επειδή βασίζεται στο Stable Diffusion, μπορεί να αντικαταστήσει τα χωρικά βάρη του εκπαιδευμένου μοντέλου βίντεο με δημόσια διαθέσιμα βάρη εξατομικευμένων μοντέλων διάχυσης εικόνων, προσφέροντας νέες δυνατότητες δημιουργίας.

Για την εκπαίδευση ειδικών προσαρμογέων από την αρχή ή την καλύτερη ενσωμάτωση δημόσια διαθέσιμων προσαρμογέων, το AnimateLCM προτείνει μια αποτελεσματική στρατηγική επιτάχυνσης που δεν απαιτεί εκπαίδευση ειδικών μοντέλων-δασκάλων.

Η βασική συνεισφορά του AnimateLCM είναι η γρήγορη δημιουργία βίντεο υψηλής ποιότητας και πιστότητας. Η στρατηγική χωριστής απόσταξης της πρότερης γνώσης για την κίνηση και την εικόνα βελτιώνει τόσο την ποιότητα των αποτελεσμάτων όσο και την αποδοτικότητα της εκπαίδευσης.

AnimateLCM: μεθοδολογία και αρχιτεκτονική

Το AnimateLCM αντλεί έμπνευση από τα μοντέλα διάχυσης και τις στρατηγικές επιτάχυνσης της δειγματοληψίας. Τα μοντέλα διάχυσης, γνωστά και ως παραγωγικά μοντέλα βασισμένα στη συνάρτηση βαθμολογίας, έχουν ισχυρές δυνατότητες δημιουργίας εικόνων. Η επαναληπτική δειγματοληψία τους αφαιρεί σταδιακά τον θόρυβο από τα δεδομένα, ακολουθώντας την κατεύθυνση αυτής της συνάρτησης. Πολλά μοντέλα διάχυσης βίντεο αξιοποιούν αυτές τις δυνατότητες προσθέτοντας και εκπαιδεύοντας χρονικά στρώματα. Οι στρατηγικές επιτάχυνσης αντιμετωπίζουν την αργή δημιουργία. Η επιτάχυνση μέσω απόσταξης προσαρμόζει τα αρχικά βάρη διάχυσης με βελτιωμένη αρχιτεκτονική ή χρονοπρογραμματιστή, ώστε να αυξηθεί η ταχύτητα.

Το πλαίσιο βασίζεται στο Stable Diffusion και αξιοποιεί τις σχετικές έννοιες. Αντιμετωπίζει τη διακριτή διαδικασία πρόσθιας διάχυσης ως στοχαστική διαφορική εξίσωση συνεχούς χρόνου που διατηρεί τη διακύμανση. Το Stable Diffusion αποτελεί επέκταση του πιθανοτικού μοντέλου διάχυσης με αποθορυβοποίηση (DDPM), στο οποίο τα δεδομένα εκπαίδευσης διαταράσσονται σταδιακά μέσω μιας διακριτής αλυσίδας Markov και ενός πυρήνα διαταραχής, καθορίζοντας την κατανομή των θορυβωδών δεδομένων σε κάθε χρονικό βήμα.

Για να δημιουργεί βίντεο υψηλής πιστότητας με λίγα βήματα, το AnimateLCM προσαρμόζει τα μοντέλα βίντεο που βασίζονται στο Stable Diffusion ώστε να ακολουθούν την ιδιότητα της αυτοσυνέπειας. Η συνολική δομή εκπαίδευσης συνδυάζει χωριστή εκμάθηση συνέπειας με προσαρμογή χωρίς μοντέλο-δάσκαλο.

Μετάβαση από μοντέλα διάχυσης σε μοντέλα συνέπειας

Το AnimateLCM μετατρέπει το μοντέλο Stable Diffusion (DM) σε μοντέλο συνέπειας (CM), ακολουθώντας τον σχεδιασμό του LCM. Τα μοντέλα Stable Diffusion συνήθως προβλέπουν τον θόρυβο που προστέθηκε στα δείγματα και λειτουργούν ως μοντέλα διάχυσης σίγμα. Αντίθετα, τα μοντέλα συνέπειας στοχεύουν στην άμεση πρόβλεψη της λύσης στην τροχιά της συνήθους διαφορικής εξίσωσης ροής πιθανότητας (PF-ODE). Για τη δημιουργία εικόνων υψηλής ποιότητας, ορισμένες διαμορφώσεις του Stable Diffusion χρειάζονται καθοδήγηση χωρίς ταξινομητή. Το AnimateLCM χρησιμοποιεί έναν επιλυτή ODE ενισχυμένο με αυτή την καθοδήγηση για τη δειγματοληψία γειτονικών ζευγών στην ίδια τροχιά, βελτιώνοντας την αποδοτικότητα και την ποιότητα. Ο αριθμός των διακριτών σημείων της τροχιάς επηρεάζει σημαντικά την εκπαίδευση: λιγότερα σημεία την επιταχύνουν, ενώ περισσότερα μειώνουν τη μεροληψία της.

Χωριστή εκμάθηση συνέπειας

Στην απόσταξη συνέπειας, η ποιότητα των δεδομένων εκπαίδευσης επηρεάζει έντονα το τελικό αποτέλεσμα. Τα δημόσια διαθέσιμα σύνολα δεδομένων συχνά περιέχουν υδατογραφήματα ή υλικό χαμηλής ποιότητας, με υπερβολικά σύντομες ή ασαφείς λεζάντες. Επιπλέον, η απευθείας εκπαίδευση σε βίντεο υψηλής ανάλυσης είναι χρονοβόρα και υπολογιστικά ακριβή, καθιστώντας την δύσκολη για πολλούς ερευνητές.

Αξιοποιώντας φιλτραρισμένα σύνολα δεδομένων υψηλής ποιότητας, το AnimateLCM διαχωρίζει την απόσταξη της πρότερης γνώσης για την κίνηση και την εικόνα. Αρχικά μετατρέπει τα μοντέλα Stable Diffusion σε μοντέλα συνέπειας εικόνων, χρησιμοποιώντας ζεύγη εικόνας–κειμένου υψηλής ποιότητας και καλύτερης ανάλυσης. Έπειτα εκπαιδεύει ελαφριά βάρη LoRA στα στρώματα του Stable Diffusion, διατηρώντας σταθερά τα βάρη του βασικού μοντέλου διάχυσης. Τα προσαρμοσμένα βάρη LoRA λειτουργούν ως ευέλικτη μονάδα επιτάχυνσης, συμβατή με άλλα εξατομικευμένα μοντέλα της κοινότητας Stable Diffusion. Στην εκτέλεση, συγχωνεύονται με τα αρχικά βάρη χωρίς μείωση της ταχύτητας. Αφού αποκτηθεί το μοντέλο συνέπειας εικόνων, τα βάρη του Stable Diffusion και του LoRA διατηρούνται σταθερά. Οι δισδιάστατοι πυρήνες συνέλιξης επεκτείνονται σε ψευδοτρισδιάστατους για την εκπαίδευση μοντέλων συνέπειας βίντεο. Προστίθενται επίσης χρονικά στρώματα με μηδενική αρχικοποίηση και υπολειμματική σύνδεση σε επίπεδο μπλοκ. Έτσι, η αρχική έξοδος δεν επηρεάζεται από τα νέα στρώματα. Αυτά εκπαιδεύονται με την καθοδήγηση μοντέλων διάχυσης βίντεο ανοικτού κώδικα.

Τα χωρικά βάρη LoRA επιταχύνουν τη δειγματοληψία χωρίς χρονική μοντελοποίηση, ενώ οι χρονικές μονάδες αναπτύσσονται με τυπικές τεχνικές διάχυσης. Η απευθείας συνένωσή τους τείνει να αλλοιώνει τις αναπαραστάσεις στην αρχή της εκπαίδευσης, δυσκολεύοντας την αποτελεσματική ενσωμάτωσή τους. Μέσω εμπειρικής έρευνας, το AnimateLCM εντόπισε μια στρατηγική αρχικοποίησης που αξιοποιεί την πρότερη γνώση συνέπειας των χωρικών βαρών LoRA και περιορίζει τις αρνητικές επιπτώσεις του άμεσου συνδυασμού τους.

Στην αρχή της εκπαίδευσης συνέπειας, τα προεκπαιδευμένα χωρικά βάρη LoRA ενσωματώνονται μόνο στο μοντέλο συνέπειας που εκπαιδεύεται άμεσα και όχι στο μοντέλο-στόχο. Έτσι, το μοντέλο-στόχος, που καθοδηγεί την εκπαίδευση, δεν παράγει εσφαλμένες προβλέψεις που θα μπορούσαν να την επηρεάσουν αρνητικά. Κατά την εκπαίδευση, τα βάρη LoRA εισάγονται σταδιακά στο μοντέλο-στόχο μέσω εκθετικού κινητού μέσου όρου (EMA), επιτυγχάνοντας την κατάλληλη ισορροπία μετά από αρκετές επαναλήψεις.

Προσαρμογή χωρίς μοντέλο-δάσκαλο

Τα μοντέλα Stable Diffusion χρησιμοποιούνται συχνά μαζί με προσαρμογείς άμεσης σύνδεσης. Παρότι οι προσαρμογείς λειτουργούν ως έναν βαθμό, μπορεί να χάνουν τον έλεγχο των λεπτομερειών, ακόμη και όταν έχουν εκπαιδευτεί με μοντέλα διάχυσης εικόνων. Το AnimateLCM αντιμετωπίζει το πρόβλημα με προσαρμογή χωρίς μοντέλο-δάσκαλο: είτε προσαρμόζει τους υπάρχοντες προσαρμογείς για καλύτερη συμβατότητα είτε τους εκπαιδεύει από την αρχή. Έτσι επιτρέπει ελεγχόμενη δημιουργία βίντεο και μετατροπή εικόνας σε βίντεο με λίγα βήματα, χωρίς πρόσθετα μοντέλα-δασκάλους.

AnimateLCM: πειράματα και αποτελέσματα

Το AnimateLCM χρησιμοποιεί το Stable Diffusion v1-5 ως βασικό μοντέλο και τον επιλυτή DDIM ODE για την εκπαίδευση. Ως μοντέλο-δάσκαλο διάχυσης βίντεο χρησιμοποιεί επίσης το Stable Diffusion v1-5 με βάρη κίνησης ανοικτού κώδικα. Τα πειράματα πραγματοποιούνται στο WebVid2M χωρίς πρόσθετα ή επαυξημένα δεδομένα. Για την ελεγχόμενη δημιουργία βίντεο χρησιμοποιείται το σύνολο TikTok με σύντομες περιγραφές κειμένου που παράγονται από το BLIP.

Ποιοτικά αποτελέσματα

Η επόμενη εικόνα παρουσιάζει τα αποτελέσματα της δημιουργίας σε τέσσερα βήματα για μετατροπή κειμένου σε βίντεο, εικόνας σε βίντεο και ελεγχόμενη δημιουργία βίντεο.

Τα αποτελέσματα δείχνουν ότι το AnimateLCM διατηρεί την ιδιότητα της συνέπειας ακόμη και όταν αλλάζει ο αριθμός των βημάτων εκτέλεσης, διατηρώντας παρόμοια κίνηση και ύφος.

Ποσοτικά αποτελέσματα

Η επόμενη εικόνα παρουσιάζει τα ποσοτικά αποτελέσματα και τη σύγκριση του AnimateLCM με τις προηγμένες μεθόδους DDIM και DPM++.

Το AnimateLCM υπερτερεί σημαντικά έναντι των υπαρχουσών μεθόδων, ιδιαίτερα όταν χρησιμοποιούνται μόνο ένα έως τέσσερα βήματα. Οι μετρήσεις της σύγκρισης πραγματοποιούνται χωρίς καθοδήγηση χωρίς ταξινομητή (CFG), επιτρέποντας εξοικονόμηση σχεδόν 50% στον χρόνο εκτέλεσης και στη μέγιστη χρήση μνήμης. Για περαιτέρω αξιολόγηση, τα χωρικά βάρη αντικαθίστανται με ένα δημόσια διαθέσιμο εξατομικευμένο μοντέλο ρεαλιστικών εικόνων, το οποίο εξισορροπεί την πιστότητα και την ποικιλία και βελτιώνει επιπλέον την απόδοση.

Συμπεράσματα

Το AnimateLCM είναι ένα εξατομικευμένο μοντέλο διάχυσης με προσαρμογείς που επιδιώκει τη δημιουργία βίντεο υψηλής πιστότητας με λίγα βήματα και χαμηλό υπολογιστικό κόστος. Εμπνέεται από τα μοντέλα συνέπειας, που επιταχύνουν τη δειγματοληψία μέσω απόσταξης προεκπαιδευμένων μοντέλων διάχυσης εικόνων, και από το LCM, που επιτρέπει δημιουργία εικόνων υπό συνθήκη. Αντί να εκπαιδεύεται απευθείας στα ακατέργαστα δεδομένα βίντεο, διαχωρίζει την απόσταξη της πρότερης γνώσης για την κίνηση και την εικόνα. Με αυτόν τον τρόπο βελτιώνει ταυτόχρονα την οπτική ποιότητα του παραγόμενου περιεχομένου και την αποδοτικότητα της εκπαίδευσης.

Ο Kunal Kejriwal είναι μηχανικός back‑end που ειδικεύεται στην Python, PostgreSQL, Redis και στην υποδομή cloud στο GCP και το AWS. Με τρία χρόνια εμπειρίας στην κατασκευή και κλιμάκωση συστημάτων παραγωγής, γράφει για την υποδομή AI, τα κατανεμημένα συστήματα και την αρχιτεκτονική πίσω από την ανάπτυξη φορτίων εργασίας μηχανικής μάθησης.