Μοντέλα και πλατφόρμες AI

Παραγωγική AI από κείμενο σε μουσική: Stable Audio, MusicLM της Google και άλλα

Aayush Mittal
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο Stable Audio χρησιμοποιεί ενσωματώσεις χρονισμού για να επιτρέπει στους χρήστες να…
Δείτε περισσότερα
  • Το Stable Audio χρησιμοποιεί ενσωματώσεις χρονισμού για να επιτρέπει στους χρήστες να ελέγχουν το ακριβές μήκος των δημιουργημένων ηχητικών κομματιών.
  • Το MusicLM μετατρέπει σφυρηλατημένες μελωδίες σε πλήρη τραγούδια που ταιριάζουν με συγκεκριμένες περιγραφές κειμενικού στυλ.
  • Η δημιουργία μουσικής με τεχνητή νοημοσύνη αντιμετωπίζει διαβουλεύσεις νομιμοποίησης στον κλάδο, όπως φαίνεται από την απόρριψη μιας υποψηφιότητας για βραβείο Grammy.

Η μουσική, μια μορφή τέχνης που αντηχεί με την ανθρώπινη ψυχή, ήταν μια σταθερή συνοδός όλων μας. Η δημιουργία μουσικής με τη χρήση τεχνητής νοημοσύνης ξεκίνησε αρκετές δεκαετίες πριν. Αρχικά, οι προσπάθειες ήταν απλές και διαισθητικές, με βασικούς αλγόριθμους που δημιουργούσαν μονότονες μελωδίες. Ωστόσο, καθώς η τεχνολογία προχώρησε, τόσο και η πολυπλοκότητα και οι ικανότητες των γεννητριών μουσικής AI, ανοίγοντας το δρόμο για το deep learning και την επεξεργασία φυσικής γλώσσας (NLP) να παίξουν καθοριστικό ρόλο σε αυτήν την τεχνολογία.

Σήμερα, πλατφόρμες όπως το Spotify χρησιμοποιούν την τεχνητή νοημοσύνη για να βελτιώσουν τις εμπειρίες ακρόασης των χρηστών. Οι αλγόριθμοι deep learning αναλύουν τις ατομικές προτιμήσεις με βάση διάφορα μουσικά στοιχεία, όπως το τέμπο και τη διάθεση, για να δημιουργήσουν προσωπικές προτάσεις τραγουδιών. Αναλύουν επίσης ευρύτερες τάσεις ακρόασης και αναζητούν στο διαδίκτυο συζητήσεις σχετικές με τα τραγούδια για να δημιουργήσουν λεπτομερή προφίλ τραγουδιών.

Η Προέλευση της Τεχνητής Νοημοσύνης στη Μουσική: Ένα Ταξίδι από την Αλγοριθμική Σύνθεση στη παραγωγική μοντελοποίηση

Στις πρώτες φάσεις της τεχνητής νοημοσύνης στη μουσική, που εκτείνονταν από τη δεκαετία του 1950 έως τη δεκαετία του 1970, η έμφαση ήταν κυρίως στην αλγοριθμική σύνθεση. Αυτή ήταν μια μέθοδος όπου οι υπολογιστές χρησιμοποιούσαν ένα καθορισμένο σύνολο κανόνων για να δημιουργήσουν μουσική. Η πρώτη αξιοσημείωτη δημιουργία κατά τη διάρκεια αυτής της περιόδου ήταν το Illiac Suite για Κουαρτέτο Εγχόρδων το 1957. Χρησιμοποίησε τον αλγόριθμο Monte Carlo, μια διαδικασία που εμπλέκει τυχαίους αριθμούς για να καθορίσει το τονικό ύψος και τον ρυθμό μέσα στα όρια της παραδοσιακής μουσικής θεωρίας και στατιστικών πιθανοτήτων.

Εικόνα που δημιουργήθηκε από τον συγγραφέα χρησιμοποιώντας Midjourney

Εικόνα που δημιουργήθηκε από τον συγγραφέα χρησιμοποιώντας Midjourney

Κατά τη διάρκεια αυτής της περιόδου, ένας άλλος πρωτοπόρος, Iannis Xenakis, χρησιμοποίησε στοχαστικές διαδικασίες, μια έννοια που εμπλέκει τυχαίες πιθανοτικές κατανομές, για να δημιουργήσει μουσική. Χρησιμοποίησε υπολογιστές και τη γλώσσα FORTRAN για να συνδέσει πολλές πιθανοτικές συναρτήσεις, δημιουργώντας ένα μοτίβο όπου διαφορετικές γραφικές αναπαραστάσεις αντιστοιχούν σε διαφορετικούς ηχητικούς χώρους.

Η πολυπλοκότητα της μετατροπής Κειμένου σε Μουσική

Η μουσική αποθηκεύεται σε μια πλούσια και πολυδιάστατη μορφή δεδομένων που περιλαμβάνει στοιχεία όπως μελωδία, αρμονία, ρυθμός και τέμπο, καθιστώντας την εργασία της μεταφράσεως κειμένου σε μουσική εξαιρετικά σύνθετη. Ένα τυπικό τραγούδι αντιπροσωπεύεται από σχεδόν ένα εκατομμύριο αριθμούς σε έναν υπολογιστή, ένας αριθμός σημαντικά υψηλότερος από άλλες μορφές δεδομένων όπως εικόνα, κείμενο κ.λπ.

Το πεδίο της παραγωγής ήχου μαρτυρεί καινοτόμες προσεγγίσεις για την υπέρβαση των προκλήσεων της δημιουργίας ρεαλιστικού ήχου. Μια μέθοδος εμπλέκει τη δημιουργία ενός σπεκτρογράμματος και στη συνέχεια τη μετατροπή του πίσω σε ήχο.

Μια άλλη στρατηγική αξιοποιεί την συμβολική αναπαράσταση της μουσικής, όπως η παρτιτούρα, η οποία μπορεί να ερμηνευτεί και να παιχθεί από μουσικούς. Αυτή η μέθοδος έχει ψηφιοποιηθεί επιτυχώς, με εργαλεία όπως το Chamber Ensemble Generator της Magenta, το οποίο δημιουργεί μουσική στη μορφή MIDI, ένα πρωτόκολλο που διευκολύνει την επικοινωνία μεταξύ υπολογιστών και μουσικών οργάνων.

Ενώ αυτές οι προσεγγίσεις έχουν προχωρήσει το πεδίο, έρχονται με το δικό τους σύνολο περιορισμών, υπογραμμίζοντας την σύνθετη φύση της παραγωγής ήχου.

Transformer-based αυτοπαλινδρομικά μοντέλα και U-Net-based diffusion μοντέλα, βρίσκονται στην αιχμή της τεχνολογίας, παράγοντας κορυφαία αποτελέσματα (SOTA) στη παραγωγής ήχου, κειμένου, μουσικής και πολλά άλλα. Το OpenAI’s GPT σειρά και σχεδόν όλα τα άλλα LLMs σήμερα είναι τροφοδοτούμενα από transformers που χρησιμοποιούν είτε encoder, decoder, είτε και τα δύο αρχιτεκτονικά. Στην πλευρά της τέχνης/εικόνας, MidJourney, Stability AI και DALL-E 2 όλα αξιοποιούν diffusion πλαίσια. Αυτές οι δύο βασικές τεχνολογίες υπήρξαν καθοριστικές στην επίτευξη SOTA αποτελέσματα στο ηχητικό τομέα επίσης. Σε αυτό το άρθρο, θα εμβαθύνουμε στο MusicLM της Google (GOOGL ) και Stable Audio, τα οποία αποτελούν μαρτυρία για τις αξιοσημείωτες ικανότητες αυτών των τεχνολογιών.

Google’s MusicLM

Το Google’s MusicLM κυκλοφόρησε τον Μάιο αυτό. Το MusicLM μπορεί να δημιουργήσει υψηλής πιστότητας μουσικά κομμάτια, που αντηχούν με το ακριβές συναισθηματικό περιεχόμενο που περιγράφεται στο κείμενο. Χρησιμοποιώντας ιεραρχική ακολουθιακή μοντελοποίηση, το MusicLM έχει τη δυνατότητα να μετατρέψει περιγραφές κειμένου σε μουσική που αντηχεί στα 24 kHz για εκτενείς χρονικές περιόδους.

Το μοντέλο λειτουργεί σε πολλαπλά επίπεδα, όχι μόνο ακολουθώντας τις εισαγωγές κειμένου αλλά και αποδεικνύοντας την ικανότητα να καθοδηγείται από μελωδίες. Αυτό σημαίνει ότι μπορεί να πάρει μια μελωδία που κάποιος σιγοτραγουδά ή σφυρίζει και να τη μετατρέψει σύμφωνα με το στυλ που περιγράφεται σε μια λεζάντα κειμένου.

Τεχνικές πληροφορίες

Το MusicLM αξιοποιεί τις αρχές του AudioLM, ενός πλαισίου που εισήχθη το 2022 για τη παραγωγής ήχου. Το AudioLM συνθέτει ήχο ως μια εργασία μοντελοποίησης γλώσσας σε ένα διακριτό χώρο αναπαράστασης, χρησιμοποιώντας μια ιεραρχία από χονδρές σε λεπτές μονάδες ήχου, επίσης γνωστές ως tokens. Αυτή η προσέγγιση εξασφαλίζει υψηλής πιστότητας και μακροχρόνια συνάφεια για σημαντικές χρονικές περιόδους.

Για να διευκολύνει τη διαδικασία παραγωγής, το MusicLM επεκτείνει τις ικανότητες του AudioLM για να ενσωματώσει καθοδήγηση μέσω κειμένου, μια τεχνική που ευθυγραμμίζει τον παραγόμενο ήχο με τις λεπτές αποχρώσεις της εισαγωγής κειμένου. Αυτό επιτυγχάνεται μέσω ενός κοινού χώρου ενσωμάτωσης που δημιουργείται χρησιμοποιώντας MuLan, ένα κοινό μοντέλο μουσικής-κειμένου που εκπαιδεύτηκε για να προβάλει μουσική και τις αντίστοιχες περιγραφές κειμένου κοντά στον ίδιο χώρο ενσωμάτωσης. Αυτή η στρατηγική εξαλείφει αποτελεσματικά την ανάγκη για λεζάντες κατά τη διάρκεια της εκπαίδευσης, επιτρέποντας στο μοντέλο να εκπαιδευτεί σε τεράστια σώματα δεδομένων που περιλαμβάνουν μόνο ήχο.

Το μοντέλο MusicLM χρησιμοποιεί επίσης SoundStream ως τον μετατροπέα ήχου σε διακριτά tokens, ο οποίος μπορεί να ανακατασκευάσει ήχο 24 kHz με 6 kbps και εντυπωσιακή πιστότητα, αξιοποιώντας residual vector quantization (RVQ) για αποτελεσματική και υψηλής ποιότητας συμπίεση ήχου.

Εικονογράφηση της ανεξάρτητης διαδικασίας προ-εκπαίδευσης για τα θεμελιώδη μοντέλα του MusicLM: SoundStream, w2v-BERT και MuLan,

Εικονογράφηση της διαδικασίας προ-εκπαίδευσης του MusicLM: SoundStream, w2v-BERT και MuLan | Πηγή εικόνας: εδώ

Επιπλέον, το MusicLM επεκτείνει τις ικανότητές του επιτρέποντας τη συνθήκη μελωδίας. Αυτή η προσέγγιση εξασφαλίζει ότι ακόμη και μια απλή σιγοτραγουδισμένη μελωδία μπορεί να αποτελέσει την βάση για μια μεγαλοπρεπή ακουστική εμπειρία, που τελειοποιείται σύμφωνα με τις ακριβείς περιγραφές στυλ κειμένου.

Οι προγραμματιστές του MusicLM έχουν επίσης ανοίξει το MusicCaps, ένα σύνολο δεδομένων που περιλαμβάνει 5.5k ζεύγη μουσικής-κειμένου, κάθε ένα από τα οποία συνοδεύεται από πλούσιες περιγραφές κειμένου που έχουν δημιουργηθεί από ανθρώπινους εμπειρογνώμονες. Μπορείτε να το δείτε εδώ: MusicCaps στο Hugging Face.

Είστε έτοιμοι να δημιουργήσετε ηχητικά κομμάτια AI με το Google’s MusicLM; Εδώ είναι πώς να ξεκινήσετε:

  1. Επισκεφθείτε την επίσημη ιστοσελίδα του MusicLM και κάντε κλικ στο “Ξεκινήστε τώρα”.
  2. Εγγραφείτε στη λίστα αναμονής επιλέγοντας “Εγγραφή ενδιαφέροντος”.
  3. Συνδεθείτε με το λογαριασμό σας Google.
  4. Όταν σας δοθεί πρόσβαση, κάντε κλικ στο “Δοκιμάστε τώρα” για να ξεκινήσετε.

Παρακάτω ακολουθούν παραδείγματα προτροπών με τα οποία πειραματίστηκα:

«Διαλογιστικό τραγούδι, γαλήνιο και καταπραϋντικό, με φλάουτα και κιθάρες. Αργή μουσική με έμφαση σε μια αίσθηση ειρήνης και ηρεμίας.»

«Τζαζ με σαξόφωνο»

Σε ποιοτική αξιολόγηση έναντι προηγούμενων κορυφαίων μοντέλων, όπως τα Riffusion και Mubert, οι συμμετέχοντες προτίμησαν το MusicLM και αξιολόγησαν θετικά την αντιστοίχιση των λεζαντών με ηχητικά αποσπάσματα διάρκειας 10 δευτερολέπτων.

MusicLM Performance comparision

Απόδοση του MusicLM, πηγή εικόνας: εδώ

Stable Audio

Η Stability AI παρουσίασε πρόσφατα το Stable Audio, μια αρχιτεκτονική μοντέλου διάχυσης στον λανθάνοντα χώρο, καθοδηγούμενη από μεταδεδομένα κειμένου μαζί με τη διάρκεια και τον χρόνο έναρξης του αρχείου ήχου. Αυτή η προσέγγιση, όπως και το Google’s MusicLM, έχει έλεγχο του περιεχομένου και του μήκους του γεννηθέντα ήχου, επιτρέποντας τη δημιουργία ηχητικών κομματιών με καθορισμένα μήκη μέχρι το μέγεθος του παραθύρου εκπαίδευσης.

Τεχνικές πληροφορίες

Το Stable Audio αποτελείται από πολλά συστατικά, συμπεριλαμβανομένων ενός Variational Autoencoder (VAE) και ενός U-Net-based υπό συνθήκη μοντέλου diffusion, που εργάζονται μαζί με έναν κωδικοποιητή κειμένου.

Εικονογράφηση που δείχνει την ενσωμάτωση ενός Variational Autoencoder (VAE), ενός κωδικοποιητή κειμένου και ενός U-Net-based υπό συνθήκη μοντέλου diffusion

Αρχιτεκτονική του Stable Audio, Πηγή εικόνας: εδώ

Ο VAE διευκολύνει τη γρήγορη παραγωγής και εκπαίδευσης, συμπιέζοντας στερεοφωνικό ήχο σε μια συμπιεσμένη, ανθεκτική στον θόρυβο λανθάνουσα κωδικοποίηση με απώλειες, από την οποία μπορεί να ανακατασκευαστεί ο ήχος, παρακάμπτοντας την ανάγκη να εργαστεί με ακατέργαστα δείγματα ήχου.

Ο κωδικοποιητής κειμένου, που προέρχεται από ένα CLAP μοντέλο, παίζει κρίσιμο ρόλο στην κατανόηση των σύνθετων σχέσεων μεταξύ λέξεων και ήχων, προσφέροντας μια πληροφοριακή αναπαράσταση του κειμένου εισόδου που έχει χωριστεί σε tokens. Αυτό επιτυγχάνεται μέσω της αξιοποίησης των χαρακτηριστικών κειμένου από το προτελευταίο στρώμα του CLAP κωδικοποιητή κειμένου, τα οποία στη συνέχεια ενσωματώνονται στο diffusion U-Net μέσω στρωμάτων cross-attention.

Μια σημαντική πτυχή είναι η ενσωμάτωση των χρονικών ενσωματώσεων, τα οποία υπολογίζονται με βάση δύο ιδιότητες: τον χρόνο έναρξης του κομματιού ήχου και τη συνολική διάρκεια του αρχικού αρχείου ήχου. Αυτές οι τιμές, μεταφρασμένες σε διακριτές μαθημένες ενσωματώσεις ανά δευτερόλεπτο, συνδυάζονται με τα tokens της προτροπής και εισάγονται στα στρώματα cross-attention του U-Net, δίνοντας τη δυνατότητα στους χρήστες να καθορίσουν το συνολικό μήκος του παραγόμενου ήχου.

Το μοντέλο του Stable Audio εκπαιδεύτηκε χρησιμοποιώντας ένα εκτενές σύνολο δεδομένων που περιλαμβάνει πάνω από 800.000 αρχεία ήχου, μέσω συνεργασίας με τον πάροχο μουσικής AudioSparx.

Διαφημίσεις Stable Audio

Διαφημίσεις Stable Audio

Το Stable Audio προσφέρει μια δωρεάν έκδοση, που επιτρέπει 20 δημιουργίες ηχητικών κομματιών μέχρι 20 δευτερόλεπτα το μήνα, και ένα σχέδιο Pro που κοστίζει 12 δολάρια το μήνα, επιτρέποντας 500 δημιουργίες ηχητικών κομματιών μέχρι 90 δευτερόλεπτα.

Παρακάτω είναι ένα ηχητικό κομμάτι που δημιούργησα χρησιμοποιώντας ττο Stable Audio.

Εικόνα που δημιουργήθηκε από τον συγγραφέα χρησιμοποιώντας Midjourney

Εικόνα που δημιουργήθηκε από τον συγγραφέα χρησιμοποιώντας Midjourney

«Κινηματογραφικό σάουντρακ, απαλή βροχή, ατμοσφαιρικό και καταπραϋντικό, μακρινά γαβγίσματα σκύλων, ήρεμο θρόισμα φύλλων, διακριτικός άνεμος, 40 BPM»

Οι εφαρμογές τέτοιων προσεγμένων ηχητικών έργων είναι πολλές. Οι κινηματογραφιστές μπορούν να δημιουργούν πλούσια, καθηλωτικά ηχοτοπία και οι διαφημιστές να αξιοποιούν προσαρμοσμένα ηχητικά κομμάτια. Το εργαλείο δίνει επίσης σε ανεξάρτητους δημιουργούς και καλλιτέχνες χώρο για πειραματισμό και καινοτομία: ήχους που αφηγούνται ιστορίες, προκαλούν συναισθήματα και δημιουργούν ατμόσφαιρες με βάθος που παλαιότερα απαιτούσε σημαντικό προϋπολογισμό ή τεχνική εμπειρία.

Συμβουλές για προτροπές

Δημιουργήστε το ιδανικό ηχητικό κομμάτι χρησιμοποιώντας προτροπές κειμένου. Εδώ είναι μια γρήγορη οδηγία για να ξεκινήσετε:

  1. Να είστε λεπτομερείς: Καθορίστε είδη, διάθεση και όργανα. Για παράδειγμα: Κινηματογραφική, Άγρια Δύση, Κρουστά, Με ένταση, ατμοσφαιρικό
  2. Ρύθμιση Διάθεσης: Συνδυάστε μουσικά και συναισθηματικά όρους για να μεταφέρετε τη επιθυμητή διάθεση.
  3. Επιλογή Οργάνων: Βελτιώστε τα ονόματα οργάνων με επιθέτους, όπως “Κιθάρα με αντήχηση” ή “Ισχυρή χορωδία”.
  4. BPM: Συγχρονίστε το τέμπο με το είδος για μια αρμονική έξοδο, όπως “170 BPM” για ένα Drum and Bass κομμάτι.

Κλείσιμο

Εικόνα που δημιουργήθηκε από τον συγγραφέα χρησιμοποιώντας Midjourney

Εικόνα που δημιουργήθηκε από τον συγγραφέα χρησιμοποιώντας Midjourney

Σε αυτό το άρθρο, αναλύσαμε τη παραγωγής μουσικής/ήχου AI, από τις αλγοριθμικές συνθέσεις μέχρι τις σύγχρονες παραγωγικές αρχιτεκτονικές όπως το Google’s MusicLM και το Stable Audio. Αυτές οι τεχνολογίες, αξιοποιώντας το deep learning και τα SOTA μοντέλα συμπίεσης, δεν βελτιώνουν μόνο τη παραγωγής μουσικής αλλά και τελειοποιούν τις εμπειρίες ακρόασης.

Ωστόσο, είναι ένας τομέας σε συνεχή εξέλιξη, με εμπόδια όπως η διατήρηση της μακροχρόνιας συνάφειας και η συνεχής συζήτηση για την αυθεντικότητα της AI-δημιουργημένης μουσικής να προκαλούν τους πρωτοπόρους σε αυτόν τον τομέα. Μόλις την περασμένη εβδομάδα, η συζήτηση ήταν όλα για ένα AI-δημιουργημένο τραγούδι που καναλιζόταν στο στυλ του Drake και του The Weeknd, το οποίο είχε αρχικά κάνει θόρυβο στο διαδίκτυο νωρίτερα αυτό το χρόνο. Ωστόσο, απομακρύνθηκε από τη λίστα υποψηφίων για Grammy, δείχνοντας τη συνεχής συζήτηση σχετικά με την νομιμότητα της AI-δημιουργημένης μουσικής στη βιομηχανία (πηγή). Όσο η AI συνεχίζει να γεφυρώνει τα κενά μεταξύ μουσικής και ακροατών, προάγει ένα οικοσύστημα όπου η τεχνολογία συνυπάρχει με την τέχνη, προάγοντας την καινοτομία ενώ σεβόμενο την παράδοση.

Έχω περάσει τα τελευταία πέντε χρόνια βυθισμένος στον συναρπαστικό κόσμο της Μηχανικής Μάθησης και της Βαθιάς Μάθησης. Το πάθος μου και η εξειδίκευσή μου με οδήγησαν να συμβάλλω σε πάνω από 50 διαφορετικά έργα μηχανικής λογισμικού, με ιδιαίτερη έμφαση στο AI/ML. Η συνεχής περιέργειά μου με έχει οδηγήσει επίσης προς την Επεξεργασία Φυσικής Γλώσσας, ένα πεδίο που είμαι πρόθυμος να εξερευνήσω περαιτέρω.