KI-Modelle und Plattformen
Text-to-Music-Generative-AI: Stability Audio, Google’s MusicLM und mehr
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Die Musik, eine Kunstform, die mit der menschlichen Seele resoniert, ist seit jeher unser ständiger Begleiter. Die Erstellung von Musik mithilfe künstlicher Intelligenz begann bereits vor mehreren Jahrzehnten. Zunächst waren die Versuche einfach und intuitiv, mit grundlegenden Algorithmen, die monotonen Klänge erzeugten. Als jedoch die Technologie fortschritt, verbesserten sich auch die Komplexität und die Fähigkeiten der AI-Musik-Generatoren, und ebneten den Weg für Deep Learning und Natural Language Processing (NLP), um eine wichtige Rolle in dieser Technologie zu spielen.
Heute nutzen Plattformen wie Spotify AI, um die Höherfahrungen ihrer Benutzer zu verfeinern. Diese Deep-Learning-Algorithmen analysieren individuelle Vorlieben basierend auf verschiedenen musikalischen Elementen wie Tempo und Stimmung, um personalisierte Liedvorschläge zu erstellen. Sie analysieren auch umfassendere Hörmuster und durchsuchen das Internet nach songbezogenen Diskussionen, um detaillierte Liedprofile zu erstellen.
Die Ursprünge von AI in der Musik: Eine Reise von der algorithmischen Komposition zur generativen Modellierung
In den frühen Phasen der AI-Mischung in der Musikwelt, die von den 1950er bis zu den 1970er Jahren reichte, lag der Fokus hauptsächlich auf der algorithmischen Komposition. Dies war eine Methode, bei der Computer eine definierte Menge von Regeln verwendeten, um Musik zu erstellen. Die erste bemerkenswerte Schöpfung während dieser Periode war die Illiac Suite für Streichquartett im Jahr 1957. Sie verwendete den Monte-Carlo-Algorithmus, ein Verfahren, das Zufallszahlen verwendet, um die Tonhöhe und den Rhythmus innerhalb der Grenzen der traditionellen Musiktheorie und statistischen Wahrscheinlichkeiten zu bestimmen.
Bild erstellt vom Autor mit Midjourney
Während dieser Zeit verwendete ein weiterer Pionier, Iannis Xenakis, stochastische Prozesse, ein Konzept, das Zufalls-Wahrscheinlichkeitsverteilungen beinhaltet, um Musik zu erstellen. Er verwendete Computer und die FORTRAN-Sprache, um mehrere Wahrscheinlichkeitsfunktionen zu verbinden, und erstellte ein Muster, bei dem verschiedene grafische Darstellungen unterschiedlichen Klangräumen entsprachen.
Die Komplexität der Übersetzung von Text in Musik
Musik wird in einem reichen und mehrdimensionalen Datenformat gespeichert, das Elemente wie Melodie, Harmonie, Rhythmus und Tempo umfasst, was die Aufgabe der Übersetzung von Text in Musik sehr komplex macht. Ein Standardlied wird durch fast eine Million Zahlen in einem Computer dargestellt, eine Zahl, die erheblich höher ist als andere Datenformate wie Bilder oder Text.
Das Feld der Audiogenerierung erlebt innovative Ansätze, um die Herausforderungen der Erstellung realistischer Klänge zu überwinden. Ein Ansatz beinhaltet die Generierung eines Spektrograms und dessen Umwandlung zurück in Audio.
Ein weiterer Ansatz nutzt die symbolische Darstellung von Musik, wie Noten, die von Musikern interpretiert und gespielt werden können. Diese Methode wurde erfolgreich digitalisiert, mit Tools wie Magentas Chamber Ensemble Generator, der Musik im MIDI-Format erstellt, einem Protokoll, das die Kommunikation zwischen Computern und Musikinstrumenten ermöglicht.
Obwohl diese Ansätze das Feld vorangebracht haben, haben sie ihre eigenen Einschränkungen, was die komplexe Natur der Audiogenerierung unterstreicht.
Transformer-basierte autoregressive Modelle und U-Net-basierte Diffusionsmodelle sind an der Spitze der Technologie und erzeugen state-of-the-art-Ergebnisse bei der Generierung von Audio, Text, Musik und vielem mehr. OpenAIs GPT-Serie und fast alle anderen LLMs sind derzeit von Transformern angetrieben, die entweder Encoder-, Decoder- oder beide Architekturen verwenden. Auf der Kunst-/Bildseite nutzen MidJourney, Stability AI und DALL-E 2 alle Diffusionsframeworks. Diese beiden Kerntechnologien waren entscheidend für die Erreichung von state-of-the-art-Ergebnissen im Audiosektor.
Google’s MusicLM
Google’s MusicLM wurde im Mai dieses Jahres veröffentlicht. MusicLM kann hochwertige Musikstücke erzeugen, die genau dem in dem Text beschriebenen Gefühl entsprechen. Durch hierarchisches Sequenz-zu-Sequenz-Modellieren kann MusicLM Textbeschreibungen in Musik umwandeln, die bei 24 kHz über erweiterte Zeiträume resonieren.
Das Modell operiert auf mehreren Ebenen, nicht nur entsprechend den textuellen Eingaben, sondern auch mit der Fähigkeit, auf Melodien konditioniert zu werden. Dies bedeutet, dass es eine gehumme oder gepfiffene Melodie nehmen und sie entsprechend dem in der Textbeschreibung angegebenen Stil umwandeln kann.
Technische Einblicke
MusicLM nutzt die Prinzipien von AudioLM, einem Framework, das 2022 für die Audiogenerierung eingeführt wurde. AudioLM synthetisiert Audio als eine Sprachmodellierungsaufgabe in einem diskreten Repräsentationsraum, indem es eine Hierarchie von grob zu feinen Audio-Discreteinheiten, auch bekannt als Token, verwendet. Dieser Ansatz stellt eine hohe Qualität und langfristige Kohärenz über erhebliche Zeiträume sicher.
Um den Generierungsprozess zu erleichtern, erweitert MusicLM die Fähigkeiten von AudioLM, um Textkonditionierung zu ermöglichen, eine Technik, die das erzeugte Audio mit den Nuancen des Eingabetexts ausrichtet. Dies wird durch einen gemeinsamen Embeddingspace erreicht, der mithilfe von MuLan, einem gemeinsamen Musik-Text-Modell, erstellt wird, das Musik und ihre entsprechenden Textbeschreibungen in einem Embeddingspace nahe beieinander projiziert. Diese Strategie eliminiert effektiv die Notwendigkeit von Untertiteln während des Trainings und ermöglicht es dem Modell, auf großen audio-only-Korpora trainiert zu werden.
Das MusicLM-Modell verwendet auch SoundStream als Audio-Tokenizer, der 24-kHz-Musik bei 6 kbps mit beeindruckender Qualität rekonstruieren kann, indem er residuale Vektorquantisierung (RVQ) für effiziente und hochwertige Audio-Komprimierung nutzt.
Eine Illustration des Vortrainingsprozesses von MusicLM: SoundStream, w2v-BERT und MuLan | Bildquelle: hier
Darüber hinaus erweitert MusicLM seine Fähigkeiten, indem es Melodie-Konditionierung ermöglicht. Dieser Ansatz stellt sicher, dass sogar eine einfache gehumme Melodie die Grundlage für ein großartiges auditives Erlebnis legen kann, das auf die genaue textuelle Stilbeschreibung abgestimmt ist.
Die Entwickler von MusicLM haben auch MusicCaps, eine Datenbank mit 5,5k Musik-Text-Paaren, veröffentlicht, die jeweils von menschlichen Experten erstellte reiche Textbeschreibungen enthält. Sie können es hier einsehen: MusicCaps auf Hugging Face.
Bereit, AI-Kompositionen mit Google’s MusicLM zu erstellen? Hier ist, wie Sie loslegen:
- Besuchen Sie die offizielle MusicLM-Website und klicken Sie auf “Loslegen”.
- Melden Sie sich für die Warteliste an, indem Sie “Interesse anmelden” auswählen.
- Melden Sie sich mit Ihrem Google-Konto an.
- Sobald Ihnen der Zugang gewährt wurde, klicken Sie auf “Jetzt ausprobieren”, um zu beginnen.
Hier sind einige Beispiel-Prompts, mit denen ich experimentiert habe:
“Meditatives Lied, beruhigend und sanft, mit Flöten und Gitarren. Die Musik ist langsam, mit Fokus auf die Schaffung eines Gefühls von Frieden und Ruhe.”
“Jazz mit Saxophon”
Im Vergleich zu vorherigen SOTA-Modellen wie Riffusion und Mubert wurde MusicLM in einer qualitativen Bewertung bevorzugt, wobei die Teilnehmer die Kompatibilität von Text-Untertiteln mit 10-Sekunden-Audio-Clips positiv bewerteten.
MusicLM-Leistung, Bildquelle: hier
Stability Audio
Stability AI hat letzte Woche “Stable Audio” vorgestellt, eine latente Diffusionsmodell-Architektur, die auf Text-Metadaten sowie Audio-Dateidauer und Startzeit konditioniert ist. Dieser Ansatz, ähnlich wie Google’s MusicLM, ermöglicht die Kontrolle über den Inhalt und die Länge des erzeugten Audios, wodurch die Erstellung von Audio-Clips mit angegebenen Längen bis zur Trainingsfenstergröße möglich ist.
Technische Einblicke
Stable Audio besteht aus mehreren Komponenten, einschließlich eines Variationalen Autoencoders (VAE) und eines U-Net-basierten konditionierten Diffusionsmodells, das mit einem Text-Encoder zusammenarbeitet.
Stable-Audio-Architektur, Bildquelle: hier
Der VAE ermöglicht eine schnellere Generierung und ein schnelleres Training, indem er Stereo-Audio in eine Daten-komprimierte, rauschresistente und invertierbare verlustbehaftete latente Kodierung komprimiert, wodurch die Notwendigkeit, mit rohen Audio-Proben zu arbeiten, entfällt.
Der Text-Encoder, der von einem CLAP-Modell abgeleitet ist, spielt eine wichtige Rolle bei der Verständigung der komplexen Beziehungen zwischen Wörtern und Klängen und bietet eine informative Darstellung der tokenisierten Eingabetexte. Dies wird durch die Verwendung von Textmerkmalen aus der vorletzten Schicht des CLAP-Text-Encoders erreicht, die dann in die Diffusions-U-Net durch Cross-Attention-Schichten integriert werden.
Ein wichtiger Aspekt ist die Einbeziehung von Timing-Embeddings, die auf zwei Eigenschaften basieren: der Startsekunde des Audio-Chunks und der Gesamtdauer der ursprünglichen Audio-Datei. Diese Werte, die in pro-Sekunde diskrete gelernte Embeddings umgewandelt werden, werden mit den Prompt-Tokens kombiniert und in die U-Net-Cross-Attention-Schichten eingegeben, wodurch Benutzer die Gesamtlänge des Ausgabe-Audios diktieren können.
Das Stable-Audio-Modell wurde mithilfe einer umfangreichen Datenbank von über 800.000 Audio-Dateien trainiert, in Zusammenarbeit mit dem Stock-Music-Anbieter AudioSparx.
Stable-Audio-Werbung
Stable Audio bietet eine kostenlose Version, die 20 Generierungen von bis zu 20-Sekunden-Tracks pro Monat ermöglicht, und ein Pro-Plan für 12 $/Monat, der 500 Generierungen von bis zu 90-Sekunden-Tracks ermöglicht.
Unten finden Sie ein Audio-Clip, den ich mit Stable Audio erstellt habe.
Bild erstellt vom Autor mit Midjourney
“Kinematografisch, Soundtrack sanfter Regen, Ambient, beruhigend, entfernter Hundebellen, ruhiger Blätterrasseln, subtiler Wind, 40 BPM”
Die Anwendungen solcher fein gearbeiteter Audio-Stücke sind endlos. Filmemacher können diese Technologie nutzen, um reiche und immersive Klanglandschaften zu erstellen. Im kommerziellen Sektor können Werbetreibende diese maßgeschneiderten Audio-Tracks nutzen. Darüber hinaus öffnet sich diese Technologie für einzelne Künstler und Kreative, um zu experimentieren und zu innovieren, und bietet eine Leinwand mit unbegrenztem Potenzial, um Klangstücke zu erstellen, die Geschichten erzählen, Emotionen hervorrufen und Atmosphären mit einer Tiefe schaffen, die ohne erhebliche Budgets oder technische Expertise zuvor schwer zu erreichen war.
Prompting-Tipps
Erstellen Sie das perfekte Audio mithilfe von Text-Prompts. Hier ist ein schneller Leitfaden, um loszulegen:
- Seien Sie detailliert: Geben Sie Genres, Stimmungen und Instrumente an. Zum Beispiel: Kinematografisch, Wilder Westen, Percussion, angespannt, atmosphärisch
- Stimmungs-Setting: Kombinieren Sie musikalische und emotionale Begriffe, um die gewünschte Stimmung zu vermitteln.
- Instrumenten-Auswahl: Erweitern Sie Instrumenten-Namen mit Adjektiven, wie “hallender Gitarre” oder “mächtigem Chor”.
- BPM: Stimmen Sie das Tempo mit dem Genre ab, um ein harmonisches Ergebnis zu erzielen, wie zum Beispiel “170 BPM” für einen Drum-and-Bass-Track.
Abschließende Hinweise
Bild erstellt vom Autor mit Midjourney
In diesem Artikel haben wir uns mit AI-generierter Musik/Audio beschäftigt, von der algorithmischen Komposition bis hin zu den komplexen generativen AI-Frameworks von heute wie Google’s MusicLM und Stability Audio. Diese Technologien, die Deep Learning und state-of-the-art-Modellierung nutzen, verbessern nicht nur die Musikgenerierung, sondern auch die Höherfahrungen der Zuhörer.
Es ist jedoch ein Bereich, der ständig evolviert, mit Hürden wie der Aufrechterhaltung der langfristigen Kohärenz und der anhaltenden Debatte über die Authentizität von AI-erstellter Musik, die die Pioniere in diesem Bereich herausfordert. Vor nur einer Woche war die Aufregung um ein AI-erstelltes Lied, das die Stile von Drake und The Weeknd nachahmte, das ursprünglich Anfang des Jahres online gefeuert wurde, jedoch von der Grammy-Nominierungsliste entfernt wurde, was die anhaltende Debatte über die Legitimität von AI-generierter Musik in der Branche zeigt (Quelle). Da AI die Lücke zwischen Musik und Zuhörern schließt, fördert es ein Ökosystem, in dem Technologie und Kunst zusammenleben, Innovationen hervorbringt und Traditionen respektiert.
