Forscher erstellen KI-Modell, das sowohl auf Chinesisch als auch auf Englisch singen kann

Ein Team von Forschern von Microsoft und der Zhajiang-Universität hat kürzlich ein KI-Modell entwickelt, das in zahlreichen Sprachen singen kann. Wie VentureBeat berichtete, wurde das DeepSinger-KI-Modell von dem Team mit Daten von verschiedenen Musik-Websites trainiert, die Algorithmen verwendeten, um den Klang der Stimme des Sängers zu erfassen.

Die Erzeugung der “Stimme” eines KI-Sängers erfordert Algorithmen, die in der Lage sind, die Tonhöhe und Dauer von Audio-Daten vorherzusagen und zu kontrollieren. Wenn Menschen singen, produzieren sie Geräusche, die wesentlich komplexere Rhythmen und Muster aufweisen als einfache Sprache. Ein weiteres Problem, das das Team überwinden musste, war, dass es zwar eine große Menge an Sprech-/Sprach-Trainingsdaten gibt, aber Sing-Trainings-Datensätze relativ selten sind. Wenn man diese Herausforderungen mit der Tatsache kombiniert, dass Lieder sowohl Sound als auch Text analysiert werden müssen, ist das Problem der Erzeugung von Gesang extrem komplex.

Das DeepSinger-System, das von den Forschern entwickelt wurde, überwand diese Herausforderungen, indem es eine Daten-Pipeline entwickelte, die Audio-Daten abbildete und transformierte. Die Ausschnitte des Singens wurden von verschiedenen Musik-Websites extrahiert und dann das Singen von dem Rest des Audios isoliert und in Sätze unterteilt. Der nächste Schritt bestand darin, die Dauer jedes Phonems in den Texten zu bestimmen, was zu einer Reihe von Proben führte, die jeweils ein einzigartiges Phonem in den Texten darstellten. Die Reinigung der Daten erfolgte, um mit verfälschten Trainingsproben umzugehen, nachdem die Texte und die begleitenden Audio-Proben nach dem Vertrauenswert sortiert worden waren.

Die gleichen Methoden scheinen für eine Vielzahl von Sprachen zu funktionieren. DeepSinger wurde mit chinesischen, kantonesischen und englischen Vokalproben trainiert, die aus 89 verschiedenen Sängern bestanden, die über 92 Stunden sangen. Die Ergebnisse der Studie zeigten, dass das DeepSinger-System in der Lage war, zuverlässig hochwertige “Gesang”-Proben zu erzeugen, gemessen an Metriken wie der Genauigkeit der Tonhöhe und der Natürlichkeit des Gesangs. Die Forscher ließen 20 Personen sowohl von DeepSinger erzeugte Lieder als auch die Trainingslieder nach diesen Metriken bewerten, und die Lücke zwischen den Bewertungen für die erzeugten Proben und den echten Audio-Daten war sehr klein. Die Teilnehmer gaben DeepSinger eine mittlere Meinungsbewertung, die um 0,34 bis 0,76 abwich.

Wenn man in die Zukunft blickt, möchten die Forscher versuchen, die Qualität der erzeugten Stimmen zu verbessern, indem sie die verschiedenen Submodelle, die DeepSinger ausmachen, gemeinsam trainieren, mit Hilfe von Spezialtechnologien wie WaveNet, die speziell für die Aufgabe der Erzeugung von natürlich klingendem Sprachfluss durch Audio-Wellenformen entwickelt wurden.

Das DeepSinger-System könnte verwendet werden, um Sängern und anderen Musikern zu helfen, Korrekturen an ihrer Arbeit vorzunehmen, ohne dass sie zurück in das Studio für eine weitere Aufnahmesession müssen. Es könnte auch potenziell verwendet werden, um Audio-Deepfakes zu erstellen, um es so aussehen zu lassen, als ob ein Künstler ein Lied gesungen hat, das er tatsächlich nicht gesungen hat. Während es für Parodie oder Satire verwendet werden könnte, ist es auch von zweifelhafter Legalität.

DeepSinger ist nur eines von einer Welle neuer KI-basierter Musik- und Audio-Systeme, die die Art und Weise, wie Musik und Software interagieren, revolutionieren könnten. OpenAI veröffentlichte kürzlich ihr eigenes KI-System, genannt JukeBox, das in der Lage ist, originale Musikstücke im Stil eines bestimmten Genres oder sogar eines bestimmten Künstlers zu produzieren. Andere musikalische KI-Tools umfassen Googles Magenta und Amazons DeepComposer. Magenta ist eine Open-Source-Audio- (und Bild-) Manipulationsbibliothek, die verwendet werden kann, um alles von automatisierten Schlagzeug-Begleitungen bis hin zu einfachen Musik-basierten Videospielen zu produzieren. Amazon’s (AMZN ) DeepComposer hingegen ist auf diejenigen ausgerichtet, die ihre eigenen musikbasierten Deep-Learning-Modelle trainieren und anpassen möchten, indem sie vorgefertigte Beispiel-Modelle nehmen und die Modelle an ihre Bedürfnisse anpassen können.

Sie können einige der von DeepSinger erzeugten Audio-Proben hier anhören.