OpenAI sukuria naują AI programą, skirtą muzikai kurti pagal žanrus

Nepriklausoma tyrimų organizacija OpenAI neseniai išleido naują generatyvinio AI formą, pavadintą Jukebox, pavadintas tokiu dėl gebėjimo generuoti muziką. „Jukebox AI“ gali generuoti garsus pagal tokius požymius kaip instrumentai ir net dainų tekstai, o „OpenAI“ tyrimų komanda sukūrė dirbtinį intelektą, mokydama jį naudoti suglaudintus garso klipus ir įvairius dainų tekstų fragmentus.

Kaip „TechCrunch“ pranešė, OpenAI tyrėjai apmokė modelį naudodami neapdorotus garso įrašus, suteikdami modeliui galimybę kurti garsą. Tai prieštarauja metodams, naudojamiems kuriant kitas muzikos generavimo programas, kurios dažnai remiasi „simboline muzika“ (pvz., MIDI muzika), kuri yra informacija apie natas ir tonus, bet be tikro garso. Tyrėjų komanda naudojo konvoliucinius neuroninius tinklus modeliui išmokyti, suspausti garsą ir užkoduoti jį į formatą, kurį galėtų interpretuoti neuroninis tinklas. Vėliau suspausto garso generavimui buvo naudojamas transformatorius, kuris buvo padidintas, kad duomenys būtų konvertuojami į garso formatą.

Kurdama Jukebox, OpenAI turėjo sukurti metodą, kaip susidoroti su sudėtingu, tankiu garso pobūdžiu. Tyrėjai nagrinėjo nenutrūkstamą garso pobūdį, suskaidydami jį į atskiresnes, lengvai suprantamas dalis, padalydami dainas į bitus, kurių ilgis yra 1/128 sekundės. Tikslas buvo sukurti AI modelį, galintį suskaidyti dainas į pakankamai didelius gabalus, kad problema netaptų sunkiai išsprendžiama, tačiau pakankamai mažą ir tikslią, kad modeliai galėtų išmokti dainos šabloną ir atkurti tą modelį.

„OpenAI“ naudojama technika turi tam tikrų bendrų bruožų su senesnės muzikos kartos dirbtiniu intelektu, kurį gamino įmonė MuseNet. „MuseNet“ buvo apmokytas naudoti MIDI failus ir galėjo generuoti įvairių stilių muziką, nors jis sutelkė dėmesį į bendrą dainos melodiją ir negalėjo sukurti žodžių. Priešingai, „Jukebox“ gali parašyti savo dainų tekstus, kad lydėtų muziką. Dainos žodžius „bendrai parašė“ OpenAI tyrėjai, o tai nukreipia modelį kuriant tam tikrų stilių dainų tekstus. Jukebox sistema buvo apmokyta pagal dainų tekstus, išbrauktus iš LyricWiki, o mokymo duomenis sudarė tekstas ir 1.2 milijono dainų metaduomenys.

Kalbant apie modelio žodžius, tyrėjai pirmiausia bandė naudoti paprastą euristiką, kuri ištempė žodžius maždaug iki dainos trukmės, analizuodami tekstą, atitinkantį tam tikrą dainos dalį / segmentą. Šis paprastas metodas apskritai veikė gerai, nors mokslininkai nustatė, kad kai dainų tekstai buvo ypač greiti, jie sugedo. Siekiant išspręsti šią problemą, vokalas buvo išgautas iš dainos ir sulygiuotas su lyriniu tekstu, kad būtų gautas žodžių lygių lygiavimas. Vėliau dainų tekstams buvo naudojamas kodavimo sluoksnis kartu su dėmesio sluoksniu, kuris muzikos dalis susiejo su dainų tekstais naudojant raktų ir reikšmių poras. Rezultatas buvo toks, kad žodžiai ir vokalas buvo gana tiksliai suderinti.

Autoriai popierius Taip pat atkreipkite dėmesį, kad „Jukebox“ turi keletą apribojimų ir kad būsimu darbu bus siekiama pagerinti AI galimybes. Kaip rašo autoriai dienoraštyje:

„Nors Jukebox yra žingsnis į priekį muzikinės kokybės, nuoseklumo, garso pavyzdžio trukmės ir gebėjimo nustatyti atlikėją, žanrą ir dainų tekstus, yra didelis atotrūkis tarp šių kartų ir žmogaus sukurtos muzikos. Pavyzdžiui, nors sukurtos dainos rodo vietinę muzikinę darną, atitinka tradicinius akordų modelius ir netgi gali skambėti įspūdingais solo, negirdime pažįstamų didesnių muzikos struktūrų, tokių kaip chorai, kurie kartojasi.

Šiuo metu modelis gali sukurti dainą, kuri yra atpažįstama konkretaus žanro ar net konkretaus atlikėjo stiliaus. Pavyzdžiui, ji gali sukurti Elvio Presley, Katy Perry ar Rage Against the Machine dainas. Nors dainos atpažįstamai priklauso tam tikram žanrui arba pagal dainininko stilių, jos taip pat yra gana grubios, dažnai skamba kaip parodija ar prastas dainos koveris. Nepaisant to, techninis pasiekimas yra įspūdingas. Tyrėjai, atsakingi už AI generavimo sistemos sukūrimą, pasirinko dirbti su programa, galinčia generuoti muziką, nes užduotis buvo sudėtinga, ir mokslininkai planuoja toliau tobulinti savo metodus. Galite klausytis kai kurių dainų čia.