OpenAI krijon një program të ri të AI për të krijuar muzikë bazuar në zhanre

Organizata e pavarur kërkimore OpenAI ka lëshuar së fundmi një formë të re të AI gjeneruese të quajtur Jukebox, i quajtur si i tillë për shkak të aftësisë së tij për të gjeneruar muzikë. Jukebox AI është në gjendje të gjenerojë tinguj bazuar në atribute si instrumentet dhe madje edhe tekstet, dhe ekipi hulumtues OpenAI krijoi AI duke e trajnuar atë në klipe audio të kompresuara dhe fragmente të ndryshme tekstesh.

Si TechCrunch raportuar, studiuesit e OpenAI e trajnuan modelin duke përdorur klipe audio të papërpunuara, duke i dhënë modelit aftësinë për të prodhuar audio. Kjo është në kontrast me qasjet e përdorura për të krijuar aplikacione të tjera të gjenerimit të muzikës, të cilat shpesh mbështeten në "muzikë simbolike" (si muzika MIDI) që është informacion rreth notave dhe zërave, por jo audio aktuale. Ekipi i studiuesve përdori rrjete nervore konvolucionale për të trajnuar modelin, duke kompresuar audion dhe duke e koduar atë në një format që rrjeti nervor mund të interpretonte. Më pas, një transformator u përdor për të gjeneruar audio të ngjeshur, e cila u modelua në mënyrë që të konvertonte të dhënat në një format audio.

Kur krijonte Jukebox, OpenAI duhej të krijonte një metodë për t'u marrë me natyrën komplekse dhe të dendur të audios. Studiuesit u morën me natyrën e vazhdueshme të audios duke e ndarë atë në seksione më diskrete, të tretshme, duke i ndarë këngët në pjesë që janë të gjata 1/128 e sekondës. Qëllimi ishte krijimi i një modeli të AI, i aftë për të ndarë këngët në copa mjaftueshëm të mëdha sa që problemi të mos bëhet i vështirë, por mjaft i vogël dhe i saktë që modelet të mund të mësojnë modelin e një kënge dhe ta rindërtojnë atë model.

Teknika e përdorur nga OpenAI ndan disa të përbashkëta me një AI të vjetër të gjeneratës së muzikës që kompania prodhoi, të quajtur MuseNet. MuseNet ishte trajnuar për skedarët MIDI dhe ishte në gjendje të gjeneronte muzikë në stile të vërteta, megjithëse fokusohej në melodinë e përgjithshme të një kënge dhe nuk mund të prodhonte tekste. Në të kundërt, Jukebox është në gjendje të shkruajë tekstet e veta për të shoqëruar muzikën. Tekstet janë "bashkëshkruar" nga studiuesit e OpenAI, duke e udhëhequr modelin drejt krijimit të teksteve në stile të caktuara. Sistemi Jukebox u trajnua mbi tekstet e skrapuara nga LyricWiki, me të dhënat e trajnimit që përbëheshin nga teksti dhe metadata në 1.2 milionë këngë.

Kur bëhet fjalë për tekstin e modelit, studiuesit fillimisht u përpoqën të përdornin një heuristik të thjeshtë që shtrinte tekstin përafërsisht në kohëzgjatjen e një kënge, duke analizuar tekstin që korrespondonte me një pjesë/segment të veçantë të këngës. Kjo qasje e thjeshtë funksionoi mirë në përgjithësi, megjithëse studiuesit zbuluan se kur teksti ishte veçanërisht i shpejtë, u prish. Për t'u marrë me këtë problem, vokalet u nxorën nga kënga dhe u rreshtuan me tekstin lirik për të marrë rreshtime në nivel fjalësh për tekstin. Më pas, një shtresë kodimi u përdor për tekstet së bashku me një shtresë vëmendjeje që lidhte pjesë të muzikës me tekste duke përdorur çifte me vlerë kyçe. Rezultati ishte që teksti dhe vokali kishin një përputhje mjaft të saktë.

Autorët e letra vini re gjithashtu se ka disa kufizime që ka Jukebox dhe se puna e ardhshme do të synojë të përmirësojë aftësinë e AI. Siç shkruajnë autorët në një blog post:

“Ndërsa Jukebox përfaqëson një hap përpara në cilësinë muzikore, koherencën, gjatësinë e mostrës audio dhe aftësinë për të kushtëzuar artistin, zhanrin dhe tekstin, ekziston një hendek i rëndësishëm midis këtyre brezave dhe muzikës së krijuar nga njeriu. Për shembull, ndërsa këngët e krijuara tregojnë koherencë muzikore lokale, ndjekin modelet tradicionale të akordit dhe madje mund të shfaqin solo mbresëlënëse, ne nuk dëgjojmë struktura të njohura muzikore më të mëdha si koret që përsëriten.”

Tani për tani, modelja është në gjendje të prodhojë një këngë që dallohet në stilin e një zhanri të caktuar apo edhe të një artisti të veçantë. Për shembull, mund të prodhojë këngë në stilin e Elvis Presley, Katy Perry ose Rage Against the Machine. Edhe pse këngët janë të dallueshme brenda një zhanri ose me tematikë rreth stilit të një këngëtari, ato janë gjithashtu mjaft të përafërta, shpesh duken si një parodi ose një version i dobët i kopertinës së një kënge. Sidoqoftë, arritja teknike është mbresëlënëse. Studiuesit përgjegjës për krijimin e sistemit të gjenerimit të AI zgjodhën të punonin në një program të aftë për të gjeneruar muzikë veçanërisht sepse detyra ishte e vështirë dhe studiuesit planifikojnë të vazhdojnë të përsosin teknikat e tyre. Ju mund të dëgjoni disa nga këngët këtu.