ОпенАИ креира нови АИ програм за креирање музике засноване на жанровима

Независна истраживачка организација ОпенАИ недавно је објавила нови облик генеративне АИ под називом Јукебок, назван као такав због своје способности да генерише музику. Јукебок АИ је у стању да генерише звукове засноване на атрибутима као што су инструментација, па чак и текстови, а истраживачки тим ОпенАИ је креирао АИ тако што га је обучавао на компресованим аудио клиповима и разним исечцима стихова.

Као ТецхЦрунцх пријавио, истраживачи ОпенАИ-а су обучили модел користећи необрађене аудио клипове, дајући моделу могућност да производи звук. Ово је у супротности са приступима који се користе за креирање других апликација за генерисање музике, које се често ослањају на „симболичку музику“ (попут МИДИ музике) која је информација о нотама и висинама, али не и стварном звуку. Тим истраживача је користио конволуционе неуронске мреже да обучи модел, компримује звук и кодира га у формат који неуронска мрежа може да интерпретира. Након тога, трансформатор је коришћен за генерисање компресованог звука, који је појачан како би се подаци претворили у аудио формат.

Приликом креирања џубокса, ОпенАИ је морао да створи метод за суочавање са сложеном, густом природом звука. Истраживачи су се бавили континуираном природом звука тако што су га поделили на дискретније, пробављиве делове, поделивши песме на битове који су дуги 1/128 секунде. Циљ је био да се створи АИ модел способан да разбије песме на комаде довољно велике да проблем не постане нерешив, али довољно мали и прецизан да модели могу да науче образац песме и реконструишу тај образац.

Техника коју користи ОпенАИ дели неке заједничке карактеристике са АИ старијом музичком генерацијом коју је компанија произвела, тзв. МусеНет. МусеНет је био обучен за МИДИ датотеке и био је способан да генерише музику у мноштву стилова, иако се фокусирао на целокупну мелодију песме и није могао да произведе текстове. Насупрот томе, Џубокс је у стању да пише сопствене текстове који ће пратити музику. Текстове су „коауторство“ написали истраживачи ОпенАИ, водећи модел ка стварању текстова у одређеним стиловима. Џубокс систем је обучен на текстовима преузетим са ЛирицВики-ја, са подацима за обуку који се састоје од текста и метаподатака за 1.2 милиона песама.

Када је реч о стиховима модела, истраживачи су прво покушали да користе једноставну хеуристику која је проширила текст на отприлике трајање песме, анализирајући текст који је одговарао одређеном делу/сегменту песме. Овај једноставан приступ је генерално добро функционисао, иако су истраживачи открили да када су стихови били посебно брзи, покварили су се. Да би се решио овај проблем, вокали су извучени из песме и усклађени са лирским текстом како би се добила поравнања на нивоу речи за текст. Након тога, слој за кодирање је коришћен за текстове заједно са слојем пажње који је мапирао делове музике у текст користећи парове кључ-вредност. Резултат је био да су текстови и вокал имали прилично прецизан спој.

Аутори папир такође имајте на уму да постоји неколико ограничења која Џубокс има и да ће будући рад имати за циљ побољшање способности АИ. Како пишу аутори у блогу:

„Док џубокс представља корак напред у музичком квалитету, кохерентности, дужини аудио узорка и способности да се условљава уметник, жанр и текст, постоји значајан јаз између ових генерација и музике коју су створили људи. На пример, док генерисане песме показују локалну музичку кохерентност, прате традиционалне обрасце акорда и чак могу да садрже импресивне соло, не чујемо познате веће музичке структуре као што су рефрени који се понављају.

Тренутно је модел способан да произведе песму која је препознатљива у стилу одређеног жанра или чак одређеног извођача. На пример, може произвести песме у стилу Елвиса Прислија, Кејти Пери или Раге Агаинст тхе Мацхине. Иако су песме препознатљиво унутар жанра или тематски у складу са стилом певача, оне су такође прилично грубе, често звуче као пародија или лоша обрада песме. Без обзира на то, техничко достигнуће је импресивно. Истраживачи одговорни за креирање система за генерисање вештачке интелигенције одлучили су да раде на програму који може да генерише музику посебно зато што је задатак био тежак, а истраживачи планирају да наставе да усавршавају своје технике. Можете послушати неке од песама ovde.