Riċerkaturi Oħloq Mudell AI Kapaċi Jikant Kemm Biċ-Ċiniż kif ukoll bl-Ingliż

Tim ta’ riċerkaturi mill-Microsoft u l-Università ta’ Zhajiang reċentement ħolqu mudell AI li kapaċi jkanta f’bosta lingwi. Kif irrapporta VentureBeat, il-DeepSinger AI żviluppat mit-tim kien imħarreġ fuq data minn diversi websajts tal-mużika, bl-użu ta' algoritmi li qabdu t-timbre tal-vuċi tal-kantanta.

Il-ġenerazzjoni tal-"vuċi" ta 'kantant AI teħtieġ algoritmi li huma kapaċi jbassru u jikkontrollaw kemm il-pitch kif ukoll it-tul tal-awdjo. Meta n-nies ikantaw, il-ħsejjes li jipproduċu għandhom ritmi u xejriet ferm aktar kumplessi meta mqabbla ma’ diskors sempliċi. Problema oħra li t-tim għandu jegħleb kienet li filwaqt li hemm ammont ġust ta’ dejta disponibbli dwar it-taħriġ tat-taħdit/taħdit, is-settijiet tad-dejta tat-taħriġ tal-kant huma pjuttost rari. Għaqqad dawn l-isfidi mal-fatt li l-kanzunetti jeħtieġ li jkollhom kemm il-ħoss kif ukoll il-lirika analizzati, u l-problema tal-ġenerazzjoni tal-kant hija oerhört kumplessa.

Is-sistema DeepSinger maħluqa mir-riċerkaturi għelbet dawn l-isfidi billi żviluppat pipeline tad-dejta li estratt u ttrasforma d-dejta tal-awdjo. Il-klipps tal-kant ġew estratti minn diversi websajts tal-mużika, u mbagħad il-kant huwa iżolat mill-bqija tal-awdjo u maqsum f'sentenzi. Il-pass li jmiss kien li jiġi ddeterminat it-tul ta 'kull fonema fil-lirika, li jirriżulta f'serje ta' kampjuni li kull wieħed jirrappreżenta fonema uniku fil-lirika. It-tindif tad-dejta jsir biex jittratta kwalunkwe kampjun ta 'taħriġ distort wara li l-lirika u l-kampjuni tal-awdjo li jakkumpanjawhom jiġu magħżula skont il-punteġġ ta' kunfidenza.

L-istess metodi eżatti jidhru li jaħdmu għal varjetà ta 'lingwi. DeepSinger ġie mħarreġ fuq kampjuni vokali Ċiniżi, Cantone, u Ingliżi magħmulin minn 89 kantant differenti jkantaw għal aktar minn 92 siegħa. Ir-riżultati tal-istudju sabu li s-sistema DeepSinger kienet kapaċi tiġġenera b'mod affidabbli kampjuni ta '"kant" ta' kwalità għolja skont metriċi bħall-eżattezza tal-pitch u kemm tinstema' l-kant naturali. Ir-riċerkaturi kellhom 20 persuna jikklassifikaw iż-żewġ kanzunetti ġġenerati minn DeepSinger u l-kanzunetti tat-taħriġ skont dawn il-metriċi u d-distakk bejn il-punteġġi għall-kampjuni ġġenerati u l-awdjo ġenwin kien pjuttost żgħir. Il-parteċipanti taw lil DeepSinger punteġġ medju ta’ opinjoni li ddevja b’bejn 0.34 u 0.76.

B'ħarsa 'l quddiem, ir-riċerkaturi jridu jippruvaw itejbu l-kwalità tal-vuċijiet iġġenerati billi jħarrġu b'mod konġunt id-diversi sottomudelli li jinkludu DeepSinger, magħmul bl-għajnuna ta' teknoloġiji speċjalizzati bħal WaveNet li huma ddisinjati speċifikament għall-kompitu li jiġġeneraw diskors ta 'ħoss naturali permezz ta' forom tal-mewġ tal-awdjo. .

Is-sistema DeepSinger tista 'tintuża biex tgħin lill-kantanti u artisti mużikali oħra jagħmlu korrezzjonijiet biex jaħdmu mingħajr ma jkollhom għalfejn imorru lura fl-istudjo għal sessjoni oħra ta' reġistrazzjoni. IT tista 'tintuża wkoll potenzjalment biex toħloq deepfakes awdjo, li jagħmilha tidher li artist kanta kanzunetta li qatt ma għamlu. Filwaqt li jista 'jintuża għall-parodija jew satira, huwa wkoll ta' legalità dubjuża.

DeepSinger huwa biss wieħed minn mewġa ta’ sistemi ġodda ta’ mużika u awdjo bbażati fuq l-AI li jistgħu jittrasformaw kif jinteraġixxu l-mużika u s-softwer. OpenAI reċentement ħarġu s-sistema AI tagħhom stess, imsejjaħ JukeBox, li kapaċi jipproduċi mużika oriġinali fl-istil ta 'ċertu ġeneru jew saħansitra artist speċifiku. Għodod AI mużikali oħra jinkludu Magenta ta' Google u, DeepComposer tal-Amazon. Kalamiti hija librerija ta 'manipulazzjoni ta' awdjo (u immaġni) ta 'sors miftuħ li tista' tintuża biex tipproduċi kollox minn backing awtomatizzat tat-tanbur għal logħob tal-kompjuter sempliċi ibbażat fuq il-mużika. Sadanittant, DeepComposer ta 'Amazon huwa mmirat lejn dawk li jixtiequ jħarrġu u jippersonalizzaw il-mudelli ta' tagħlim profond ibbażat fuq il-mużika tagħhom stess, li jippermettu lill-utent jieħu mudelli ta 'kampjuni mħarrġa minn qabel u tweak il-mudelli għall-bżonnijiet tagħhom.

Tista' tisma' xi wħud mill-kampjuni tal-awdjo ġġenerati minn DeepSinger fuq din il-link.