Faisnéise Saorga
Tairgeann LipSync3D Google Sioncronú Gluaiseacht Béil 'Deepfaked' Feabhsaithe
A comhoibriú idir taighdeoirí Google AI agus Institiúid Teicneolaíochta na hIndia Tairgeann Kharagpur creat nua chun cinn cainte a shintéisiú ó ábhar fuaime. Tá sé mar aidhm ag an tionscadal bealaí optamaithe agus réasúnta-acmhainní a tháirgeadh chun ábhar físe 'ceann cainte' a chruthú ó fhuaim, chun gluaiseachtaí liopaí a shioncronú go fuaim dubáilte nó meaisín-aistrithe, agus le húsáid in abhatár, i bhfeidhmchláir idirghníomhacha, agus go leor eile. timpeallachtaí fíor-ama.
Foinse: https://www.youtube.com/watch?v=L1StbX9OznY
Ní theastaíonn ach físeán amháin d’aitheantas aghaidh na sprice mar shonraí ionchuir ó na samhlacha meaisínfhoghlama atá oilte sa phróiseas – ar a dtugtar LipSync3D. Scarann an píblíne ullmhúcháin sonraí eastóscadh céimseata aghaidhe ó mheastóireacht soilsiú agus gnéithe eile d’fhíseán ionchuir, rud a cheadaíonn oiliúint níos eacnamaí agus níos dírithe.
Sreabhadh oibre dhá chéim LipSync3D. Thuas, giniúint aghaidh 3D le uigeacht dhinimiciúil ón fhuaim 'sprioc'; thíos, an mogalra a ghintear a chur isteach i físeán sprice.
Go deimhin, b'fhéidir gurb é an ranníocaíocht is suntasaí atá ag LipSync3D le corp na hiarrachta taighde sa réimse seo ná a algartam normalaithe soilsithe, a dhíchúplálann oiliúint agus soilsiú tátal.
Cuidíonn díchúpláil sonraí soilsithe ó chéimseata ghinearálta le LipSync3D aschur gluaiseachta liopaí níos réadúla a tháirgeadh faoi choinníollacha dúshlánacha. Chuir cur chuige eile le blianta beaga anuas teorainn le coinníollacha soilsithe 'seasta' nach léireoidh a n-acmhainn níos teoranta ina leith seo.
Le linn réamhphróiseáil na bhfrámaí sonraí ionchuir, ní mór don chóras pointí specular a aithint agus a bhaint, ós rud é go mbaineann siad seo go sonrach leis na coinníollacha soilsithe faoinar tógadh an físeán, agus go gcuirfidh siad isteach ar shlí eile ar an bpróiseas athshoilsiú.
Níl LipSync3D, mar a thugann an t-ainm le fios, ag déanamh anailíse picteilín amháin ar na haghaidheanna a ndéanann sé meastóireacht orthu, ach ag baint úsáide as sainchomharthaí sainaitheanta aghaidhe go gníomhach chun mogaill shoghluaiste i stíl CGI a ghiniúint, mar aon leis na huigeachtaí 'neamhfhillte' atá fillte timpeall orthu i CGI traidisiúnta. píblíne.
Cuir normalú i LipSync3D. Ar thaobh na láimhe clé tá na frámaí ionchuir agus na gnéithe braite; i lár, rinn normalaithe na meastóireachta mogalra a ghintear; agus ar dheis, an atlas uigeachta comhfhreagrach, a sholáthraíonn an fhírinne talún le haghaidh tuar uigeachta. Foinse: https://arxiv.org/pdf/2106.04185.pdf
Seachas an modh athshoilsiú nua, maíonn na taighdeoirí go dtugann LipSync3D trí phríomh-nuálaíocht ar obair roimhe seo: céimseata, soilsiú, staidiúir agus uigeacht a scaradh ina sruthanna sonraí scoite i spás normalaithe; samhail um thuar uigeachta aischéimnithí uath-inaistrithe a tháirgeann sintéis físe atá comhsheasmhach go ham; agus réalachas méadaithe, arna mheas ag rátálacha daonna agus ag méadracht oibiachtúil.
Má scoiltear na gnéithe éagsúla den fhísíomhánna aghaidhe is féidir smacht níos fearr a fháil ar shintéis físeáin.
Is féidir le LipSync3D gluaiseacht céimseata liopaí cuí a dhíorthú go díreach ón bhfuaim trí anailís a dhéanamh ar fhóinéimí agus gnéithe eile cainte, agus iad a aistriú go staideanna matán comhfhreagracha aitheanta timpeall limistéar an bhéil.
Úsáideann an próiseas seo píblíne comhthuar, áit a bhfuil ionchódóirí tiomnaithe ag an gcéimseata agus an uigeacht tátal i socrú uath-ionchódóra, ach a roinneann ionchódóir fuaime leis an gcaint a bheartaítear a fhorchur ar an tsamhail:
Tá sintéis gluaiseachta labile LipSync3D ceaptha freisin chun avatars CGI stílithe a chumhachtú, nach bhfuil iontu i ndáiríre ach an cineál céanna faisnéise mogalra agus uigeachta agus íomháineachas an fhíorshaoil:
Tá gluaiseachtaí liopaí ag avatar 3D stílithe faoi thiomáint i bhfíor-am ag físeán cainteoir foinse. I gcás den sórt sin, gheofar na torthaí is fearr trí réamhoiliúint phearsantaithe.
Tá na taighdeoirí ag súil freisin go n-úsáidfear avatars le mothú beagán níos réadúla:
Réimníonn amanna oiliúna samplacha do na físeáin ó 3-5 uair an chloig le haghaidh físeán 2-5 nóiméad, i bpíblíne a úsáideann TensorFlow, Python agus C++ ar GeForce GTX 1080. Bhain na seisiúin oiliúna úsáid as méid bhaisc de 128 fráma os cionn 500-1000 epochs, le gach ré ina léiriú ar mheastóireacht iomlán ar an bhfíseán.
I dTreo Athshioncronú Dinimiciúla As Gluaiseacht Liopa
Le blianta beaga anuas tá an-aird tugtha ar réimse na liopaí athshioncronaithe chun freastal ar rian fuaime úrnua i dtaighde fís ríomhaireachta (féach thíos), go háirithe toisc gur seachtháirge conspóideach é. teicneolaíocht deepfake.
In 2017 Ollscoil Washington taighde curtha i láthair in ann sioncrónú liopaí a fhoghlaim ó fhuaim, é a úsáid chun gluaiseachtaí liopaí an Uachtaráin Obama ag an am a athrú. In 2018; bhí Institiúid Max Planck um Faisnéisíocht faoi stiúir tionscnamh taighde eile chun aistriú físe aitheantais>aitheantais a chumasú, le sioncrónú liopaí a fotháirge an phróisis; agus i mBealtaine na bliana 2021 nocht FlawlessAI tosaithe AI a dteicneolaíocht shioncronaithe liopaí dílseánaigh TrueSync, go forleathan a fuarthas sa phreas mar chumasóir teicneolaíochtaí feabhsaithe dubála do mhóreisiúintí scannán trasna teangacha.
Agus, ar ndóigh, soláthraíonn forbairt leanúnach stórtha foinse oscailte deepfake brainse eile de thaighde gníomhach a chuireann úsáideoirí leis sa réimse seo de shintéis íomhá aghaidhe.
