Ko nga anga tata nei e ngana ana ki te tuhinga ki te ataata, ki te whakatipuranga T2V ranei e whakamahi ana i nga tauira whakamaaramatanga hei whakapumautanga i roto i a raatau mahi whakangungu, me te Tauira Whakawhitiwhiti Ataata, tetahi o nga pionia i roto i te tuhinga ki nga anga whakangao ataata, ka whakawhänui i te hoahoanga whakamaarama whakaahua 2D hei ngana ki te whakauru. raraunga ataata, me te whakangungu i te tauira i runga i te ataata me te whakaahua tahi mai i te wahanga. Ko te hanga i runga i taua mea, kia taea ai te whakatinana i tetahi kaihanga whakaahua kua oti te whakangungu-a-mua penei i te Stable Diffusion, ko nga mahi o tata nei ka whakakoi i to raatau hoahoanga 2D ma te whakawhanaunga i nga paparanga-a-tinana i waenga i nga paparanga 2D kua oti te whakangungu, me te whakatikatika i te tauira hou ki runga i nga huingararaunga nui e kore e kitea. Ahakoa ta ratou huarahi, he wero nui te ahua o nga tauira whakamaarama tuhinga ki te riipene whakaata mai i te rangirua o nga whakaahuatanga tuhinga e whakamahia ana hei whakaputa i te tauira ataata he maha nga wa ka ngoikore te mana o te tauira ki te tauira ataata ki te reanga. Hei whakatika i tenei herenga, ka whakarato etahi tauira i te arataki whakaniko i te wa e mahi ana etahi ki nga tohu tika hei whakahaere tika i te whakaaturanga, i nga nekehanga tangata ranei i roto i nga riipene whakaata. I tetahi atu taha, he iti noa nga tuhinga ki nga anga riipene whakaata e tango ana i nga whakaahua hei tohu mana ki te kaihanga riipene ataata ka puta mai he whakatauira hononga-a-tinana tika, he kounga ataata teitei ranei. 

He pai ki te kii he mea nui te mana whakahaere i roto i nga mahi hanga whakaahua me te ataata mai i te mea ka taea e nga kaiwhakamahi te hanga i nga kaupapa e hiahia ana ratou. Heoi, he maha nga wa e warewarehia ana e nga anga o naianei te mana tika o te ahua o te kamera e mahi ana hei reo whakaata kia pai ake ai te whakaatu i nga ahuatanga korero hohonu ki te tauira. Hei tarai i nga herenga mana whakahaere o naianei, i roto i tenei tuhinga, ka korero tatou mo te CameraCtrl, he whakaaro hou e ngana ana ki te whakaahei i te whakahaere tika a te kamera mo nga tuhinga ki nga tauira ataata. Whai muri i te whakarite tika i te huarahi o te kaamera, ka whakangungu te tauira i te mono me te purei i te waahanga kamera i runga i te tuhinga ki te tauira ataata, ka waiho etahi atu waahanga kia kore e pa. I tua atu, ka whakahaerehia e te tauira CameraCtrl he rangahau matawhānui mo te paanga o nga momo huingararaunga, me te kii ka taea e nga riipene whakaata rite te ahua me te tohatoha kamera kanorau te whakanui ake i te mana whakahaere me te kaha whakawhanui o te tauira. Ko nga whakamatautau i whakahaerehia hei tātari i te mahinga o te tauira CameraCtrl i runga i nga mahi o te ao e whakaatu ana i te kaha o te anga ki te whakatutuki i te mana kamera tika me te urutau-a-rohe, te whakairo i te huarahi whakamua mo te whai i te whakahiatotanga me te hanga ataata hihiri mai i te tuunga kamera me te whakauru kupu. 

Ko te whainga o tenei tuhinga ki te hipoki hohonu i te anga CameraCtrl, ka tirotirohia e matou te tikanga, te tikanga, te hoahoanga o te anga me tana whakataurite ki te ahua o nga anga toi. Na kia timata tatou. 

CameraCtrl : Whakahaerenga Camera mo te Whakatupu T2V

Ko te whakawhanaketanga me te ahunga whakamua o nga tauira whakamaarama kua tino hangai nga tuhinga aarahi i nga riipene whakaata i roto i nga tau tata nei, me te whakarereke i nga rerenga mahi hoahoa ihirangi. Ka whai waahi nui te mana whakahaere i roto i nga tono whakangao riipene whakaata mai i te mea ka taea e nga kaiwhakamahi te whakarite i nga hua kua mahia kia rite ki o raatau hiahia me o raatau hiahia. Na te kaha o te mana whakahaere, ka taea e te tauira te whakaniko i te pono, te kounga, me te whaihuatanga o nga riipene whakaata i mahia e ia, a, ahakoa ka whakamahia nga whakaurunga tuhinga me nga whakaahua e nga tauira ki te whakarei ake i te mana whakahaere, he maha tonu nga wa karekau he mana tika mo te nekehanga me te ihirangi. . Hei whakatika i tenei herenga, kua whakaaro etahi anga ki te whakamahi i nga tohu whakahaere penei i te anga pose, te rere whatu, me etahi atu tohu tohu-maha kia pai ake te mana whakahaere hei arahi i te reanga ataata. Ko tetahi atu herenga e pa ana ki nga anga o naianei ko te kore e tika te whakahaere mo te whakaihiihi, te whakatika ranei i nga tohu kaamera i roto i te whakatipuranga ataata na te mea he mea nui te kaha ki te whakahaere i te kaamera na te mea ehara i te mea ka whakarei ake i te tino pono o nga riipene whakaata, engari ma te tuku i nga tirohanga kua whakaritea. ka whakarei ake i te whakaurunga o nga kaiwhakamahi, he waahanga e tika ana mo te whanaketanga keemu, mooni whakanui, me te mooni mariko. I tua atu, ko te whakahaere i nga nekehanga o nga kamera ka taea e nga kaihanga ki te whakanui i nga hononga o te kiripuaki, te whakanui i nga kare-a-roto, me te arahi i te arotahi o te hunga whakarongo, he mea tino nui ki nga umanga kiriata me nga umanga panui. 

Hei tarai me te hinga i enei herenga, ko te anga CameraCtrl, he tauira mo te mono me te purei mo te kamera me te kaha ki te whakahaere i nga tirohanga o te kamera mo te hanga ataata. Heoi, ko te whakauru i te kaamera kua whakaritea ki roto i te tuhinga o naianei ki te paipa tauira ataata he mahi ngawari ake i te mahi, e akiaki ana i te anga o te CameraCtrl ki te rapu huarahi mo te tohu me te wero i te kaamera ki roto i te hoahoanga tauira. I runga ano i taua korero, ko te anga o te CameraCtrl te tango i nga whakaurunga kaikokoti hei ahua tuatahi mo nga tawhā kamera, a ko te take mo te kowhiringa mo nga whakaurunga kaikokoti ka taea te kii ki to raatau kaha ki te whakawaehere i nga whakaahuatanga ahuahanga o nga korero a te kamera. I tua atu, hei whakarite i te whanuitanga me te whaihua o te whakangungu tauira a CameraCtrl i muri i te whakangungu, ka whakauruhia e te tauira he tauira mana kamera e whakaae ana ki nga whakaurunga kaipatu hei whakaurunga. Kia pai ai te whakangungu o te tauira whakahaere kamera, ka whakahaerehia e te angamahi me ona kaiwhakawhanake he rangahau matawhānui ki te whakatewhatewha me pehea te pa o nga raraunga whakangungu rereke ki te anga mai i te waihanga ki te raraunga pono. Ko nga hua whakamatautau e tohu ana ko te whakatinana i nga raraunga me te tohatoha o nga kamera kanorau me te ahua rite ki te tauira taketake ka tutuki te pai o te hokohoko i waenga i te mana whakahaere me te whanui. Kua whakatinanahia e nga kaihanga o te anga CameraCtrl te tauira ki runga ake o te anga AnimateDiff, na reira ka taea te whakahaere tika i roto i te whakaputanga ataata puta noa i nga momo whakawhaiaro, e whakaatu ana i tona whaihua me te whaipainga i roto i te whānuitanga o nga horopaki hanga ataata. 

Ko te anga AnimateDiff te whakamahi i te pai LoRA te huarahi whakatika pai ki te whiwhi i nga taumahatanga o te tauira mo nga momo pupuhi rereke. Ko te anga-a-ataata-a-ataata e kii ana ki te whakatinana i te whakaurunga kamera hei whakahaere i te ahua o nga kaamera i te wa o te hanga ataata, engari ka herea ki runga i nga tawhā kamera e toru, ka whakawhäitihia te mana whakahaere o te kaamera ki te nuinga o nga momo taketake. I tetahi atu taha, ko nga anga tae atu ki a MotionCtrl he hoahoa motini e whakaae ana kia neke atu i te toru nga tawhā whakaurunga ka taea e ia te whakaputa i nga riipene whakaata me nga ahuatanga kamera uaua ake. Heoi, ko te hiahia ki te whakatikatika i nga waahanga o nga riipene whakaata ka whakararu i te whanuitanga o te tauira. I tua atu, ko etahi anga e whakauru ana i etahi atu tohu mana hanganga penei i nga mapi hohonu ki roto i te tukanga hei whakarei ake i te mana whakahaere mo te hanga whakaahua me te whakaputa tuhinga. Ko te tikanga, ka whangaihia e te tauira enei tohu mana ki roto i tetahi encoder taapiri, katahi ka werohia nga tohu ki roto i te miihini ma te whakamahi i nga momo mahi. 

CameraCtrl: Hangahanga Tauira

I mua i to maatau titiro ki te hoahoanga me te tauira whakangungu mo te kamera encoder, he mea nui kia mohio tatou ki nga ahuatanga rereke o nga kamera. Ko te tikanga, ko te tuunga kamera e pa ana ki nga tawhā o roto me nga tawhā o waho, a ko tetahi o nga kowhiringa ngawari ki te tuku i te ahuatanga whakaputa ataata i runga i te kaamera e noho ana ko te whangai i nga uara mata mo nga tawhā kamera ki roto i te kaihanga. Heoi, ko te whakatinana i taua huarahi kaore pea e whakarei ake i te mana kamera tika mo etahi take. Tuatahi, i te mea e herea ana te matrix hurihanga e te orthogonality, ko te vector whakamaori karekau i te rahi i te rahi, a ka arahi ki te kore orite i roto i te tukanga ako ka pa ki te riterite o te mana whakahaere. Tuarua, ma te whakamahi tika i nga tawhā kaamera mata ka uaua te tauira ki te hono i enei uara ki nga pika atahanga, ka heke te mana whakahaere mo nga taipitopito tirohanga. Hei karo i enei herenga, ka kowhiria e te anga CameraCtrl nga whakaurunga kaikokoti hei tohu mo te ahua o te kaamera i te mea he ahua ahuahanga a te kaitapahi mo ia pika o te anga ataata, a ka taea e ia te whakamaarama whakamaarama ake mo nga korero whakatuu kamera. 

Te Mana Whakahaere i nga Kaihanga Ataata

I te mea ka tawhāhia e te tauira te huarahi o te kamera ki roto i te raupapa whakaurunga katoo, ara he mapi mokowhiti, ka whai waahi te tauira ki te whakamahi i te tauira whakawaehere hei tango i nga ahuatanga o te kamera, katahi ka whakakotahi i nga ahuatanga o te kamera ki roto i nga kaihanga ataata. He rite ki kupu ki te ahua whāurutau, ko te tauira CameraCtrl he whakauru i te encoder kāmera i hangaia mo nga ataata. Kei roto i te encoder kāmera he tauira aro-a-tinana i muri i ia poraka convolutional, ka taea e ia te hopu i nga hononga-a-tinana o nga tuunga kamera puta noa i te topenga ataata. Ka rite ki te whakaatu i te ahua e whai ake nei, ka whakaaehia e te kaiwaehere kamera te urunga whakaurunga katoo noa, me te tuku i nga ahuatanga tauine-maha. I muri i te whiwhinga o nga ahuatanga o te kamera maha-tauine, ka whai te tauira CameraCtrl ki te whakauru i enei ahuatanga ki te hoahoanga U-net o te tuhinga ki te tauira ataata ma te pai, me te whakatau i nga paparanga e tika ana kia whakamahia hei whakauru tika i nga korero kamera. I tua atu, i te mea ko te nuinga o nga anga o naianei e mau ana i te hoahoanga penei i te U-Kupenga kei roto i nga paparanga aro-a-tinana me nga waahi mokowhiti, ka werohia e te tauira CameraCtrl nga whakaahua o nga kamera ki roto i te poraka aro-a-tinana, he whakatau e tautokohia ana e te kaha o te aro-a-tinana. nga paparanga hei hopu i nga hononga-a-tinana, e hono ana ki te ahua o te ahua ohorere me te raupapa o te hikoi kamera me nga papahanga aro mokowhiti e whakaahua ana i nga papa takitahi. 

Akohia nga Tohatoha Kamera

Ko te whakangungu i te waahanga whakawaehere kamera i roto i te anga o te CameraCtrl i runga i te kaihanga riipene whakaata me nui nga riipene whakaata pai kua tapaina me te tuhi korero me te tauira e kaha ana ki te tiki i te huarahi kamera ma te whakamahi i te hanganga mai i te nekehanga, i te huarahi SfM ranei. E ngana ana te anga o te CameraCtrl ki te kowhiri i te huingararaunga me nga ahuatanga e rite ana ki nga raraunga whakangungu o te tuhinga taketake ki te tauira ataata, me te horahanga o te ahua o te kamera ki te whanui ka taea. Ko nga tauira i roto i te huinga raraunga i hangaia ma te whakamahi i nga miihini mariko e whakaatu ana i te tohatoha kamera kanorau mai i te mea he ngawari nga kaiwhakawhanake ki te whakahaere i nga tawhā o te kaamera i te waa whakaputanga, ahakoa ka pa ki te waahi tohatoha ina whakaritea ki nga huingararaunga kei roto nga tauira o te ao. I te wa e mahi ana me nga huingararaunga e mau ana i nga tauira o te ao, he whaiti te tohatoha o te kaamera i te nuinga o te waa, a, i roto i enei ahuatanga, me rapu te anga i te taurite i waenga i te rereketanga i waenga i nga huarahi kamera rereke me te uaua o te huarahi kamera takitahi. Ko te uauatanga o te hikoi kamera takitahi ka whakarite kia ako te tauira ki te whakahaere i nga huarahi uaua i te wa o te whakangungu, ko te rereketanga i waenga i nga huarahi kamera rereke ka whakarite kia kore te tauira e eke ki etahi tauira kua whakaritea. I tua atu, ki te aro turuki i te mahi whakangungu o te kaamera encoder, ka kii te anga CameraCtrl i te inenga whakamaarama o te kamera ki te ine i te kounga whakahaere o te kaamera ma te ine i te hapa i waenga i te hikoi kamera o nga tauira i hangaia me nga ahuatanga o te kamera whakauru. 

CameraCtrl : Nga Whakamatau me nga Hua

Ko te anga o te CameraCtrl e whakatinana ana i te tauira AnimateDiff hei tauira taketake ki te tauira ataata me te take nui i muri mai ko te rautaki whakangungu o te tauira AnimateDiff ka taea e tana waahanga nekehanga ki te whakauru ki nga tuhinga ki nga tauira ahua ahua, tuhinga ranei ki te ahua LoRA hei whakauru i te ataata. whakatipuranga puta noa i nga momo momo me nga rohe. Ka whakamahia e te tauira te Adam optimizer ki te whakangungu i te tauira me te reiti ako tonu o te 1e-4. I tua atu, ki te whakarite kia kore te tauira e pa ki nga kaha o te whakaputa ataata o te taketake kupu ki te tauira ataata he kino, ka whakamahia e te anga CameraCtrl te FID, Frechet Inception Distance metric ranei hei aromatawai i te ahua o te ahua o te ataata, me te whakataurite i te kounga o te ataata i hangaia i mua me muri i te whakauru i te waahanga kamera. 

Hei aromatawai i ana mahi, ka arotakehia te anga CameraCtrl ki nga anga whakahaere kamera e rua o naianei: MotionCtrl me AnimateDiff. Heoi, i te mea kei te tautoko te anga AnimateDiff mo te waru noa nga huarahi kaamera taketake, ko te whakataurite i waenga i te CameraCtrl me AnimateDiff he iti ki te toru nga huarahi taketake. I tetahi atu taha, mo te whakataurite ki a MotionCtrl, ka kowhiria e te anga neke atu i te kotahi mano nga rerenga kamera matapōkere mai i nga huingararaunga o naianei hei taapiri atu ki nga arataki kamera turanga, ka whakaputa ataata ma te whakamahi i enei huarahi, ka arotakehia ma te whakamahi i nga inenga TransErr me RotErr. 

E kitea ana, ko te anga o te CameraCtrl he pai ake i te anga AnimateDiff i roto i te huarahi taketake, me te pai ake o nga hua ina whakatairitea ki te anga MotionCtrl i runga i te ine huarahi uaua. 

I tua atu, ko te ahua e whai ake nei e whakaatu ana i te paanga o te hoahoanga whakawaehere kamera ki te kounga o nga tauira kua hangaia. Ko te Rarangi a ki te Rarangi d e tohu ana i nga hua i hangaia me te encoder kamera i whakatinanahia i roto i te hoahoanga: ControlNet, ControlNet with temporal attention, T2I Adaptor, and T2I adapter with temporal attention. 

I te ahua e whai ake nei, ko nga mea tuatahi e rua ka whakakore i te ataata i hangaia ma te whakamahi i te huinga o te encoder RGB a SparseCtrl framework, me te tikanga i whakamahia i roto i te anga CameraCtrl. 

Thoughts Final

I roto i tenei tuhinga, kua korero matou mo te CameraCtrl, he whakaaro hou e ngana ana ki te whakaahei i te whakahaere tika a te kamera mo nga tuhinga ki nga tauira ataata. Whai muri i te whakarite tika i te huarahi o te kaamera, ka whakangungu te tauira i te mono me te purei i te waahanga kamera i runga i te tuhinga ki te tauira ataata, ka waiho etahi atu waahanga kia kore e pa. I tua atu, ka whakahaerehia e te tauira CameraCtrl he rangahau matawhānui mo te paanga o nga momo huingararaunga, me te kii ka taea e nga riipene whakaata rite te ahua me te tohatoha kamera kanorau te whakanui ake i te mana whakahaere me te kaha whakawhanui o te tauira. Ko nga whakamatautau i whakahaerehia hei tātari i te mahinga o te tauira CameraCtrl i runga i nga mahi o te ao e whakaatu ana i te kaha o te anga ki te whakatutuki i te mana kamera tika me te urutau-a-rohe, te whakairo i te huarahi whakamua mo te whai i te whakahiatotanga me te hanga ataata hihiri mai i te tuunga kamera me te whakauru kupu.