Ag adhartachadh photorealism samhlaidhean dràibhidh le lìonraidhean nàmhaid ginealach

Tha iomairt rannsachaidh ùr eadar na SA agus Sìona air moladh gun tèid Lìonraidhean Adversarial Generative (GANs) a chleachdadh gus fìor-eòlas simuladairean dràibhidh àrdachadh.

Ann an nobhail a’ gabhail ris an dùbhlan a bhith a’ toirt a-mach suidheachaidhean dràibhidh POV photorealistic, tha an luchd-rannsachaidh air dòigh tar-chinealach a leasachadh a bhios a’ cluich ri neartan diofar dhòighean-obrach, le bhith a’ measgachadh toradh nas photorealistic de shiostaman stèidhichte air CycleGAN le eileamaidean nas gnàthach, a dh’ fheumas. ìre nas mionaidiche agus cunbhalachd, leithid comharran rathaid agus na fìor charbadan a chaidh fhaicinn bho shealladh an draibhear.

Tha Hybrid Generative Neural Graphics (HGNG) a’ tabhann stiùireadh ùr airson samhlaidhean dràibhidh a chumas cruinneas mhodalan 3D airson eileamaidean riatanach (leithid comharran rathaid agus carbadan), agus aig an aon àm a’ cluich gu neartan GAN ann a bhith a’ gineadh cùl-fhiosrachadh inntinneach agus neo-ath-aithriseach agus àrainneachd. mion-fhiosrachadh. Stòr

Bidh an siostam, ris an canar Hybrid Generative Neural Graphics (HGNG), a’ toirt a-steach toradh làn-chuingealaichte bho simuladair dràibhidh àbhaisteach, stèidhichte air CGI a-steach do loidhne-phìoban GAN, far a bheil an NVIDIA SWORDS am frèam a’ gabhail thairis obair gineadh àrainneachd.

Is e a’ bhuannachd, a rèir nan ùghdaran, gum fàs àrainneachdan dràibhidh a dh’ fhaodadh a bhith nas eadar-mheasgte, a’ cruthachadh eòlas nas bogadh. Mar a tha e an-dràsta, eadhon tionndadh Chan urrainn do thoraidhean CGI gu toradh tairgse neural photoreal fuasgladh fhaighinn air duilgheadas ath-aithris, leis gu bheil na dealbhan tùsail a tha a’ dol a-steach don loidhne-phìoban neural air am bacadh le crìochan nan àrainneachdan modail, agus mar a tha iad buailteach a bhith ag ath-aithris inneach agus mogaill.

Dealbhan air an atharrachadh bho 2021 pàipear ‘Ag àrdachadh àrdachadh photorealism’, a tha fhathast an urra ri fiolm air a dhèanamh le CGI, a’ toirt a-steach cùl-fhiosrachadh agus mion-fhiosrachadh mun àrainneachd, a’ cuingealachadh measgachadh na h-àrainneachd san eòlas samhlachail. Stòr: https://www.youtube.com/watch?v=P1IcaBn3ej0

Tha am pàipear ag ràdh*:

“Tha dìlseachd simuladair dràibhidh àbhaisteach an urra ri càileachd an loidhne-phìoban grafaigean coimpiutair aige, anns a bheil modalan 3D, inneach, agus einnsean tairgse. Feumaidh modalan agus inneach 3D àrd-inbhe obair-ciùird, ach feumaidh an einnsean tairgse àireamhachadh fiosaig iom-fhillte a ruith airson riochdachadh reusanta de solais agus dubhar.'

Tha pàipear ùr leis an tiotal Photorealism ann an samhlaidhean dràibhidh: a 'measgachadh co-thionndadh ìomhaigh nàimhdeil ginealach le toirt seachad, agus a’ tighinn bho luchd-rannsachaidh aig Roinn Innleadaireachd Dealain is Coimpiutaireachd aig Oilthigh Stàite Ohio, agus Chongqing Changan Automobile Co Ltd ann an Chongqing, Sìona.

Cùl-stuth

Bidh HGNG ag atharrachadh cruth semantach sealladh a chaidh a ghineadh le CGI le bhith a’ measgachadh stuth aghaidh air a thoirt seachad gu ìre le àrainneachdan air an gineadh le GAN. Ged a dh’ fheuch an luchd-rannsachaidh le diofar stòran-dàta air an trèanadh iad na modalan, b’ e am fear as èifeachdaiche KITTI Vision Benchmark Suite, a tha sa mhòr-chuid a’ nochdadh glacaidhean de stuth draibhear-POV bho bhaile Gearmailteach Karlsruhe.

Bidh HGNG a’ gineadh cruth sgaradh semantach bho thoraidhean air a thoirt seachad le CGI, agus an uairsin a’ cuir a-steach SPADE, le còdachadh stoidhle eadar-dhealaichte, gus ìomhaighean cùl-raoin photorealistic air thuaiream agus eadar-mheasgte a chruthachadh, a’ toirt a-steach nithean faisg air làimh ann an seallaidhean bailteil. Tha am pàipear ùr ag ràdh gum faod pàtrain ath-aithriseach, a tha cumanta do phìoban CGI cuibhrichte le goireasan, ‘bogadh briseadh’ airson draibhearan daonna a’ cleachdadh simuladair, agus gum faod na cùl-fhiosrachadh nas eadar-dhealaichte a bheir GAN seachad an duilgheadas seo a lughdachadh.

Rinn an luchd-rannsachaidh deuchainn leis an dà chuid  GAN cumhach (cGAN) agus CYcleGAN (CyGAN) mar lìonraidhean ginealach, a’ lorg aig a’ cheann thall gu bheil neartan agus laigsean aig gach fear: feumaidh cGAN dàta càraideach, agus chan eil CyGAN. Ach, chan urrainn dha CyGAN a bhith nas àirde na an ìre as ùire ann an simuladairean gnàthach, a’ feitheamh ri tuilleadh leasachaidhean ann an atharrachadh fearainn agus cunbhalachd rothaireachd. Mar sin tha cGAN, le na riatanasan dàta càraideach a bharrachd aige, a’ faighinn na toraidhean as fheàrr an-dràsta.

Ailtireachd bun-bheachdail HGNG.

Ann an loidhne-phìoban grafaigean neural HGNG, tha riochdachaidhean 2D air an cruthachadh bho sheallaidhean CGI-synthesized. Tha na nithean a thèid troimhe gu sruthadh GAN bho chuibhreann CGI air an cuingealachadh ri eileamaidean ‘riatanach’, a’ toirt a-steach comharran rathaid agus carbadan, nach urrainn dha GAN fhèin an-dràsta a thoirt seachad aig cunbhalachd ùineail agus ionracas iomchaidh airson simuladair dràibhidh. Tha an ìomhaigh cGAN-synthesized an uairsin air a choimeasgadh leis a’ chuibhreann pàirt-stèidhichte air fiosaig.

deuchainnean

Gus an siostam a dhearbhadh, chleachd an luchd-rannsachaidh SPADE, air an trèanadh Dealbh-cathrach, gus cruth semantach an t-seallaidh a thionndadh gu toradh photorealistic. Thàinig an stòr CGI bho simuladair dràibhidh stòr fosgailte CARLA, a bhios a’ luathachadh an Unreal Engine 4 (UE4).

Toradh bhon simuladair dràibhidh stòr fosgailte CARLA. Stòr: https://arxiv.org/pdf/1711.03938.pdf

Thug an einnsean dubhar is solais aig UE4 seachad an cruth semantach agus na h-ìomhaighean a chaidh a thoirt seachad gu ìre, le dìreach carbadan agus toradh comharran sreath. Chaidh measgachadh a choileanadh le a GP-GAN eisimpleir air a thrèanadh air an Stòr-dàta de fheartan sealach, agus bidh a h-uile deuchainn a’ ruith air NVIDIA RTX 2080 le 8 GB de GDDR6 VRAM.

Rinn an luchd-rannsachaidh deuchainn airson cumail semantach - comas na h-ìomhaigh toraidh a bhith a rèir a’ chiad masg de sgaradh semantach a bha san amharc mar mhodal an t-seallaidh.

Anns na h-ìomhaighean deuchainn gu h-àrd, chì sinn anns an ìomhaigh ‘rendar a-mhàin’ (gu h-ìosal air an taobh chlì), nach eil an làn chuibhreann a’ faighinn faileas so-chreidsinneach. Tha an luchd-rannsachaidh a’ toirt fa-near gun deach faileasan chraobhan a thuiteas air a’ chliathaich an seo (cearcall buidhe) a sheòrsachadh le mearachd DeepLabV3 (am frèam sgaradh semantach a chaidh a chleachdadh airson nan deuchainnean sin) mar shusbaint ‘rathaid’.

Ann an sruth-colbh sa mheadhan, chì sinn nach eil mìneachadh cunbhalach gu leòr aig carbadan a chruthaich cGAN airson a bhith air an cleachdadh ann an simuladair dràibhidh (cearcall dearg). Anns an t-sruth colbh as fhaide deas, tha an ìomhaigh mheasgaichte a rèir a’ mhìneachadh semantach tùsail, agus aig an aon àm a’ cumail eileamaidean riatanach stèidhichte air CGI.

Gus measadh a dhèanamh air reul-eòlas, chleachd an luchd-rannsachaidh Frechet astar tòiseachaidh (FID) mar mheatrach dèanadais, oir faodaidh e obrachadh air dàta càraideach no dàta gun chàraid.

Chaidh trì stòran-dàta a chleachdadh mar fhìrinn talmhainn: Cityscapes, KITTI, agus ADE20K.

Chaidh na h-ìomhaighean toraidh a choimeas an aghaidh a chèile a’ cleachdadh sgòran FID, agus an aghaidh loidhne-phìoban stèidhichte air fiosaig (ie, CGI), agus chaidh gleidheadh ​​​​semantach a mheasadh cuideachd.

Anns na toraidhean gu h-àrd, a tha co-cheangailte ri gleidheadh ​​​​semantach, tha sgòran nas àirde nas fheàrr, leis an dòigh-obrach stèidhichte air pioramaid CGAN (aon de ghrunn phìoban a chaidh a dhearbhadh leis an luchd-rannsachaidh) a ’faighinn sgòr as àirde.

Tha na toraidhean san dealbh gu h-àrd a’ buntainn ri sgòran FID, le HGNG a’ faighinn an ìre as àirde tro bhith a’ cleachdadh stòr-dàta KITTI.

Tha an dòigh ‘Only render’ (air ainmeachadh mar [23]) a’ buntainn ri toradh bho CARLA, sruth CGI nach eilear an dùil a bhith photorealistic.

Tha toraidhean càileachdail air an einnsean cuibhreachaidh àbhaisteach (‘c’ san ìomhaigh gu dìreach gu h-àrd) a’ nochdadh cùl-fhiosrachadh neo-phractaigeach fad às, leithid craobhan agus fàsmhorachd, fhad ‘s a tha feum air modalan mionaideach agus luchdachadh mogal dìreach ann an ùine, a bharrachd air modhan-obrach eile a tha dian air pròiseasar. Ann am meadhan (b), chì sinn nach eil cGAN a’ faighinn mìneachadh iomchaidh airson na h-eileamaidean riatanach, càraichean agus comharran rathaid. Anns an toradh coimeasgaichte a thathar a’ moladh (a), tha mìneachadh carbaid is rathaid math, fhad ‘s a tha an àrainneachd àrainneachd eadar-mheasgte agus photorealistic.

Tha am pàipear a’ crìochnachadh le bhith a’ moladh gum faodadh cunbhalachd ùineail na h-earrainn a ghineadh GAN den loidhne-phìoban tairgse a bhith air a mheudachadh tro bhith a’ cleachdadh stòran-dàta bailteil nas motha, agus gum faodadh obair san àm ri teachd a thaobh seo fìor roghainn eile a thabhann an àite cruth-atharrachaidhean neural cosgail stèidhichte air CGI. sruthan, agus aig an aon àm a’ toirt barrachd fìor-eòlas agus iomadachd.

* An tionndadh agam de luaidh in-loidhne nan ùghdaran gu ceanglaichean-lìn.

Air fhoillseachadh an toiseach air 23 Iuchar 2022.