Adobe: Мэдрэлийн дүрслэлээр бодит ертөнцийг гэрэлтүүлэх

Adobe-ийн судлаачид нарийн гэрэлтүүлэх чадвартай, бодит цагийн интерфэйсийг санал болгодог, гялгар гадаргуу болон тусгалыг зохицуулдаг бодит ертөнцийн дотоод үзэгдлүүдэд зориулсан мэдрэлийн дүрслэх системийг бүтээсэн нь Neural Radiance Fields (NeRF) гэх мэт зураг нэгтгэх аргуудын хувьд томоохон сорилт юм. .

Энд олон тооны хөдөлгөөнгүй зургуудаас бодит ертөнцийг сэргээн засварлаж, дүр зургийг жолоодох боломжтой болгосон. Гэрэлтүүлгийг өнгө, чанарын хувьд нэмж, өөрчлөх боломжтой бөгөөд тусгал нь үнэн зөв хэвээр үлдэж, гялгар гадаргуу нь гэрэлтүүлгийн эх үүсвэр ба/эсвэл загварын хэрэглэгчийн өөрчлөлтийг зөв илэрхийлдэг. Эх сурвалж: https://www.youtube.com/watch?v=d3ma4opFpgM

Шинэ систем нь сүүдэр, тусгал зэрэг мэдрэлийн орон зайд авсан бодит 3D үзэгдлийн гэрэлтүүлгийн талыг Photoshop загварын GUI-ээр удирдах боломжийг олгодог.

GUI нь хэрэглэгчдэд цөөн тооны зургаас сэргээн босгосон бодит үзэгдэлд гэрэлтүүлгийн эх үүсвэр нэмэх (мөн тохируулах), CGI загварын торонд суурилсан хувилбар шиг чөлөөтэй шилжих боломжийг олгодог.

The цаасан, ACM Transactions on Graphics-д хүргүүлж, эрхтэй Олон үзэмжтэй стерео-оос чөлөөт үзэл бодолтой дотоод мэдрэлийн гэрэлтүүлэг, Adobe Research болон Université Côte d'Azur-ийн судлаачдын хамтын ажиллагаа юм.

Эх сурвалж: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (бүрэн хувилбарыг үзэхийн тулд дарна уу)

Neural Radiance Fields-тэй адил (NeRF), систем нь фотограмметрийг (дээр талд зүүн талд) ашигладаг бөгөөд үүгээрээ үзэгдлийн талаарх ойлголтыг хязгаарлагдмал тооны гэрэл зургаас гаргаж авдаг бөгөөд тухайн үзэгдлийн бүрэн бөгөөд бүрэн хийсвэр загварыг зар сурталчилгаанд ашиглах боломжтой болтол машин сургалтаар сургасан "алга болсон" үзэл бодлыг гаргадаг. дахин тайлбарлах.

Системийг бүхэлд нь синтетик (CGI) өгөгдөл дээр сургасан боловч ашигласан 3D загваруудыг хүн мэдрэлийн тайлбар хийх зорилгоор бодит үзэгдлийн хэд хэдэн хязгаарлагдмал гэрэл зургийг авч байгаа тохиолдолд яг адилхан авч үзсэн. Дээрх зураг нь нийлэг дүр зургийг дахин харуулж байгаа боловч дээрх хамгийн дээд (хөдөлгөөнт) зураг дээрх "унтлагын өрөөний" дүр төрхийг бодит өрөөнд авсан бодит зургуудаас авсан болно.

Үзэгдэлийн далд дүрслэлийг Convolutional Neural Network (CNN)-ээр дамжуулан эх материалаас гаргаж авсан бөгөөд тусгал, эх үүсвэрийн цацраг (цацраг/дэлхийн гэрэлтүүлэг) болон альбедо зэрэг хэд хэдэн давхаргад хуваагддаг.

Adobe гэрэлтүүлгийн системийн архитектур. Олон харах өгөгдлийн багцыг урьдчилан боловсруулж, оролтын өгөгдлөөс 3D торон геометрийг үүсгэсэн. Шинэ гэрэл нэмэх шаардлагатай үед цацрагийг бодит цаг хугацаанд тооцоолж, дахин гэрэлтүүлэх дүрсийг нэгтгэдэг.. (бүрэн нарийвчлалтай хувилбарыг үзэхийн тулд дарна уу)

Алгоритм нь уламжлалт туяа хянах (Монте Карло) болон Зурагт суурилсан дүрслэл (IBR, мэдрэлийн дүрслэл)-ийн талыг хослуулсан.

Мэдрэлийн цацрагийн талбарт хийсэн сүүлийн үеийн нэлээдгүй судалгаа нь хавтгай зургаас 3D геометрийг гаргаж авахтай холбоотой байсан ч Adobe-ийн санал болгож буй зүйл бол энэ аргаар маш боловсронгуй гэрэлтүүлгийг харуулсан анхны тохиолдол юм.

Алгоритм нь NeRF болон үүнтэй төстэй аргуудын өөр нэг уламжлалт хязгаарлалтыг мөн дүрсний хэсэг бүрд 100% тусгалтай материалаар хуваарилсан бүрэн тусгалын зургийг тооцоолох замаар шийддэг.

Толин тусгалтай бүтэц нь гэрэлтүүлгийн замыг тодорхойлдог. (бүрэн нарийвчлалтай хувилбарыг үзэхийн тулд дарна уу)

Энэхүү салшгүй тусгалын газрын зургийг байрлуулснаар мод, металл, чулуу гэх мэт янз бүрийн төрлийн материалд янз бүрийн түвшний тусгалыг тохируулахын тулд тусгалыг "зохих" боломжтой. Цацруулагчийн зураг (дээрх) нь мөн сарнисан гэрэлтүүлгийг тохируулах зорилгоор дахин ашиглах боломжтой цацрагийн зураглалын бүрэн загварыг өгдөг.

Adobe neural rendering системийн бусад давхаргууд. (бүрэн нарийвчлалтай хувилбарыг үзэхийн тулд дарна уу)

Үзэгдэлийн эхний зураг авалтад 250-350 RAW зургийг ашигладаг бөгөөд үүнээс олон талт харах стерео ашиглан торыг тооцоолдог. Өгөгдлийг 2D оролтын функцийн газрын зураг болгон нэгтгэж, дараа нь шинэ дүр төрх рүү дахин төлөвлөнө. Гэрэлтүүлгийн өөрчлөлтийг авсан үзэгдлийн сарнисан болон гялгар давхаргын дундажаар тооцоолно.

Толин тусгал дүрсийн давхарга нь нэг туяа толин тусгалын хурдан тооцоолол (нэг үсрэлт) -ээр үүсгэгддэг бөгөөд энэ нь анхны эх үүсвэрийн утгыг, дараа нь зорилтот утгыг тооцдог. Үзэсгэлэнгийн анхны гэрэлтүүлгийн талаарх мэдээллийг агуулсан газрын зураг нь цацраг идэвхт байдлын газрын зургийг ихэвчлэн CGI үзэгдэлийн өгөгдөлтэй хамт хадгалдагтай адил мэдрэлийн өгөгдөлд хадгалагддаг.

Neural Rendering Reflections-ийг шийдвэрлэх

Магадгүй ажлын гол ололт нь өгөгдлийн тархсан болон бусад давхаргаас тусгалын мэдээллийг салгах явдал юм. Толин тусгал гэх мэт амьд "тусгал"-ыг идэвхжүүлсэн харагдацыг бүх үзэгдэлд бус зөвхөн идэвхтэй хэрэглэгчийн харагдацаар тооцож гаргах замаар тооцооны хугацааг багасгадаг.

Судлаачдын үзэж байгаагаар энэхүү ажил нь гэрэл тусгах гадаргууг бодитойгоор хуулбарлах ёстой үзэгдлүүдийн нэг хүрээн дэх чөлөөт харагдах навигацийн чадавхитай нийцүүлэн гэрэлтүүлэх чадварыг анх удаа харуулж байна.

Энэхүү функцийг хэрэгжүүлэхийн тулд зарим нэг золиослол хийсэн бөгөөд судлаачид илүү төвөгтэй нэг харах торон ашигладаг өмнөх аргууд нь жижиг объектуудын геометрийг сайжруулж байгааг харуулж байна. Adobe аргын ирээдүйн чиглэлүүд нь энэ талыг сайжруулахын тулд нэг харах геометрийг ашиглах болно.