Renderowanie Neuronowe: Jak Niskie Mogą Być Wejścia?

Wczoraj niezwykła nowa praca w dziedzinie syntezy obrazu neuronowego przyciągnęła uwagę i wyobraźnię internetu, gdyż badacze z Intelu ujawnili nową metodę poprawy realizmu syntetycznych obrazów.

System, jak został zademonstrowany w filmie z Intelu, interweniuje bezpośrednio w potok obrazu dla gry Grand Theft Auto V i automatycznie poprawia obrazy za pomocą algorytmu syntezy obrazu szkolonego na sieci neuronowej (CNN), wykorzystując rzeczywiste obrazy świata z zbioru Mapillary i zastępując mniej realistyczne oświetlenie i tekstury silnika gry GTA.

Komentatorzy, w szerokim zakresie reakcji w społecznościach takich jak Reddit i Hacker News, stawiają tezę, że renderowanie neuronowe tego typu może skutecznie zastąpić mniej fotorealistyczne dane wyjściowe tradycyjnych silników gier i efektów wizualnych na poziomie VFX, a także, że ten proces może być osiągnięty z o wiele bardziej podstawowych danych wejściowych niż to, co zostało zademonstrowane w demo Intelu GTA5 — efektywnie tworząc ‘marionetkowe’ dane wejściowe z bardzo realistycznymi danymi wyjściowymi.

Parowane Zbiory Danych

Zasada ta została zilustrowana przez nowe pokolenie systemów GAN i encoder/decoder w ciągu ostatnich trzech lat, takich jak GauGAN od NVIDII, który generuje fotorealistyczne obrazy krajobrazowe z grubych szkiców.

Skutecznie ta zasada odwraca konwencjonalne użycie segmentacji semantycznej w wizji komputerowej z pasywnej metody, która pozwala systemom maszynowym identyfikować i izolować obserwowane obiekty w kreatywny sposób, gdzie użytkownik ‘maluje’ fałszywą mapę segmentacji semantycznej, a system generuje obrazy, które są spójne z relacjami, które rozumie z wcześniej sklasyfikowanych i podzielonych domen, takich jak krajobraz.

Ramka pracy z uczeniem maszynowym stosuje segmentację semantyczną do różnych zewnętrznych scen, zapewniając architektoniczny paradygmat, który pozwala na rozwój interaktywnych systemów, gdzie użytkownik maluje bloki segmentacji semantycznej, a system wypełnia bloki odpowiednimi obrazami z domenowo-specyficznego zbioru danych, takiego jak niemiecki zbiór widoku ulic Mapillary, użyty w demo Intelu GTA5 z renderowaniem neuronowym. Źródło: http://ais.informatik.uni-freiburg.de/publications/papers/valada17icra.pdf

Systemy syntezy obrazu z parowanymi zbiorami danych działają, korelując etykiety semantyczne na dwóch zbiorach: bogatym i pełnym zbiorze obrazów, albo wygenerowanym z rzeczywistych obrazów (jak zbiór Mapillary użyty do poprawy GTA5 w wczorajszym demo Intelu), albo z syntetycznymi obrazami, takimi jak obrazy CGI.

Przykłady parowanych zbiorów danych dla systemu syntezy obrazu zaprojektowanego do tworzenia renderowanych neuronowo postaci z niezdarnych szkiców. Źródło: https://www.youtube.com/watch?v=miLIwQ7yPkA

Środowiska zewnętrzne są stosunkowo niewykalkulowanymi, gdy tworzy się parowane transformacje zbiorów danych, ponieważ występy są zwykle dość ograniczone, topografia ma ograniczony zakres zmienności, który może być kompleksowo ujęty w zbiorze danych, a nie musimy tworzyć sztucznych ludzi ani negocjować Dolinę Niesamowitości (jeszcze).

Odwrotna Mapa Segmentacji

Google opracował animowaną wersję schematu GauGAN, zwaną Nieskończoną Naturą, zdolną do celowego ‘halucynowania’ ciągłych i niekończących się fikcyjnych krajobrazów, tłumacząc fałszywe mapy semantyczne na fotorealistyczne obrazy za pomocą systemu SPADE od NVIDII:

Źródło: https://www.youtube.com/watch?v=oXUf6anNAtc

Jednak Nieskończona Natura używa jednego obrazu jako punktu startowego i używa SPADE tylko do malowania brakujących sekcji w kolejnych klatkach, podczas gdy sam system SPADE tworzy transformaty obrazu bezpośrednio z map segmentacji.

Źródło: https://nvlabs.github.io/SPADE/

To zdolność wydaje się pobudzić admiratorów systemu Intel Image Enhancement – możliwość uzyskania bardzo wysokiej jakości fotorealistycznych obrazów, nawet w czasie rzeczywistym (ewentualnie), z bardzo grubych danych wejściowych.

Zastępowanie Tekstur i Oświetlenia z Renderowaniem Neuronowym

W przypadku danych wejściowych GTA5 niektórzy zastanawiają się, czy jakiekolwiek z komputacyjnie drogich proceduralnych i bitmapowych tekstur i oświetlenia z wyjścia silnika gry będą naprawdę potrzebne w przyszłych systemach renderowania neuronowego, czy też czy będzie możliwe przekształcenie niskiej rozdzielczości, poziomu drutu danych wejściowych w fotorealistyczne wideo, które przewyższa możliwości cieniowania, teksturyzacji i oświetlenia silników gier, tworząc hiperrealistyczne sceny z ‘placeholder’ proxy danych wejściowych.

Może się wydawać oczywiste, że generowane przez grę aspekty, takie jak odbicia, tekstury i inne rodzaje szczegółów środowiskowych, są niezbędnymi źródłami informacji dla systemu renderowania neuronowego, jakiego został zademonstrowany przez Intel. Jednak od kilku lat system UNIT (UNsupervised Image-to-image Translation Networks) od NVIDII wykazał, że tylko domena jest ważna, a nawet aspekty, takie jak ‘noc lub dzień’, są podstawowo kwestiami do obsługi przez transfer stylu:

W kwestii wymaganych danych wejściowych, to potencjalnie pozostawia silnik gry, który musi generować tylko podstawową geometrię i symulacje fizyczne, ponieważ silnik renderowania neuronowego może pomalować wszystkie inne aspekty, syntetyzując pożądane obrazy z przechwyconego zbioru danych, używając map semantycznych jako warstwy interpretacyjnej.

System Intelu poprawia całkowicie ukończoną i wyrenderowaną klatkę z GTA5, dodając segmentację i oceniane mapy głębi — dwa aspekty, które mogą potencjalnie być dostarczone bezpośrednio przez uproszczony silnik gry. Źródło: https://www.youtube.com/watch?v=P1IcaBn3ej0

Podejście Intelu do renderowania neuronowego obejmuje analizę całkowicie wyrenderowanych klatek z buforów GTA5, a system neuronowy ma dodatkowe obciążenie tworzenia zarówno map głębi, jak i map segmentacji. Ponieważ mapy głębi są implicite dostępne w tradycyjnych potokach 3D (i są mniej wymagające do wygenerowania niż teksturyzacja, ray-tracing lub globalne oświetlenie), może to być lepsze wykorzystanie zasobów, aby pozwolić silnikowi gry na ich obsługę.

Uproszczone Dane Wejściowe dla Silnika Renderowania Neuronowego

Bieżąca implementacja sieci poprawy obrazu Intelu może więc obejmować wiele zbędnych cykli obliczeniowych, ponieważ silnik gry generuje komputacyjnie drogą teksturyzację i oświetlenie, które silnik renderowania neuronowego nie potrzebuje naprawdę. System wydaje się być zaprojektowany w ten sposób nie dlatego, że jest to koniecznie optymalne podejście, ale dlatego, że jest łatwiej dostosować silnik renderowania neuronowego do istniejącego potoku niż stworzyć nowy silnik gry, który jest zoptymalizowany do podejścia renderowania neuronowego.

Najbardziej ekonomiczne wykorzystanie zasobów w systemie gry tego rodzaju mogłoby być pełne przejęcie GPU przez silnik renderowania neuronowego, z uproszczonymi danymi wejściowymi obsługiwanymi przez CPU.

Ponadto silnik gry mógłby łatwo wyprodukować reprezentatywne mapy segmentacji samego siebie, wyłączając wszystkie cieniowanie i oświetlenie w swoim wyjściu. Dodatkowo mógłby dostarczyć wideo w znacznie niższej rozdzielczości, niż zwykle wymaga się od niego, ponieważ wideo musiałoby być tylko ogólnie reprezentatywne dla treści, z detalami wysokiej rozdzielczości obsługiwanymi przez silnik neuronowy, co dalej zwalnia lokalne zasoby obliczeniowe.

Wcześniejsza Praca Intelu ISL z Segmentacją>Obrazem

Bezpośrednia translacja segmentacji na fotorealistyczne wideo jest daleka od hipotetycznej. W 2017 roku Intel ISL, twórcy wczorajszej sensacji, opublikowali badania, które umożliwiają syntezę wideo miejskiego bezpośrednio z segmentacji semantycznej.

Praca Intelu ISL z segmentacją do obrazu z 2017 roku. Źródło: https://awesomeopensource.com/project/CQFIO/PhotographicImageSynthesis

W istocie, ta oryginalna pipelines z 2017 roku została po prostu rozszerzona, aby pasować do w pełni wyrenderowanego wyjścia GTA5.

Renderowanie Neuronowe w VFX

Renderowanie neuronowe z sztucznie wygenerowanymi mapami segmentacji wydaje się być obiecującą technologią dla VFX, z możliwością bezpośredniej translacji bardzo podstawowych wideo na gotowe efekty wizualne, generując domenowo-specyficzne zbiory danych, pobrane z modeli lub syntetycznych (CGI) obrazów.

Hypotetyczny system renderowania neuronowego, gdzie obszerna pokrywa każdego obiektu docelowego jest abstrahowana w przyczyniający się zbiór danych, a gdzie sztucznie wygenerowane mapy segmentacji są używane jako podstawa dla pełnej rozdzielczości fotorealistycznych danych wyjściowych. Źródło: https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Rozwój i przyjęcie takich systemów mogłoby przesunąć ośrodkiem wysiłku artystycznego z interpretacyjnego na reprezentatywny, oraz podnieść rolę danych napędzanych przez domenę z wspierającej do centralnej w sztukach wizualnych.

Artykuł zaktualizowany o 16:55, aby dodać materiał o badaniach Intelu ISL z 2017 roku.