Förbättring av fotorealistiska körningar med Generativa Adversarial Networks

En ny forskningsinitiativ mellan USA och Kina har föreslagit att man använder Generativa Adversarial Networks (GANs) för att öka realismen i körningssimulatorer.

I en nyanserad tolkning av utmaningen att producera fotorealistiska körscenarier från förarens perspektiv, har forskarna utvecklat en hybridmetod som kombinerar de mer fotorealistiska resultaten från CycleGAN-baserade system med mer konventionellt genererade element, som kräver en högre nivå av detalj och konsekvens, såsom vägmarkeringar och de fordon som observeras från förarens perspektiv.

Hybrid Generative Neural Graphics (HGNG) erbjuder en ny riktning för körningssimulatorer som behåller noggrannheten i 3D-modeller för viktiga element (såsom vägmarkeringar och fordon), medan de utnyttjar styrkorna hos GANs i att generera intressanta och icke-repetitiva bakgrunder och omgivningsdetaljer. Källa

Systemet, som kallas Hybrid Generative Neural Graphics (HGNG), injicerar begränsad utdata från en konventionell, CGI-baserad körningssimulator i en GAN-pipeline, där NVIDIA SPADE-ramverket tar över arbetet med miljögenerering.

Fördelen, enligt författarna, är att körningsmiljöer kommer att bli potentiellt mer varierade, vilket skapar en mer immersiv upplevelse. Som det är nu kan inte ens omvandling av CGI-utdata till fotorealistisk neural rendering-utdata lösa problemet med repetition, eftersom den ursprungliga filmen som matas in i den neurala pipelinen är begränsad av modellmiljöernas begränsningar och deras tendens att upprepa texturer och nät.

Omändrad film från 2021 års artikel ‘Förbättring av fotorealistisk förbättring’, som fortfarande är beroende av CGI-renderad film, inklusive bakgrund och allmän omgivningsdetalj, vilket begränsar miljöns variation i den simulerade upplevelsen. Källa: https://www.youtube.com/watch?v=P1IcaBn3ej0

Artikeln säger*:

‘En konventionell körningssimulators trohet beror på kvaliteten på dess datorgrafikpipeline, som består av 3D-modeller, texturer och en renderingmotor. Högkvalitativa 3D-modeller och texturer kräver hantverk, medan renderingmotorn måste köra komplicerade fysikberäkningar för en realistisk representation av ljus och skugga.’

Den nya artikeln heter Fotorealism i körningssimulatorer: Blandning av generativ adversarial bildsyntes med rendering, och kommer från forskare vid Institutionen för elektroteknik och datateknik vid Ohio State University, och Chongqing Changan Automobile Co Ltd i Chongqing, Kina.

Bakgrundsmaterial

HGNG omvandlar den semantiska layouten av en inmatad CGI-genererad scen genom att blanda delvis renderad förgrundsmaterial med GAN-genererade miljöer. Även om forskarna experimenterade med olika datamängder för att träna modellerna, visade sig den mest effektiva vara KITTI-visionens benchmark-svit, som främst består av inspelningar av förar-POV-material från den tyska staden Karlsruhe.

HGNG genererar en semantisk segmenteringslayout från CGI-renderad utdata, och sedan infogar SPADE, med varierande stil-kodningar, för att skapa slumpmässiga och varierade fotorealistiska bakgrundsbilder, inklusive närliggande objekt i urbana scener. Den nya artikeln säger att upprepade mönster, som är vanliga i resursbegränsade CGI-pipelines, ‘bryter immersionen’ för mänskliga förare som använder en simulator, och att de mer varierade bakgrunder som en GAN kan tillhandahålla kan lindra detta problem.

Forskarna experimenterade med både Conditional GAN (cGAN) och CYcleGAN (CyGAN) som generativa nätverk, och fann till slut att var och en har sina styrkor och svagheter: cGAN kräver parade datamängder, och CyGAN gör det inte. Men CyGAN kan för närvarande inte överträffa den nuvarande toppnivån i konventionella simulatorer, i avvaktan på ytterligare förbättringar i domänanpassning och cykelkonsekvens. Därför är cGAN, med dess ytterligare parade datamängder, den som ger de bästa resultaten just nu.

Den konceptuella arkitekturen för HGNG.

I HGNG:s neurala grafikpipeline formas 2D-representationer från CGI-syntetiserade scener. De objekt som skickas vidare till GAN-flödet från CGI-renderingen är begränsade till ‘essentiella’ element, inklusive vägmarkeringar och fordon, som en GAN för närvarande inte kan rendera med tillräcklig tidsmässig konsekvens och integritet för en körningssimulator. cGAN-syntetiserad bild blandas sedan med den partiella fysikbaserade renderingen.

Tester

För att testa systemet använde forskarna SPADE, tränad på Cityscapes, för att omvandla den semantiska layouten av scenen till fotorealistisk utdata. CGI-källan kom från den öppna källkods-körningssimulatoren CARLA, som utnyttjar Unreal Engine 4 (UE4).

Utdata från den öppna källkods-körningssimulatoren CARLA. Källa: https://arxiv.org/pdf/1711.03938.pdf

Skugg- och belysningsmotorn i UE4 tillhandahöll den semantiska layouten och de partiellt renderade bilderna, med endast fordon och körfältmarkeringar som utdata. Blandning uppnåddes med en GP-GAN-instans tränad på Transient Attributes Database, och alla experiment kördes på en NVIDIA RTX 2080 med 8 GB GDDR6 VRAM.

Forskarna testade för semantisk bevarande – förmågan hos utdata-bilden att motsvara den ursprungliga semantiska segmenteringsmasken som avsågs som mallen för scenen.

I testbilderna ovan ser vi att i ‘render only’-bilden (nederst till vänster), fullständig rendering inte uppnår trovärdiga skuggor. Forskarna noterar att här (gul cirkel) skuggor av träd som faller på trottoaren felaktigt klassificerades av DeepLabV3 (den semantiska segmenteringsramen som användes för dessa experiment) som ‘väg’innehåll.

I mittkolumnflödet ser vi att cGAN-skapade fordon inte har tillräcklig konsekvent definition för att vara användbara i en körningssimulator (röd cirkel). I högerkolumnflödet konformerar den blandade bilden till den ursprungliga semantiska definitionen, samtidigt som den behåller viktiga CGI-baserade element.

För att utvärdera realismen använde forskarna Frechet Inception Distance (FID) som en prestandamätning, eftersom den kan fungera med parade eller oparade data.

Tre datamängder användes som grundtruth: Cityscapes, KITTI och ADE20K.

Utdata-bilderna jämfördes mot varandra med FID-poäng, och mot den fysikbaserade (dvs. CGI) pipelinen, medan semantisk bevarande också utvärderades.

I resultaten ovan, som relaterar till semantisk bevarande, är högre poäng bättre, med CGAN-pyramid-approachen (en av flera pipelines som testades av forskarna) som fick högst poäng.

Resultaten ovan, som gäller FID-poäng, visar att HGNG fick högst poäng med hjälp av KITTI-datamängden.

‘Endast rendering’-metoden (betecknad som [23]) gäller utdata från CARLA, en CGI-flöde som inte förväntas vara fotorealistiskt.

Kvalitativa resultat på den konventionella renderingmotorn (‘c’ i bilden ovan) visar orealistiska avlägsna bakgrundsinformation, såsom träd och vegetation, medan de kräver detaljerade modeller och just-in-time mesh-laddning, samt andra processorkrävande procedurer. I mitten (b) ser vi att cGAN inte kan uppnå tillräcklig definition för de viktiga elementen, bilar och vägmarkeringar. I den föreslagna blandade utdata (a) är fordon och vägdefinition god, medan den omgivande miljön är varierad och fotorealistisk.

Artikeln avslutas med att föreslå att den tidsmässiga konsekvensen av den GAN-genererade delen av renderingpipelinen kunde ökas genom användning av större urbana datamängder, och att framtida arbete i denna riktning kunde erbjuda ett verkligt alternativ till dyra neurala omvandlingar av CGI-baserade strömmar, samtidigt som den tillhandahåller större realism och variation.

* Min omvandling av författarnas inline-citat till hyperlänkar.

Publicerad första gången den 23 juli 2022.