Ett upptäcktsystem för ren bildsyntesramverk som DALL-E 2

Ny forskning från University of California at Berkeley erbjuder en metod för att avgöra om utdata från den nya generationen av bildsyntesramverk – såsom Open AI:s DALL-E 2, och Google:s Imagen och Parti – kan upptäckas som “icke-verkliga”, genom att studera geometri, skuggor och reflektioner som visas i de syntetiserade bilderna.

Genom att studera bilder genererade av textprompt i DALL-E 2, har forskarna funnit att trots den imponerande realismen som arkitekturen är kapabel till, förekommer vissa bestående inkonsekvenser relaterade till renderingen av global perspektiv, skapandet och dispositionen av skuggor, och särskilt när det gäller renderingen av reflekterade objekt.

Artikeln hävdar:

‘[Geometriska] strukturer, kastade skuggor och reflektioner i spegelbelagda ytor är inte fullständigt konsekventa med den förväntade perspektivgeometrin för naturliga scener. Geometriska strukturer och skuggor är, i allmänhet, lokalt konsekventa, men globalt inkonsekventa.

‘Reflektioner, å andra sidan, återges ofta på ett otroligt sätt, antagligen eftersom de är mindre vanliga i utbildningsbildsdatamängden.’

En brist på konsekventa skärningspunkter mellan det återgivna föremålet och återgivningen av dess reflektion är för närvarande ett tillförlitligt sätt att upptäcka en DALL-E 2-bild, enligt den nya studien. Källa: https://arxiv.org/pdf/2206.14617.pdf

Artikeln representerar en tidig utflykt inom vad som kan bli en betydande strång inom datorteknisk forskning – bildsyntesupptäckt.

Sedan deepfakes introducerades 2017, har deepfakedetektering (främst av autoencoder-utdata från paket som DeepFaceLab och FaceSwap) blivit en aktiv och konkurrenskraftig akademisk strång, med olika artiklar och metoder som riktar sig mot de utvecklande “tecknen” på syntetiserade ansikten i riktiga videosekvenser.

Men tills den mycket nyliga uppkomsten av hyperskaletränade bildgenereringsystem, utgjorde utdata från textpromptsystem som CLIP inget hot mot status quo för “fotorealistiskt”. Författarna till den nya artikeln tror att detta är på väg att förändras, och att även de inkonsekvenser som de har upptäckt i DALL-E 2-utdata kanske inte gör så stor skillnad för utdata bilders potential att bedra tittare.

Författarna hävdar*:

‘[Sådana] misslyckanden kan inte betyda så mycket för det mänskliga synsystemet, som har visat sig vara förvånansvärt odugligt för vissa geometriska bedömningar, inklusive inkonsekvenser i belysning, skuggor, reflektioner, visningsposition och perspektivförvrängning.’

Försvinnande trovärdighet

Författarnas första forensiska undersökning av DALL-E 2-utdata relaterar till perspektivprojektion – sättet som positioneringen av raka kanter i närliggande föremål och texturer ska lösas enhetligt till en “försvinnande punkt”.

Till vänster, parallella linjer på samma plan löses till en gemensam försvinnande punkt; till höger, flera försvinnande punkter på samma och parallella plan definierar en försvinnande linje (avbildad i rött).

För att testa DALL-E 2:s konsekvens i detta avseende, använde författarna DALL-E 2 för att generera 25 syntetiserade bilder av kök – en bekant miljö som, även i välutrustade bostäder, vanligtvis är tillräckligt begränsad för att tillhandahålla flera möjliga försvinnande punkter för en mängd föremål och texturer.

Genom att undersöka utdata från prompten ‘en bild av ett kök med kakelgolv’, fann forskarna att trots en allmänt övertygande representation i varje fall (bortsett från några underliga, mindre artefakter som inte är relaterade till perspektiv), förefaller de avbildade föremålen aldrig konvergera korrekt.

Författarna noterar att medan varje uppsättning parallella linjer från kakelmönstret är konsekventa och skär varandra i en enda försvinnande punkt (blå i bilden nedan), försvinnande punkten för bänkskivan (cyan) inte överensstämmer med antingen de försvinnande linjerna (röd) eller den försvinnande punkt som härrör från kakelplattorna.

Författarna observerar att även om bänkskivan inte är parallell med kakelplattorna, borde den cyan försvinnande punkten lösas till den (röda) försvinnande linjen som definieras av de försvinnande punkterna för golvtile.

Artikeln hävdar:

‘Medan perspektivet i dessa bilder är – imponerande – lokalt konsekvent, är det inte globalt konsekvent. Samma mönster hittades i var och en av 25 syntetiserade kök bilder.’

Skuggforensik

Som alla som någonsin har hanterat ray-tracing vet, har skuggor också potential för försvinnande punkter, vilket indikerar en eller flera ljuskällor. För yttre skuggor i hård sol, borde skuggor över hela bilden lösas konsekvent till den enskilda ljuskällan (solen).

Som i det tidigare experimentet, skapade forskarna 25 DALL-E 2-bilder med prompten ‘tre kuber på en trottoar fotograferade en solig dag’, samt ytterligare 25 med prompten ‘‘tre kuber på en trottoar fotograferade en molnig dag’.

I den övre raden, bilder skapade från forskarnas prompt ‘tre kuber på en trottoar fotograferade en molnig dag’; i den nedre raden, bilder skapade från prompten ‘tre kuber på en trottoar fotograferade en solig dag’.

Forskarna noterar att när de representerar molniga förhållanden, kan DALL-E 2 återge de mer diffusa associerade skuggorna på ett övertygande och trovärdigt sätt, kanske inte minst för att denna typ av skugga sannolikt är mer vanlig i datamängden som ramverket tränades på.

Men några av de “solljusa” fotona fann författarna vara inkonsekventa med en scen belyst av en enda ljuskälla.

För ovanstående bild, har generationerna konverterats till gråskala för tydlighet, och visar varje objekt med sin egen dedikerade “sol”.

Även om den genomsnittliga tittaren kanske inte upptäcker sådana anomalier, hade några av de genererade bilderna mer uppenbara exempel på “skuggfel”:

Medan några av skuggorna enbart är på fel plats, motsvarar många av dem, intressant nog, den typ av visuell diskrepans som produceras i CGI-modellering när samplehastigheten för en virtuell ljuskälla är för låg.

Reflektioner i DALL-E 2

De mest fördömande resultaten i termer av forensisk analys kom när författarna testade DALL-E 2:s förmåga att skapa högt reflekterande ytor, vilket också är en betungande beräkning i CGI-ray-tracing och andra traditionella renderingalgoritmer.

För detta experiment, producerade författarna 25 DALL-E 2-bilder med prompten ‘en bild av en leksaksdinosaurie och dess reflektion i en spegel’.

I alla fall, rapporterar författarna, var spegelbilden av den återgivna leksaksdinosaurien på något sätt frånskild från den “verkliga” leksaksdinosauriens aspekt och disposition. Författarna hävdar att problemet var motståndskraftigt mot variationer i textprompten, och det verkar vara en grundläggande svaghet i systemet.

Det verkar finnas en logik i några av felen – det första och tredje exemplen i den övre raden verkar visa en dinosaurie som är duplicerad mycket bra, men inte speglad.

Författarna kommenterar:

‘Till skillnad från de kastade skuggorna och de geometriska strukturerna i de tidigare avsnitten, kämpar DALL·E-2 för att syntetisera trovärdiga reflektioner, antagligen för att sådana reflektioner är mindre vanliga i dess utbildningsbildsdatamängd.’

Fel som dessa kan rättas till i framtida text-till-bild-modeller som kan granska den övergripande semantiska logiken i sin utdata mer effektivt, och som kommer att kunna påtvinga abstrakta fysiska regler på scener som har, i viss mån, satts samman från ord-relevanta funktioner i systemets latenta utrymme.

I ljuset av en växande trend mot allt större syntesarkitekturer, drar författarna slutsatsen:

‘[Det] kan bara vara en tidsfråga innan paint-by-text-syntesmotorer lär sig att återge bilder med fullständig perspektivkonsekvens. Tills dess, kan dock geometriska forensiska analyser visa sig användbara för att analysera dessa bilder.’

* Min omvandling av författarnas inline-citat till hyperlänkar.

Publicerad första gången 30 juni 2022.