Een detectiesysteem voor pure beeldsyntheseframeworks zoals DALL-E 2

Nieuw onderzoek van de Universiteit van Californië in Berkeley biedt een methode om te bepalen of de output van de nieuwe generatie beeldsyntheseframeworks – zoals Open AI’s DALL-E 2, en Google’s Imagen en Parti – kan worden gedetecteerd als ‘niet-reëel’, door het bestuderen van geometrie, schaduwen en reflecties die in de gesynthesiseerde beelden verschijnen.

Door beelden gegenereerd door tekstprompts in DALL-E 2 te bestuderen, hebben de onderzoekers ontdekt dat ondanks de indrukwekkende realisme waarvan de architectuur in staat is, enkele persistente inconsistenties optreden met betrekking tot het renderen van globale perspectief, het creëren en plaatsen van schaduwen en vooral met betrekking tot het renderen van gereflecteerde objecten.

Het artikel vermeldt:

‘[Geometrische] structuren, gereflecteerde schaduwen en reflecties in gespiegelde oppervlakken zijn niet volledig consistent met de verwachte perspectiefgeometrie van natuurlijke scènes. Geometrische structuren en schaduwen zijn over het algemeen lokaal consistent, maar globaal inconsistent.

‘Reflecties, aan de andere kant, worden vaak op een onwaarschijnlijke manier gerenderd, vermoedelijk omdat ze minder vaak voorkomen in de trainingsbeeldgegevensset.’

Een gebrek aan consistente intersecties tussen het gerenderde object en de weergave van zijn reflectie is momenteel een betrouwbare manier om een DALL-E 2-afbeelding te detecteren, volgens de nieuwe studie. Bron: https://arxiv.org/pdf/2206.14617.pdf

Het artikel vertegenwoordigt een vroege stap in wat uiteindelijk een opvallende richting kan worden in de computer vision-onderzoekscommunity – beeldsynthesedetectie.

Sinds de opkomst van deepfakes in 2017, is deepfakedetectie (voornamelijk van autoencoder-output van pakketten zoals DeepFaceLab en FaceSwap) een actieve en concurrerende academische richting geworden, met verschillende artikelen en methoden die de evoluerende ‘tells’ van gesynthesiseerde gezichten in echte videobeelden targeten.

Echter, tot de zeer recente opkomst van hyperschaalgetrainde beeldgeneratiesystemen, vormden de output van tekstpromptsystemen zoals CLIP geen bedreiging voor de status quo van ‘fotorealistisch’. De auteurs van het nieuwe artikel geloven dat dit op het punt staat om te veranderen, en dat zelfs de inconsistenties die zij in de DALL-E 2-output hebben ontdekt, mogelijk niet veel verschil maken voor de potentie van de gegenereerde beelden om kijkers te misleiden.

De auteurs verklaren*:

‘[Dergelijke] fouten kunnen niet veel uitmaken voor het menselijk visueel systeem, dat verrassend onhandig is gebleken bij bepaalde geometrische oordelen, waaronder inconsistenties in verlichting, schaduwen, reflecties, kijkpositie en perspectiefvervorming.’

Verdwijnende geloofwaardigheid

De eerste forensische onderzoeksbevindingen van de auteurs met betrekking tot DALL-E 2-output hebben betrekking op perspectiefprojectie – de manier waarop de positionering van rechte randen in nabije objecten en texturen uniform moet worden opgelost tot een ‘verdwijningspunt’.

Links, evenwijdige lijnen op hetzelfde vlak lossen op tot een gemeenschappelijk verdwijningspunt; rechts, meerdere verdwijningspunten op hetzelfde en evenwijdige vlakken definiëren een verdwijningslijn (weergegeven in rood).

Om de consistentie van DALL-E 2 op dit gebied te testen, gebruikten de auteurs DALL-E 2 om 25 gesynthesiseerde beelden van keukens te genereren – een vertrouwde ruimte die, zelfs in goed ingerichte woningen, meestal beperkt genoeg is om meerdere mogelijke verdwijningspunten te bieden voor een reeks objecten en texturen.

Bij het onderzoeken van de output van de prompt ‘een foto van een keuken met een tegelvloer’, vonden de onderzoekers dat de objecten die worden weergegeven nooit correct samenkomen.

De auteurs merken op dat, hoewel elke set evenwijdige lijnen van het tegelpatroon consistent is en samenkomt op een enkel verdwijningspunt (blauw in de onderstaande afbeelding), het verdwijningspunt voor het aanrechtblad (cyan) niet overeenkomt met zowel de verdwijningslijnen (rood) als het verdwijningspunt dat is afgeleid van de tegels.

De auteurs observeren dat, zelfs als het aanrechtblad niet evenwijdig is aan de tegels, het cyan verdwijningspunt zou moeten oplossen tot de (rode) verdwijningslijn die wordt gedefinieerd door de verdwijningspunten van de vloertegels.

Het artikel vermeldt:

‘Hoewel het perspectief in deze beelden lokaal consistent is, is het niet globaal consistent. Dezelfde patroon werd gevonden in elk van de 25 gesynthesiseerde keukenbeelden.’

Schaduwforensics

Net zoals iedereen die ooit met ray-tracing heeft gewerkt, hebben schaduwen ook potentieel verdwijningspunten, die aangeven of er sprake is van enkele of meerdere lichtbronnen. Voor externe schaduwen in fel zonlicht zou men verwachten dat schaduwen over alle facetten van een beeld consistent zouden zijn en tot één lichtbron (de zon) zouden leiden.

Net zoals in het vorige experiment, creëerden de onderzoekers 25 DALL-E 2-beelden met de prompt ‘drie kubussen op een trottoir gefotografeerd op een zonnige dag’, evenals 25 met de prompt ‘‘drie kubussen op een trottoir gefotografeerd op een bewolkte dag’.

Boven, beelden gegenereerd vanuit de prompt van de onderzoekers ‘drie kubussen op een trottoir gefotografeerd op een bewolkte dag’; onder, beelden gegenereerd vanuit de prompt ‘drie kubussen op een trottoir gefotografeerd op een zonnige dag’.

De onderzoekers merken op dat wanneer ze bewolkte omstandigheden weergeven, DALL-E 2 in staat is om de meer diffuse schaduwen op een overtuigende en geloofwaardige manier te renderen, mogelijk niet in de laatste plaats omdat dit type schaduw waarschijnlijk vaker voorkomt in de datasetbeelden waarop het framework is getraind.

Echter, sommige van de ‘zonnige’ foto’s vonden de auteurs inconsistent met een scène die verlicht wordt door één lichtbron.

Om de generaties te converteren naar grijswaarden voor duidelijkheid, laten ze elk object zien met zijn eigen toegewezen ‘zon’.

Hoewel de gemiddelde kijker mogelijk dergelijke anomalieën niet opmerkt, hadden sommige van de gegenereerde beelden meer manifeste voorbeelden van ‘schaduwfalen’:

Terwijl sommige schaduwen gewoon op de verkeerde plaats staan, komen veel ervan overeen met het type visuele discrepantie dat wordt gegenereerd in CGI-modellering wanneer de bemonsteringsfrequentie voor een virtuele lichtbron te laag is.

Reflecties in DALL-E 2

De meest vernietigende resultaten in termen van forensische analyse kwamen toen de auteurs de mogelijkheid van DALL-E 2 testten om hoge reflecterende oppervlakken te creëren, wat ook een belastende berekening is in CGI-ray-tracing en andere traditionele renderalgoritmen.

Om dit experiment uit te voeren, produceerden de auteurs 25 DALL-E 2-beelden met de prompt ‘een foto van een speelgoeddinosaurus en zijn reflectie in een spiegel’.

In alle gevallen melden de auteurs dat het spiegelbeeld van de gerenderde speelgoeddinosaurus op de een of andere manier losstaat van het ‘echte’ speelgoeddinosaurus en zijn houding. De auteurs verklaren dat het probleem resistent is tegen variaties in de tekstprompt en lijkt een fundamentele zwakte in het systeem te zijn.

Er lijkt een logica te zijn in sommige van de fouten – het eerste en derde voorbeeld in de bovenste rij lijkt een dinosaurus te laten zien die zeer goed is gedupliceerd, maar niet gespiegeld.

De auteurs merken op:

‘In tegenstelling tot de gereflecteerde schaduwen en geometrische structuren in de vorige secties, heeft DALL·E-2 moeite om geloofwaardige reflecties te synthetiseren, vermoedelijk omdat dergelijke reflecties minder vaak voorkomen in de trainingsbeeldgegevensset.’

Fouten zoals deze kunnen worden opgelost in toekomstige tekst-naar-beeldmodellen die effectiever de algehele semantische logica van hun output kunnen controleren en abstracte fysieke regels kunnen opleggen aan scènes die tot op zekere hoogte zijn samengesteld uit woord-relevante kenmerken in de latent space van het systeem.

In het licht van een groeiende trend naar steeds grotere synthesearchitecturen, concluderen de auteurs:

‘[Het] kan slechts een kwestie van tijd zijn voordat paint-by-text-synthesemotoren leren om beelden te renderen met volledige perspectiefconsistentie. Tot die tijd kunnen geometrische forensische analyses mogelijk nuttig zijn bij het analyseren van deze beelden.’

* Mijn conversie van de inline citaten van de auteurs naar hyperlinks.

Origineel gepubliceerd op 30 juni 2022.