Detekční systém pro rámce čistého syntetického obrazu, jako je DALL-E 2

Nový výzkum z University of California at Berkeley nabízí metodu, jak určit, zda výstup z nové generace rámců syntetického obrazu – jako je Open AI’s DALL-E 2 a Google’s Imagen a Parti – lze detekovat jako “nereálný”, zkoumáním geometrie, stínů a odrazů, které se objevují ve syntetizovaných obrazech.

Při studiu obrazů generovaných pomocí textových podnětů v DALL-E 2 výzkumníci zjistili, že navzdory působivému realismu, kterého je architektura schopna, se vyskytují některé trvalé nesrovnalosti týkající se vykreslování globální perspektivy, vytváření a umístění stínů a zejména vykreslování odrazů.

Článek uvádí:

‘[Geometrické] struktury, odrazy stínů a odrazy na zrcadlových površích nejsou plně konzistentní s očekávanou perspektivní geometrií přírodních scén. Geometrické struktury a stíny jsou obecně místně konzistentní, ale globálně nekonzistentní.

‘Odrazy, na druhé straně, jsou často vykreslovány nepravděpodobně, pravděpodobně protože jsou méně časté v trénovacích datech.’

Nedostatek konzistentních průniků mezi vykresleným objektem a jeho odrazem je podle nové studie spolehlivým způsobem, jak detekovat obraz DALL-E 2. Source: https://arxiv.org/pdf/2206.14617.pdf

Článek představuje ranou sondu do toho, co by mohlo být jednou pozoruhodným směrem ve výzkumu počítačového vidění – detekce syntetického obrazu.

Od vzniku deepfake v roce 2017 se detekce deepfake (především výstupu autoencoderu z balíčků jako DeepFaceLab a FaceSwap) stala aktivní a soutěživou akademickou oblastí, s různými články a metodami zaměřenými na vývoj “značek” syntetizovaných tváří ve skutečném videozáznamu.

Jednak, dokud nedošlo k nedávnému vývoji hyperscale-trained image generací, výstup z text-prompt systémů, jako je CLIP, nepředstavoval hrozbu pro status quo “fotoreality”. Autoři nového článku se domnívají, že se to brzy změní, a že i tyto nesrovnalosti, které objevili v DALL-E 2, nemusí mít velký vliv na potenciál obrazů oklamat diváky.

Autoři uvádějí*:

‘[Tato] selhání nemusí mít velký význam pro lidský vizuální systém, který byl nalezen jako překvapivě nešikovný v určitých geometrických úsudcích, včetně nesrovnalostí v osvětlení, stínech, odrazech, pozici pozorovatele a perspektivním zkreslením.’

Mizející důvěryhodnost

První forenzní zkoumání výstupu DALL-E 2 se týká perspektivního projekce – způsobu, jakým by se měly rovnoběžné hrany blízkých objektů a textur rovnoměrně vyřešit do “mizejícího bodu”.

Vlevo, rovnoběžné čáry na stejné rovině se vyřeší do společného mizejícího bodu; vpravo, více mizejících bodů na stejné a rovnoběžné rovině definuje mizející linii (zobrazenou červeně).

Při testování konzistence DALL-E 2 v tomto ohledu autoři použili DALL-E 2 k vygenerování 25 syntetizovaných obrazů kuchyní – známého prostoru, který je obvykle dostatečně malý, aby poskytl více možných mizejících bodů pro řadu objektů a textur.

Při zkoumání výstupu z podnětu ‘fotografie kuchyně s dlaždicovou podlahou’ výzkumníci zjistili, že navzdory obecně přesvědčivému zobrazení v každém případě (kromě některých menších artefaktů nesouvisejících s perspektivou) se objekty nikdy nezdají konvergovat správně.

Autoři poznamenávají, že zatímco každá sada rovnoběžných čar z dlaždicového vzoru je konzistentní a protíná se v jediném mizejícím bodu (modré na obrázku níže), mizející bod pro pracovní desku (cyan) nesouhlasí s mizejícími liniami (červené) a mizejícím bodem odvozeným z dlaždic.

Autoři pozorují, že i když pracovní deska nebyla rovnoběžná s dlaždicemi, mizející bod cyan by se měl vyřešit do (červené) mizející linie definované mizejícími body podlahy.

Článek uvádí:

‘Zatímco perspektiva v těchto obrazech je – působivě – místně konzistentní, není globálně konzistentní. Stejné vzorce byly nalezeny ve 25 syntetizovaných obrazech kuchyní.’

Stínová forenzní analýza

Jako kdokoli, kdo se někdy zabýval ray-tracingem, ví, že stíny také mají potenciální mizející body, které naznačují jednoduchou nebo vícesměrnou osvětlení. Pro vnější stíny v ostrém slunečním světle by se očekávalo, že stíny napříč všemi plochami obrazu se budou vyřešit konzistentně do jediného zdroje světla (slunce).

Stejně jako v předchozím experimentu autoři vytvořili 25 DALL-E 2 obrazů s podnětem ‘tři kostky na chodníku vyfotografované na slunný den’, stejně jako dalších 25 s podnětem ‘tři kostky na chodníku vyfotografované na zatažený den’.

V horní řadě jsou obrazy vytvořené z výzkumníků podnětu ‘tři kostky na chodníku vyfotografované na zatažený den’; v dolní řadě jsou obrazy vytvořené z podnětu ‘tři kostky na chodníku vyfotografované na slunný den’.

Výzkumníci poznamenávají, že při zobrazení zatažených podmínek je DALL-E 2 schopen vykreslit spojené stíny přesvědčivým a pravděpodobným způsobem, možná proto, že tento typ stínu je pravděpodobně častější v trénovacích datech, na kterých byl rámec vyškolen.

Jednak, některé “slunné” fotografie, autoři zjistili, byly nekonzistentní se scénou osvětlenou z jediného zdroje světla.

Pro výše uvedený obraz byly generovány obrázky převedeny na šedou stupnici pro jasnost a ukazují každý objekt se svým vlastním “sluncem”.

Although průměrný divák nemusí tyto anomálie zaznamenat, některé z generovaných obrazů měly více zjevné příklady “selhání stínu”:

Zatímco některé stíny jsou jednoduše na špatném místě, mnohé z nich, zajímavě, odpovídají typu vizuálního rozporu, který je produkován v CGI modelování, když je vzorkovací frekvence pro virtuální světlo příliš nízká.

Odrazy v DALL-E 2

Nejvíce devastující výsledky z hlediska forenzní analýzy přišly, když autoři otestovali schopnost DALL-E 2 vytvořit vysoce reflexní povrchy, což je také náročný výpočet v CGI ray-tracingu a tradičních vykreslovacích algoritmech.

Pro tento experiment autoři vytvořili 25 DALL-E 2 obrazů s podnětem ‘fotografie hračky dinosaura a jeho odrazu v zrcadle’.

Všechny případy autoři uvádějí, že zrcadlový obraz vykresleného dinosaura byl nějakým způsobem odpojen od “skutečného” dinosaura a jeho polohy. Autoři uvádějí, že problém byl odolný vůči variacím v textovém podnětu a zdá se být fundamentální slabostí systému.

Zdá se, že existuje logika v některých chybách – první a třetí příklady v horní řadě ukazují dinosaura, který je duplicován velmi dobře, ale ne zrcadlen.

Autoři komentují:

‘Na rozdíl od odrazů stínů a geometrických struktur v předchozích částech DALL·E-2 zápasí s vytvářením pravděpodobných odrazů, pravděpodobně protože takové odrazy jsou méně časté v jeho trénovacích datech.’

Tyto chyby mohou být odstraněny v budoucích text-to-image modelech, které budou schopny lépe přezkoumat celkovou semantickou logiku svého výstupu a které budou schopny uvalit abstraktní fyzikální pravidla na scény, které byly, do jisté míry, sestaveny z funkcí relevantních pro systém v jeho latentním prostoru.

Vzhledem k rostoucímu trendu směrem k stále větším syntetizačním architekturám autoři uzavírají:

‘[To] může být jen otázka času, než se naučí vykreslovat obrazy s plnou perspektivní konzistencí. Do té doby však geometrická forenzní analýza může být užitečná při analýze těchto obrazů.’

* Moje konverze inline citací autorů na hypertextové odkazy.

Poprvé zveřejněno 30. června 2022.