System wykrywania dla ram pure image synthesis, takich jak DALL-E 2

Nowe badania z Uniwersytetu Kalifornijskiego w Berkeley oferują metodę, aby określić, czy dane wyjściowe z nowej generacji ram image synthesis – takich jak DALL-E 2 od Open AI, oraz Imagen i Parti od Google – mogą być wykryte jako “nierzeczywiste”, poprzez badanie geometrii, cieni i odbić, które pojawiają się w syntetyzowanych obrazach.

Badając obrazy wygenerowane przez tekstowe polecenia w DALL-E 2, naukowcy odkryli, że pomimo imponującej realizmu, jaki jest w stanie osiągnąć ta architektura, występują pewne nieścisłości związane z renderowaniem globalnej perspektywy, tworzeniem i układaniem cieni, a zwłaszcza odnosząc się do renderowania odbitych obiektów.

W artykule stwierdza się:

‘[Geometric] struktury, cienie i odbicia w lustrzanych powierzchniach nie są w pełni spójne z oczekiwaną geometrią perspektywy naturalnych scen. Struktury geometryczne i cienie są, ogólnie, lokalnie spójne, ale globalnie niespójne.

‘Odbicia, z drugiej strony, są często renderowane w niewiarygodny sposób, prawdopodobnie dlatego, że są mniej powszechne w zestawie danych szkoleniowych.’

Brak spójnych przecięć między wyrenderowanym obiektem a jego odbiciem jest obecnie wiarygodnym sposobem wykrycia obrazu DALL-E 2, zgodnie z nowymi badaniami. Źródło: https://arxiv.org/pdf/2206.14617.pdf

Artykuł reprezentuje wczesną próbę wejścia w to, co może ostatecznie stać się godnym uwagi nurtem w społeczności badawczej computer vision – wykrywanie syntezowanego obrazu.

Od czasu pojawienia się deepfake’ów w 2017 roku, wykrywanie deepfake’ów (głównie danych wyjściowych z autoencoderów z pakietami takimi jak DeepFaceLab i FaceSwap) stało się aktywnym i konkurencyjnym nurtem akademickim, z różnymi artykułami i metodami ukierunkowanymi na ewoluujące “ślady” syntetyzowanych twarzy w prawdziwych nagraniach wideo.

Jednakże, aż do bardzo niedawnej pojawienia się systemów generowania obrazów na dużą skalę, dane wyjściowe z systemów tekstowych, takich jak CLIP, nie stanowiły zagrożenia dla status quo “fotorealistyczności”. Autorzy nowego artykułu uważają, że to się zmieni, i że nawet nieścisłości, które odkryli w danych wyjściowych DALL-E 2, mogą nie mieć dużego znaczenia dla potencjału oszukania widzów.

Autorzy stwierdzają*:

‘[Takie] niepowodzenia mogą nie mieć dużego znaczenia dla ludzkiego systemu wzrokowego, który okazał się zaskakująco niezdolny do pewnych sądów geometrycznych, w tym nieścisłości w oświetleniu, cieniach, odbić, położeniu widoku i perspektywie.’

Znikająca wiarygodność

Pierwsze badanie sądowe autorów dotyczy projekcji perspektywicznej – sposobu, w jaki umiejscowienie prostych krawędzi w pobliskich obiektach i teksturach powinno się rozwiązać jednolicie w “punkcie znikania”.

Po lewej, proste linie na tej samej płaszczyźnie rozwiązują się w jeden punkt znikania; po prawej, wiele punktów znikania na tej samej i równoległych płaszczyznach definiuje linię znikania (wyświetlaną na czerwono).

Aby przetestować spójność DALL-E 2 w tym zakresie, autorzy użyli DALL-E 2 do wygenerowania 25 syntetyzowanych obrazów kuchni – przestrzeni, która, nawet w dobrze urządzonych domach, jest zwykle wystarczająco ograniczona, aby zapewnić wiele możliwych punktów znikania dla różnych obiektów i tekstur.

Badając dane wyjściowe z polecenia ‘zdjęcie kuchni z kafelkami’, naukowcy odkryli, że pomimo ogólnie przekonywującej reprezentacji w każdym przypadku (poza pewnymi dziwnymi, mniejszymi artefaktami niezwiązanymi z perspektywą), obiekty przedstawione nigdy nie wydają się zbiegać się poprawnie.

Autorzy zauważają, że chociaż każdy zestaw prostych linii z wzoru płytek jest spójny i przecina się w jednym punkcie znikania (niebieskim na poniższym obrazie), punkt znikania dla blatu (cyjanowy) nie zgadza się z linią znikania (czerwoną) i punktem znikania pochodzącym z płytek.

Autorzy obserwują, że nawet gdyby blat nie był równoległy do płytek, punkt znikania cyjanowy powinien rozwiązać się w (czerwonej) linii znikania określonej przez punkty znikania płytek podłogowych.

W artykule stwierdza się:

‘Chociaż perspektywa w tych obrazach jest – imponująco – lokalnie spójna, nie jest globalnie spójna. Ten sam wzorzec został znaleziony w każdym z 25 syntetyzowanych obrazów kuchni.’

Cieniowe badanie sądowe

Jak każdy, kto kiedykolwiek miał do czynienia z ray-tracingiem, wie, cienie również mają potencjalne punkty znikania, wskazujące na jednorodne lub wielorodne źródło oświetlenia. Dla zewnętrznych cieni w ostrym świetle słonecznym można oczekiwać, że cienie na wszystkich płaszczyznach obrazu będą rozwiązywać się spójnie w jednym źródle światła (słońcu).

Podobnie jak w poprzednim eksperymencie, naukowcy utworzyli 25 obrazów DALL-E 2 z poleceniem ‘trzy sześciany na chodniku sfotografowane w słoneczny dzień’, a także 25 z poleceniem ‘‘trzy sześciany na chodniku sfotografowane w pochmurny dzień’.

W górnym rzędzie, obrazy utworzone z polecenia badaczy ‘trzy sześciany na chodniku sfotografowane w pochmurny dzień’; w dolnym rzędzie, obrazy utworzone z polecenia ‘trzy sześciany na chodniku sfotografowane w słoneczny dzień’.

Naukowcy zauważają, że przy przedstawianiu pochmurnych warunków, DALL-E 2 jest w stanie renderować bardziej rozproszone związane cienie w przekonywujący i prawdopodobny sposób, być może nie tylko dlatego, że ten typ cienia jest bardziej powszechny w zestawie danych obrazów, na których została wyszkolona ramka.

Jednak niektóre z “słonecznych” zdjęć, autorzy odkryli, były niespójne z sceną oświetloną przez jednorodne źródło światła.

Dla powyższego obrazu, generacje zostały przekonwertowane na odcień szarości dla wyjaśnienia, i pokazują każdy obiekt z własnym dedykowanym “słońcem”.

Chociaż przeciętny widz może nie zauważyć takich anomalii, niektóre z wygenerowanych obrazów miały bardziej manifestacyjne przykłady “awarii cienia”:

Odbicia w DALL-E 2

Najbardziej kompromitujące wyniki pod względem badania sądowego pojawiły się, gdy autorzy przetestowali możliwość DALL-E 2 do tworzenia wysoko odbijających się powierzchni, co jest również uciążliwym obliczeniem w ray-tracingu i innych tradycyjnych algorytmach renderowania.

Dla tego eksperymentu, autorzy wygenerowali 25 obrazów DALL-E 2 z poleceniem ‘zdjęcie zabawki dinozaura i jego odbicia w lustrze’

We wszystkich przypadkach, autorzy zgłaszają, że odbicie lustrzane wyrenderowanego dinozaura było w jakiś sposób odłączone od aspektu i położenia “rzeczywistego” dinozaura. Autorzy stwierdzają, że problem był odporny na zmiany w tekście polecenia i wydaje się być podstawową słabością systemu.

Wygląda na to, że istnieje logika w niektórych błędach – pierwszy i trzeci przykład w górnym rzędzie wydają się pokazywać dinozaura, który jest doskonale skopiowany, ale nie odbity.

Autorzy komentują:

‘W przeciwieństwie do cieni i struktur geometrycznych w poprzednich sekcjach, DALL·E-2 ma trudności z syntetyzowaniem wiarygodnych odbić, prawdopodobnie dlatego, że takie odbicia są mniej powszechne w zestawie danych szkoleniowych.’

Błędy takie mogą zostać usunięte w przyszłych modelach tekstowych, które będą w stanie skuteczniej przeglądać ogólną logikę semantyczną swoich danych wyjściowych i które będą w stanie narzucić abstrakcyjne reguły fizyczne na sceny, które zostały złożone z cech istotnych dla słów w przestrzeni latentnej systemu.

W świetle rosnącego trendu w kierunku coraz większych architektur syntezowania, autorzy kończą:

‘Może to być tylko kwestia czasu, zanim silniki syntezowania obrazu na podstawie tekstu nauczą się renderować obrazy z pełną spójnością perspektywy. Do tego czasu jednak, geometryczne badanie sądowe może okazać się przydatne w analizie tych obrazów.’

* Moja konwersja cytatów wstawianych przez autorów na łącza.

Pierwotnie opublikowane 30 czerwca 2022.