Wykorzystanie ludzkiej uwagi może poprawić AI-generowane obrazy

Nowe badania z Chin zaproponowały metodę poprawy jakości obrazów generowanych przez Latent Diffusion Models (LDM) takich jak Stable Diffusion.

Metoda ta koncentruje się na optymalizacji istotnych obszarów obrazu – obszarów, które najprawdopodobniej przyciągną uwagę ludzką.

Nowe badania wykazały, że mapy saliency (czwarta kolumna od lewej) mogą być wykorzystywane jako filtr, lub ‘maska’, do kierowania locus uwagi w procesach denoisingu w kierunku obszarów obrazu, które ludzie najprawdopodobniej zwrócą uwagę. Źródło: https://arxiv.org/pdf/2410.10257

Tradycyjne metody optymalizują cały obraz jednolicie, podczas gdy nowy podejście wykorzystuje detektor saliency do identyfikacji i priorytetowego traktowania bardziej “ważnych” obszarów, tak jak ludzie.

W testach ilościowych i jakościowych, metoda badaczy była w stanie przewyższyć poprzednie modele oparte na dyfuzji, zarówno pod względem jakości obrazu, jak i wierności tekstowym podpowiedziom.

Nowy podejście również uzyskało najlepsze wyniki w teście percepcji ludzkiej z 100 uczestnikami.

Selekcja naturalna

Saliency, czyli zdolność do priorytetowego traktowania informacji w świecie rzeczywistym i w obrazach, jest niezbędną częścią ludzkiego widzenia.

Prosty przykład tego jest zwiększona uwaga do szczegółów, którą klasyczne sztuki przykładają do ważnych obszarów obrazu, takich jak twarz w portrecie, lub maszt statku w morskim temacie; w takich przykładach, uwaga artysty koncentruje się na głównym temacie, co oznacza, że ogólne szczegóły, takie jak tło portretu lub odległe fale burzy, są mniej szczegółowe i bardziej ogólne niż szczegółowe.

W oparciu o badania ludzkie, metody uczenia maszynowego powstały w ciągu ostatniej dekady, które mogą odtworzyć lub przynajmniej przybliżyć ludzki locus zainteresowania w dowolnym obrazie.

Segmentacja obiektów (segmentacja semantyczna) może być pomocna w indywidualizowaniu aspektów obrazu i tworzeniu odpowiednich map saliency. Źródło: https://arxiv.org/pdf/1312.6034

W literaturze badawczej, najpopularniejszym detektorem map saliency w ciągu ostatnich pięciu lat była inicjatywa Gradient-weighted Class Activation Mapping (Grad-CAM) z 2016 roku, która później ewoluowała w ulepszoną Grad-CAM++ system, oraz inne warianty i udoskonalenia.

Grad-CAM wykorzystuje gradient aktywacji tokena semantycznego (takiego jak “pies” lub “kot”) do wygenerowania wizualnej mapy, gdzie pojęcie lub adnotacja wydaje się prawdopodobnie reprezentowane w obrazie.

Przykłady z oryginalnego artykułu Grad-CAM. W drugiej kolumnie, guided backpropagation indywidualizuje wszystkie przyczyniające się cechy. W trzeciej kolumnie, mapy semantyczne są rysowane dla dwóch pojęć ‘pies’ i ‘kot’. Czwarta kolumna reprezentuje połączenie poprzednich dwóch inferencji. Piąta, mapa okluzji (maskowania) odpowiadająca inferencji; i wreszcie, w szóstej kolumnie, Grad-CAM wizualizuje warstwę ResNet-18. Source: https://arxiv.org/pdf/1610.02391

Ankiety ludzkie na temat wyników uzyskanych przez te metody ujawniły korelację między tymi matematycznymi indywidualizacjami punktów zainteresowania w obrazie a uwagą ludzką (podczas skanowania obrazu).

SGOOL

Nowy artykuł rozważa, co saliency może przynieść systemom tekst-do-obrazu (i potencjalnie tekst-do-wideo) takim jak Stable Diffusion i Flux.

Podczas interpretacji podpowiedzi użytkownika, modele dyfuzji latentnej eksplorują ich przeszkolone przestrzeń latentną w poszukiwaniu nauczonych pojęć wizualnych, które odpowiadają słowom lub frazom używanym. Następnie parsują te znalezione punkty danych za pomocą procesu denoisingu, gdzie losowy szum jest stopniowo ewoluowany w kreatywną interpretację podpowiedzi użytkownika.

W tym momencie jednak model przydziela równą uwagę każdej części obrazu. Od czasu popularizacji modeli dyfuzji w 2022 roku, z uruchomieniem Dall-E image generatorów przez OpenAI i późniejszym udostępnieniem frameworku Stable Diffusion przez Stability.ai, użytkownicy stwierdzili, że “istotne” sekcje obrazu są często niedostatecznie obsłużone.

Uwzględniając, że w typowym przedstawieniu człowieka, twarz (która jest maksymalnie ważna dla widza) zajmuje prawdopodobnie nie więcej niż 10-35% całego obrazu, ta demokratyczna metoda rozdziału uwagi działa przeciwko naturze ludzkiej percepcji i historii sztuki i fotografii.

Gdy guziki na spodniach osoby otrzymują tyle samo obliczeniowej mocy, co ich oczy, alokacja zasobów może być uznana za nieoptymalną.

Dlatego nowa metoda zaproponowana przez autorów, zatytułowana Optymalizacja dyfuzji latentnej z wykorzystaniem saliency (SGOOL), wykorzystuje detektor saliency do zwiększenia uwagi na zaniedbane obszary obrazu, poświęcając mniej zasobów sekcjom, które prawdopodobnie pozostaną na peryferiach uwagi widza.

Metoda

Potok SGOOL obejmuje generowanie obrazu, mapowanie saliency i optymalizację, z ogólnym obrazem i obrazem optymalizowanym za pomocą saliency przetwarzanym łącznie.

Schemat koncepcyjny dla SGOOL.

Wkładniowe latentne modelu dyfuzji są optymalizowane bezpośrednio z dostosowaniem, usuwając potrzebę szkolenia specjalnego modelu. Metoda Denoising Diffusion Implicit Model (DDIM) z Uniwersytetu Stanforda, znana użytkownikom Stable Diffusion, jest dostosowywana do uwzględnienia dodatkowych informacji dostarczonych przez mapy saliency.

Artykuł stwierdza:

‘Po raz pierwszy zastosowaliśmy detektor saliency, aby naśladować ludzki system uwagi i oznaczyć obszary istotne. Aby uniknąć ponownego szkolenia dodatkowego modelu, nasza metoda optymalizuje bezpośrednio latentne dyfuzji.

‘Ponadto, SGOOL wykorzystuje proces dyfuzji odwracalny i nadaje mu zalety stałej implementacji pamięci. Dlatego nasza metoda staje się efektywną i “plug-and-play” metodą dostosowywania. Przeprowadzono obszerne eksperymenty z kilkoma metrykami i oceną ludzką.’

Ponieważ ta metoda wymaga wielu iteracji procesu denoisingu, autorzy przyjęli ramę Direct Optimization Of Diffusion Latents (DOODL), która zapewnia odwracalny proces dyfuzji – chociaż nadal stosuje uwagę do całości obrazu.

Aby zdefiniować obszary zainteresowania ludzkiego, badacze zastosowali framework TransalNet z 2022 roku.

Przykłady wykrywania saliency z projektu TransalNet z 2022 roku. Źródło: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

Obszary istotne przetworzone przez TransalNet zostały następnie obcięte w celu wygenerowania ostatecznych sekcji saliency, które najprawdopodobniej będą interesować ludzi.

Różnica między podpowiedzią użytkownika a obrazem musi być brana pod uwagę, w celu zdefiniowania funkcji straty, która może określić, czy proces działa. W tym celu zastosowano wersję Contrastive Language–Image Pre-training (CLIP) – obecnie podstawę sektora syntez obrazu – wraz z uwzględnieniem oszacowanej odległości semantycznej między podpowiedzią a wyjściem obrazu globalnym (nie-saliency).

Autorzy twierdzą:

‘[Ostateczna funkcja straty] dotyczy relacji między częściami saliency a obrazem globalnym jednocześnie, co pomaga równoważyć szczegóły lokalne i spójność globalną w procesie generowania.

‘Ta świadoma saliency straty jest wykorzystywana do optymalizacji latentu obrazu. Gradients są obliczane na noised [latent] i wykorzystywane do wzmocnienia efektu warunkowego wejściowej podpowiedzi na obie strony: saliency i globalne aspekty oryginalnego obrazu generowanego.’

Dane i testy

Aby przetestować SGOOL, autorzy zastosowali “czystą” dystrybucję Stable Diffusion V1.4 (oznaczoną jako “SD” w wynikach testowych) i Stable Diffusion z guidance CLIP (oznaczoną jako “baseline” w wynikach).

System został oceniony wobec trzech publicznych zbiorów danych: CommonSyntacticProcesses (CSP), DrawBench i DailyDallE*.

Ostatni z nich zawiera 99 szczegółowych podpowiedzi od artysty, który został przedstawiony w jednym z blogowych postów OpenAI, podczas gdy DrawBench oferuje 200 podpowiedzi w 11 kategoriach. CSP składa się z 52 podpowiedzi opartych na ośmiu różnych przypadkach gramatycznych.

Dla SD, baseline i SGOOL, w testach, model CLIP został zastosowany zamiast ViT/B-32 do generowania obrazu i tekstowych wektorów. Ta sama podpowiedź i losowy seed zostały zastosowane. Rozmiar wyjściowy wynosił 256×256, a domyślne wagi i ustawienia TransalNet zostały zastosowane.

Ponadto, oprócz metryki CLIP, zastosowano oszacowaną Ludzką Oceny Preferencji (HPS), a także badanie z udziałem 100 uczestników.

Wyniki ilościowe porównujące SGOOL z poprzednimi konfiguracjami.

W odniesieniu do wyników ilościowych przedstawionych w powyższej tabeli, artykuł stwierdza:

‘Nasza metoda znacząco przewyższa SD i Baseline we wszystkich zbiorach danych, zarówno pod względem metryki CLIP, jak i HPS. Średnie wyniki naszej metody pod względem metryki CLIP i HPS są odpowiednio 3,05 i 0,0029 wyższe niż wyniki drugiego miejsca.’

Autorzy dalej oszacowali wykresy pudełkowe HPS i CLIP w odniesieniu do poprzednich podejść:

Wykresy pudełkowe HPS i CLIP uzyskane w testach.

Stwierdzają:

‘Widać, że nasza metoda przewyższa inne metody, co wskazuje, że nasza metoda jest bardziej zdolna do generowania obrazów zgodnych z podpowiedziami.

‘Jednak w wykresie pudełkowym nie jest łatwo wizualizować porównanie z powodu rozmiaru tej metryki oceny [0, 1]. Dlatego przechodzimy do wykresów słupkowych.

‘Widać, że SGOOL przewyższa SD i Baseline we wszystkich zbiorach danych, zarówno pod względem metryki CLIP, jak i HPS. Wyniki ilościowe dowodzą, że nasza metoda może generować obrazy bardziej spójne semantycznie i preferowane przez ludzi.’

Badacze zauważają, że chociaż model bazowy jest w stanie poprawić jakość obrazu, nie uwzględnia on istotnych obszarów obrazu. Twierdzą, że SGOOL, dochodząc do kompromisu między oceną globalną a saliency, uzyskuje lepsze obrazy.

W porównaniach jakościowych (zautomatyzowanych), liczba optymalizacji została ustalona na 50 dla SGOOL i DOODL.

Wyniki jakościowe testów. Proszę odnosić się do oryginalnego artykułu dla lepszej definicji.

Tu autorzy zauważają:

‘W pierwszym wierszu, tematy podpowiedzi to “kot śpiewający” i “kwartet barbershop”. W obrazie wygenerowanym przez SD są cztery koty, a zawartość obrazu jest słabo dopasowana do podpowiedzi.

‘Kot jest zignorowany w obrazie wygenerowanym przez Baseline, a brakuje szczegółów w przedstawieniu twarzy i szczegółów w obrazie. DOODL próbuje wygenerować obraz zgodny z podpowiedzią.

‘Jednak ponieważ DOODL optymalizuje obraz globalny bezpośrednio, osoby w obrazie są optymalizowane w kierunku kota.’

Zauważają dalej, że SGOOL, w przeciwieństwie do tego, generuje obrazy, które są bardziej zgodne z oryginalną podpowiedzią.

W teście percepcji ludzkiej, 100 wolontariuszy oceniło obrazy testowe pod względem jakości i spójności semantycznej (tj. jak ściśle przypominały one oryginalne podpowiedzi tekstowe). Uczestnicy mieli nieograniczony czas na dokonanie swoich wyborów.

Wyniki testu percepcji ludzkiej.

Jak stwierdza artykuł, metoda autorów jest znacząco preferowana w porównaniu z poprzednimi podejściami.

Wnioski

Niedługo po tym, jak niedociągnięcia omówione w tym artykule stały się widoczne w lokalnych instalacjach Stable Diffusion, różne metody dostosowawcze (takie jak After Detailer) pojawiły się, aby zmusić system do zwrócenia większej uwagi na obszary, które były bardziej interesujące dla ludzi.

Jednak tego rodzaju podejście wymaga, aby system najpierw przeszedł przez swój normalny proces przydzielania równego uwagi każdej części obrazu, z zwiększoną pracą wykonywaną jako dodatkowy etap.

Dowody z SGOOL sugerują, że zastosowanie podstawowej psychologii ludzkiej do priorytetowego traktowania sekcji obrazu może znacznie poprawić wstępną inferencję, bez etapów przetwarzania.

* Artykuł podaje ten sam link, co CommonSyntacticProcesses.

Opublikowany po raz pierwszy w środę, 16 października 2024