Kąt Andersona

System AI, który może upiększać zdjęcia ludzi

Martin Anderson
Dodaj Unite.AI do preferowanych źródeł w Google
Background image: DALL-E 2 'Award-winning 8K photo of the most beautiful Caucasian catwalk model in the world' - https://labs.openai.com/s/kRXusxOR5GcYyb6pqZjNH2AA
Kluczowe punktyNowy system AI wykorzystuje uczenie przez wzmacnianie do upiększania twarzy bez zmiany…
Zobacz więcej
  • Nowy system AI wykorzystuje uczenie przez wzmacnianie do upiększania twarzy bez zmiany tożsamości.
  • Oświetlenie i pozycja oczu mają większe znaczenie niż genetyka dla podniesienia algorytmicznych ocen urody.
  • System opiera się wyłącznie na ocenach urody od 60 osób znakujących z zestawu danych SCUT-FBP5500.

Naukowcy z Chin opracowali nowy system sztucznej inteligencji do poprawy jakości zdjęć, który potrafi sprawiać, że zdjęcia ludzi stają się „piękniejsze”, opierając się na nowym podejściu do uczenia ze wzmocnieniem.

Nowe podejście wykorzystuje 'sieć przewidywania piękna twarzy', aby iterować przez różne wersje zdjęcia na podstawie kilku czynników, wśród których 'oświetlenie' i ustawienie oczu mogą być kluczowymi czynnikami. Tutaj oryginalne źródła (po lewej stronie każdej kolumny) pochodzą z systemu EigenGAN, a nowe wyniki znajdują się po prawej stronie. Źródło: https://arxiv.org/pdf/2208.04517.pdf

Nowe podejście wykorzystuje ‘sieć przewidywania piękna twarzy’, aby iterować przez różne wersje zdjęcia na podstawie kilku czynników, wśród których ‘oświetlenie’ i ustawienie oczu mogą być kluczowymi czynnikami. Tutaj oryginalne źródła (po lewej stronie każdej kolumny) pochodzą z systemu EigenGAN, a nowe wyniki znajdują się po prawej stronie. Źródło: https://arxiv.org/pdf/2208.04517.pdf

Technika ta opiera się na innowacjach odkrytych dla generatora EigenGAN, innego chińskiego projektu z 2021 roku, który dokonał znaczących postępów w identyfikowaniu i uzyskaniu pewnej kontroli nad różnorodnymi atrybutami semantycznymi w przestrzeni latentnej sieci generatywno-dyskryminacyjnych (GAN).

Generator EigenGAN z 2021 roku był w stanie wyodrębnić pojęcia wysokiego poziomu, takich jak 'kolor włosów' w przestrzeni latentnej sieci generatywno-dyskryminacyjnej. Nowa praca opiera się na tym innowacyjnym instrumencie, aby dostarczyć system, który może 'upiększać' zdjęcia źródłowe, bez zmiany rozpoznawalnej tożsamości – problem w poprzednich podejściach.

Generator EigenGAN z 2021 roku był w stanie wyodrębnić pojęcia wysokiego poziomu, takich jak ‘kolor włosów’ w przestrzeni latentnej sieci generatywno-dyskryminacyjnej. Nowa praca opiera się na tym innowacyjnym instrumencie, aby dostarczyć system, który może ‘upiększać’ zdjęcia źródłowe, bez zmiany rozpoznawalnej tożsamości – problem w poprzednich podejściach. Źródło: https://arxiv.org/pdf/2104.12476.pdf

System wykorzystuje ‘sieć oceny estetyki’ pochodzącą z SCUT-FBP5500 (SCUT), referencyjnego zbioru danych z 2018 roku do przewidywania piękna twarzy z Południowo-Chińskiego Uniwersytetu Technologicznego w Guangzhou.

Z pracy z 2018 roku 'SCUT-FBP5500: Zróżnicowany zbiór danych dla wieloparadygmatycznego przewidywania piękna twarzy', który zaproponował 'sieć przewidywania piękna twarzy' (FBP) w stanie klasyfikować twarze pod względem postrzeganej atrakcyjności, ale który nie mógł rzeczywiście transformować czy 'używać' twarzy.

Z pracy z 2018 roku ‘SCUT-FBP5500: Zróżnicowany zbiór danych dla wieloparadygmatycznego przewidywania piękna twarzy’, który zaproponował ‘sieć przewidywania piękna twarzy’ (FBP) w stanie klasyfikować twarze pod względem postrzeganej atrakcyjności, ale który nie mógł rzeczywiście transformować czy ‘ulepszać’ twarzy. Źródło: https://arxiv.org/pdf/1801.06345.pdf

W przeciwieństwie do nowej pracy, projekt z 2018 roku nie może wykonywać transformacji, ale zawiera algorytmiczne oceny wartości dla 5 500 twarzy, dostarczonych przez 60 osób o mieszanej płci (50/50). Te zostały włączone do nowego systemu jako skuteczny dyskryminator, aby poinformować transformacje, które prawdopodobnie zwiększą ‘atrakcyjność’ zdjęcia.

Ciekawe, że nowy artykuł nosi tytuł Generacja pięknych twarzy kaukaskich z kontrolą atrybutów przy użyciu estetycznego sterowania uczeniem ze wzmocnieniem. Powodem, dla którego wszystkie rasy poza kaukaską są wykluczone z systemu (zwróć uwagę, że sami badacze są Chińczykami) jest to, że dane źródłowe dla SCUT są znacznie przekrzywione w kierunku azjatyckich źródeł (4000 równo podzielonych azjatyckich kobiet i mężczyzn, 1500 równo podzielonych kobiet i mężczyzn kaukaskich), co sprawia, że ‘przeciętna osoba’ w tym zbiorze danych ma brązowe włosy i brązowe oczy.

Dlatego, aby uwzględnić zmiany kolorystyczne co najmniej w jednej rasie, konieczne było wykluczenie składnika azjatyckiego z oryginalnych danych lub pójście na znaczne koszty odtworzenia danych, aby opracować metodę, która mogłaby nie powieść się. Dodatkowo, kulturowe różnice w postrzeganiu piękna nieuchronnie oznaczają, że takie systemy będą wymagać pewnego stopnia konfiguracji geograficznej w odniesieniu do tego, co stanowi ‘atrakcyjność’.

Atrybuty istotne

Aby określić główne czynniki przyczyniające się do ‘atrakcyjnego’ zdjęcia osoby, badacze również przetestowali wpływ różnych zmian na zdjęciach, w zakresie, jak dobrze takie uzupełnienia zwiększyły percepcję ‘piękna’ algorytmiczną. Stwierdzili, że co najmniej jeden z aspektów jest bardziej centralny dla dobrej fotografii niż dobrej genetyki:

Poza oświetleniem, aspekty, które miały największy wpływ na ocenę piękna, to grzywka (która, w przypadku mężczyzn, może często być równoznaczna z posiadaniem pełnej głowy włosów), pozycja ciała i kierunek spojrzenia (gdzie kontakt wzrokowy z aparatem jest impulsem do atrakcyjności).

(W odniesieniu do ‘koloru szminki’, nowy system, który może skutecznie działać zarówno na prezentacje męskie, jak i żeńskie, nie wyodrębnia wyglądu płciowego, ale raczej opiera się na nowym systemie dyskryminacji jako ‘filtrze’ w tym zakresie)

Metoda

Funkcja nagrody w mechanizmie uczenia ze wzmocnieniem w nowym systemie jest napędzana przez prostą regresję nad danymi SCUT, które generują przewidywania piękna twarzy.

System szkoleniowy iteruje nad danymi wejściowymi (dolny lewy w schemacie poniżej). Początkowo wstępnie wytrenowany model ResNet18 (wytrenowany na ImageNet) wyodrębnia cechy z pięciu identycznych (‘y’) obrazów. Następnie potencjalna transformacja jest pochodną ukrytego stanu warstwy w pełni połączonej (GRUCell, na obrazie poniżej), a transformacje są stosowane, prowadząc do pięciu zmodyfikowanych obrazów, które są wprowadzane do sieci oceny estetyki, której rankingi, w stylu Darwina, określą, które wariacje będą rozwijane, a które odrzucone.

Szeroka ilustracja przepływu pracy dla nowego systemu.

Ilustracja przepływu pracy dla nowego systemu.

Sieć oceny estetyki wykorzystuje moduł Efficient Channel Attention (ECA), podczas gdy adaptacja wstępnie wytrenowanego egzemplarza EfficientNet-B4 jest odpowiedzialna za wyodrębnienie 1792 cech z każdego obrazu.

Po normalizacji za pomocą funkcji aktywacji ReLU, uzyskuje się 4-wymiarowy wektor, który jest następnie spłaszczany do jednowymiarowego wektora po aktywacji i adaptacyjnym poolingu średnim. W końcu wyniki są wprowadzane do sieci regresji, która pobiera ocenę estetyki.

Jakościowe porównanie wyjścia systemu. W dolnym rzędzie widzimy zsumowany wynik wszystkich wyodrębnionych aspektów, które zostały zidentyfikowane przez metodę EigenGAN i następnie udoskonalone. Średnie wyniki FID dla obrazów znajdują się po lewej stronie wierszy obrazów (wyższy jest lepszy).

Jakościowe porównanie wyjścia systemu. W dolnym rzędzie widzimy zsumowany wynik wszystkich wyodrębnionych aspektów, które zostały zidentyfikowane przez metodę EigenGAN i następnie udoskonalone. Średnie wyniki FID dla obrazów znajdują się po lewej stronie wierszy obrazów (wyższy jest lepszy).

Testy i badanie użytkowników

Pięć wariantów proponowanej metody zostało ocenionych algorytmicznie (patrz obraz powyżej), z wynikami Fréchet inception distance (FID, kontrowersyjnymi w niektórych środowiskach) przypisanymi do 1000 obrazów, które zostały przetworzone przez system.

Badacze zauważają, że poprawa oświetlenia osiągnęła lepszy wynik atrakcyjności dla osób na zdjęciach niż kilka innych bardziej ‘oczywistych’ możliwych zmian (tj. zmian w rzeczywistym wyglądzie osoby na zdjęciu).

Do pewnego stopnia testowanie systemu w ten sposób jest ograniczone przez ekscentryczność danych SCUT, które nie mają wielu ‘jasnych uśmiechów’, a autorzy twierdzą, że to mogłoby nadmiernie przeceniać bardziej typowy ‘enigmatyczny’ wygląd w danych w porównaniu z prawdopodobnymi preferencjami potencjalnych użytkowników końcowych (prawdopodobnie, w tym przypadku, rynku zachodniego).

Jednakże, ponieważ cały system opiera się na średnich opiniach zaledwie 60 osób (w artykule EigenGAN), a jakość, która jest badana, jest daleka od empirycznej, można twierdzić, że procedura jest bardziej słuszna niż zbiór danych.

Chociaż jest to omówione bardzo krótko w artykule, obrazy z EigenGAN i pięciu wariantów systemu zostały również pokazane w ograniczonym badaniu użytkowników (ośmiu uczestników), którzy zostali poproszeni o wybranie ‘najlepszego obrazu’ (słowo ‘atrakcyjny’ zostało uniknięte).

Powyżej, interfejs użytkownika przedstawiony małej grupie badawczej; poniżej, wyniki.

Powyżej, interfejs użytkownika przedstawiony małej grupie badawczej; poniżej, wyniki.

Wyniki wskazują, że wyjście nowego systemu osiągnęło najwyższy wskaźnik wyboru wśród uczestników (‘MAES’ na obrazie powyżej).

(Bezcelowa?) pogoń za pięknem

Użyteczność takiego systemu jest trudna do ustalenia, pomimo tego, co wydaje się znaczącym lokalizacją wysiłku w kierunku tego w Chinach. Nowa publikacja nie przedstawia żadnego zastosowania takiego systemu.

Poprzedni artykuł EigenGAN sugeruje*, że system rozpoznawania piękna może być użyty w systemach rekomendacji syntezy makijażu twarzy, chirurgii estetycznej, upiększaniu twarzy, lub w systemach wyszukiwania obrazów opartych na zawartości.

Przykładowo, taki system mógłby być również użyty na stronach randkowych, przez użytkowników, aby ‘poprawić’ własne zdjęcia profilowe w gwarantowanie udane ujęcia, jako alternatywa dla używania przestarzałych zdjęć lub zdjęć innych osób.

Ponadto, strony randkowe same mogłyby ‘oceniać’ swoich klientów, aby utworzyć oceny i nawet ograniczone poziomy dostępu, chociaż to prawdopodobnie działałoby tylko za pomocą wykonania zdjęcia z weryfikacją obecności żywej osoby, a nie za pomocą przesłanych zdjęć (które również mogłyby być ‘poprawione’ przez klientów, gdyby podejście to stało się popularne).

W reklamie, algorytmiczna metoda oceny piękna (technologia przewidziana przez zmarłego autora science fiction Michaela Crichtona w jego filmie z 1982 roku Looker) mogłaby być użyta do wyboru niezmodyfikowanego wyjścia kreatywnego, które najprawdopodobniej zaangażuje docelową publiczność, podczas gdy możliwość rzeczywistego zwiększania estetycznego wpływu obrazów twarzy, bez nadpisania ich w stylu deepfake, mogłaby dodatkowo poprawić skuteczne już obrazy, które mają przyciągać uwagę odbiorców.

Nowa praca jest wspierana przez Narodowy Fundusz Nauki Naturalnej Chin, Otwarty Projekt Funduszu Państwowego Laboratorium Zarządzania i Kontroli Złożonych Systemów oraz Projekt Badań Filozofii i Nauk Społecznych z Ministerstwa Edukacji Chin, wśród innych wspierających.

 

* Wiele zaleceń artykułu EigenGAN wskazuje na dostępną komercyjnie książkę z 2016 roku zatytułowaną ‘Modele komputerowe do analizy piękna twarzy’, zamiast zasobów akademickich.

Pierwotnie opublikowane 11 sierpnia 2022.

Pisarz zajmujący się uczeniem maszynowym, specjalista w dziedzinie syntezy ludzkich obrazów. Były szef ds. treści badawczych w Metaphysic.ai, aż do jej rozwiązania w Brahma.ai firmy DNEG.
Strona internetowa: martinanderson.ai
Kontakt: martin@martinanderson.ai