Modele i platformy AI
Wysokiej precyzji edycja semantyczna obrazów z EditGAN
Kluczowe punktyEditGAN umożliwia edycję obrazów na poziomie pikseli poprzez modyfikację masek…
Zobacz więcej
- EditGAN umożliwia edycję obrazów na poziomie pikseli poprzez modyfikację masek segmentacji w przestrzeni latentnej GAN-a.
- Model uczy się wielokrotnie użytkowych wektorów edycji z minimalnej ilości oznaczonych danych, co pozwala na szybkie zastosowanie w czasie rzeczywistym.
- Osiąga bezprecedensową precyzję w zadaniach takich jak zmiana wzoru szprych w kole czy rozszerzanie źrenic.
Generatywne sieci przeciwstawne (GAN) znajdują nowe zastosowania w edycji obrazów. EditGAN to metoda precyzyjnej edycji semantycznej, która ma zachowywać wysoką jakość obrazu. W tym artykule wyjaśniamy jej działanie i znaczenie.
Dlaczego EditGAN?
Tradycyjne GAN przyczyniły się do rozwoju edycji obrazów, ale budowa systemu od podstaw wiąże się z problemami: potrzeba wielu danych z adnotacjami segmentacji semantycznej, kontrola bywa ograniczona do ogólnych cech, a działania często polegają jedynie na interpolacji między obrazami. Ograniczona efektywność utrudnia szerokie wdrożenia. Źródło podaje, że NVIDIA (NVDA ) przedstawiła EditGAN w 2022 roku.
EditGAN pozwala na edycję obrazów przez zmianę szczegółowych masek segmentacji. Wspólnie modeluje obrazy i ich segmentację, dzięki czemu wymaga niewielu oznaczonych przykładów. Obraz jest osadzany w przestrzeni ukrytej GAN, a kod ukryty podlega optymalizacji warunkowej zgodnej ze zmienioną maską.
Aby rozłożyć koszt optymalizacji na wiele zastosowań, system uczy się „wektorów edycji”. Może nauczyć się wielu takich kierunków i szybko stosować je do innych obrazów. Wyniki eksperymentów wskazują na możliwość zmiany bardzo drobnych szczegółów przy zachowaniu jakości.
Podkreślane zalety to:
- Bardzo precyzyjna edycja.
- Niewielka liczba oznaczonych przykładów.
- Interaktywne działanie w czasie rzeczywistym z użyciem wektorów.
- Łączenie kilku zmian jednocześnie.
- Praca z obrazami wygenerowanymi przez GAN, osadzonymi zdjęciami i niektórymi obrazami spoza domeny.
Precyzyjna edycja semantyczna z EditGAN
Głównym generatorem obrazów jest StyleGAN2. Przekształca kody ukryte próbkowane z wielowymiarowego rozkładu normalnego w realistyczne obrazy. Ten głęboki model generatywny służy do syntezy obrazów wysokiej jakości i stanowi podstawę uczenia ich struktury semantycznej.
Trening i wnioskowanie segmentacji
EditGAN osadza obrazy w przestrzeni ukrytej, łącząc enkoder z optymalizacją. Enkoder uczy się na obrazach GAN i danych rzeczywistych z użyciem pikselowej straty rekonstrukcji L2 oraz LPIPS. Dla próbek z GAN stosuje się także bezpośrednią regularyzację przy wykorzystaniu kodów ukrytych.
Obrazy z adnotacjami segmentacji zostają następnie osadzone w tej przestrzeni. Gałąź segmentacji generatora jest trenowana za pomocą funkcji straty entropii krzyżowej.
Odkrywanie semantyki przestrzeni ukrytej przez edycję segmentacji
Celem jest wykorzystanie wspólnego rozkładu obrazów i segmentacji do precyzyjnej edycji. Dla obrazu x system wykonuje osadzenie lub korzysta z próbki wygenerowanej przez model. Gałąź segmentacji tworzy maskę y. Obraz RGB i maska współdzielą kod ukryty w, więc użytkownik może ręcznie zmienić maskę w narzędziu do oznaczania lub cyfrowego malowania.

Sposoby edycji podczas wnioskowania
Wektory uzyskane przez optymalizację mają znaczenie semantyczne i często pozwalają oddzielnie sterować cechami. Nowy obraz można osadzić i zastosować wcześniej nauczoną zmianę bez pełnej optymalizacji od początku, rozkładając koszt obliczeń na wiele obrazów.
Rozdzielenie cech nie jest jednak doskonałe. Wektor zastosowany do innego obrazu może zmieniać niepożądane obszary. Kilka dodatkowych kroków optymalizacji w czasie testu może usunąć takie artefakty. Dostępne są trzy tryby:
- Edycja w czasie rzeczywistym za pomocą wektorów: dla lokalnych, dobrze rozdzielonych zmian stosuje się wcześniej nauczone wektory z różną siłą, uzyskując interaktywną szybkość.
- Samonadzorowane dopracowanie edycji wektorowej: po zastosowaniu wektora wykonuje się dodatkowe kroki optymalizacji, aby ograniczyć wpływ na inne części obrazu.
- Edycja oparta na optymalizacji: duże lub specyficzne dla danego obrazu zmiany wymagają optymalizacji od początku, bo nie dają się bezpośrednio przenieść gotowym wektorem.
Implementacja
System oceniano na samochodach, ptakach, kotach i twarzach. Do treningu gałęzi segmentacji użyto odpowiednio 16, 30, 30 i 16 oznaczonych par obraz–maska. Przy edycji opartej wyłącznie na optymalizacji lub przy uczeniu wektorów wykonywano 100 kroków optymalizatora Adam.
Dla kotów, samochodów i twarzy użyto rzeczywistych obrazów z zestawu testowego DatasetGAN, niewykorzystanych do treningu GAN. Osadzano je za pomocą enkodera i optymalizacji. Dla ptaków pokazano edycję obrazów wygenerowanych przez GAN.
Wyniki
Wyniki jakościowe w domenie danych

Ilustracja pokazuje zastosowanie nauczonych wektorów do nowych obrazów i dopracowanie przez 30 kroków optymalizacji. Zmiany we wszystkich klasach są dobrze oddzielone od pozostałych cech i zachowują ogólną jakość. W porównaniu z innymi metodami EditGAN wykonuje złożone, precyzyjne operacje, utrzymując rozpoznawalność obiektu.
Przykłady obejmują rozszerzanie źrenic i zmianę szprych kół samochodu. Można edytować obszary wielkości kilku pikseli lub wprowadzać duże modyfikacje. Niektóre wyniki różnią się od obrazów występujących w danych treningowych GAN.
Wyniki poza domeną
Test MetFaces wykorzystuje wektory nauczone na rzeczywistych twarzach z domeny. Portrety spoza domeny osadza się przez 100 kroków optymalizacji, a następnie stosuje wektory z 30 krokami samonadzorowanego dopracowania.

Wyniki ilościowe
Wykorzystano benchmark dodawania uśmiechu przedstawiony przez MaskGAN: neutralne twarze zmieniano w uśmiechnięte, mierząc trzy właściwości:
- Poprawność semantyczną: wytrenowany klasyfikator uśmiechu ocenia, czy twarz po zmianie się uśmiecha.
- Jakość na poziomie rozkładu: Kernel Inception Distance (KID) i Fréchet Inception Distance (FID) oblicza się między zbiorem testowym CelebA a 400 zmodyfikowanymi obrazami.
- Zachowanie tożsamości: wytrenowana sieć ArcFace mierzy, czy edycja zachowała tożsamość osoby.

Tabela porównuje EditGAN z metodami bazowymi na benchmarku uśmiechu. Omówiono następujące podejścia:
- MaskGAN: otrzymuje zdjęcie bez uśmiechu, jego maskę i docelową maskę uśmiechu; wymaga więcej danych z adnotacjami.
- Local Editing: grupuje cechy GAN, aby edytować lokalnie, i zależy od obrazów referencyjnych.
- InterFaceGAN: również szuka wektorów w przestrzeni ukrytej, lecz potrzebuje wielu etykiet i pomocniczych klasyfikatorów cech oraz nie zapewnia tak drobnej kontroli.
- StyleGAN2Distillation: tworzy dane treningowe za pomocą modelu wektorów edycji, nie wymagając koniecznie osadzania rzeczywistych obrazów w ten sam sposób.

Ograniczenia
EditGAN dziedziczy ograniczenie GAN: może działać tylko na obrazach, które generator potrafi reprezentować. Utrudnia to wdrażanie w wielu scenariuszach. Wektory pozwalają przenosić precyzyjne zmiany na inne obrazy, ale nie znoszą tego podstawowego ograniczenia.
Podsumowanie
Ograniczona użyteczność praktyczna, duże zapotrzebowanie na oznaczone dane i nierówna efektywność lub dokładność sprawiają, że tradycyjne GAN nie stały się standardem edycji obrazów. EditGAN próbuje rozwiązać te problemy, oferując precyzyjną edycję semantyczną wysokiej jakości. Opisane wyniki przewyższają niektóre porównywane metody i wskazują na obiecujący kierunek.












