Kodowanie obrazów w celu ochrony przed wykorzystaniem w systemach Deepfake i syntezie obrazu

Najbardziej znanym kierunkiem badań w rosnącym sektorze badań nad ochroną przed deepfake są systemy, które mogą rozpoznać artefakty lub inne cechy charakterystyczne deepfaked, syntetyzowanych lub w inny sposób sfałszowanych twarzy w treści wideo i obrazów.

Takie podejścia wykorzystują różne taktyki, w tym wykrywanie głębi, przerwanie regularności wideo, zmiany w oświetleniu monitora (w potencjalnie sfałszowanych połączeniach wideo), cechy biometryczne, obszary twarzy zewnętrznej i nawet ukryte moce ludzkiego systemu podświadomości.

Co łączy te i podobne metody, to fakt, że są one wdrożone dopiero po tym, jak centralne mechanizmy, z którymi walczą, zostały już pomyślnie przeszkolone na tysiącach lub setkach tysięcy obrazów pobranych z sieci – obrazów, z których systemy autoencoderowe mogą łatwo wywnioskować kluczowe cechy i stworzyć modele, które mogą dokładnie nałożyć fałszywą tożsamość na nagrania wideo lub syntetyzowane obrazy – nawet w czasie rzeczywistym.

Krótko mówiąc, do czasu wdrożenia tych systemów koń już uciekł.

Obrazy nieprzyjazne architekturom Deepfake/Syntezy

W drodze bardziej prewencyjnego podejścia do zagrożenia deepfake i syntezy obrazu, mniej znany kierunek badań w tym sektorze dotyczy możliwości uczynienia wszystkich tych źródłowych zdjęć nieprzyjaznymi dla systemów syntezowania obrazu AI, zwykle w sposób niezauważalny lub ledwo zauważalny.

Przykłady obejmują FakeTagger, propozycję z 2021 roku od różnych instytucji w Stanach Zjednoczonych i Azji, która koduje wiadomości w obrazach; te kodowania są odporne na proces generalizacji i mogą być później odzyskane nawet po tym, jak obrazy zostały pobrane z sieci i przeszkolone w sieci GAN (Generative Adversarial Network), takiej jak ta, która jest najbardziej znana w thispersondoesnotexist.com i jej wielu pochodnych.

FakeTagger koduje informacje, które mogą przetrwać proces generalizacji podczas szkolenia sieci GAN, umożliwiając określenie, czy konkretny obraz przyczynił się do zdolności generatywnych systemu. Źródło: https://arxiv.org/pdf/2009.09869.pdf

Dla ICCV 2021, inny międzynarodowy wysiłek również wprowadził sztuczne odciski palców dla modeli generatywnych, (patrz poniższy obraz) które ponownie produkują odzyskiwalne “odciski palców” z wyjścia sieci GAN, takiej jak StyleGAN2.

Nawet pod wpływem różnych ekstremalnych manipulacji, przycinania i zamiany twarzy, odciski palców przechodzące przez ProGAN pozostają odzyskiwalne. Źródło: https://arxiv.org/pdf/2007.08457.pdf

Inne iteracje tego pojęcia obejmują projekt z 2018 roku od IBM i cyfrowy system znakowania wodnego w tym samym roku, z Japonii.

Bardziej innowacyjnie, inicjatywa z 2021 roku z Uniwersytetu Lotnictwa i Astronautyki w Nankinie dążyła do “zaszyfrowania” obrazów szkoleniowych w taki sposób, aby szkoliły się one skutecznie tylko na autoryzowanych systemach, ale nie powiodłyby się katastrofalnie, gdyby zostały użyte jako dane wejściowe w ogólnym potoku szkolenia syntezowania obrazu.

Skutecznie wszystkie te metody mieszczą się w kategorii steganografii, ale we wszystkich przypadkach unikalna informacja identyfikująca w obrazach musi być zakodowana jako taka istotna “cecha” obrazu, że nie ma szansy, że autoencoder lub architektura GAN odrzuci takie odciski palców jako “szum” lub nieistotne dane, ale raczej zakoduje je wraz z innymi cechami twarzy.

Jednocześnie proces ten nie może być dopuszczony do zniekształcenia lub innego wpływu wizualnego na obraz tak bardzo, że jest on postrzegany przez przypadkowych obserwatorów jako wadliwy lub niskiej jakości.

TAFIM

Teraz nowy niemiecki wysiłek badawczy (z Technicznego Uniwersytetu Monachium i Sony Europe RDC Stuttgart) zaproponował technikę kodowania obrazu, w której modele deepfake lub ramy typu StyleGAN, przeszkolone na przetworzonych obrazach, produkują nieprzydatne niebieskie lub białe dane wyjściowe, odpowiednio.

Niskopoziomowe perturbacje obrazu TAFIM dotyczą kilku możliwych typów odkształceń/substytucji twarzy, zmuszając modele przeszkolone na tych obrazach do produkcji zniekształconych danych wyjściowych i jest zgłoszony przez autorów jako stosowany nawet w scenariuszach czasu rzeczywistego, takich jak strumieniowanie deepfake w czasie rzeczywistym DeepFaceLive. Źródło: https://arxiv.org/pdf/2112.09151.pdf

Artykuł, zatytułowany TAFIM: Ukierunkowane ataki adversarialne przeciwko manipulacjom obrazu twarzy, wykorzystuje sieć neuronową do zakodowania ledwo zauważalnych perturbacji w obrazach. Po tym, jak obrazy te są przeszkolone i uogólnione w architekturze syntezowania, wynikowy model produkuje zniekształcone dane wyjściowe dla danej tożsamości, jeśli użyty jest w mieszaniu stylów lub prostej zamianie twarzy.

Ponowne kodowanie sieci

Jednak w tym przypadku nie jesteśmy tu, aby badać szczegóły i architekturę najnowszej wersji tego popularnego pojęcia, ale raczej rozważyć praktyczność całej idei – szczególnie w świetle rosnącej kontrowersji dotyczącej wykorzystania publicznie dostępnych obrazów do zasilania ram syntezowania obrazu, takich jak Stable Diffusion, i późniejszych implikacji prawnych pochodzenia oprogramowania komercyjnego z treści, która może (przynajmniej w niektórych jurysdykcjach) ostatecznie okazać się chroniona przed wchłonięciem do architektur syntezowania AI.

Podejścia proaktywne, oparte na kodowaniu, takie jak opisane powyżej, nie idą bez znacznych kosztów. Przynajmniej wymagają one wprowadzenia nowych i rozszerzonych rutyn kompresji do standardowych bibliotek przetwarzania internetowego, takich jak ImageMagick, które napędzają dużą liczbę procesów uploadu, w tym wiele interfejsów uploadu mediów społecznościowych, odpowiedzialnych za konwertowanie oryginalnych obrazów użytkowników na wersje zoptymalizowane dla lekkiego udostępniania i dystrybucji sieciowej, a także za wprowadzanie transformacji, takich jak przycinanie i inne rozszerzenia.

Główne pytanie, które to podnosi, brzmi: czy taki system zostałby wdrożony “w przyszłości”, czy też miałyby miejsce szersze i retrospektywne wdrożenia, które dotyczyłyby historycznych mediów, które mogły być dostępne “niezakłócone” przez dziesięciolecia?

Platformy takie jak Netflix nie są przeciwni wydatkom na ponowne zakodowanie katalogu z nowymi kodekami, które mogą być bardziej wydajne lub mogą zapewnić korzyści użytkownikom lub dostawcom; podobnie, konwersja historycznej zawartości YouTube do kodeka H.264, apparently to accommodate Apple TV, logistycznie monumentalne zadanie, nie zostało uznane za zbyt trudne, pomimo skali.

Ironicznie, nawet jeśli duże części zawartości multimedialnej w Internecie stałyby się przedmiotem ponownego kodowania w formacie, który opiera się szkoleniu, ograniczona grupa wpływowych zbiorów danych komputerowego widzenia pozostałaby niezakłócona. Niemniej jednak systemy, które z nich korzystają jako danych wejściowych, zaczną się stopniowo pogarszać, ponieważ zawartość ze znakami wodnymi będzie przeszkadzać w procesach transformacyjnych architektur.

Konflikt polityczny

W kategoriach politycznych istnieje widoczna napięcie między determinacją rządów, aby nie pozostać w tyle w rozwoju AI, a ustępstwami wobec publicznych obaw dotyczących ad hoc wykorzystania otwarcie dostępnych treści audio, wideo i obrazów w Internecie jako obfitego zasobu dla systemów transformacyjnych AI.

Oficjalnie rządy zachodnie skłaniają się ku liberalności w odniesieniu do zdolności sektora badań komputerowego widzenia do wykorzystania publicznie dostępnych mediów, nie tylko dlatego, że niektóre z bardziej autorytarnych azjatyckich krajów mają znacznie większą swobodę w kształtowaniu swoich workflow, aby korzystać z własnych wysiłków badawczych – jeden z czynników, który sugeruje, że Chiny stają się globalnym liderem w AI.

W kwietniu 2022 roku Sąd Apelacyjny USA potwierdził, że dane internetowe są fair game dla celów badawczych, pomimo trwających protestów LinkedIn, które chcą, aby profile użytkowników były chronione przed takimi procesami.

Jeśli zatem obrazy odporne na AI nie staną się standardem systemowym, nie ma nic, co mogłoby powstrzymać niektóre z głównych źródeł danych szkoleniowych od wdrożenia takich systemów, aby ich własne dane wyjściowe stały się nieproduktywne w przestrzeni latentnej.

Kluczowym czynnikiem w takich wdrożeniach firmowych jest to, że obrazy powinny być wnętrznie odporne na szkolenie. Techniki oparte na blockchainie i ruchy takie jak Content Authenticity Initiative są bardziej zainteresowane udowodnieniem, że obrazy zostały sfałszowane lub “stylizowane”, niż zapobieganiem mechanizmom, które umożliwiają takie transformacje.

Inspekcja przypadkowa

Podczas gdy propozycje zostały przedstawione w celu wykorzystania metod blockchainowych do uwierzytelnienia pochodzenia i wyglądu źródłowego obrazu, który może zostać później wchłonięty do zestawu danych szkoleniowych, to nie zapobiega samemu procesowi szkolenia obrazów, ani nie zapewnia sposobu udowodnienia, z danych wyjściowych takich systemów, że obrazy zostały uwzględnione w zestawie danych szkoleniowych.

W podejściu opartym na znakowaniu wodnym do wykluczania obrazów ze szkolenia, ważne byłoby nie polegać na tym, że źródłowe obrazy wpływowego zestawu danych są publicznie dostępne do inspekcji. W odpowiedzi na protesty artystów dotyczące liberalnego wchłonięcia ich prac przez Stable Diffusion, strona haveibeentrained.com pozwala użytkownikom przesłać obrazy i sprawdzić, czy prawdopodobnie zostały one uwzględnione w zestawie danych LAION5B, który napędza Stable Diffusion:

‘Lenna’, dosłownie dziewczyna z plakatu badań komputerowego widzenia do niedawna, jest na pewno jednym z contributorów do Stable Diffusion. Źródło: https://haveibeentrained.com/

Niemniej jednak prawie wszystkie tradycyjne zestawy danych deepfake są pobierane w sposób przypadkowy z wideo i obrazów z Internetu do niepublicznych baz danych, gdzie tylko jakiś rodzaj neurally-resistant watermarking mógłby ewentualnie ujawnić użycie konkretnych obrazów do stworzenia pochodnych obrazów i wideo.

Dalej, użytkownicy Stable Diffusion zaczynają dodawać zawartość – albo przez fine-tuning (kontynuowanie szkolenia oficjalnego punktu kontrolnego z dodatkowymi parami obrazu i tekstu), albo przez Textual Inversion, który dodaje jeden konkretny element lub osobę – która nie pojawi się w żadnym przeszukaniu wśród miliardów obrazów LAION.

Wbudowywanie znaków wodnych w źródle

Jeszcze bardziej ekstremalnym potencjalnym zastosowaniem znakowania wodnego źródłowego obrazu jest włączenie ukrytej i niezauważalnej informacji do surowych danych wideo lub obrazu, komercyjnych aparatów.

Jedna implementacja, przedstawiona w wniosku patentowym z końca lat 90., proponowała użycie transformacji cosinusoidalnej do wbudowania steganograficznych “podobrazów” w wideo i obrazy, sugerując, że rutyna ta mogłaby być “wbudowana jako wbudowana funkcja dla urządzeń rejestrujących cyfrowo, takich jak aparaty i kamery wideo”.

W wniosku patentowym z końca lat 90. Lenna została wyposażona w okultystyczne znaki wodne, które mogą być odzyskane w razie potrzeby. Źródło: https://www.freepatentsonline.com/6983057.pdf

Mniej wyrafinowane podejście polega na nałożeniu wyraźnie widocznych znaków wodnych na obrazy na poziomie urządzenia – funkcja, która jest nieatrakcyjna dla większości użytkowników i zbędna w przypadku artystów i profesjonalistów medialnych, którzy są w stanie chronić dane źródłowe i dodać takie znaki lub ograniczenia, jakimi dysponują (nie tylko firmy ze zdjęć).

Chociaż co najmniej jeden aparat obecnie pozwala na opcjonalne nałożenie znaku wodnego z logo, które mogłoby sygnalizować nieautoryzowane użycie w pochodnym modelu AI, usunięcie logo za pomocą AI staje się bardzo trywialne i nawet swobodnie komercjalizowane.

Pierwotnie opublikowane 25 września 2022.