Zdegradowane twarze syntetyczne mogą pomóc w poprawie rozpoznawania twarzy

Badacze z Uniwersytetu Stanu Michigan opracowali sposób, aby twarze syntetyczne mogły zrobić przerwę od sceny deepfake i zrobić coś pożytecznego na świecie – pomóc systemom rozpoznawania obrazu, aby stały się bardziej dokładne.

Nowy moduł syntezowania twarzy (CFSM), który opracowali, jest w stanie regenerować twarze w stylu prawdziwych nagrań wideo, zamiast polegać na jednolicie wyższej jakości obrazach używanych w popularnych otwartych zbiorach danych celebrytów, które nie odzwierciedlają wszystkich wad i niedoskonałości prawdziwych systemów CCTV, takich jak rozmycie twarzy, niska rozdzielczość i szum czujnika – czynniki, które mogą wpływać na dokładność rozpoznawania.

Konceptualna architektura modułu syntezowania twarzy (CFSM). Źródło: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022.pdf

CFSM nie jest przeznaczony specjalnie do symulowania autentycznych pozycji głowy, wyrazów twarzy lub innych cech, które są celem systemów deepfake, ale raczej do generowania szeregu alternatywnych widoków w stylu systemu rozpoznawania, przy użyciu przenoszenia stylu.

System jest zaprojektowany tak, aby naśladować styl domeny systemu docelowego i dostosowywać swój wyjście zgodnie z rozdzielczością i zakresem “ekscentryczności” w nim. Przypadek użycia obejmuje systemy starsze, które nie są prawdopodobnie modernizowane z powodu kosztów, ale które obecnie mogą przyczyniać się niewiele do nowej generacji technologii rozpoznawania twarzy, ze względu na słną jakość wyjścia, która kiedyś była na wysokim poziomie.

Testując system, badacze stwierdzili, że osiągnął on znaczne korzyści w systemach rozpoznawania obrazu, które muszą radzić sobie z tym rodzajem szumu i niskiej jakości danych.

Trening modeli rozpoznawania twarzy, aby dostosować się do ograniczeń systemów docelowych. Źródło: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022_supp.pdf

Stwierdzili również użyteczny produkt uboczny procesu – że zestawy danych docelowych mogą teraz być charakteryzowane i porównywane ze sobą, co ułatwia porównywanie, benchmarking i generowanie zestawów danych na zamówienie dla różnych systemów CCTV w przyszłości.

Dalej, metoda ta może być stosowana do istniejących zestawów danych, wykonując de facto adaptację domeny i sprawiając, że stają się one bardziej odpowiednie dla systemów rozpoznawania twarzy.

Nowy artykuł nosi tytuł Kontrolowany i kierowany syntezator twarzy do nieograniczonego rozpoznawania twarzy, jest wspierany częściowo przez amerykański Urząd Dyrektora Wywiadu Narodowego (ODNI, w IARPA), i pochodzi od czterech badaczy z Wydziału Informatyki i Inżynierii na MSU.

Zawartość wyróżniona

Niskiej jakości rozpoznawanie twarzy (LQFR) stało się znaczącym obszarem badań w ciągu ostatnich kilku lat. Ponieważ władze miejskie i komunalne zbudowały systemy nadzoru wideo, aby były odporne i długotrwałe (nie chcąc ponownie przydzielać zasobów do tego problemu), wiele “starszych” systemów nadzoru stało się ofiarami długu technologicznego, jeśli chodzi o ich dostosowanie jako źródeł danych dla uczenia maszynowego.

Różne poziomy rozdzielczości twarzy w różnych historycznych i nowszych systemach nadzoru wideo. Źródło: https://arxiv.org/pdf/1805.11519.pdf

Niezmiernie szczęśliwie, jest to zadanie, do którego modele dyfuzyjne i inne modele oparte na szumie są niezwykle dobrze przystosowane. Wiele z najpopularniejszych i najskuteczniejszych systemów syntezowania obrazu w ostatnich latach wykonuje upsampling niskiej rozdzielczości obrazów jako część swojego potoku, podczas gdy jest to również absolutnie niezbędne do technik kompresji neuralnej (metod zapisywania obrazów i filmów jako danych neuralnych zamiast danych bitmapowych).

Część wyzwania rozpoznawania twarzy polega na uzyskaniu maksymalnej możliwej dokładności z minimalnej liczby cech, które mogą być wyodrębnione z najmniejszych i najmniej obiecujących niskiej rozdzielczości obrazów. To ograniczenie istnieje nie tylko dlatego, że jest użyteczne móc identyfikować (lub tworzyć) twarz w niskiej rozdzielczości, ale także z powodu ograniczeń technicznych dotyczących rozmiaru obrazów, które mogą przechodzić przez powstający latent space modelu, który jest trenowany w dostępnym VRAM na lokalnej karcie graficznej.

W tym sensie, termin “cechy” jest mylący, ponieważ takie cechy mogą być również uzyskane z zestawu danych o ławkach parkowych. W sektorze widzenia komputerowego “cechy” odnoszą się do wyróżniających cech uzyskanych z obrazów – każdych obrazów, niezależnie od tego, czy są to linie kościoła, góry, czy rozłożenie cech twarzy w zestawie danych twarzy.

Ponieważ algorytmy widzenia komputerowego są teraz zdolne do upsamplowania obrazów i nagrań wideo, różne metody zostały zaproponowane, aby “poprawić” niskiej rozdzielczości lub w inny sposób zdegradowane materiały nadzoru, do punktu, w którym mogą być używane do celów prawnych, takich jak umieszczenie osoby w miejscu związku z dochodzeniem w sprawie przestępstwa.

Oprócz możliwości pomyłki, która okazjonalnie przyciąga nagłówki, w teorii nie powinno być konieczne hiper-rozdzielczości lub w inny sposób transformacji niskiej rozdzielczości nagrań, aby dokonać pozytywnej identyfikacji osoby, ponieważ system rozpoznawania twarzy powinien kluczyć w niskopoziomowych cechach i nie potrzebuje tego poziomu rozdzielczości i klarowności. Ponadto, takie transformacje są kosztowne w praktyce i podnoszą dodatkowe, powtarzające się pytania dotyczące ich potencjalnej ważności i legalności.

Potrzeba więcej “zdegradowanych” celebrytów

Byłoby bardziej użyteczne, gdyby system rozpoznawania twarzy mógł wyodrębnić cechy (tj. cechy uczenia maszynowego ludzkich cech) z wyjścia starszych systemów, takimi, jakimi są, poprzez lepsze zrozumienie relacji między “wysoką rozdzielczością” a zdegradowanymi obrazami, które są dostępne w niezmiennych (i często niezastąpionych) istniejących ramach nadzoru wideo.

Problem polega na tym, że powszechnie zebrane zestawy danych, takie jak MS-Celeb-1M i WebFace260M (wśród kilku innych), zostały przyjęte przez społeczność badawczą, ponieważ zapewniają spójne punkty odniesienia, z którymi badacze mogą mierzyć swój postęp w stosunku do stanu sztuki.

Przykłady z popularnego zestawu danych MS-Celeb1m. Źródło: https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

Jednak autorzy twierdzą, że algorytmy rozpoznawania twarzy (FR) trenowane na tych zestawach danych są nieodpowiednie dla wizualnych “domen” wyjścia wielu starszych systemów nadzoru.

Artykuł stwierdza*:

‘[Stan sztuki] (SoTA) modele FR nie działają dobrze na rzeczywistych obrazach nadzoru (nieograniczonych) z powodu problemu przesunięcia domeny, tj. duże zestawy danych treningowych (pół-ograniczonych) uzyskanych za pomocą przeszukiwania internetu twarzy celebrytów brakuje wariantów w środowisku, takich jak wewnętrzny szum czujnika, niska rozdzielczość, rozmycie ruchu, efekt turbulencji itp.

‘Na przykład, dokładność weryfikacji 1:1 zgłoszona przez jeden z modeli SoTA na nieograniczonym zestawie danych IJB-S jest o 30% niższa niż na pół-ograniczonym zestawie danych LFW.

‘Potencjalnym rozwiązaniem takiej luki w wydajności jest zestawienie dużego, nieograniczonego zestawu danych twarzy. Jednakże, budowanie takiego zestawu danych treningowych z dziesiątkami tysięcy obiektów jest niezwykle trudne z powodu wysokich kosztów ręcznego oznaczania.’

Artykuł opisuje różne poprzednie metody, które próbowały “dopasować” różnorodne typy wyjścia ze starszych lub tanich systemów nadzoru, ale zauważa, że te metody dotyczyły “ślepej” augmentacji. W przeciwieństwie do tego, CFSM otrzymuje bezpośrednią informację zwrotną z rzeczywistego wyjścia systemu docelowego podczas treningu i dostosowuje się za pomocą przenoszenia stylu, aby naśladować tę domenę.

Aktorka Natalie Portman, nieobca garstce zestawów danych, które dominują w społeczności widzenia komputerowego, pojawia się wśród tożsamości w tym przykładzie CFSM, wykonującym dopasowanie stylu do domeny rzeczywistego modelu docelowego.

Architektura opracowana przez autorów wykorzystuje szybką metodę znaku gradientu (FGSM) do indywidualizacji i “importu” uzyskanych stylów i cech z prawdziwego wyjścia systemu docelowego. Część potoku poświęcona generowaniu obrazu będzie następnie ulepszana i stawała się bardziej wierną systemowi docelowemu podczas treningu. Informacja zwrotna z niskowymiarowej przestrzeni stylu systemu docelowego jest niskiego poziomu i odpowiada najszerszym pochodnym opisom wizualnym.

Autorzy komentują:

‘Z informacją zwrotną z modelu FR, syntetyzowane obrazy są bardziej korzystne dla wydajności FR, co prowadzi do znacznie lepszych możliwości generalizacji modeli FR trenowanych z nimi.’

Testy

Badacze wykorzystali poprzednią pracę MSU jako szablon do testowania swojego systemu. Na podstawie tych samych protokołów eksperymentalnych, wykorzystali MS-Celeb-1m, który składa się wyłącznie z fotografii celebrytów zebranej z internetu, jako zestaw danych treningowych z etykietami. Dla uczciwości, włączyli również MS1M-V2, który zawiera 3,9 miliona obrazów z 85 700 klasami.

Dane docelowe były zestawem danych WiderFace z Uniwersytetu Chińskiego w Hongkongu. Jest to szczególnie zróżnicowany zestaw obrazów zaprojektowany do zadań wykrywania twarzy w trudnych sytuacjach. 70 000 obrazów z tego zestawu zostało użytych.

Do oceny system został przetestowany na czterech benchmarkach rozpoznawania twarzy: IJB-B, IJB-C, IJB-S i TinyFace.

CFSM został wytrenowany z ∼10% danych treningowych z MS-Celeb-1m, około 0,4 miliona obrazów, przez 125 000 iteracji przy rozmiarze partii 32 pod optymalizatorem Adam z bardzo niską szybkością uczenia 1e-4.

Model rozpoznawania twarzy docelowej wykorzystywał modyfikację ResNet-50 jako backbone, z włączoną funkcją straty ArcFace podczas treningu. Dodatkowo, model został wytrenowany z CFSM jako ćwiczenie ablacjacji i porównawcze (oznaczone jako “ArcFace” w tabeli wyników poniżej).

Wyniki z podstawowych testów dla CFSM. Wyższe liczby są lepsze.

Autorzy komentują na temat podstawowych wyników:

‘Model ArcFace przewyższa wszystkie punkty odniesienia zarówno w zadaniach identyfikacji, jak i weryfikacji twarzy, oraz osiąga nowy stan sztuki.’

Możliwość wyodrębniania domen z różnych cech starszych lub słabych systemów nadzoru również umożliwia autorom porównywanie i ocenianie podobieństwa dystrybucyjnego między tymi ramami, oraz prezentowanie każdego systemu w postaci stylu wizualnego, który mógłby być wykorzystany w dalszych pracach.

Przykłady z różnych zestawów danych wykazują wyraźne różnice w stylu.

Autorzy zauważają dodatkowo, że ich system może wykorzystać niektóre technologie, które do tej pory były postrzegane wyłącznie jako problemy do rozwiązania przez społeczność badawczą i wizyjną:

‘[CFSM] pokazuje, że manipulacja adversarialna może wykraczać poza bycie atakującym i służyć do zwiększania dokładności rozpoznawania w zadaniach wizyjnych. Jednocześnie, definiujemy miarę podobieństwa zestawu danych na podstawie nauczonej bazy stylów, która ujmuje różnice stylowe w sposób agnostyczny względem etykiet i predyktorów.’

‘Wierzymy, że nasze badania przedstawiły moc modelu syntezowania twarzy kontrolowanego i kierowanego dla nieograniczonego rozpoznawania twarzy i dostarczyły zrozumienia różnic między zestawami danych.’

* Moja konwersja cytatów wewnętrznych autorów do odnośników.

Pierwotnie opublikowane 1 sierpnia 2022.