Osobista analiza trendów w literaturze z zakresu komputerowego widzenia w 2024 roku

Przez pięć ostatnich lat nieprzerwanie śledziłem scenę badań nad komputerowym widzeniem (CV) i syntezą obrazu na Arxiv i w innych miejscach, więc trendy stają się widoczne w czasie, a także zmieniają się w nowe kierunki co roku.

W związku z tym, gdy 2024 rok dobiega końca, uznałem, że warto przyjrzeć się nowym lub ewoluującym cechom w artykułach na platformie Arxiv w dziale Computer Vision and Pattern Recognition section. Te obserwacje, choć poinformowane przez setki godzin spędzonych na badaniu sceny, są ściśle anegdotycznymi.

Niezaprzeczalny wzrost Azji Wschodniej

Do końca 2023 roku zauważyłem, że większość literatury w kategorii “synteza głosu” pochodziła z Chin i innych regionów Azji Wschodniej. Na koniec 2024 roku muszę stwierdzić (anegdotycznie), że dotyczy to również sceny badań nad syntezą obrazu i wideo.

To nie oznacza, że Chiny i sąsiednie kraje zawsze produkują najlepsze prace (w rzeczywistości istnieją dowody przeciwne); nie bierze to również pod uwagę wysokiej prawdopodobieństwa w Chinach (podobnie jak na Zachodzie), że niektóre z najbardziej interesujących i potężnych nowych systemów są własnościowe i wykluczone z literatury badawczej.

Ale sugeruje to, że Azja Wschodnia bije Zachód pod względem ilości. To, co to znaczy, zależy od stopnia, w jakim wierzysz w skuteczność metody Edisona, która zwykle okazuje się nieskuteczna w obliczu niepokonanych przeszkód.

Istnieją wiele takich przeszkód w generatywnych sieciach neuronowych, i nie jest łatwo powiedzieć, które z nich można rozwiązać, adresując istniejące architektury, a które będą wymagać ponownego rozważenia od podstaw.

Chociaż badacze z Azji Wschodniej zdają się produkować większą liczbę artykułów z dziedziny komputerowego widzenia, zauważyłem wzrost częstotliwości projektów w stylu “Frankensteina” – inicjatyw, które stanowią połączenie wcześniejszych prac, przy czym dodają one ograniczoną nowość architektoniczną (lub może tylko inny typ danych).

W tym roku znacznie większa liczba artykułów z Azji Wschodniej (głównie chińskich lub współpracujących z Chinami) wydawała się być napędzana przez ilość, a nie jakość, znacznie zwiększając stosunek sygnału do szumu w już przeludnionym polu.

Jednocześnie większa liczba artykułów z Azji Wschodniej również przyciągnęła moją uwagę i uzyskała moje uznanie w 2024 roku. Więc jeśli to wszystko jest grą liczb, to nie jest to porażka – ale nie jest to tanie.

Rozwój objętości prac

Objętość artykułów, we wszystkich krajach pochodzenia, wyraźnie wzrosła w 2024 roku.

Najpopularniejszy dzień publikacji zmienia się w ciągu roku; obecnie jest to wtorek, kiedy liczba artykułów w dziale Computer Vision and Pattern Recognition często wynosi około 300-350 w ciągu jednego dnia, w “szczycie” (maj-sierpień i październik-grudzień, czyli sezon konferencji i “sezon limitu kwotowego”).

Poza moim własnym doświadczeniem, Arxiv sam raportuje rekordową liczbę artykułów w październiku 2024, z 6000 nowymi artykułami, a dział Computer Vision jest drugim co do popularności po Machine Learning.

Jednakże, ponieważ dział Machine Learning na Arxiv jest często używany jako “dodatkowy” lub agregowany nadkategoria, to sugeruje, że Computer Vision i Pattern Recognition są w rzeczywistości najczęściej publikowaną kategorią Arxiv.

Własne statystyki Arxiv wyraźnie pokazują, że informatyka jest liderem pod względem liczby artykułów:

Informatyka (CS) dominuje statystyki publikacji na Arxiv w ciągu ostatnich pięciu lat. Źródło: https://info.arxiv.org/about/reports/submission_category_by_year.html

Uniwersytet Stanforda 2024 AI Index, chociaż nie jest w stanie raportować o najnowszych statystykach, również podkreśla znaczny wzrost liczby artykułów akademickich związanych z uczeniem maszynowym w ostatnich latach:

Chociaż dane za 2024 rok nie są dostępne, raport Stanforda pokazuje wyraźnie wzrost liczby artykułów związanych z uczeniem maszynowym. Źródło: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Rozwój ram Diffusion>Mesh

Inną wyraźną tendencją, która pojawiła się, był duży wzrost liczby artykułów zajmujących się wykorzystaniem modeli dyfuzyjnych (LDM) jako generatorów modeli trójwymiarowych.

Przykłady takich projektów obejmują InstantMesh3D, 3Dtopia, Diffusion², V3D, MVEdit i GIMDiffusion, wśród wielu innych.

Generowanie siatki i jej ulepszanie za pomocą procesu dyfuzyjnego w 3Dtopia. Źródło: https://arxiv.org/pdf/2403.02234

Ten nowy kierunek badań może być postrzegany jako niejawne przyznanie się do trudności generatywnych systemów, takich jak modele dyfuzyjne, które tylko dwa lata temu były uważane za potencjalne substytuty dla wszystkich systemów, które teraz są wykorzystywane w modelach dyfuzyjnych; relegując dyfuzyjne do roli narzędzia w technologiach i workflow, które sięgają trzydziestu lub więcej lat wstecz.

Stability.ai, twórcy otwartego modelu Stable Diffusion, właśnie wydali Stable Zero123, który może, między innymi, wykorzystać Neural Radiance Fields (NeRF) do stworzenia jawnej, siatkowej trójwymiarowej reprezentacji, która może być wykorzystana w środowiskach CGI, takich jak Unity, w grach wideo, rzeczywistości rozszerzonej i innych platformach, które wymagają jawnych współrzędnych trójwymiarowych, w przeciwieństwie do ukrytych współrzędnych ciągłych funkcji.

Kliknij, aby odtworzyć. Obrazy wygenerowane w Stable Diffusion mogą być przekonwertowane na racjonalne siatki CGI. Tutaj widzimy wynik przekonwertowania obrazu na siatkę CGI przy użyciu Stable Zero 123. Źródło: https://www.youtube.com/watch?v=RxsssDD48Xc

Semantyka 3D

Przestrzeń generatywnych sieci neuronowych rozróżnia systemy 2D i 3D. Na przykład, ramy odniesienia twarzy, choć reprezentujące obiekty trójwymiarowe (twarze) we wszystkich przypadkach, niekoniecznie obliczają adresowalne współrzędne trójwymiarowe.

Popularny system FANAlign, powszechnie stosowany w architekturach deepfake z 2017 roku, może obsługiwać oba te podejścia:

Powyżej, punkty odniesienia 2D są generowane na podstawie rozpoznanych cech i linii twarzy. Poniżej, są one racjonalizowane w przestrzeni 3D X/Y/Z. Źródło: https://github.com/1adrianb/face-alignment

Więc, tak jak “deepfake” stało się niejasnym i zawłaszczonym terminem, “3D” również stało się mylącym terminem w badaniach nad komputerowym widzeniem.

Dla konsumentów, oznaczało to zwykle medio z funkcją stereo (takie jak filmy, które wymagają noszenia specjalnych okularów); dla praktyków efektów wizualnych i modelarzy, zapewnia rozróżnienie między sztuką 2D (taką jak szkice koncepcyjne) a modelami siatkowymi, które mogą być manipulowane w programie 3D, takim jak Maya lub Cinema4D.

Ale w komputerowym widzeniu, oznacza to po prostu, że układ współrzędnych kartezjańskich istnieje gdzieś w przestrzeni latentnej modelu – nie oznacza to, że może być adresowany lub bezpośrednio manipulowany przez użytkownika; przynajmniej, nie bez systemów interpretacyjnych CGI, takich jak 3DMM lub FLAME.

Więc pojęcie dyfuzyjne>3D jest nieprecyzyjne; nie tylko dowolny typ obrazu (w tym zdjęcie) może być użyty jako wejście do wygenerowania modelu CGI, ale mniej dwuznaczny termin “siatka” jest bardziej odpowiedni.

Jednakże, aby spotęgować niejasność, dyfuzyjne są potrzebne do interpretacji zdjęcia wejściowego w siatkę, w większości nowych projektów. Więc lepszym opisem może być obraz>siatka, a obraz>dyfuzyjne>siatka jest jeszcze bardziej precyzyjnym opisem.

Ale to trudne do sprzedaży na spotkaniu zarządu lub w komunikacie prasowym zaprojektowanym do zaangażowania inwestorów.

Dowody martwych punktów architektonicznych

Nawet w porównaniu z 2023 rokiem, tegoroczna kolekcja artykułów wykazuje rosnącą desperację w usuwaniu praktycznych ograniczeń generatywnych systemów dyfuzyjnych.

Kluczowym kamieniem milowym pozostaje generowanie narracyjnie i czasowo spójnych filmów wideo oraz utrzymanie spójnego wyglądu postaci i obiektów – nie tylko w różnych klipach wideo, ale nawet w krótkim czasie trwania jednego wygenerowanego klipu wideo.

Ostatnia epoka innowacji w systemach dyfuzyjnych była wprowadzeniem LoRA w 2022 roku. Chociaż nowsze systemy, takie jak Flux, poprawiły niektóre problemy, takie jak niegdyś niezdolność Stable Diffusion do odtwarzania treści tekstowych w wygenerowanym obrazie, oraz ogólna jakość obrazu uległa poprawie, większość artykułów, które studiowałem w 2024 roku, była po prostu przestawianiem jedzenia na talerzu.

Te martwe punkty wystąpiły wcześniej, z sieciami generatywnymi i przeciwstawianymi (GAN) oraz polami promieniowania neuronowego (NeRF), które nie spełniły swojego początkowego potencjału – i które są coraz częściej wykorzystywane w bardziej konwencjonalnych systemach (takich jak NeRF w Stable Zero 123, patrz powyżej). Wydaje się, że dzieje się to również z modelami dyfuzyjnymi.

Badania nad Gaussian Splatting

Wydawało się, że na koniec 2023 roku metoda 3D Gaussian Splatting (3DGS), która zadebiutowała jako technika obrazowania medycznego na początku lat 90., miała niespodziewanie wyprzedzić systemy oparte na autoencoderach w wyzwaniach związanych z syntezą obrazu ludzi (takich jak symulacja i odtwarzanie twarzy, a także transfer tożsamości).

Artykuł z 2023 roku ASH obiecywał pełne ciała ludzkie 3DGS, podczas gdy Gaussian Avatars oferowały znacznie poprawiony detal (w porównaniu z autoencoderami i innymi metodami), wraz z imponującym ponownym ustawieniem.

Jednak w tym roku nie było takich przełomowych momentów dla syntetyzowania ludzi przy użyciu 3DGS; większość artykułów, które zajmowały się tym problemem, była albo pochodną powyższych prac, albo nie przewyższała ich możliwości.

Zamiast tego, nacisk na 3DGS został położony na poprawę jego podstawowej wykonalności architektonicznej, co doprowadziło do lawiny artykułów, które oferują ulepszone środowiska zewnętrzne 3DGS. Szczególną uwagę zwrócono na podejścia SLAM 3DGS, w projektach takich jak Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, wśród wielu innych.

Te projekty, które próbowały kontynuować lub rozszerzyć syntezę ludzi opartą na 3DGS, obejmowały MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM i Topo4D. Chociaż jest ich więcej, żaden z tych projektów nie dorównał wpływowi artykułów, które pojawiły się pod koniec 2023 roku.

ERA “Weinsteina” próbek testowych jest w (wolnym) spadku

Badania z Azji Południowo-Wschodniej, a w szczególności z Chin, często zawierają przykłady testowe, które są problematyczne do ponownego opublikowania w artykule przeglądowym, ponieważ zawierają materiał, który jest nieco “pikantny”.

Czy jest to dlatego, że naukowcy w tym regionie świata starają się zwrócić uwagę na swoje wyniki, jest otwarte do debaty; ale przez ostatnie 18 miesięcy, coraz więcej artykułów na temat generatywnych sieci neuronowych (obrazu i/lub wideo) używało młodych i skąpo ubranych kobiet i dziewcząt w przykładach projektowych. Przykłady te obejmują UniAnimate, ControlNext i nawet bardzo “suche” artykuły, takie jak Evaluating Motion Consistency by Fréchet Video Motion Distance (FVMD).

To pokrywa się z ogólnymi trendami subredditorów i innych społeczności, które gromadzą się wokół modeli dyfuzyjnych (LDM), gdzie reguła 34 jest nadal bardzo widoczna.

Bitwa twarzy

Ten typ niewłaściwego przykładu pokrywa się z rosnącym uznaniem, że procesy AI nie powinny arbitralnie wykorzystywać podobieństw do sławnych osób – szczególnie w badaniach, które niekrytycznie używają przykładów z udziałem atrakcyjnych sławnych osób, często kobiet, i umieszczają je w wątpliwych kontekstach.

Przykładem jest AnyDressing, który, poza tym, że zawiera bardzo młode postacie w stylu anime, również swobodnie używa tożsamości sławnych osób, takich jak Marilyn Monroe, oraz obecnych, takich jak Anne Hathaway (która głośno potępiła tego typu użycie).

Dowolne użycie bieżących i “klasycznych” sławnych osób jest nadal dość powszechne w artykułach z Azji Południowo-Wschodniej, chociaż ta praktyka jest nieco w odwrocie. Źródło: https://crayon-shinchan.github.io/AnyDressing/

W artykułach zachodnich ta konkretna praktyka jest wyraźnie w odwrocie w ciągu 2024 roku, pod przewodnictwem większych wydań z FAANG i innych wysokopoziomowych organizacji badawczych, takich jak OpenAI. Świadomi potencjalnych przyszłych pozwów, ci wielcy korporacyjni gracze wydają się coraz mniej skłonni do reprezentowania nawet fikcyjnych fotorealistycznych osób.

Chociaż systemy, które tworzą (takie jak Imagen i Veo2), są wyraźnie zdolne do takiego wyjścia, przykłady z zachodnich projektów generatywnych sieci neuronowych teraz skłaniają się ku “słodkim”, disneyowskim i bardzo “bezpiecznym” obrazom i filmom wideo.

Pomimo chwalenia możliwości Imagen do tworzenia “fotorealistycznych” wyników, przykłady promowane przez Google Research są zwykle fantastyczne, “rodzinne” – fotorealistyczne osoby są starannie unikane lub minimalne przykłady są dostarczane. Źródło: https://imagen.research.google/

Myjnia twarzy

W zachodniej literaturze CV, ten nieuczciwy podejście jest szczególnie widoczne w systemach personalizacji – metodach, które mogą tworzyć spójne podobieństwa do określonej osoby w wielu przykładach (tj. jak LoRA i starszy DreamBooth).

Przykłady obejmują ortogonalne osadzanie wizualne, LoRA-Composer, InstructBooth od Google, i wiele innych.

InstructBooth od Google podnosi wskaźnik słodyczy do 11, chociaż historia sugeruje, że użytkownicy są bardziej zainteresowani tworzeniem fotorealistycznych ludzi niż puszystych postaci. Źródło: https://sites.google.com/view/instructbooth

Jednakże wzrost “słodkich” przykładów jest widoczny w innych obszarach badań nad komputerowym widzeniem i syntezą, w projektach takich jak Comp4D, V3D, DesignEdit, UniEdit, FaceChain (która uznaje bardziej realistyczne oczekiwania użytkowników na swojej stronie GitHub), i DPG-T2I, wśród wielu innych.

Łatwość, z jaką takie systemy (takie jak LoRAs) mogą być tworzone przez użytkowników domowych z relativnie skromnym sprzętem, doprowadziła do eksplozji darmowych modeli sławnych osób w domenie civit.ai i społeczności. Takie nielegalne użycie pozostaje możliwe dzięki otwartemu źródłu architektur, takich jak Stable Diffusion i Flux.

Chociaż często jest możliwe “przebicie” zabezpieczeń generatywnych systemów tekst-obraz (T2I) i tekst-wideo (T2V), aby wyprodukować materiał zabroniony przez warunki użytkowania platformy, przepaść między ograniczonymi możliwościami najlepszych systemów (takich jak RunwayML i Sora) a nieograniczoną możliwością systemów wydajnych (takich jak Stable Video Diffusion, CogVideo i lokalne wdrożenia Hunyuan), nie jest tak naprawdę zamykana, jak wielu uważa.

Rather, te systemy korporacyjne i otwarte, odpowiednio, zagrażają, że staną się równie bezużyteczne: drogie i hiperskalowalne systemy T2V mogą stać się nadmiernie ograniczone ze względu na obawy przed pozwami, podczas gdy brak infrastruktury licencyjnej i nadzoru nad zestawami danych w systemach open source może całkowicie wykluczyć je z rynku, gdy będą wprowadzane bardziej surowe regulacje.

Pierwotnie opublikowane we wtorek, 24 grudnia 2024