Osobní pohled na trendy v literatuře počítačového vidění v roce 2024

Po pět let sleduji nepřetržitě výzkum počítačového vidění (CV) a syntézy obrazů na Arxiv a jinde, takže se mi za tu dobu podařilo identifikovat trendy, které se každý rok mění.

Vzhledem k tomu, že se rok 2024 chýlí ke konci, rozhodl jsem se podívat na některé nové nebo se vyvíjející charakteristiky v příspěvcích na Arxiv v sekci Computer Vision and Pattern Recognition. Tyto pozorování, i když jsou informovány stovkami hodin studia scény, jsou přísně anekdotické.

Stále rostoucí význam východní Asie

Když jsem se na konci roku 2023 podíval na literaturu v kategorii “syntéza hlasu”, zjistil jsem, že většina příspěvků pochází z Číny a dalších regionů východní Asie. Na konci roku 2024 musím konstatovat (anekdoticky), že se to nyní vztahuje i na výzkum syntézy obrazů a videí.

To však neznamená, že Čína a sousední země vždy produkují nejlepší práci (skutečností je, že existují důkazy proti tomu); ani to nezohledňuje vysokou pravděpodobnost, že v Číně (stejně jako na Západě) některé z nejzajímavějších a nejmocnějších nových systémů jsou proprietární a vyloučeny z výzkumné literatury.

Ale to naznačuje, že východní Asie poráží Západ co do objemu. To, co to znamená, závisí na tom, do jaké míry věříte v životaschopnost Edisonovy metody, která se obvykle ukáže jako neúčinná v případě nepřekonatelných překážek.

Existuje mnoho takových překážek v generativní AI a není snadné určit, které z nich lze vyřešit úpravou stávajících architektur a které bude nutné重新 vyřešit od začátku.

Navzdory tomu, že výzkumníci z východní Asie produkují větší počet příspěvků o počítačovém vidění, jsem si všiml zvýšeného počtu projektů ve stylu “Frankensteina” – iniciativ, které spojují předchozí práce, zatímco přidávají omezenou architektonickou novinku (nebo možná jen jiný typ dat).

Léto 2024 přineslo mnohem vyšší počet východoasijských (především čínských nebo čínsko-účastnických spoluprací) příspěvků, které se zdály být spíše kvantitativně než kvalitativně orientované, což výrazně zvýšilo poměr signálu a šumu v již tak přetížené oblasti.

V同 době se mi však podařilo identifikovat i větší počet východoasijských příspěvků, které mne zaujaly a získaly mé uznání v roce 2024. Pokud se tedy jedná o hru na čísla, není to neúspěch – ale ani to není levné.

Zvyšující se objem příspěvků

Objem příspěvků ze všech zemí jasně vzrostl v roce 2024.

Nejoblíbenější den pro publikování se během roku mění; v současné době je to úterý, kdy je počet příspěvků do sekce Computer Vision and Pattern Recognition často kolem 300-350 za jediný den, v “špičkových” obdobích (květen-srpen a říjen-prosinec, tj. konferenční sezóna a “sezóna ročních kvót”, resp.).

Mimo mou vlastní zkušenost Arxiv sám hlásí rekordní počet příspěvků v říjnu 2024, s 6000 novými příspěvky, a sekce Computer Vision je druhou nejčastěji zasílanou sekcí po Machine Learning.

Jedná se však o sekci Machine Learning, která je na Arxiv často používána jako “další” nebo agregovaná nadkategorie, což naznačuje, že sekce Computer Vision a Pattern Recognition je ve skutečnosti nejčastěji zasílanou kategorií Arxiv.

Vlastní statistika Arxiv ukazuje, že informatika je jasným lídrem v počtu příspěvků:

Informatika (CS) dominuje statistice příspěvků na Arxiv za posledních pět let. Zdroj: https://info.arxiv.org/about/reports/submission_category_by_year.html

Stanfordova univerzita ve svém zprávě AI Index 2024 zdůrazňuje také významný růst počtu akademických příspěvků o strojovém učení v posledních letech:

I když nejsou k dispozici údaje za rok 2024, zpráva Stanfordovy univerzity jasně ukazuje růst počtu příspěvků o strojovém učení. Zdroj: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Rozšíření Diffusion>Mesh rámců

Jedním z dalších jasných trendů, které jsem identifikoval, je velký nárůst příspěvků, které se zabývají využitím Latentních Diffusion Modelů (LDM) jako generátorů meshových, “tradičních” CGI modelů.

Příklady takových projektů zahrnují InstantMesh3D, 3Dtopia, Diffusion², V3D, MVEdit a GIMDiffusion, mezi mnoha dalšími.

Generování a rafinace meshů pomocí Diffusion-založeného procesu v 3Dtopia. Zdroj: https://arxiv.org/pdf/2403.02234

Tento nově se vyvíjející výzkumný směr lze chápat jako implicitní uznání trvalé neprostupnosti generativních systémů, jako jsou modely difuze, které před dvěma lety byly prezentovány jako potenciální náhrada za všechny systémy, které modely difuze>mesh nyní snaží osídlit; relegace difuze na roli nástroje v technologiích a pracovních postupech, které sahají třicet nebo více let zpět.

Stability.ai, původci otevřeného modelu Stable Diffusion, právě vydali Stable Zero123, který může, mimo jiné, použít Neural Radiance Fields (NeRF) interpretaci AI-generovaného obrazu jako most k vytvoření explicitního, meshového CGI modelu, který lze použít v CGI prostředích, jako je Unity, ve videohrách, augmentované realitě a dalších platformách, které vyžadují explicitní 3D souřadnice, na rozdíl od implicitních (skrytých) souřadnic kontinuálních funkcí.

Kliknutím se spustí přehrávání. Obrazy generované v Stable Diffusion lze převést na racionální CGI mesh. Zde vidíme výsledek workflow obraz>CGI pomocí Stable Zero 123. Zdroj: https://www.youtube.com/watch?v=RxsssDD48Xc

3D Semantika

Prostor generativní AI činí rozdíl mezi 2D a 3D systémy implementace vidění a generativních systémů. Například rámce pro označení obličeje, ačkoli reprezentují 3D objekty (obličeje) ve všech případech, ne vždy počítají adresovatelné 3D souřadnice.

Populární FANAlign systém, široce používaný v architekturách deepfake z roku 2017 (a dalších), může zpracovat obě tyto přístupy:

Nahoře jsou generovány 2D body označení na základě rozpoznaných obličejových lineament a rysů. Dole jsou racionalizovány do 3D X/Y/Z prostoru. Zdroj: https://github.com/1adrianb/face-alignment

Tak jako se termín “deepfake” stal záměnným a ukořistěným termínem, termín “3D” se stal matoucím termínem ve výzkumu počítačového vidění.

Pro spotřebitele to obvykle znamenalo stereo-připravená média (jako filmy, kde divák musí nosit speciální brýle); pro praktiky vizuálních efektů a modelérů to poskytuje rozlišení mezi 2D uměním (jako konceptuálními skicami) a meshovými modely, které lze manipulovat v “3D programu” jako Maya nebo Cinema4D.

Ale ve výzkumu počítačového vidění to prostě znamená, že kartézský souřadnicový systém existuje někde v latentním prostoru modelu – ne to, že jej lze nutně adresovat nebo přímo manipulovat uživatelem; alespoň ne bez třetí strany interpretativních CGI-založených systémů, jako je 3DMM nebo FLAME.

Proto je pojem diffuze>3D nepřesný; nejenže lze libovolný typ obrazu (včetně reálné fotografie) použít jako vstup pro generování CGI modelu, ale méně matoucí termín “mesh” je vhodnější.

Ale aby se zdůraznila nepřesnost, difuze je potřebná k interpretaci zdrojového obrazu do meshu, ve většině nově se vyvíjejících projektů. Takže lepší popis by mohl být obraz>mesh, zatímco obraz>difuze>mesh je ještě přesnější popis.

Ale to je těžké prodat na zasedání rady, nebo ve veřejné zprávě určené pro investory.

Důkazy o architektonických patových situacích

Even v porovnání s rokem 2023, letošní sklizeň příspěvků vykazuje rostoucí zoufalství při odstraňování tvrdých praktických limitů difuzní generace.

Klíčovým kamenem úrazu zůstává generování narativně a temporálně konzistentních videí a udržení konzistentního vzhledu postav a objektů – nejen napříč různými videoklipy, ale i napříč krátkou dobou běhu jednoho generovaného videoklipu.

Poslední epochální inovace v difuzní syntéze byla příchod LoRA v roce 2022. Zatímco novější systémy, jako je Flux, zlepšily některé z problémů s outlierami, jako byla předchozí neschopnost Stable Diffusion reprodukovat textový obsah uvnitř generovaného obrazu, a celková kvalita obrazu se zlepšila, většina příspěvků, které jsem studoval v roce 2024, byly vlastně jen přesunuly jídlo na talíři.

Takové patové situace se již vyskytly dříve, u Generativních Adversativních Sítí (GAN) a u Neurálních Radiance Field (NeRF), které nedokázaly splnit své původní sliby – a obě tyto technologie jsou nyní stále více využívány v konvenčnějších systémech (jako je použití NeRF v Stable Zero 123, viz výše). To se zdá být také případem modelů difuze.

Pivotační body výzkumu Gaussian Splatting

Na konci roku 2023 se zdálo, že rasterizační metoda 3D Gaussian Splatting (3DGS), která debutovala jako lékařská zobrazovací technika na počátku 90. let, je připravena náhle překonat autoencoderové systémy lidské obrazové syntézy (jako je simulace a rekreace obličeje, stejně jako přenos identity).

Příspěvek ASH z roku 2023 sliboval plně tělesné 3DGS lidi, zatímco Gaussian Avatars nabízely výrazně lepší detail (ve srovnání s autoencoderovými a jinými metodami), spolu s působivým cross-reenactmentem.

Ale tento rok byl relativně chudý na takové průlomové momenty pro 3DGS lidskou syntézu; většina příspěvků, které se touto problematikou zabývaly, byly buď deriváty výše uvedených prací, nebo se jim nemohly vyrovnat.

Místo toho se důraz na 3DGS soustředil na zlepšení jeho základní architektonické proveditelnosti, což vedlo k vlně příspěvků, které nabízejí lepší 3DGS vnější prostředí. Zvláštní pozornost byla věnována Simultaneous Localization and Mapping (SLAM) 3DGS přístupům, v projektech, jako je Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, mezi mnoha dalšími.

Ty projekty, které se pokusily pokračovat nebo rozšířit splat-založenou lidskou syntézu, zahrnovaly MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM a Topo4D. Ačkoli existují i další, žádné z těchto projektů nedosáhly počátečního dopadu příspěvků, které vyšly na konci roku 2023.

Éra “Weinsteina” testovacích vzorků je v (pomalém) úpadku

Výzkum z jihovýchodní Asie obecně (a z Číny zejména) často obsahuje testovací příklady, které jsou problematické pro opětovné zveřejnění v recenzi, protože obsahují materiál, který je trochu “drzý”.

Je-li to proto, že vědci ve této části světa se snaží získat pozornost pro své výstupy, je otázkou debaty; ale za posledních 18 měsíců se zvýšil počet příspěvků o generativní AI (obrázek a/nebo video), které používají jako testovací příklady mladé a málo oděné ženy a dívky. Příklady, které hraničí s NSFW, zahrnují UniAnimate, ControlNext a dokonce i velmi “suché” příspěvky, jako je Evaluating Motion Consistency by Fréchet Video Motion Distance (FVMD).

Tento trend následuje obecné trendy subredditů a dalších komunit, které se shromáždily kolem Latentních Difuzních Modelů (LDM), kde platí pravidlo 34.

Souboj slavných

Tento typ nevhodného příkladu se překrývá s rostoucím uznáním, že procesy AI by neměly libovolně využívat celebrity podobizny – zejména ve studiích, které nekriticky používají příklady obsahující atraktivní celebrity, často ženy, a umisťují je do sporných kontextů.

Jedním z příkladů je AnyDressing, který, kromě toho, že obsahuje velmi mladé anime-stylizované ženské postavy, také volně využívá identity slavných celebrity, jako je Marilyn Monroe, a současných, jako je Anne Hathaway (která touto praxí veřejně pohrdla).

Libovolné použití současných a “klasických” celebrity je stále poměrně časté v příspěvcích z jihovýchodní Asie, i když tato praxe je mírně na ústupu. Zdroj: https://crayon-shinchan.github.io/AnyDressing/

V “západních” příspěvcích se tato konkrétní praxe v roce 2024 výrazně snížila, a to pod vedením větších vydání od FAANG a dalších významných výzkumných subjektů, jako je OpenAI. Kriticky si vědomi potenciálu pro budoucí soudní spory, tyto hlavní korporátní hráči se zdají být stále méně ochotni reprezentovat dokonce fiktivní fotorealistické lidi.

Ačkoli systémy, které vytvářejí (jako Imagen a Veo2), jsou jasně schopny takové výstupu, příklady z “západních” generativních AI projektů nyní směřují k “roztomilým”, disneyovsky stylizovaným a extrémně “bezpečným” obrazům a videím.

Přes tvrzení o Imagenině schopnosti vytvářet “fotorealistické” výstupy, ukázky propagované Google Research jsou obvykle fantastické, “rodinné” záležitosti – fotorealističtí lidé jsou pečlivě vynecháni nebo minimálně prezentováni. Zdroj: https://imagen.research.google/

Obličejové mytí

V “západní” literatuře CV je tento neupřímný přístup zvláště patrný u systémů pro customizaci – metod, které jsou schopny vytvářet konzistentní podobizny konkrétní osoby napříč několika příklady (tj. jako LoRA a starší DreamBooth).

Příklady zahrnují ortogonální vizuální vložení, LoRA-Composer, Googleův InstructBooth a mnoho dalších.

Googleův InstructBooth zvyšuje faktor roztomilosti na maximum, i když historie naznačuje, že uživatelé jsou více intéressováni o vytváření fotorealistických lidí než roztomilých nebo chlupatých postav. Zdroj: https://sites.google.com/view/instructbooth

Ale růst “roztomilých” příkladů je vidět i v jiných výzkumných směrech CV a syntézy, v projektech, jako je Comp4D, V3D, DesignEdit, UniEdit, FaceChain (který uznává více realistické uživatelské očekávání na své GitHub stránce), a DPG-T2I, mezi mnoha dalšími.

Snadnost, s níž lze takové systémy (jako LoRAs) vytvořit domácími uživateli s relativně skromným hardwarem, vedla k explozi volně stažitelných modelů celebrity na doméně civit.ai a komunitě. Takové nelegální použití zůstává možné díky otevřené architektuře, jako je Stable Diffusion a Flux.

Ačkoli je často možné “proklepnout” bezpečnostní funkce generativních text-to-obrázek (T2I) a text-to-video (T2V) systémů, aby se vyrobily materiály, které jsou zakázány podmínkami použití platformy, mezera mezi omezenými schopnostmi nejlepších systémů (jako RunwayML a Sora) a neomezenými schopnostmi systémů, které jsou pouze výkonné (jako Stable Video Diffusion, CogVideo a místní nasazení Hunyuan), se ve skutečnosti nezmenšuje, jak si mnozí myslí.

Místo toho se tyto proprietární a otevřené systémy, resp., hrozí stát stejně zbytečnými: drahé a hyperscale T2V systémy mohou být nadměrně omezovány strachem z právních sporů, zatímco nedostatek licenční infrastruktury a dohledu nad daty v otevřených systémech by je mohl zcela vyloučit z trhu, jakmile budou zavedena přísnější nařízení.

První zveřejnění: úterý, 24. prosince 2024