Особисте бачення літератури з комп’ютерного бачення у 2024 році

Я безперервно слідкував за дослідженнями комп’ютерного бачення (CV) та синтезу зображень на Arxiv та в інших місцях протягом близько п’яти років, тому тенденції стають очевидними з часом, і вони зміщуються в нові напрямки щороку.

Отже, оскільки 2024 рік підходить до кінця, я вирішив розглянути деякі нові або еволюційні характеристики в поданнях на Arxiv у розділі Комп’ютерне бачення та розпізнавання образів розділ. Ці спостереження, хоча й інформовані сотнями годин вивчення сцени, є суворо анекдотичними.

Тривале зростання Східної Азії

До кінця 2023 року я помітив, що більшість літератури в категорії “синтез голосу” виходила з Китаю та інших регіонів Східної Азії. На кінець 2024 року я повинен констатувати (анекдотично), що це тепер застосовується також до сцени синтезу зображень та відео.

Це не означає, що Китай та сусідні країни завжди видають найкращу роботу (вдійсні, є деякі докази протилежного); ні це не бере до уваги високої ймовірності в Китаї (як і на Заході), що деякі з найбільш цікавих і потужних нових систем, що розвиваються, є пропріетарними і виключені з наукової літератури.

Але це свідчить про те, що Східна Азія перемагає Заходу за об’ємом, в цьому відношенні. Те, що це варте, залежить від того, якою мірою ви вірите в життєздатність персистенції Едісона, яка зазвичай виявляється неефективною у разі непереборних перешкод.

Є багато таких перешкод у генерації штучного інтелекту, і не легко сказати, які з них можна вирішити, звернувшись до існуючих архітектур, а які потрібно буде переглянути з нуля.

Хоча дослідники з Східної Азії, здається, видають більшу кількість робіт з комп’ютерного бачення, я помітив збільшення частоти проектів типу “Франкенштейна” – ініціатив, які складаються з поєднання попередніх робіт, при цьому додаючи обмежену архітектурну новизну (або, можливо, просто інший тип даних).

Цього року значно більша кількість робіт зі Східної Азії (в основному китайських або китайських колаборацій) здавалося, що керуються квотами, а не заслугами, суттєво збільшуючи співвідношення сигнал-шум у вже переповненій галузі.

При цьому значно більша кількість робіт зі Східної Азії також привернула мою увагу та захоплення у 2024 році. Отже, якщо це вся гра чисел, вона не провалюється – але й не дешева.

Збільшення обсягу подань

Об’єм робіт, по всіх країнах походження, очевидно збільшився у 2024 році.

Найпопулярніший день публікації змінюється протягом року; зараз це вівторок, коли кількість подань до розділу Комп’ютерне бачення та розпізнавання образів часто становить близько 300-350 у день, у “пікові періоди” (травень-серпень та жовтень-грудень, тобто сезон конференцій і “річних квот дедлайнів”, відповідно).

Поза моїм власним досвідом, Arxiv сам повідомляє про рекордну кількість подань у жовтні 2024 року, з 6000 новими поданнями, а розділ Комп’ютерне бачення став другим за кількістю подань після розділу Машинне навчання.

Однак, оскільки розділ Машинне навчання на Arxiv часто використовується як “додатковий” або агрегований суперкатегорія, це свідчить про те, що Комп’ютерне бачення та розпізнавання образів є насправді найбільш поданою категорією Arxiv.

Власні статистичні дані Arxiv самі показують, що комп’ютерні науки є явним лідером за кількістю подань:

Комп’ютерні науки (CS) домінують у статистиці подань на Arxiv за останні п’ять років. Джерело: https://info.arxiv.org/about/reports/submission_category_by_year.html

Звіт Стенфордського університету 2024 року про штучний інтелект, хоча ще не може повідомити про останні статистичні дані, також підкреслює помітне зростання кількості академічних робіт з машинного навчання за останні роки:

Хоча цифри для 2024 року ще не доступні, звіт Стенфордського університету все ж демонструє драматичне зростання обсягу подань робіт з машинного навчання. Джерело: https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024_Chapter1.pdf

Поширення дифузійних>сіткових рамок

Іншою чіткою тенденцією, яка виникла для мене, було велике зростання робіт, які займаються використанням латентних дифузійних моделей (LDM) як генераторів моделей на основі сіток, “традиційних” моделей CGI.

До таких проектів належать InstantMesh3D від Tencent, 3Dtopia, Diffusion², V3D, MVEdit та GIMDiffusion, серед багатьох інших подібних пропозицій.

Генерація та уточнення сітки через дифузійний процес у 3Dtopia. Джерело: https://arxiv.org/pdf/2403.02234

Ця нова галузь досліджень можна розглядати як неявне визнання тривалої непереборності генеративних систем, таких як дифузійні моделі, які лише два роки тому розглядалися як потенційна заміна всіх систем, які зараз намагаються заповнити дифузійні>сіткові моделі; відводячи дифузію на роль інструменту в технологіях і робочих процесах, які датуються тридцятьма або більше роками.

Stability.ai, засновники відкритої моделі Stable Diffusion, щойно випустили Stable Zero123, який може, серед іншого, використовувати нейронні радіансні поля (NeRF) як місток для створення явної, сіткової моделі CGI, яку можна використовувати в середовищах CGI, таких як Unity, у відеоіграх, доповненої реальності та інших платформах, які вимагають явних 3D-координат, на відміну від неявних (прихованих) координат неперервних функцій.

Натисніть, щоб відтворити. Зображення, згенеровані в Stable Diffusion, можна перетворити в раціональні сіткові моделі CGI. Тут ми бачимо результат роботи зображення>CGI за допомогою Stable Zero 123. Джерело: https://www.youtube.com/watch?v=RxsssDD48Xc

3D-семантика

Простір генерації штучного інтелекту робить розрізнення між 2D- та 3D-системами реалізації бачення та генеративних систем. Наприклад, фреймворки розпізнавання осіб, хоча представляють 3D-об’єкти (особи) у всіх випадках, не всі обов’язково обчислюють адресовані 3D-координати.

Популярна система FANAlign, широко використовувана у архітектурах deepfake 2017 року (серед інших), може підтримувати обидва ці підходи:

Вище, 2D-орієнтири генеруються на основі визнаних ліній обличчя та особливостей. Нижче, вони раціоналізовані в 3D-просторі X/Y/Z. Джерело: https://github.com/1adrianb/face-alignment

Отже, як і термін “deepfake” став двозначним і захопленим терміном, термін “3D” також став плутаним у дослідженнях комп’ютерного бачення.

Для споживачів він зазвичай означав стерео-відео (наприклад, фільми, для яких глядач повинен носити спеціальні окуляри); для фахівців візуальних ефектів та моделерів він забезпечує розрізнення між 2D-мистецтвом (наприклад, концептуальними ескізами) та моделями на основі сіток, які можна маніпулювати в “3D-програмі”, такій як Maya або Cinema4D.

Але у комп’ютерному баченні це просто означає, що картезійська система координат існує десь у латентному просторі моделі – не те, що її можна обов’язково адресувати або маніпулювати користувачем; принаймні, не без сторонніх інтерпретативних систем CGI, таких як 3DMM або FLAME.

Отже, поняття дифузія>3D є неточним; не тільки будь-яке зображення (включаючи реальну фотографію) можна використовувати як вхід для генерації моделі CGI, але термін “сітка” є більш підходящим.

Однак, щоб ускладнити двозначність, дифузія потрібна для інтерпретації вихідної фотографії в сітку, у більшості нових проектів. Отже, краще описом буде зображення>сітка, тоді як зображення>дифузія>сітка є ще більш точним описом.

Але це важко продати на засіданні ради директорів або у прес-релізі, призначеному для залучення інвесторів.

Докази архітектурних тупиків

Евен порівняно з 2023 роком, останні 12 місяців робіт демонструють зростаючу відчай щодо видалення жорстких практичних обмежень на генерацію на основі дифузії.

Ключовим каменем спотикання залишається генерація відео, послідовних і тимчасово послідовних, та підтримання послідовного вигляду персонажів та об’єктів – не тільки протягом різних відеокліпів, але навіть протягом короткого часу одного згенерованого відеокліпу.

Останнім епохальним інноваційним досягненням у генерації на основі дифузії було введення LoRA у 2022 році. Хоча новіші системи, такі як Flux, покращили деякі проблеми аутлієрів, такі як колишня нездатність Stable Diffusion відтворювати текстовий вміст у згенерованому зображенні, та загальна якість зображення покращилася, більшість робіт, які я вивчив у 2024 році, були по суті просто переміщенням їжі на тарілці.

Ці тупіки траплялися раніше, з генеративними адверсарними мережами (GAN) та нейронними радіансними полями (NeRF), які не виправдали свого первісного потенціалу – і які зараз все частіше використовуються у більш традиційних системах (наприклад, використання NeRF у Stable Zero 123, див. вище). Це також відбувається з дифузійними моделями.

Дослідження 3D-гауссового розсіювання

Здається, що на кінець 2023 року метод розсіювання 3D-гауссового розсіювання (3DGS), який дебютував як медична техніка на початку 1990-х років, мав раптово обігнати автоенкодерні системи синтезу людських зображень (наприклад, симуляції та відтворення осіб, а також передачу ідентичності).

Папер ASH 2023 року обіцяв повністю тіло 3DGS людини, тоді як Гаусові аватари пропонували значно покращену деталізацію (у порівнянні з автоенкодерними та іншими конкуруючими методами), разом з вражаючими можливостями перехрестного переосмислення.

Однак цього року було відносно мало таких проривних моментів для синтезу людини 3DGS; більшість робіт, які займалися цією проблемою, були або похідними від вищезгаданих робіт, або не змогли перевершити їхні можливості.

Натомість акцент на 3DGS був у покращенні його архітектурної життєздатності, що призвело до цілої низки робіт, які пропонують покращені зовнішні середовища 3DGS. Особлива увага приділяється підходам SLAM (синхронне локалізація та мапування) 3DGS, у проектах таких як Gaussian Splatting SLAM, Splat-SLAM, Gaussian-SLAM, DROID-Splat, серед багатьох інших.

Ті проекти, які намагалися продовжити або розширити синтез людини на основі розсіювання, включали MIGS, GEM, EVA, OccFusion, FAGhead, HumanSplat, GGHead, HGM та Topo4D. Хоча є інші, жоден з цих виходів не зміг повторити первісний вплив паперів, які з’явилися наприкінці 2023 року.

‘Ера Вайнштейна’ тестових зразків повільно занепадає

Дослідження з Південно-Східної Азії загалом (і Китаю зокрема) часто містять тестові приклади, які проблематичні для republicації у статті-огляді, оскільки вони містять матеріал, який трохи “пікантний”.

Чи це тому, що дослідники в цьому регіоні світу намагаються привернути увагу до своєї продукції, є предметом дискусії; однак протягом останніх 18 місяців усе більше робіт з генерації штучного інтелекту (зображення та/або відео) перейшли до використання молодих та напівоголених жінок та дівчат у прикладах проекту. Приклади цього включають UniAnimate, ControlNext та навіть дуже “сухі” папери, такі як Оцінка рухової послідовності за допомогою Фреше-відстані руху відео (FVMD).

Це продовжує загальні тенденції субреддітів та інших спільнот, які зібралися навколо латентних дифузійних моделей (LDM), де правило 34 залишається дуже актуальним.

Суперництво знаменитостей

Цей тип недоречного прикладу перекривається з ростом визнання того, що процеси штучного інтелекту не повинні довільно експлуатувати знаменитості – особливо в дослідженнях, які некритично використовують приклади з знаменитостями, часто жінками, і ставлять їх у сумнівні контексти.

Одним з прикладів є AnyDressing, який, окрім використання дуже молодих аніме-стильних жіночих персонажів, також вільно використовує особистості знаменитостей, таких як Мерілін Монро, і сучасних, таких як Енн Гетевей (яка доволі голосно засудила таке використання).

Довільне використання сучасних і “класичних” знаменитостей все ще досить поширене у паперах з Південно-Східної Азії, хоча ця практика трохи на спаді. Джерело: https://crayon-shinchan.github.io/AnyDressing/

У західних паперах ця конкретна практика була помітно на спаді протягом 2024 року, під керівництвом великих випусків з FAANG та інших високорівневих дослідницьких органів, таких як OpenAI. Критично усвідомлюючи потенціал майбутніх судових процесів, ці великі корпоративні гравці, здається, все частіше не бажають представляти навіть вигаданих фотореалістичних осіб.

Хоча системи, які вони створюють (наприклад, Imagen та Veo2), явно здатні до такого виходу, приклади з західних проектів генерації штучного інтелекту тепер схиляються до “милих”, диснеївських та дуже “безпечних” зображень та відео.

Незважаючи на те, що Imagen здатна створювати “фотореалістичні” виходи, зразки, пропоновані Google Research, зазвичай фантастичні, “сімейні” – фотореалістичні люди ретельно уникаються або мінімальні приклади надаються. Джерело: https://imagen.research.google/

Миття обличчя

У західній літературі з комп’ютерного бачення цей нечесний підхід особливо помітний для систем налаштування – методів, які здатні створювати послідовні подоби конкретної особи у декількох прикладах (наприклад, LoRA та старішого DreamBooth).

Приклади включають ортогональне візуальне вкладення, LoRA-Composer, InstructBooth від Google та багато інших.

InstructBooth від Google збільшує фактор миловидності до 11, хоча історія свідчить про те, що користувачі більше зацікавлені у створенні фотореалістичних людей, ніж пушистих чи миловидних персонажів. Джерело: https://sites.google.com/view/instructbooth

Однак зростання “милого прикладу” спостерігається в інших галузях досліджень комп’ютерного бачення та синтезу, у проектах таких як Comp4D, V3D, DesignEdit, UniEdit, FaceChain (яка визнає більш реалістичні очікування користувачів на своїй сторінці GitHub), та DPG-T2I, серед багатьох інших.

Легкість, з якою такі системи (наприклад, LoRAs) можуть бути створені домашніми користувачами з відносно скромним обладнанням, призвела до вибуху безкоштовно завантажуваних моделей знаменитостей на домені civit.ai та спільноті. Таке несанкційоване використання залишається можливим завдяки відкриттю архітектур, таких як Stable Diffusion та Flux.

Хоча часто можливо “пробити” безпекові функції генеративних текст-до-зображення (T2I) та текст-до-відео (T2V) систем, щоб створити матеріал, заборонений умовами використання платформи, розрив між обмеженими можливостями найкращих систем (наприклад, RunwayML та Sora) та необмеженими можливостями систем середньої продуктивності (наприклад, Stable Video Diffusion, CogVideo та локальні розгортання Hunyuan) не закривається, як багато хто вважає.

Натомість ці пропріетарні та відкриті системи, відповідно, загрожують стати однаково непридатними: дорогі та гіпермасштабовані системи T2V можуть стати надмірно обмеженими через страхи судових процесів, тоді як відсутність інфраструктури ліцензування та нагляду за наборами даних у відкритих системах може повністю виключити їх з ринку, оскільки вводяться більш суворі правила.

Перша публікація: вівторок, 24 грудня 2024 року