Штучне матування зображень, яке розуміє сцени

У документальному фільмі, який супроводжує випуск DVD 2003 року фільму Чужий 3 (1992), легенда візуальних ефектів Річард Едлунд згадував з жахом про “сумо-боротьбу” з фотохімічним матуванням, яка домінувала у візуальних ефектах між кінцем 1930-х і кінцем 1980-х років. Едлунд описав процес як “сумо-боротьбу” у порівнянні з цифровими синім/зеленим екраном, який став домінувати на початку 1990-х років (і він повторював цю метафору з тих пір).

Виокремлення переднього плану (наприклад, людини або моделі космічного корабля) з фону, щоб отримане зображення можна було скомпонувати в фоновий план, спочатку здійснювалося шляхом зйомки переднього плану проти однорідного синього або зеленого фону.

Трудоємкий процес фотохімічного матування для візуального ефекту компанії ILM у фільмі “Повернення Джедая” (1983). Джерело: https://www.youtube.com/watch?v=qwMLOjqPmbQ

У отриманому кадрі фоновий колір потім ізолювався хімічно і використовувався як шаблон для повторної друку переднього плану (або людини) в оптичному друкарському пристрої як “плаваючий” об’єкт у прозорій клітці фільму.

Цей процес називався кольоровим накладенням (CSO) – хоча цей термін пізніше став більш пов’язаним з грубими хромакей відео-ефектами у низькобюджетних телевізійних виробництвах 1970-х і 1980-х років, які досягалися за допомогою аналогових засобів, а не хімічних або цифрових.

Демонстрація кольорового накладення у 1970 році для британської дитячої програми “Blue Peter”. Джерело: https://www.bbc.co.uk/archive/blue_peter_noakes_CSO/zwb9vwx

У будь-якому випадку, незалежно від того, чи для фільму, чи для відео-елементів, далі виокремлений кадр можна було вставити в будь-який інший кадр.

Хоча власний, досить дорогий і пропрієтарний содій- паровий процес Disney (який використовував жовтий колір і також використовувався для фільму Альфреда Хічкока “Птахи” 1963 року) дав кращу якість і чіткіші матові, фотохімічне матування залишилося трудомістким і ненадійним.

Пропрієтарний содій-паровий процес Disney вимагав фонові біля жовтого кінця спектра. Тут Анджела Ленсбері підвішена на дротах під час виробництва візуального ефекту для фільму “Відростки і мітли” (1971). Джерело

Поза цифровим матуванням

У 1990-х роках цифрова революція позбулася хімічних речовин, але не потреби у зеленому екрані. Стало можливим видалити зелений (або будь-який інший) фон просто шляхом пошуку пікселів у межах допустимого діапазону цього кольору в програмному забезпеченні для редагування пікселів, chẳng hạn як Photoshop, і нового покоління відео-композитних пакетів, які могли автоматично виділяти кольорові фони. Практично за одну ніч шістдесят років оптичної друку були відправлені в минуле.

Останні десять років прискореного комп’ютерного зору дослідження матування вводять у третю епоху, поставляючи перед дослідниками завдання розробки систем, які можуть виділяти високоякісні матові без потреби у зеленому екрані. На Arxiv окремі статті, пов’язані з інноваціями у машинному навчанні на основі виділення переднього плану, є щотижневою особливістю.

Поміщення нас у картину

Центр академічного та промислового інтересу до виділення AI вже вплинув на споживчий простір: грубі, але робочі реалізації знайомі нам у вигляді фільтрів Zoom і Skype, які можуть замінити наші фони з вітальні на тропічні острови тощо у відеоконференціях.

Однак, найкращі матові все ще потребують зеленого екрану, як зазначено Zoom останньої середи.

Зліва, чоловік перед зеленим екраном, з добре виділеною за допомогою функції віртуального фону Zoom. Праворуч, жінка перед звичайним домашнім фоном, з волоссям, виділеним алгоритмічно, менш точно, з вищими вимогами до обчислювальних ресурсів. Джерело: https://support.zoom.us/hc/en-us/articles/210707503-Changing-your-Virtual-Background-image

Додатковий пост з платформи підтримки Zoom попереджає, що виділення без зеленого екрану також вимагає більших обчислювальних ресурсів у пристрої захоплення.

Потрібно вирізати

Покращення якості, портативності та економії ресурсів для систем матування “у дикій природі” (тобто виділення людей без зеленого екрану) мають значення для багатьох інших секторів і занять, ніж лише відеоконференції.

Для розробки наборів даних покращення якості обличчя, голови та тіла людини пропонує можливість забезпечення того, щоб сторонні фонові елементи не були включені у моделі комп’ютерного зору людини; більш точне виділення значно покращить семантичне сегментування технік, призначених для розпізнавання та асиміляції доменів (тобто ‘кіт’, ‘людина’, ‘човен’), і покращить VAE і трансформер-based системи синтезу зображень, chẳng hạn як OpenAI’s новий DALL-E 2; і краще алгоритми виділення зменшать потребу у дорогому ручному ротоскопуванні у дорогих ВФХ-пайплайнах.

Сценарне штучне матування AI

Багато досліджень щодо штучного матування AI зосередилися на розпізнаванні меж і оцінці піксельних груп всередині зображення або кадру відео. Однак нове дослідження з Китаю пропонує трубопровід виділення, який покращує визначення і якість матових за допомогою текстових описів сцени (мультимодальний підхід, який здобув популярність у сфері дослідження комп’ютерного зору за останні 3-4 роки), стверджуючи, що покращив попередні методи багатьма способами.

Приклад виділення SPG-IM (останнє зображення, праворуч), порівняний з попередніми методами. Джерело: https://arxiv.org/pdf/2204.09276.pdf

Виклик, поставлений перед підсектором досліджень виділення, полягає у створенні робочих процесів, які вимагають мінімальної ручної анотації та втручання людини – ідеально, жодної. Окрім витрат, дослідники нової статті відзначають, що анотації та ручні сегментації, виконані аутсорсинговими працівниками з різних культур, можуть призвести до того, що зображення будуть позначені або навіть сегментовані по-різному, що призведе до несумісних і незадовільних алгоритмів.

Одним із прикладів цього є суб’єктивна інтерпретація того, що становить “об’єкт переднього плану”:

З попередньої статті: попередні методи LFM і MODNet (‘GT’ позначає Ідеальний результат, часто досягнутий вручну або неалгоритмічними методами) мають різні та по-різному ефективні підходи до визначення змісту переднього плану, тоді як новий метод SPG-IM більш ефективно визначає ‘близький вміст’ через контекст сцени.

Для вирішення цієї проблеми дослідники розробили двостадійний трубопровід під назвою Сценарне сприйняття кероване зображенням (SPG-IM). Двостадійна архітектура кодувача/декодувача складається з Сценарного сприйняття дистиляції (SPD) і Сценарного сприйняття керованого матування (SPGM).

Архітектура SPG-IM.

Спочатку SPD попередньо тренує візуально-текстові перетворення функцій, генеруючи підходящі підписи до їхніх асоційованих зображень. Після цього передбачення маски переднього плану здійснюється шляхом підключення трубопроводу до нової техніки передбачення салєнції.

Потім SPGM виводить оцінену альфа-матову на основі сирого входу RGB-зображення і згенерованої маски, отриманої у першому модулі.

Метою є сценарне сприйняття керування, при якому система має контекстне розуміння того, що складається зображення, що дозволяє їй виділяти, наприклад, складне волосся з фону проти відомих характеристик такого конкретного завдання.

width=”874″ height=”628″ /> У прикладі нижче SPG-IM розуміє, що шнурки є внутрішніми для “парашута”, тоді як MODNet не може зберегти і визначити ці деталі. Аналогічно вище, повна структура дитячого спортивного обладнання втрачена в MODNet.

Нова стаття називається Сценарне сприйняття кероване зображенням і походить від дослідників з OPPO Research Institute, PicUp.ai і Xmotors.

Інтелектуальне автоматичне матування

SPG-IM також пропонує адаптивну фокусну трансформаційну (AFT) мережу уточнення, яка може обробляти локальні деталі та глобальний контекст окремо, забезпечуючи “інтелектуальні матові”.

Розуміння контексту сцени, в даному випадку “дівчина з конем”, потенційно може полегшити виділення переднього плану порівняно з попередніми методами.

Стаття зазначає:

‘Ми вважаємо, що візуальні представлення з візуально-текстового завдання, наприклад, опис зображення, зосереджуються на більш семантично повних сигналах між об’єктом та об’єктом і об’єктом та навколишнім середовищем для генерації описів, які можуть охоплювати як глобальну інформацію, так і локальні деталі. Крім того, порівняно з дорогим піксельним анотацією зображення, текстові мітки можна масово зібрати за дуже низькою ціною.’

Стаття продовжується:

‘Наш SPG-IM перевершує всі конкуруючі методи без тримапи ([LFM], [HAttMatting] і [MODNet]) на великий розрив. Крім того, наша модель показує видатну перевагу над державними тримап-основаними та маскою-керованими методами за всі чотири метрики по публічним наборам даних (тобто Composition-1K, Distinction-646 і Human-2K), і наш Multi-Object-1K бенчмарк.’

І продовжується:

‘Чітко видно, що наш метод зберігає тонкі деталі (наприклад, кінчики волосся, прозорі текстури та межі) без керівництва тримапи. Крім того, порівняно з іншими конкуруючими моделями без тримапи, наш SPG-IM може зберегти кращу глобальну семантичну повноту.’

Перша публікація 24 квітня 2022 року.