Відокремлення «злитих» людей у комп’ютерному зорі

Нова робота Hyundai Motor Group Innovation Center у Сінгапурі пропонує метод для відокремлення «злитих» людей у комп’ютерному зорі – тих випадків, коли框amework визнання об’єктів знайшов людину, яка знаходиться у певній близькості до іншої людини (наприклад, «обіймаючи» дії або «стоячи позаду» пози), і не може розрізнити двох людей, плутаючи їх за одну людину або сутність.

Два стають одним, але це не добре у семантичному розрізненні. Тут ми бачимо нову систему, яка досягає найкращих результатів у індивідуалізації переплетених людей у складних і складних зображеннях. Джерело: https://arxiv.org/pdf/2210.03686.pdf

Це є помітною проблемою, яка отримала велику увагу у дослідницькій спільноті за останні роки. Рішення цієї проблеми без очевидної, але зазвичай недоступної витрати гіпермасштабної, людської маркування, могло б призвести до покращення індивідуалізації людей у текстово-образових системах, таких як Stable Diffusion, які часто «розплавляють» людей разом, коли запрошена поза вимагає кількох осіб у близькій близькості один до одного.

Приміть жах – текстово-образові моделі, такі як DALL-E 2 і Stable Diffusion (обидві представлені вище), мають труднощі з представленням людей у дуже близькій близькості один до одного.

Хоча генеративні моделі, такі як DALL-E 2 і Stable Diffusion, не використовують (наскільки нам відомо, у випадку закритого DALL-E 2) семантичне розрізнення або визнання об’єктів, ці потворні людські портоменто не могли бути вилікувані шляхом застосування таких методів – оскільки стан мистецтва бібліотек і ресурсів визнання об’єктів не набагато кращий у розрізненні людей, ніж CLIP-основані робочі процеси моделей.latent diffusion.

Для вирішення цієї проблеми нова робота – під назвою Люди не повинні маркувати більше людей: Окулярний копіювання та вставлення для розрізнення людей – адаптує і покращує недавній підхід «вирізання і вставлення» до напівсинтетичних даних для досягнення нового лідерства у цій задачі, навіть проти найбільш складних джерел.

Нова методологія копіювання та вставлення зараз лідирує у цій галузі, навіть проти попередніх рамок і підходів, які адресують цю проблему у складних і більш спеціалізованих способах, таких як спеціальне моделювання для окуляції.

Виріжте це!

Змінений метод – під назвою Окулярне копіювання та вставлення – походить від роботи 2021 року Просте копіювання та вставлення, яку очолила Google Research, яка запропонувала, що накладення витягнутих об’єктів і людей на різні джерела тренувальних зображень може покращити здатність системи визнання зображень розрізняти кожну інстанс у зображенні.

З роботи 2021 року Google Research під назвою ‘Просте копіювання та вставлення – це сильний метод даних для розрізнення інстансів’, ми бачимо елементи з однієї фотографії, які ‘переміщуються’ до інших фотографій, з метою тренування кращої моделі визнання зображень. Джерело: https://arxiv.org/pdf/2012.07177.pdf

Нова версія додає обмеження і параметри до цього автоматичного і алгоритмічного «перевставлення», аналогізуючи процес до «кошика» зображень, повного потенційних кандидатів для «переміщення» до інших зображень, на основі кількох ключових факторів.

Концептуальна робота для OC&P.

Контроль елементів

Ці обмежувальні фактори включають ймовірність вирізання і вставлення, яка забезпечує, що процес не відбувається постійно, що досягне «насичуючого» ефекту, який підірве дані; кількість зображень, які будуть у «кошику» в будь-який момент часу, де більша кількість «сегментів» може покращити різноманітність інстансів, але збільшити час попередньої обробки; і діапазон, який визначає кількість зображень, які будуть вставлені у «гостинне» зображення.

Відносно останнього, робота зауважує ‘Нам потрібно достатньо окуляції, щоб це відбулося, але не занадто багато, оскільки вони можуть переповнити зображення, що може бути шкідливим для навчання.’

Інші дві інновації для OC&P – цільове вставлення і посилене вставлення інстансів.

Цільове вставлення забезпечує, що відповідне зображення приземляється біля існуючої інстансу у цільовому зображенні. У попередньому підході, з попередньої роботи, новий елемент був обмежений тільки межами зображення, без будь-якого урахування контексту.

Хоча це «вставлення» з цільовим вставленням очевидне для людського ока, обидва OC&P і його попередник виявили, що збільшення візуальної автентичності не є обов’язковим, і навіть може бути недоліком (див. «Реальність кусає» нижче).

Посилене вставлення інстансів, з іншого боку, забезпечує, що вставлені інстанси не демонструють «видатний вигляд», який може бути класифікований системою якимось чином, що може привести до виключення або «спеціального лікування», яке може завадити узагальненню і застосуванню. Посилене вставлення модулює візуальні фактори, такі як яскравість і різкість, масштабування і обертання, і насиченість – серед інших факторів.

З додаткових матеріалів нової роботи: додавання OC&P до існуючих рамок визнання зображень досить тривіальне, і призводить до кращої індивідуалізації людей у дуже близькій близькості. Джерело: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

Крім того, OC&P регулює мінімальний розмір для будь-якого вставленого інстансу. Наприклад, можливо витягнути зображення однієї людини з величезної сцени натовпу, яке можна вставити у інше зображення – але в такому випадку малий кількість пікселів, залучених до цього, не буде ймовірно корисним для визнання. Тому система застосовує мінімальний масштаб на основі співвідношення рівної довжини сторони для цільового зображення.

Далі, OC&P вводить масштабно-чутливе вставлення, де, крім пошуку подібних об’єктів, як і вставлений об’єкт, воно бере до уваги розмір обмежувальних коробок у цільовому зображенні. Однак це не призводить до складених зображень, які люди вважають плідними або реалістичними (див. зображення нижче), а радше збирає семантично відповідні елементи біля один одного способами, які є корисними під час тренування.

Реальність кусає

Обидва попередні роботи, на яких базується OC&P, і поточна реалізація, ставлять низьку ціну на автентичність, або «фотореальність» будь-якого кінцевого «монтування» зображення. Хоча важливо, щоб кінцева збірка не спустилася зовсім у дадаїзм (інакше реальні розгортання навчених систем ніколи не зможуть зустріти елементи в таких сценах, як вони були треновані), обидва ініціативи виявили, що помітне збільшення «візуальної достовірності» не тільки додає до часу попередньої обробки, але і є ймовірно контрпродуктивним.

З додаткових матеріалів нової роботи: приклади збільшених зображень з «випадковим змішуванням». Хоча ці сцени можуть виглядати галюциногенно для людини, вони все ж таки мають подібні об’єкти, які складаються разом; хоча окуляції фантастичні для людського ока, природа потенційної окуляції не може бути відомою заздалегідь, і є неможливою для тренування – тому такі дивні «вирізання» форми достатньо, щоб примусити навчену систему шукати і розпізнавати часткові цільові об’єкти, без потреби розвивати складні методології типу Photoshop, щоб зробити сцени більш правдоподібними.

Дані і тести

Для фази тестування система була тренована на класі «людина» набору даних MS COCO, який містить 262 465 прикладів людей за 64 115 зображень. Однак, щоб отримати кращі маски, ніж у MS COCO, зображення також отримали анотації масок LVIS.

Випущений у 2019 році, LVIS, з досліджень Facebook, є об’ємним набором даних для великомасштабного розрізнення інстансів. Джерело: https://arxiv.org/pdf/1908.03195.pdf

Для оцінки того, як добре посилену систему можна порівняти з великою кількістю окуляційних людських зображень, дослідники поставили OC&P проти OCHuman (Окуляційна людина) бенчмарка.

Приклади з набору даних OCHuman, введеного на підтримку проекту виявлення Pose2Seg у 2018 році. Ця ініціатива мала на меті отримати покращене семантичне розрізнення людей, використовуючи їхню позу як семантичний дільник для пікселів, які представляють їхні тіла. Джерело: https://github.com/liruilong940607/OCHumanApi

Оскільки бенчмарк OCHuman не є вичерпно анотованим, дослідники нової роботи створили підмножину тільки тих прикладів, які були повністю анотовані, під назвою OCHuman^FL. Це скоротило кількість інстансів «людина» до 2240 за 1113 зображень для валідації, і 1923 інстанси за 951 зображення, які були використані для тестування. Обидва оригінальні і нові набори даних були протестовані, використовуючи середню точність (mAP) як основну метрику.

Для узгодженості архітектура була сформована з Mask R-CNN з ядром ResNet-50 і функціональною пірамідальною мережею, остання з яких забезпечує прийнятний компроміс між точністю і швидкістю тренування.

З тим, що дослідники зауважили шкідливий вплив апстрім-ImageNet у подібних ситуаціях, вся система була тренована з нуля на 4 GPU NVIDIA V100, протягом 75 епох, після ініціалізації параметрів Facebook у 2021 році Detectron 2.

Результати

Крім вищезгаданих результатів, базові результати проти MMDetection (і трьох асоційованих моделей) для тестів показали явне лідерство OC&P у його здатності вибирати людські істоти з переплетених поз.

Крім того, що OC&P випереджає PoSeg і Pose2Seg, одним з найбільш видатних досягнень цієї роботи є те, що система може бути досить загально застосована до існуючих рамок, включаючи ті, які були протиставлені їй у випробуваннях (див. порівняння з/без у першій коробці результатів, біля початку статті).

Робота завершується:

‘Ключовим перевагою нашого підходу є те, що його легко застосувати з будь-якими моделями або іншими покращеннями моделей. Враховуючи швидкість, з якою рухається область глибокого навчання, це на користь всіх мати підходи, які є високоінтероперабельними з кожним аспектом тренування. Ми залишаємо як майбутню роботу інтеграцію цього з покращеннями моделей для ефективного рішення розрізнення окуляційних інстансів людей.’

Потенціал для покращення текстово-образової синтезу

Ведучий автор Іван Лінг зауважив у листі до нас*, що головною перевагою OC&P є те, що воно може зберегти оригінальні мітки масок і отримати нову цінність з них «безкоштовно» у новому контексті – тобто, зображеннях, до яких вони були вставлені.

Хоча семантичне розрізнення людей здається тісно пов’язаним з труднощами моделей, таких як Stable Diffusion, у індивідуалізації людей (замість «злиття» їх), будь-який вплив, який семантичне маркування може мати на кошмарні людські рендеринги, які часто виводять SD і DALL-E 2, є дуже далеко апстрім.

Мільярди зображень підмножини LAION 5B, які населяють генеративну силу Stable Diffusion, не містять об’єктно-рівневих міток, таких як обмежувальні коробки і інстанс-мітки, навіть якщо архітектура CLIP, яка складає рендеринги з зображень і бази даних, могла бenefit від таких інстанс-міток; натомість зображення LAION позначені «безкоштовно», оскільки їхні мітки були отримані з метаданих і оточуючих підписів тощо, які були пов’язані з зображеннями, коли вони були витягнуті з веб-сайту у набір даних.

‘Але незалежно від цього,’ Лінг сказав нам. ‘якесь збільшення, подібне до нашого OC&P, можна використовувати під час тренування текстово-образової генеративної моделі. Але я думаю, що реалізм збільшеного тренувального зображення може стати проблемою.

‘У нашій роботі ми показуємо, що «ідеальна» реалізм загалом не потрібна для наглядового розрізнення інстансів, але я не впевнений, чи можна зробити такий самий висновок для тренування текстово-образової генеративної моделі (особливо коли їхні виходи очікуються бути високореалістичними). У цьому випадку може бути потрібно зробити більше роботи щодо «ідеалізації» реалізму збільшених зображень.’

CLIP вже використовується як можливий мультимодальний інструмент для семантичного розрізнення, що свідчить про те, що покращені системи визнання і індивідуалізації людей, такі як OC&P, можуть бути розроблені у фільтри або класифікатори всередині системи, які довільно відхиляють «злиті» і спотворені людські представлення – завдання, яке зараз важко виконати з Stable Diffusion, оскільки у нього обмежена здатність розуміти, де він помилився (якби у нього була така здатність, він, ймовірно, не зробив би помилки з самого початку).

Тільки одна з багатьох робіт, які зараз використовують.framework CLIP від OpenAI – серце DALL-E 2 і Stable Diffusion – для семантичного розрізнення. Джерело: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘Інше питання буде,’ Лінг пропонує. ‘чи просто годувати ці генеративні моделі зображеннями окуляційних людей під час тренування працюватиме, без комплементарного проектування архітектури моделі для пом’якшення проблеми «злиття людей»? Це, ймовірно, питання, яке складно відповісти зразу. Це буде цікаво побачити, як ми можемо надати деяке інстанс-рівневе керівництво (за допомогою інстанс-рівневих міток, таких як інстанс-мітка) під час тренування текстово-образової генеративної моделі.’ * 10 жовтня 2022 Перше опубліковано 10 жовтня 2022.