Одним з основних викликів у моделях комп’ютерного зору є генерація високоякісних масок сегментації. Недавні досягнення у великомасштабному нагрудному тренуванні дозволили здійснити нульову сегментацію через різні стилі зображень. Крім того, ненагрудне тренування спрощує сегментацію без потреби у великих анотаціях. Незважаючи на ці досягнення, створення комп’ютерної моделі, здатної сегментувати будь-що у нульовому режимі без анотацій, залишається складною задачею. Сегментація, фундаментальна концепція у моделях комп’ютерного зору, полягає у розділі зображення на менші регіони з однорідними семантиками. Цей метод закладає основу для багатьох наступних завдань, таких як медична візуалізація, редагування зображень, автономне водіння та багато іншого.

Для розвитку моделей комп’ютерного зору важливо, щоб сегментація зображень не обмежувалася фіксованим набором даних з обмеженими категоріями. Натомість, вона повинна діяти як універсальна фундаментальна задача для різних інших застосунків. Однак висока вартість збору міток на піксельній основі представляє значний виклик, який обмежує розвиток нульової та нагрудної сегментації, які не потребують анотацій і не мають попереднього доступу до цільової задачі. Ця стаття обговорить, як самоуважні шари у стабільних моделях дифузії можуть сприяти створенню моделі, здатної сегментувати будь-який вхід у нульовому режимі, навіть без належних анотацій. Ці самоуважні шари природно розуміють концепції об’єктів, вивчені попередньо тренованою стабільною моделлю дифузії.

DiffSeg: Розширений алгоритм нульової сегментації

Сегментація – це процес, який розділяє зображення на різні секції, кожна з яких має спільні семантики. Цей метод закладає основу для багатьох наступних завдань. Традиційно нульові завдання комп’ютерного зору залежали від нагрудної сегментації, яка використовувала великі набори даних з анотованими та позначеними категоріями. Однак реалізація ненагрудної сегментації у нульовому режимі залишається викликом. Хоча традиційні нагрудні методи ефективні, їхня вартість позначення на піксельній основі часто заборонна, підкреслюючи необхідність розробки ненагрудних методів сегментації у менш обмеженому нульовому режимі, де модель не потребує анотованих даних і не має попереднього знання даних.

Для вирішення цього обмеження DiffSeg вводить нову стратегію постобробки, використовуючи можливості стабільної моделі дифузії для створення універсальної моделі сегментації, здатної до нульової передачі на будь-яке зображення. Стабільні моделі дифузії довели свою ефективність у генерації високоякісних зображень на основі умов промптера. Для згенерованих зображень ці моделі можуть створювати маски сегментації, використовуючи відповідні текстові промптери, які зазвичай включають лише домінантні об’єкти переднього плану.

Натомість, DiffSeg – це інноваційна стратегія постобробки, яка створює маски сегментації, використовуючи тензори уваги з самоуважних шарів у моделі дифузії. Алгоритм DiffSeg складається з трьох основних компонентів: ітеративного злиття уваги, агрегації уваги та не-максимального придушення, як показано на наступному зображенні.

Алгоритм DiffSeg зберігає візуальну інформацію через різні роздільності, агрегуючи 4D тензори уваги з просторовою консистентністю та використовуючи ітеративний процес злиття шляхом вибірки якорних точок. Ці якорі служать стартовою точкою для злиття масок уваги з одними й тими ж об’єктами, які в кінцевому підсумку будуть поглинені. Фреймворк DiffSeg контролює процес злиття за допомогою методу розходження Кульбака-Лейблера для вимірювання схожості між двома картами уваги.

Порівняно з ненагрудними методами сегментації на основі кластеризації, розробникам не потрібно вказувати кількість кластерів заздалегідь у алгоритмі DiffSeg, і навіть без будь-яких попередніх знань алгоритм DiffSeg може створювати сегментацію без використання додаткових ресурсів. Загалом, алгоритм DiffSeg – це новий ненагрудний і нульовий метод сегментації, який використовує попередньо треновану стабільну модель дифузії, і може сегментувати зображення без будь-яких додаткових ресурсів чи попередніх знань.

DiffSeg: Основні концепції

DiffSeg – це новий алгоритм, який будується на знаннях моделей дифузії, ненагрудної сегментації та нульової сегментації.

Моделі дифузії

Алгоритм DiffSeg будується на знаннях попередньо тренованих моделей дифузії. Моделі дифузії – це одні з найпопулярніших генеративних фреймворків для моделей комп’ютерного зору, і вони вивчають прямий і зворотний процес дифузії з ізотропного гауссовського шуму до генерації зображення. Стабільна дифузія – це найпопулярніший варіант моделей дифузії, і вона використовується для виконання широкого спектра завдань, включаючи нагрудну сегментацію, нульову класифікацію, семантичне співвідношення, ефективну сегментацію та відкриту сегментацію. Однак єдина проблема з моделями дифузії полягає в тому, що вони залежать від високовимірних візуальних ознак для виконання цих завдань, і часто потребують додаткової тренування для повного використання цих ознак.

Ненагрудна сегментація

Алгоритм DiffSeg тісно пов’язаний з ненагрудною сегментацією, сучасною практикою штучного інтелекту, яка має на меті генерацію густих масок сегментації без використання анотацій. Однак для досягнення хорошої продуктивності моделі ненагрудної сегментації все ж таки потребують деякої попередньої ненагрудної тренування на цільовому наборі даних. Ненагрудна сегментація на основі штучного інтелекту може бути характеризована двома категоріями: кластеризація з використанням попередньо тренованих моделей та кластеризація на основі інваріантності. У першій категорії фреймворки використовують дискримінативні ознаки, вивчені попередньо тренованими моделями, для генерації масок сегментації, тоді як фреймворки, що належать до другої категорії, використовують загальний алгоритм кластеризації, який оптимізує взаємну інформацію між двома зображеннями для сегментації зображень у семантичні кластери та уникнення деградованої сегментації.

Нульова сегментація

Алгоритм DiffSeg тісно пов’язаний з нульовими фреймворками сегментації, методом, який має здатність сегментувати будь-що без будь-якої попередньої тренування чи знання даних. Моделі нульової сегментації продемонстрували виняткові можливості нульової передачі в останні часи, хоча вони все ж таки потребують деякого текстового вводу та промптерів. Натомість, алгоритм DiffSeg використовує модель дифузії для генерації сегментації без запиту та синтезу кількох зображень та без знання змісту об’єкта.

DiffSeg: Метод і архітектура

Алгоритм DiffSeg використовує самоуважні шари у попередньо тренованій стабільній моделі дифузії для генерації високоякісних завдань сегментації.

Стабільна модель дифузії

Стабільна дифузія – це одна з фундаментальних концепцій у фреймворку DiffSeg. Стабільна дифузія – це генеративний фреймворк штучного інтелекту, і одна з найпопулярніших моделей дифузії. Одним з основних характеристик моделі дифузії є прямий і зворотний прохід. У прямому проході додається невелика кількість гауссовського шуму до зображення ітеративно на кожному етапі часу, поки зображення не стане ізотропним гауссовським шумом. Натомість, у зворотному проході модель дифузії ітеративно видаляє шум у ізотропному гауссовському шумі для відновлення оригінального зображення без гауссовського шуму.

Фреймворк стабільної дифузії використовує кодувач-декодувач та архітектуру U-Net з шаром уваги, де він використовує кодувач для стиснення зображення у латентний простір з меншими просторовими розмірами, та використовує декодувач для розстиснення зображення. Архітектура U-Net складається зі стека модульних блоків, де кожен блок складається з одного з двох компонентів: шару трансформера та шару ResNet.

Компоненти та архітектура

Самоуважні шари у моделях дифузії групують інформацію про внутрішні об’єкти у вигляді просторових карт уваги, і DiffSeg – це новий метод постобробки для злиття тензорів уваги у валідну маску сегментації з трубопроводом, який складається з трьох основних компонентів: агрегації уваги, не-максимального придушення та ітеративної уваги.

Агрегація уваги

Для вхідного зображення, яке проходить через шари U-Net та кодувач, стабільна модель дифузії генерує загалом 16 тензорів уваги, з 5 тензорами для кожної з розмірностей. Основною метою генерації 16 тензорів є агрегування цих тензорів уваги з різними роздільностями у тензор з найбільш можливою роздільністю. Для досягнення цього алгоритм DiffSeg обробляє чотири розмірності по-різному.

З чотирьох розмірностей останні дві розмірності у тензорах уваги мають різні роздільності, але вони просторово консистентні, оскільки 2D просторова карта фреймворку DiffSeg відповідає кореляції між місцями та просторовими місцями. Результатом цього є те, що фреймворк DiffSeg вибірково обробляє останні дві розмірності усіх карт уваги до найбільшої роздільності – 64 x 64. Натомість, перші дві розмірності вказують на місце розташування карт уваги, як показано на наступному зображенні.

Оскільки ці розмірності вказують на місце розташування карт уваги, карти уваги потрібно агрегувати відповідно. Крім того, для забезпечення того, щоб агрегована карта уваги мала валідний розподіл, фреймворк нормалізує розподіл після агрегації з кожною картою уваги, якій присвоюється вага, пропорційна її роздільності.

Ітеративне злиття уваги

Хоча основною метою агрегації уваги було обчислення тензору уваги, основною метою є злиття карт уваги у стек об’єктних пропозицій, де кожна пропозиція містить або категорію речей, або активацію одного об’єкта. Запропоноване рішення для досягнення цього полягає у реалізації алгоритму K-Means на валідному розподілі тензорів для пошуку кластерів об’єктів. Однак використання алгоритму K-Means не є оптимальним рішенням, оскільки кластеризація K-Means потребує вказівки кількості кластерів заздалегідь. Крім того, реалізація алгоритму K-Means може призвести до різних результатів для одного й того ж зображення, оскільки це стохастично залежить від ініціалізації. Для подолання цього перешкоди фреймворк DiffSeg пропонує генерацію вибіркової сітки для створення пропозицій шляхом ітеративного злиття карт уваги.

Не-максимальне придушення

Попередній крок ітеративного злиття уваги дає список об’єктних пропозицій у вигляді ймовірності чи карт уваги, де кожна об’єктна пропозиція містить активацію об’єкта. Фреймворк використовує не-максимальне придушення для перетворення списку об’єктних пропозицій у валідну маску сегментації, і цей процес є ефективним підходом, оскільки кожен елемент у списку вже є картиною розподілу ймовірності. Для кожного просторового місця у всіх картах алгоритм приймає індекс найбільшої ймовірності та призначає членство на основі індексу відповідної карти.

DiffSeg: Експерименти та результати

Фреймворки, які працюють над ненагрудною сегментацією, використовують два бенчмарки сегментації: Cityscapes та COCO-stuff-27. Бенчмарк Cityscapes – це набір даних для самохідних транспортних засобів з 27 середніми категоріями, тоді як бенчмарк COCO-stuff-27 – це кураторська версія оригінального набору даних COCO-stuff, який об’єднує 80 речей та 91 категорію у 27 категорій. Крім того, для аналізу продуктивності сегментації фреймворк DiffSeg використовує середнє перетинове об’єднання або mIoU та точність пікселів або ACC, і оскільки алгоритм DiffSeg не може надати семантичну мітку, він використовує алгоритм угорського матчування для призначення маски з кожною передбаченою маскою. У разі, якщо кількість передбачених масок перевищує кількість масок реальних даних, фреймворк буде вважати непарні передбачені завдання хибними негативами.

Крім того, фреймворк DiffSeg також підкреслює наступні три роботи для запуску інтерференції: залежність мови або LD, ненагрудна адаптація або UA, та допоміжне зображення або AX. Залежність мови означає, що метод потребує описових текстових входів для сприяння сегментації зображення, ненагрудна адаптація відноситься до потреби методу використовувати ненагрудну тренування на цільовому наборі даних, тоді як допоміжне зображення відноситься до потреби методу у додатковому вході, або як синтетичних зображень, або як пула посилальних зображень.

Результати

На бенчмарку COCO фреймворк DiffSeg включає два бенчмарки K-Means, K-Means-S та K-Means-C. Бенчмарк K-Means-C включає 6 кластерів, які були розраховані шляхом усереднення кількості об’єктів у зображеннях, які він оцінює, тоді як бенчмарк K-Means-S використовує певну кількість кластерів для кожного зображення на основі кількості об’єктів у реальних даних зображення, і результати на обох цих бенчмарках показані на наступному зображенні.

Як можна побачити, бенчмарк K-Means перевершує існуючі методи, демонструючи вигоду від використання тензорів уваги. Що цікаво, бенчмарк K-Means-S перевершує бенчмарк K-Means-C, що вказує на те, що кількість кластерів є фундаментальним гіперпараметром, і налаштування його є важливим для кожного зображення. Крім того, навіть коли залежно від тих самих тензорів уваги, фреймворк DiffSeg перевершує бенчмарки K-Means, що доводить здатність фреймворку DiffSeg не тільки надавати кращу сегментацію, але й уникати недоліків, пов’язаних з використанням бенчмарків K-Means.

На наборі даних Cityscapes фреймворк DiffSeg демонструє результати, подібні до фреймворків, які використовують вхід з нижчою роздільністю 320, тоді як перевершує фреймворки, які використовують вхід з вищою роздільністю 512, у точності та mIoU.

Як згадувалося раніше, фреймворк DiffSeg використовує кілька гіперпараметрів, як показано на наступному зображенні.

Агрегація уваги – це одна з фундаментальних концепцій, використаних у фреймворку DiffSeg, і ефекти використання різних ваг агрегації показані на наступному зображенні з постійною роздільністю зображення.

Як можна спостерігати, високороздільні карти на рис. (б) з 64 x 64 картами дають найбільш деталізовані сегментації, хоча сегментації мають деякі видимі тріщини, тоді як карти з нижчою роздільністю 32 x 32 мають тенденцію до надмірної сегментації деталей, хоча це призводить до покращення узгодженості сегментації. На рис. (д) карти з низькою роздільністю не можуть генерувати жодної сегментації, оскільки все зображення об’єднується у один об’єкт з існуючими гіперпараметрами. Нарешті, на рис. (а), яка використовує пропорційну стратегію агрегації, сегментації мають покращені деталі та збалансовану узгодженість.

Фінальні думки

Нульова ненагрудна сегментація все ще залишається одним з найбільших викликів для фреймворків комп’ютерного зору, і існуючі моделі або залежать від ненагрудної адаптації, або від зовнішніх ресурсів. Для подолання цього виклику ми обговорили, як самоуважні шари у стабільних моделях дифузії можуть дозволити створити модель, здатну сегментувати будь-який вхід у нульовому режимі без належних анотацій, оскільки ці самоуважні шари містять внутрішні концепції об’єктів, вивчені попередньо тренованою стабільною моделлю дифузії. Ми також обговорили DiffSeg, нову стратегію постобробки, яка має на меті використати потенціал стабільної моделі дифузії для створення універсальної моделі сегментації, яка може реалізувати нульову передачу на будь-яке зображення. Алгоритм залежить від міжуважної схожості та внутрішньоуважної схожості для ітеративного злиття карт уваги у валідні маски сегментації для досягнення найвищої продуктивності на популярних бенчмарках.