Модель розділення будь-чого – комп’ютерне бачення отримує величезний імпульс

Комп’ютерне бачення (CV) досягло 99% точності з 50% за 10 років. Очікується, що технологія буде ще більше вдосконалена до безпрецедентного рівня за допомогою сучасних алгоритмів та технік розділення зображень. Нещодавно лабораторія Meta FAIR випустила Модель розділення будь-чого (SAM) – революційну модель розділення зображень. Ця просунута модель може створювати детальні маски об’єктів з вхідних промптів, піднімаючи комп’ютерне бачення на нові висоти. Вона потенційно може революціонізувати те, як ми взаємодіємо з цифровими технологіями в цій ері.

Давайте дослідимо розділення зображень та коротко відкриємо, як SAM впливає на комп’ютерне бачення.

Що таке розділення зображень та які його типи?

Розділення зображень – це процес у комп’ютерному баченні, який розділяє зображення на кілька регіонів або сегментів, кожний з яких представляє окремий об’єкт або область зображення. Цій підхід дозволяє експертам ізолювати окремі частини зображення, щоб отримати корисну інформацію.

Моделі розділення зображень тренуються для поліпшення виходу шляхом визнання важливих деталей зображення та зменшення складності. Ці алгоритми ефективно відрізняють різні області зображення на основі ознак, таких як колір, текстура, контраст, тіні та краї.

Розділяючи зображення, ми можемо зосередити наш аналіз на регіонах інтересу для отримання корисної інформації. Нижче наведені різні техніки розділення зображень.

• Семантичне розділення включає в себе маркування пікселів у семантичні класи.
• Розділення екземплярів йде далі, визначаючи та окреслюючи кожен об’єкт на зображенні.
• Панорамне розділення призначає унікальні ідентифікатори екземплярів окремим пікселям об’єктів, що призводить до більш повного та контекстного маркування всіх об’єктів на зображенні.

Розділення здійснюється за допомогою моделей глибокого навчання на основі зображень. Ці моделі отримують всі цінні дані та ознаки з навчальної вибірки. Потім перетворюють ці дані у вектори та матриці для розуміння складних ознак. Деякі з широко використовуваних моделей глибокого навчання для розділення зображень:

• Конволюційні нейронні мережі (CNN)
• Повністю зв’язані мережі (FCN)
• Рекурентні нейронні мережі (RNN)

Як працює розділення зображень?

У комп’ютерному баченні більшість моделей розділення зображень складаються з кодувальника-декодувальника. Кодувальник кодує латентне просторове представлення вхідних даних, яке декодувальник декодує для формування сегментних карт, або, іншими словами, карт, що окреслюють розташування кожного об’єкта на зображенні.

Зазвичай процес розділення складається з 3 стадій:

• Кодувальник зображення, який перетворює вхідне зображення у математичну модель (вектори та матриці) для обробки.
• Кодувальник агрегує вектори на декількох рівнях.
• Швидкий декодувальник маски приймає вкладення зображення як вхід та створює маску, яка окреслює різні об’єкти на зображенні окремо.

Стан розділення зображень

Починаючи з 2014 року, хвиля алгоритмів розділення на основі глибокого навчання виникла, таких як CNN+CRF та FCN, які зробили значний прогрес у галузі. 2015 рік побачив появу U-Net та Deconvolution Network, які покращили точність результатів розділення.

Потім у 2016 році Instance Aware Segmentation, V-Net та RefineNet ще більше покращили точність та швидкість розділення. До 2017 року Mark-RCNN та FC-DenseNet ввели визначення об’єктів та густе передбачення до завдань розділення.

У 2018 році Панорамне розділення, Mask-Lab та Context Encoding Networks були у центрі уваги, оскільки ці підходи задовольняли потребу у розділенні на рівні екземплярів. До 2019 року Panoptic FPN, HRNet та Criss-Cross Attention ввели нові підходи до розділення на рівні екземплярів.

У 2020 році тренд продовжився з появою Detecto RS, Panoptic DeepLab, PolarMask, CenterMask, DC-NAS та Efficient Net + NAS-FPN. Нарешті, у 2023 році у нас є SAM, про який ми поговоримо далі.

Модель розділення будь-чого (SAM) – загальне розділення зображень

Джерело зображення

Модель розділення будь-чого (SAM) – це новий підхід, який може виконувати інтерактивні та автоматичні завдання розділення в одній моделі. Раніше інтерактивне розділення дозволяло розділяти будь-який клас об’єктів, але вимагало від людини спрямовувати метод шляхом ітеративного уточнення маски.

Автоматичне розділення в SAM дозволяє розділяти конкретні категорії об’єктів, визначені заздалегідь. Її промоутований інтерфейс робить її дуже гнучкою. Як результат, SAM може вирішувати широкий спектр завдань розділення, використовуючи відповідний промпт, такий як кліки, коробки, текст та інше.

SAM тренується на різноманітній та інформативній вибірці з понад 1 млрд масок, що робить можливим розпізнавання нових об’єктів та зображень, недоступних у вибірці для навчання. Ця сучасна структура революціонізує моделі комп’ютерного бачення у застосуваннях, таких як самохідні автомобілі, безпека та доповнена реальність.

SAM може визначати та розділяти об’єкти навколо автомобіля в самохідних автомобілях, таких як інші транспортні засоби, пішоходи та дорожні знаки. У доповненій реальності SAM може розділяти реальну навколишню середовище, щоб розмістити віртуальні об’єкти в відповідних місцях, створюючи більш реалістичний та привабливий досвід користувача.

Виклики розділення зображень у 2023 році

Розростання досліджень та розробок у сфері розділення зображень також приносить значні виклики. Деякі з найважливіших викликів розділення зображень у 2023 році включають:

• Зростаючу складність наборів даних, особливо для 3D-розділення зображень
• Розробку інтерпретовних глибоких моделей
• Використання моделей навчання без нагляду, які мінімізують втручання людини
• Потрібу у реальному часі та ефективних за пам’яттю моделей
• Видалення瓶ключів 3D-сегментації хмар точок

Майбутнє комп’ютерного бачення

Глобальний ринок комп’ютерного бачення впливає на численні галузі та очікується досягнути понад $41 млрд до 2030 року. Сучасні техніки розділення зображень, такі як Модель розділення будь-чого, у поєднанні з іншими алгоритмами глибокого навчання, ще більше зміцнять основу комп’ютерного бачення у цифровому ландшафті. Отже, ми побачимо більш розвинені моделі комп’ютерного бачення та інтелектуальні застосування у майбутньому.

Щоб дізнатися більше про штучний інтелект та машинне навчання, дослідіть Unite.ai – ваше одне рішення для всіх запитів про технології та їх сучасний стан.