Модель Segment Anything: значний поступ комп’ютерного бачення

Комп’ютерне бачення (CV) досягло 99% точності з 50% за 10 років. Очікується, що технологія буде ще більше вдосконалена до безпрецедентного рівня за допомогою сучасних алгоритмів та технік сегментації зображень. Нещодавно лабораторія Meta FAIR випустила Модель Segment Anything (SAM) – революційну модель сегментації зображень. Ця просунута модель може створювати детальні маски об’єктів з вхідних промптів, піднімаючи комп’ютерне бачення на нові висоти. Вона потенційно може революціонізувати те, як ми взаємодіємо з цифровими технологіями в цій ері.

Давайте дослідимо сегментацію зображень та коротко відкриємо, як SAM впливає на комп’ютерне бачення.

Що таке сегментація зображень та які її типи?

Сегментація зображень — це процес у комп’ютерному баченні, який розділяє зображення на кілька регіонів або сегментів, кожний з яких представляє окремий об’єкт або область зображення. Цей підхід дозволяє експертам ізолювати окремі частини зображення, щоб отримати корисну інформацію.

Моделі сегментації зображень тренуються для поліпшення результатів шляхом розпізнавання важливих деталей зображення та зменшення складності. Ці алгоритми ефективно відрізняють різні області зображення на основі ознак, таких як колір, текстура, контраст, тіні та краї.

Розділяючи зображення, ми можемо зосередити наш аналіз на регіонах інтересу для отримання корисної інформації. Нижче наведені різні техніки сегментації зображень.

• Семантична сегментація включає в себе маркування пікселів у семантичні класи.
• Сегментація екземплярів йде далі, визначаючи та окреслюючи кожен об’єкт на зображенні.
• Паноптична сегментація призначає унікальні ідентифікатори екземплярів окремим пікселям об’єктів, що призводить до більш повного та контекстного маркування всіх об’єктів на зображенні.

Розділення здійснюється за допомогою моделей глибокого навчання на основі зображень. Ці моделі отримують всі цінні дані та ознаки з навчальної вибірки. Потім перетворюють ці дані у вектори та матриці для розуміння складних ознак. Деякі з широко використовуваних моделей глибокого навчання для сегментації зображень:

• Конволюційні нейронні мережі (CNN)
• Повністю зв’язані мережі (FCN)
• Рекурентні нейронні мережі (RNN)

Як працює сегментація зображень?

У комп’ютерному баченні більшість моделей сегментації зображень складаються з кодувальника-декодувальника. Кодувальник кодує латентне просторове представлення вхідних даних, яке декодувальник декодує для формування сегментних карт, або, іншими словами, карт, що окреслюють розташування кожного об’єкта на зображенні.

Зазвичай процес сегментації складається з 3 стадій:

• Кодувальник зображення, який перетворює вхідне зображення у математичну модель (вектори та матриці) для обробки.
• Кодувальник агрегує вектори на декількох рівнях.
• Швидкий декодувальник маски приймає векторні представлення зображення як вхід та створює маску, яка окреслює різні об’єкти на зображенні окремо.

Стан сегментації зображень

Починаючи з 2014 року, з’явилася хвиля алгоритмів сегментації на основі глибокого навчання, зокрема CNN+CRF та FCN, які зробили значний прогрес у галузі. 2015 рік побачив появу U-Net та Deconvolution Network, які покращили точність результатів сегментації.

Потім у 2016 році Instance Aware Segmentation, V-Net та RefineNet ще більше покращили точність та швидкість сегментації. До 2017 року Mark-RCNN та FC-DenseNet ввели визначення об’єктів та густе передбачення до завдань сегментації.

У 2018 році Паноптична сегментація, Mask-Lab та Context Encoding Networks були у центрі уваги, оскільки ці підходи задовольняли потребу у розділенні на рівні екземплярів. До 2019 року Panoptic FPN, HRNet та Criss-Cross Attention ввели нові підходи до сегментації на рівні екземплярів.

У 2020 році тренд продовжився з появою Detecto RS, Panoptic DeepLab, PolarMask, CenterMask, DC-NAS та Efficient Net + NAS-FPN. Нарешті, у 2023 році у нас є SAM, про який ми поговоримо далі.

Модель Segment Anything (SAM) – сегментація зображень загального призначення

Джерело зображення

Модель Segment Anything (SAM) – це новий підхід, який може виконувати інтерактивні та автоматичні завдання сегментації в одній моделі. Раніше інтерактивна сегментація дозволяла розділяти будь-який клас об’єктів, але вимагало від людини спрямовувати метод шляхом ітеративного уточнення маски.

Автоматична сегментація в SAM дозволяє розділяти конкретні категорії об’єктів, визначені заздалегідь. Її інтерфейс, що приймає промпти, робить модель дуже гнучкою. Як результат, SAM може вирішувати широкий спектр завдань сегментації, використовуючи відповідний промпт, такий як клацання, обмежувальні рамки та текст та інше.

SAM тренується на різноманітній та інформативній вибірці з понад 1 млрд масок, що робить можливим розпізнавання нових об’єктів та зображень, недоступних у вибірці для навчання. Ця сучасна структура революціонізує моделі комп’ютерного бачення у застосуваннях, таких як безпілотні автомобілі, безпека та доповнена реальність.

SAM може визначати та розділяти об’єкти навколо автомобіля в безпілотних автомобілях, таких як інші транспортні засоби, пішоходи та дорожні знаки. У доповненій реальності SAM може розділяти реальне навколишнє середовище, щоб розмістити віртуальні об’єкти у відповідних місцях, створюючи більш реалістичний та привабливий досвід користувача.

Виклики сегментації зображень у 2023 році

Розростання досліджень та розробок у сфері сегментації зображень також приносить значні виклики. Деякі з найважливіших викликів сегментації зображень у 2023 році включають:

• Зростаючу складність наборів даних, особливо для 3D-сегментації зображень
• Розробку інтерпретовних глибоких моделей
• Використання моделей навчання без нагляду, які мінімізують втручання людини
• Потребу в моделях, що працюють у реальному часі та ефективно використовують пам’ять
• Усунення вузьких місць 3D-сегментації хмар точок

Майбутнє комп’ютерного бачення

Глобальний ринок комп’ютерного бачення впливає на численні галузі та очікується досягнути понад $41 млрд до 2030 року. Сучасні техніки сегментації зображень, такі як Модель Segment Anything, у поєднанні з іншими алгоритмами глибокого навчання, ще більше зміцнять основу комп’ютерного бачення у цифровому ландшафті. Отже, ми побачимо більш розвинені моделі комп’ютерного бачення та інтелектуальні застосування у майбутньому.

Щоб дізнатися більше про штучний інтелект та машинне навчання, дослідіть Unite.ai – ваш єдиний ресурс для всіх запитів про технології та їх сучасний стан.