Моделі та платформи ШІ
Трансформери бачення подолали виклики завдяки новому методу «Патч-кластерної уваги»
Ключові моментиУвага від патча до кластера зменшує обчислювальні вимоги Vision Transformers з…
Показати більше
- Увага від патча до кластера зменшує обчислювальні вимоги Vision Transformers з квадратичних до лінійних.
- Новий метод пояснює прийняття рішень штучним інтелектом, формуючи зрозумілі кластери особливостей зображення.
- PaCa перевершує провідні моделі, такі як SWin та PVT, у завданнях класифікації та сегментації.
Технології штучного інтелекту (ШІ), особливо Трансформери бачення (ViTs), показали великий потенціал у розпізнаванні та категоризації об’єктів на зображеннях. Однак їхнє практичне застосування було обмежене двома значними викликами: високими вимогами до обчислювальної потужності та відсутністю прозорості у процесі прийняття рішень. Тепер група дослідників розробила проривне рішення: нову методологію, відому як «Патч-кластерна увага» (PaCa). PaCa спрямована на підвищення можливостей ViTs у розпізнаванні, класифікації та сегментації об’єктів на зображеннях, одночасно вирішуючи давні проблеми обчислювальних вимог та прозорості у процесі прийняття рішень.
Подолання викликів ViTs: Огляд нового рішення
Трансформери, завдяки своїм високим можливостям, є одними з найвпливовіших моделей у світі ШІ. Потужність цих моделей була розширена на візуальні дані через ViTs, клас трансформерів, які тренуються на візуальних даних. Незважаючи на величезний потенціал, який пропонують ViTs у тлумаченні та розумінні зображень, вони були обмежені двома значними проблемами.
По-перше, через те, що зображення містять величезну кількість даних, ViTs вимагають великої обчислювальної потужності та пам’яті. Ця складність може перевищувати можливості багатьох систем, особливо при обробці зображень високої роздільної здатності. По-друге, процес прийняття рішень у ViTs часто є заплутаним та не прозорим. Користувачам складно зрозуміти, як ViTs розрізняють різні об’єкти або особливості на зображенні, що є важливим для багатьох застосувань.
Однак інноваційна методологія PaCa пропонує рішення обох цих викликів. «Ми подолали виклик, пов’язаний з обчислювальними та вимогами до пам’яті, використовуючи техніки кластеризації, які дозволяють трансформеру краще ідентифікувати та зосередитися на об’єктах на зображенні», пояснює Тяньфу У, автор для листування щодо статті про цю роботу та асоційований професор кафедри електротехніки та комп’ютерної інженерії університету штату Північна Кароліна.
Використання технік кластеризації в PaCa суттєво знижує обчислювальні вимоги, перетворюючи задачу з квадратичної на лінійну. Тяньфу У далі пояснює процес: «Кластеризуючи, ми робимо цей процес лінійним, коли кожна менша одиниця повинна порівнюватися лише з попередньо визначеною кількістю кластерів».
Кластеризація також служить для уточнення процесу прийняття рішень у ViTs. Процес формування кластерів показує, як ViT вирішує, які особливості важливі для групування секцій даних зображення. Оскільки ШІ створює лише обмежену кількість кластерів, користувачі можуть легко зрозуміти та вивчити процес прийняття рішень, суттєво покращуючи інтерпретованість моделі.
Методологія PaCa перевершує інші передові ViTs
Через комплексне тестування дослідники виявили, що методологія PaCa перевершує інші ViTs у кількох аспектах. Тяньфу У далі пояснює: «Ми виявили, що PaCa перевершує SWin і PVT у всіх аспектах». Процес тестування показав, що PaCa перевершує інші ViTs у класифікації та ідентифікації об’єктів на зображеннях та сегментації, ефективно окреслюючи межі об’єктів на зображеннях. Крім того, було виявлено, що вона є більш ефективною у використанні часу, виконуючи завдання швидше, ніж інші ViTs.
Заохочені успіхом PaCa, команда дослідників планує далі розвивати цю методологію, тренуючи її на більших базових наборах даних. Роблячи це, вони сподіваються розширити межі того, що зараз можливе у сфері ШІ, що працює із зображеннями.
Стаття «PaCa-ViT: Навчання патч-кластерної уваги у Трансформерах бачення» буде представлена на майбутній конференції IEEE/CVF з комп’ютерного бачення та розпізнавання образів. Це важливий етап, який може відкрити шлях до більш ефективних, прозорих та доступних систем ШІ.












