SEER: Прорив у сфері самонавчання комп’ютерного зору

За останні десять років штучний інтелект (AI) та машинне навчання (ML) зробили величезний прогрес. Сьогодні вони більш точні, ефективні та потужні, ніж будь-коли раніше. Сучасні моделі AI та ML можуть безшовно та точно розпізнавати об’єкти на зображеннях або відеофайлах. Крім того, вони можуть генерувати текст та мову, яка паралельна людській інтелектові.

Моделі AI та ML сучасності сильно залежать від навчання на позначених наборах даних, які вчать їх, як інтерпретувати блок тексту, ідентифікувати об’єкти на зображенні або відеофреймі та багато інших завдань.

Незважаючи на їхні можливості, моделі AI та ML не досконалі, і вчені працюють над створенням моделей, які能够 навчатися з інформації, яку вони отримують, і не обов’язково залежати від позначених або анотованих даних. Цей підхід називається самонавчанням, і це один з найефективніших методів створення моделей ML та AI, які мають “здоровий глузд” або фонове знання для вирішення завдань, які виходять за рамки можливостей моделей AI сьогодні.

Самонавчання вже показало свої результати в обробці природної мови, оскільки воно дозволило розробникам тренувати великі моделі, які можуть працювати з величезною кількістю даних, і призвело до кількох проривів у сферах висновування природної мови, машинного перекладу та відповідей на питання.

Модель SEER від Facebook (META ) AI спрямована на максимізацію можливостей самонавчання у сфері комп’ютерного зору. SEER або SElf SupERvised – це модель самонавчання комп’ютерного зору, яка має понад мільярд параметрів, і вона здатна знаходити закономірності або навчатися навіть з випадкової групи зображень, знайдених в інтернеті, без належних анотацій або міток.

Потрібність самонавчання у комп’ютерному зорі

Анотація даних або позначення даних – це стадія попередньої обробки при розробці моделей машинного навчання та штучного інтелекту. Процес анотації даних ідентифікує сирі дані, такі як зображення або відеофрейми, а потім додає мітки до даних, щоб вказати контекст даних для моделі. Ці мітки дозволяють моделі робити точні передбачення щодо даних.

Одним з найбільших перешкод та викликів, з якими стикаються розробники при роботі над моделями комп’ютерного зору, є пошук високоякісних анотованих даних. Комп’ютерний зір сьогодні залежить від цих позначених або анотованих наборів даних для навчання моделей, які дозволяють їм розпізнавати об’єкти на зображенні.

Анотація даних та її використання у моделі комп’ютерного зору створюють наступні проблеми:

Керування якісними наборами даних

Найбільша проблема, з якою стикаються розробники, полягає у отриманні високоякісних наборів даних постійно, оскільки високоякісні набори даних з належними мітками та чіткими зображеннями призводять до кращого навчання та точних моделей. Однак отримання високоякісних наборів даних постійно має свої власні проблеми.

Управління робочою силою

Позначення даних часто супроводжується проблемами управління робочою силою, головним чином тому, що для обробки та позначення великих обсягів неструктурованих та неанотованих даних потрібно велика кількість працівників, а також забезпечення якості.

Фінансові обмеження

Найбільша проблема – це фінансові обмеження, які супроводжують процес позначення даних, і більшість часу вартість позначення даних становить значну частку загальної вартості проекту.

Як ми бачимо, анотація даних – це велика проблема при розробці передових моделей комп’ютерного зору, особливо при розробці складних моделей, які працюють з великими обсягами тренувальних даних. Це причина, чому індустрія комп’ютерного зору потребує самонавчання для розробки складних та передових моделей комп’ютерного зору, які здатні вирішувати завдання, які виходять за рамки можливостей сучасних моделей.

З іншого боку, вже існує багато моделей самонавчання, які добре працюють у контрольованому середовищі, головним чином на наборі даних ImageNet. Хоча ці моделі можуть добре працювати, вони не задовольняють основній умові самонавчання у комп’ютерному зорі: навчання з будь-якого необмеженого набору даних або випадкових зображень, а не тільки з добре визначеного набору даних. Коли реалізовано ідеально, самонавчання може допомогти у розробці більш точних та ефективних моделей комп’ютерного зору, які є економічно ефективними та життєздатними.

SEER або SElf-supERvised Модель: Введення

Останні тенденції в галузі AI та ML вказують на те, що підходи до попереднього навчання, такі як напівнагляді, слабке нагляді та самонавчання, можуть суттєво покращити результати для більшості глибоких моделей навчання для задач нижчого рівня.

Є два ключових фактори, які суттєво внесли свій внесок у покращення результатів цих глибоких моделей навчання.

Попереднє навчання на великих наборах даних

Попереднє навчання на великих наборах даних зазвичай призводить до кращої точності та результатів, оскільки воно піддає модель великому різноманіттю даних. Великі набори даних дозволяють моделям краще зрозуміти закономірності у даних, а в кінцевому підсумку призводять до кращої роботи моделі в реальних сценаріях.

Деякі з найкращих моделей, такі як модель мови GPT-3 та модель розпізнавання мови Wav2vec 2.0, тренуються на великих наборах даних. Модель мови GPT-3 використовує набір даних для попереднього навчання з понад 300 мільярдів слів, тоді як модель розпізнавання мови Wav2vec 2.0 використовує набір даних з понад 53 тисяч годин аудіоданих.

Моделі з великою ємністю

Моделі з більшим числом параметрів часто дають точніші результати, оскільки більша кількість параметрів дозволяє моделі зосередитися лише на об’єктах у даних, які необхідні, а не на інтерференції або шумі у даних.

У минулому розробники робили спроби тренувати моделі самонавчання на неозначених або некурованих даних, але з меншими наборами даних, які містили лише кілька мільйонів зображень. Але чи можуть моделі самонавчання давати високі результати, коли вони тренуються на великому обсязі неозначених та некурованих даних? Це саме питання, на яке модель SEER намагається відповісти.

Модель SEER – це глибокий навчальний каркас, який спрямований на реєстрацію зображень, доступних в інтернеті, незалежно від курованих або позначених наборів даних. Каркас SEER дозволяє розробникам тренувати великі та складні моделі машинного навчання на випадкових даних без нагляду, тобто модель аналізує дані та вчиться закономірностям або інформації самостійно, без будь-якої додаткової ручної підтримки.

Остаточною метою моделі SEER є допомогти у розробці стратегій для процесу попереднього навчання, який використовує некуровані дані для надання високих результатів у навчанні переносу. Крім того, модель SEER також спрямована на створення систем, які можуть безперервно навчатися з нескінченного потоку даних у самонавчальному режимі.

Каркас SEER тренує моделі високої ємності на мільярдах випадкових та не обмежених зображень, витягнутих з інтернету. Моделі, треновані на цих зображеннях, не залежать від метаданих зображень або анотацій для навчання моделі або фільтрації даних. Останнім часом самонавчання показало великий потенціал, оскільки тренування моделей на некурованих даних дало кращі результати порівняно з попереднім навчанням з наглядом для задач нижчого рівня.

Каркас SEER та RegNet: Зв’язок

Для аналізу моделі SEER вона зосереджена на архітектурі RegNet з понад 700 мільйонами параметрів, які відповідають цілі моделі SEER самонавчання на некурованих даних за дві основні причини:

1. Вони пропонують ідеальний баланс між продуктивністю та ефективністю.
2. Вони дуже гнучкі та можуть бути використані для масштабування кількості параметрів.

Каркас SEER: Попередня робота з різних областей

Каркас SEER спрямований на дослідження меж тренування великих архітектур моделей у некурованих або неозначених наборах даних за допомогою самонавчання, і модель шукає натхнення у попередній роботі в цій галузі.

Самонавчальне попереднє навчання візуальних особливостей

Самонавчання вже було реалізовано у комп’ютерному зорі протягом деякого часу з методами, які використовують автоенкодери, дискримінацію на рівні екземплярів або кластеризацію. Останнім часом методи, які використовують контрастне навчання, показали, що попереднє навчання моделей за допомогою несупервізійного навчання для задач нижчого рівня може працювати краще, ніж підхід з наглядом.

Основний висновок з несупервізійного навчання візуальних особливостей полягає у тому, що поки ви тренуєтеся на фільтрованих даних, позначені мітки не потрібні. Модель SEER спрямована на дослідження того, чи може модель навчатися точним представленням, коли великі архітектури моделей тренуються на великому обсязі некурованих, неозначених та випадкових зображень.

Навчання візуальних особливостей у масштабі

Попередні моделі користувалися попереднім навчанням моделей на великих позначених наборах даних з слабким наглядом, наглядом та напівнаглядом на мільйонах фільтрованих зображень. Крім того, аналіз моделей також показав, що попереднє навчання моделей на мільярдах зображень часто дає кращу точність порівняно з тренуванням моделі з нуля.

Крім того, тренування моделі у великому масштабі зазвичай залежить від кроків фільтрації даних для того, щоб зробити зображення резонансними з цільовими поняттями. Ці кроки фільтрації або використовують передбачення від попередньо тренованого класифікатора, або використовують хештеги, які часто є синсетами класів ImageNet. Модель SEER працює інакше, оскільки вона спрямована на навчання особливостей у будь-якому випадковому зображенні, і тому тренувальні дані для моделі SEER не куруються для відповідності до попередньо визначеного набору особливостей або понять.

Масштабування архітектур для розпізнавання зображень

Моделі зазвичай користуються тренуванням великих архітектур на кращій якості вихідних візуальних особливостей. Це важливо при попередньому навчанні на великому наборі даних, оскільки модель з обмеженою ємністю часто недофітує. Це має ще більшу важливість при попередньому навчанні з контрастним навчанням, оскільки в таких випадках модель повинна навчатися розрізняти екземпляри набору даних, щоб навчатися кращих візуальних представлень.

Однак, для розпізнавання зображень масштабування архітектури включає в себе набагато більше, ніж просто зміна глибини та ширини моделі, і для створення масштабно-ефективної моделі з вищою ємністю потрібно багато літератури. Модель SEER демонструє переваги використання сім’ї моделей RegNets для реалізації самонавчання у великому масштабі.

SEER: Методи та компоненти

Каркас SEER використовує різні методи та компоненти для попереднього навчання моделі для навчання візуальним представленням. Деякі з основних методів та компонентів, які використовує каркас SEER, це: RegNet та SwAV. Давайте коротко обговоримо методи та компоненти, які використовує каркас SEER.

Самонавчальне попереднє навчання з SwAV

Каркас SEER попередньо тренується з SwAV, онлайн-самонавчальним підходом. SwAV – це онлайн-кластерний метод, який використовується для тренування конвольних мереж без анотацій. Каркас SwAV працює шляхом тренування вкладення, яке створює кластерні призначення послідовно між різними виглядами одного зображення. Система потім вчиться семантичним представленням шляхом видобування кластерів, які є інваріантними до даних збільшень.

На практиці каркас SwAV порівнює особливості різних виглядів зображення шляхом використання їх незалежних кластерних призначень. Якщо ці призначення захоплюють одні й ті самі особливості, то можливо передбачити призначення одного зображення, використовуючи особливість іншого вигляду.

Модель SEER розглядає набір K кластерів, і кожен з цих кластерів асоціюється з навчуваним d-вимірним вектором vk. Для批ача B зображень, кожне зображення i перетворюється у два різних вигляди: xi1 , і xi2. Вигляди потім феатуризуються за допомогою конвольної мережі, що призводить до двох наборів особливостей: (f11, …, fB2), і (f12, … , fB2). Кожен набір особливостей потім незалежно призначає кластерним прототипам за допомогою Оптимального Транспорту-рішувача.

Оптимальний Транспорт-рішувач забезпечує, що особливості розподіляються рівномірно по кластерах, і це допомагає уникнути тривіальних рішень, коли всі представлення відображаються на один прототип. Результируюче призначення потім міняється між двома наборами: кластерне призначення yi1 вигляду xi1 потрібно передбачити за допомогою особливістю fi2 вигляду xi2, і навпаки.

Прототипні ваги та конвольна мережа потім тренуються для мінімізації втрат для всіх прикладів. Втрата кластерного передбачення l по суті є крос-ентропією між софтмаксом добутку f та кластерного призначення.

RegNetY: Масштабно-ефективна сім’я моделей

Масштабування ємності моделі та даних вимагає архітектур, які є ефективними не тільки з точки зору пам’яті, але також з точки зору часу виконання та RegNets – це сім’я моделей, спеціально розроблених для цієї мети.

Сім’я архітектур RegNet визначається простором конвольних мереж з 4 стадіями, де кожна стадія містить серію ідентичних блоків, зберігаючи при цьому фіксовану структуру блоків, головним чином залишковий вузол.

Каркас SEER зосереджується на архітектурі RegNetY та додає Сквіз-і-Ексайтацію до стандартної архітектури RegNets у спробі покращити їхню продуктивність. Крім того, модель RegNetY має 5 параметрів, які допомагають у пошуку хороших екземплярів з фіксованою кількістю FLOPs, які споживають розумні ресурси. Модель SEER спрямована на покращення своїх результатів шляхом реалізації архітектури RegNetY безпосередньо на своєму самонавчальному попередньому навчанні.

Архітектура RegNetY 256GF: Модель SEER зосереджується в основному на архітектурі RegNetY 256GF у сім’ї RegNetY, і її параметри використовують правило масштабування архітектури RegNets. Параметри описані наступним чином.

Архітектура RegNetY 256GF має 4 стадії зі стадійними ширинами (528, 1056, 2904, 7392) та стадійними глибинами (2,7,17,1), які додають понад 696 мільйонів параметрів. Коли тренується на 512 V100 32GB NVIDIA GPU, кожна ітерація триває близько 6125 мс для批ача з 8 704 зображень. Тренування моделі на наборі даних з понад мільярдом зображень, з批ачем з 8 704 зображень на понад 512 GPU, потребує 114 890 ітерацій, і тренування триває близько 8 днів.

Оптимізація та тренування у великому масштабі

Модель SEER пропонує кілька коригувань для тренування самонавчальних методів та адаптації цих методів до великого масштабу. Ці методи включають:

1. Графік швидкості навчання.
2. Зменшення споживання пам’яті на GPU.
3. Оптимізація швидкості тренування.
4. Попереднє тренування на великому масштабі.

Давайте коротко обговоримо ці методи.

Графік швидкості навчання

Модель SEER досліджує можливість використання двох графіків швидкості навчання: графіка швидкості навчання у вигляді косинуса, та фіксованого графіка швидкості навчання.

Графік швидкості навчання у вигляді косинуса використовується для порівняння різних моделей справедливо, оскільки він адаптується до кількості оновлень. Однак графік швидкості навчання у вигляді косинуса не адаптується до великомасштабного тренування в першу чергу, оскільки він вагомо зображення на основі того, коли вони бачаться під час тренування, і він також використовує повні оновлення для планування.

Фіксований графік швидкості навчання тримає швидкість навчання фіксованою, поки втрата не стане невід’ємною, а потім швидкість навчання ділиться на 2. Аналіз показує, що фіксований графік швидкості навчання працює краще, оскільки він має місце для більш гнучкого тренування. Однак, оскільки модель тренується тільки на 1 мільярд зображень, вона використовує графік швидкості навчання у вигляді косинуса для тренування своєї найбільшої моделі, RegNet 256GF.

Зменшення споживання пам’яті на GPU

Модель також спрямована на зменшення кількості GPU, необхідної під час періоду тренування, шляхом використання змішаної точності та градієнтного чекпойнтінгу. Модель використовує бібліотеку NVIDIA Apex Library з рівнем оптимізації O1 для виконання операцій, таких як конволюції та GEMMs, у 16-бітній плаваючій точності. Модель також використовує реалізацію градієнтного чекпойнтінгу PyTorch, яка торгує обчисленнями за пам’ять.

Крім того, модель також викидає будь-які проміжні активації, зроблені під час прямого проходу, а під час зворотного проходу вона перераховує ці активації.

Оптимізація швидкості тренування

Використання змішаної точності для оптимізації використання пам’яті має додаткові переваги, оскільки прискорювачі використовують зменшений розмір FP16, збільшуючи пропускну здатність порівняно з FP32. Це допомагає прискорити період тренування, покращуючи пам’ять-шину.

Модель SEER також синхронізує BatchNorm шар по GPU, створюючи групи процесів замість використання глобальної синхронізації, яка зазвичай займає більше часу. Нарешті, завантажувач даних, використаний у моделі SEER, попередньо витягує більше тренувальних批ачів, що призводить до більшої кількості даних, пропущених під час тренування порівняно з завантажувачем даних PyTorch.

Попереднє тренування на великому масштабі

Модель SEER використовує понад мільярд зображень під час попереднього тренування, і вона розглядає завантажувач даних, який вибірково вибірково зображення безпосередньо з інтернету та Instagram. Через те, що модель SEER тренується на цих зображеннях у дикій природі та онлайн, вона не застосовує жодної попередньої обробки цих зображень, ані не курує їх за допомогою процесів, таких як видалення дублікатів або фільтрація хештегів.

Варті зазначити, що набір даних не є статичним, і зображення у наборі даних оновлюються кожні три місяці. Однак оновлення набору даних не впливає на продуктивність моделі.

Реалізація моделі SEER

Модель SEER попередньо тренує RegNetY 256GF з SwAV, використовуючи шість культур на зображення, з кожним зображенням, яке має роздільну здатність 2×224 + 4×96. Під час фази попереднього тренування модель використовує 3-шарову MLP або багатошарову перцептронну мережу з проєкційними головками розмірів 10444×8192, 8192×8192 та 8192×256.

Замість використання шарів BatchNorm у голові, модель SEER використовує 16 тисяч прототипів з температурою t встановленою на 0,1. Параметр Синхронізація Сінкгорна встановлений на 0,05, і вона виконує 10 ітерацій алгоритму. Модель далі синхронізує статистику BatchNorm по GPU, і створює численні групи процесів з розміром 64 для синхронізації.

Крім того, модель використовує оптимізатор LARS або шар-адаптивну швидкість масштабування, вагове затухання 10-5, активаційні чекпойнти та оптимізацію змішаної точності O1. Модель потім тренується за допомогою стохастичного градієнтного спуску за допомогою批ача з 8192 випадковими зображеннями, розподіленими по 512 NVIDIA GPU, що призводить до 16 зображень на GPU.

Швидкість навчання лінійно збільшується від 0,15 до 9,6 для перших 8 тисяч тренувальних оновлень. Після розігріву модель слідує графіку швидкості навчання у вигляді косинуса, який знижується до кінцевого значення 0,0096. Загалом, модель SEER тренується понад мільярд зображень за 122 тисячі ітерацій.

Результати каркаса SEER

Якість особливостей, згенерованих підходом самонавчального попереднього навчання, вивчається та аналізується на різних бенчмарках та задачах нижчого рівня. Модель також розглядає низьковхідний сценарій, який надає обмежений доступ до зображень та їхніх міток для задач нижчого рівня.

Доточне налаштування великих попередньо тренованих моделей

Модель вимірює якість моделей, попередньо тренованих на випадкових даних, шляхом перенесення їх до бенчмарку ImageNet для класифікації зображень. Результати доточного налаштування великих попередньо тренованих моделей визначаються наступними параметрами.

Експериментальні налаштування

Модель попередньо тренує 6 архітектур RegNet з різною ємністю, а саме RegNetY- {8,16,32,64,128,256}GF, на понад 1 мільярд випадкових та публічних зображень Instagram з SwAV. Моделі потім налаштовуються для класифікації зображень на ImageNet, який використовує понад 1,28 мільйона стандартних тренувальних зображень з належними мітками, і має стандартний набір валідації з понад 50 тисяч зображень для оцінки.

Модель потім застосовує ті самі техніки збільшення даних, як і в SwAV, і налаштовується протягом 35 епох з оптимізатором SGD або стохастичного градієнтного спуску з розміром批ача 256 та швидкістю навчання 0,0125, яка зменшується у 10 разів після 30 епох, імпульсом 0,9 та ваговим затуханням 10-4. Модель повідомляє про точність топ-1 на наборі валідації, використовуючи центральну культури 224×224.

Порівняння з іншими самонавчальними підходами попереднього тренування

У наступній таблиці найбільша попередньо тренована модель у RegNetY-256GF порівнюється з існуючими попередньо тренованими моделями, які використовують підхід самонавчання.

Як ми бачимо, модель SEER повертає точність топ-1 на рівні 84,2% на ImageNet, і перевершує SimCLRv2, найкращу існуючу попередньо треновану модель, на 1%.

Крім того, наступна фігура порівнює каркас SEER з моделями різної ємності. Як ми бачимо, незалежно від ємності моделі, поєднання каркаса RegNet з SwAV дає точні результати під час попереднього тренування.

Модель SEER попередньо тренується на некурованих та випадкових зображеннях, і вони мають архітектуру RegNet з самонавчальним методом SwAV. Модель SEER порівнюється з SimCLRv2 та моделями ViT з різними архітектурами мереж. Нарешті, модель налаштовується на наборі даних ImageNet, і повідомляється точність топ-1.

Вплив ємності моделі

Ємність моделі має суттєвий вплив на продуктивність попереднього тренування, і наступна фігура порівнює це з впливом при тренуванні з нуля.

Як ми бачимо, балка точності топ-1 попередньо тренованих моделей вища, ніж моделей, тренованих з нуля, і різниця стає все більшою з збільшенням кількості параметрів. Це також очевидно, що хоча ємність моделі приносить користь і попередньо тренованим, і тренованим з нуля моделям, вплив більший на попередньо треновані моделі при роботі з великою кількістю параметрів.

Можлива причина, чому тренування моделі з нуля може перефітуватися, полягає у тому, що розмір набору даних ImageNet відносно малий.

Низьковхідне навчання

Низьковхідне навчання означає оцінку продуктивності моделі SEER у низьковхідному сценарії, тобто використовуючи лише частину загальних даних при виконанні задач нижчого рівня.

Експериментальні налаштування

Каркас SEER використовує два набори даних для низьковхідного навчання, а саме Places205 та ImageNet. Крім того, модель припускає, що має обмежений доступ до набору даних під час перенесення, як у плані зображень, так і їхніх міток. Це обмежене середовище відрізняється від стандартних налаштувань, використовуваних для самонавчання, де модель має доступ до всього набору даних, і тільки доступ до міток зображень обмежений.

Результати на наборі даних Place205

Наступна фігура показує вплив попереднього тренування моделі на різні частини набору даних Place205.

Підхід порівнюється з попереднім тренуванням моделі на наборі даних ImageNet під наглядом з тією ж архітектурою RegNetY-128 GF. Результати порівняння несподівані, оскільки можна побачити, що існує стабільний виграш близько 2,5% у точності топ-1 незалежно від частини тренувальних даних, доступних для налаштування на наборі даних Place205.

Різниця між супервізованим і самонавчальним попереднім тренуванням можна пояснити різницею у природі тренувальних даних, оскільки особливості, вивчені моделлю з випадкових зображень у дикій природі, можуть бути більш придатними для класифікації сцен. Крім того, нерівномірний розподіл основних поняттів може виявитися перевагою для попереднього тренування на неบาลансированому наборі даних, таким як Places205.

Результати на ImageNet

Наступна таблиця порівнює підхід моделі SEER з самонавчальними підходами попереднього тренування та напівнаглядовими підходами на низьковхідному навчанні. Варті зазначити, що всі ці методи використовують весь набір даних ImageNet для попереднього тренування, і вони тільки обмежують доступ до міток.

Як ми бачимо, хоча мережі бачили більше зображень з того самого розподілу під час попереднього тренування, це вигідно для цих підходів. Однак що вражає, так це те, що навіть хоча модель SEER бачить тільки 1-10% набору даних ImageNet, вона все ж能够 досягти точності топ-1 близько 80%, що трохи не дотягує до точності підходів, описаних у таблиці вище.

Вплив ємності моделі

Наступна фігура обговорює вплив ємності моделі на низьковхідне навчання: при 1%, 10% та 100% набору даних ImageNet.

Як ми бачимо, збільшення ємності моделі може покращити точність моделі, оскільки вона зменшує доступ до зображень та їхніх міток у наборі даних.

Перенесення до інших бенчмарків

Для подальшої оцінки моделі SEER та аналізу її продуктивності попередньо треновані особливості переносяться до інших задач нижчого рівня.

Лінійна оцінка класифікації зображень

Наступна таблиця порівнює особливості з попередньо тренованого RegNetY-256GF та RegNetY128-GF, попередньо тренованого на наборі даних ImageNet з тією ж архітектурою з наглядом та без нагляду. Для аналізу якості особливостей модель заморожує ваги та використовує лінійний класифікатор зверху особливостей, використовуючи тренувальний набір для задач нижчого рівня. Наступні бенчмарки розглядаються для цього процесу: Open-Images (OpIm), iNaturalist (iNat), Places205 (Places) та Pascal VOC (VOC).

Виявлення та сегментація

Наступна фігура порівнює попередньо треновані особливості на виявленні та сегментації та оцінює їх.

Каркас SEER тренує модель Mask-RCNN на бенчмарку COCO з попередньо тренованими RegNetY-64GF та RegNetY-128GF як будівельними блоками. Для обох архітектур, а також задач нижчого рівня, підхід самонавчального попереднього тренування SEER перевершує наглядове тренування на 1,5 до 2 AP-балів.

Порівняння з слабо наглядовим попереднім тренуванням

Більшість зображень, доступних в інтернеті, зазвичай мають мета-опис або альтернативний текст, або описи, або геолокації, які можуть надати перевагу під час попереднього тренування. Попередня робота показала, що передбачення кураторського або позначеного набору хештегів може покращити якість передбачуваних візуальних особливостей. Однак цей підхід потребує фільтрації зображень, і він працює найкраще тільки тоді, коли текстовий метадані присутній.

Наступна фігура порівнює попереднє тренування архітектури ResNetXt101-32dx8d на випадкових зображеннях з тією ж архітектурою, тренованою на позначених зображеннях з хештегами та метаданими, і повідомляє про точність топ-1 для обох.

Як ми бачимо, хоча каркас SEER не використовує метадані під час попереднього тренування, його точність порівнянна з моделями, які використовують метадані для попереднього тренування.

Аналіз видалення

Аналіз видалення проводиться для аналізу впливу певного компонента на загальну продуктивність моделі. Аналіз видалення проводиться шляхом видалення компонента з моделі зовсім, і розуміння того, як модель працює.

Вплив архітектури моделі

Архітектура моделі має суттєвий вплив на продуктивність моделі, особливо коли модель масштабується або змінюються специфікації попереднього тренування.

Наступна фігура обговорює вплив зміни архітектури на якість попередньо тренованих особливостей при лінійній оцінці на наборі даних ImageNet. Передбачувані особливості можна досліджувати безпосередньо в цьому випадку, оскільки оцінка не сприяє моделі, яка повертає високу точність при тренуванні з нуля на наборі даних ImageNet.

Як ми бачимо, для архітектур ResNeXts та ResNet особливості, отримані з передостаннього шару, працюють краще з поточними налаштуваннями. З іншого боку, архітектура RegNet перевершує інші архітектури.

Загалом, можна зробити висновок, що збільшення ємності моделі має позитивний вплив на якість особливостей, і існує логарифмічний виграш у продуктивності моделі.

Масштабування попереднього тренування

Є дві основні причини, чому тренування моделі на більших наборах даних може покращити загальну якість візуальних особливостей, які модель вчиться: більше унікальних зображень та більше параметрів. Давайте коротко розглянемо ці причини та їхній вплив на продуктивність моделі.

Збільшення кількості унікальних зображень

Наступна фігура порівнює дві різні архітектури, RegNet8 та RegNet16, які мають одну й ту ж кількість параметрів, але тренуються на різній кількості унікальних зображень. Каркас SEER тренує моделі протягом оновлень, що відповідають 1 епохі для мільярда зображень, або 32 епох для 32 унікальних зображень, і з одним півколом косинусної швидкості навчання.

Як ми бачимо, для того щоб модель працювала добре, кількість унікальних зображень, поданих до моделі, повинна бути ідеально вищою. У цьому випадку модель працює добре, коли їй подаються унікальні зображення більше, ніж зображення, присутні в наборі даних ImageNet.

Більше параметрів

Наступна фігура показує продуктивність моделі, коли вона тренується над мільярдом зображень за допомогою архітектури RegNet-128GF.

Самонавчальний комп’ютерний зір у реальному світі

До цього часу ми обговорювали, як самонавчання та модель SEER для комп’ютерного зору працюють у теорії. Тепер давайте розглянемо, як самонавчальний комп’ютерний зір працює в реальних сценаріях, і чому SEER є майбутнім самонавчального комп’ютерного зору.

Модель SEER конкурує з роботою, виконаною в галузі обробки природної мови, де висококласні моделі використовують трильйони наборів даних та параметрів, поєднаних з трильйонами слів тексту під час попереднього тренування моделі. Продуктивність на задачах нижчого рівня загалом збільшується з збільшенням кількості вхідних даних для тренування моделі, і те ж саме справедливо для задач комп’ютерного зору.

Але використання самонавчальних технік для обробки природної мови відрізняється від використання самонавчальних технік для комп’ютерного зору. Це тому, що при роботі з текстами семантичні поняття зазвичай розбиваються на окремі слова, але при роботі з зображеннями модель повинна вирішити, який піксель належить до якого поняття.

Крім того, різні зображення мають різні вигляди, і хоча кілька зображень можуть мати один і той же об’єкт, поняття можуть відрізнятися суттєво. Наприклад, розглянемо набір даних із зображеннями кота. Хоча основний об’єкт, кота, спільний для всіх зображень, поняття можуть відрізнятися суттєво, оскільки кот може стояти нерухомо на одному зображенні, а на іншому зображенні кот може гратися з м’ячем, і так далі.

Через те, що зображення часто мають різні поняття, важливо, щоб модель мала можливість подивитися на велику кількість зображень, щоб зрозуміти відмінності навколо одного й того ж поняття.

Висновок: Самонавчальне майбутнє

Самонавчальне навчання було великою темою обговорення в галузі AI та ML протягом деякого часу, оскільки воно дозволяє моделям AI навчатися інформацію безпосередньо з великої кількості даних, доступних випадково в інтернеті, а не залежати від ретельно кураторських та позначених наборів даних, які мають єдину мету тренування моделей AI.

Самонавчальне навчання є важливим поняттям для майбутнього AI та ML, оскільки воно має потенціал дозволити розробникам створювати моделі AI, які добре адаптуються до реальних сценаріїв, і мають багато випадків використання, а не мають певної мети, і SEER є віхою у реалізації самонавчального навчання в галузі комп’ютерного зору.

Модель SEER робить перший крок у трансформації галузі комп’ютерного зору, і зменшенні нашої залежності від позначених наборів даних. Модель SEER спрямована на ліквідацію необхідності анотації наборів даних, що дозволить розробникам працювати з різноманітними та великими обсягами даних. Реалізація SEER особливо корисна для розробників, які працюють над моделями, які займаються областями з обмеженими зображеннями або метаданими, такими як медична галузь.

Крім того, ліквідація людських анотацій дозволить розробникам розробляти та розгортати модель швидше, що дозволить їм реагувати на швидко змінювані ситуації швидше та з більшою точністю.