Моделі та платформи ШІ

YOLOv7: Найдосконаліший алгоритм виявлення об’єктів?

Kunal Kejriwal
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиYOLOv7 впроваджує метод складної масштабованості, спеціально розроблений для архітектур…
Показати більше
  • YOLOv7 впроваджує метод складної масштабованості, спеціально розроблений для архітектур на основі конкатенації, таких як власна архітектура моделі.
  • Алгоритм замінює динамічне призначення міток новим підходом від грубого до точного керування провідником для стабільності навчання.
  • YOLOv7 оптимізує навчання за допомогою 'тренованого набору безкоштовних покращень', що підвищує точність без збільшення витрат на виведення.

6 липня 2022 року стане знаменною датою в історії штучного інтелекту: саме тоді вийшов YOLOv7. Від моменту випуску він перебуває в центрі уваги спільноти розробників комп’ютерного зору, і небезпідставно. YOLOv7 уже вважають важливою віхою у виявленні об’єктів.

Невдовзі після публікації наукової статті про YOLOv7 модель виявилася найшвидшою та найточнішою у виявленні об’єктів у реальному часі. Але як вона перевершує попередників? Що робить її настільки ефективною в завданнях комп’ютерного зору?

У цій статті ми проаналізуємо YOLOv7 і спробуємо зрозуміти, чому він стає галузевим стандартом. Спочатку, однак, коротко розглянемо історію виявлення об’єктів.

Що таке виявлення об’єктів?

Виявлення об’єктів — це напрям комп’ютерного зору, що розпізнає об’єкти та визначає їхнє розташування на зображенні або у відеофайлі. Воно є основою багатьох застосувань, зокрема безпілотних автомобілів, систем відеоспостереження та робототехніки.

Моделі виявлення об’єктів можна поділити на дві категорії: детектори з одним проходом та детектори з кількома проходами.

Виявлення об’єктів у реальному часі

Щоб зрозуміти роботу YOLOv7, потрібно знати його головну мету:виявлення об’єктів у реальному часі. Це ключова складова сучасного комп’ютерного зору. Такі моделі прагнуть розпізнавати й локалізувати потрібні об’єкти в реальному часі, даючи розробникам змогу ефективно відстежувати їх у рухомих зображеннях, наприклад у відео або прямому потоці камер спостереження.

Моделі реального часу є наступним кроком порівняно зі звичайними моделями виявлення на зображеннях. Перші відстежують об’єкти у відеофайлах, тоді як другі визначають їхнє розташування й розпізнають їх у нерухомому кадрі, наприклад на зображенні.

Тому моделі реального часу ефективні у відеоаналітиці, автономному транспорті, підрахунку об’єктів, відстеженні кількох об’єктів та багатьох інших застосуваннях.

Що таке YOLO?

YOLO — скорочення від «You Only Look Once», тобто «дивишся лише один раз». Це сімейство моделей виявлення об’єктів у реальному часі. Джозеф Редмон представив концепцію 2016 року, і вона майже відразу привернула увагу, бо була значно швидшою та точнішою за наявні алгоритми. Невдовзі YOLO став стандартом комп’ютерного зору.

Основна ідея YOLO — використання наскрізної нейронної мережі з обмежувальними рамками та ймовірностями класів для прогнозування в реальному часі. На відміну від попередніх моделей, він запропонував інший підхід до виявлення, перепрофілювавши класифікатори.

Зміна підходу спрацювала: значна перевага в продуктивності над іншими алгоритмами реального часу швидко зробила YOLO галузевим стандартом. Але звідки взялася ця ефективність?

Тодішні алгоритми використовували мережі пропонування областей, щоб знаходити можливі ділянки інтересу, після чого розпізнавали кожну окремо. Через це вони часто багаторазово обробляли те саме зображення, маючи нижчу точність і довший час виконання. Натомість YOLO використовує один повнозв’язний шар для прогнозування за один прохід.

Як працює YOLO?

Роботу YOLO можна пояснити трьома кроками.

Переформулювання виявлення як єдиної задачі регресії

YOLO намагається переформулювати виявлення об’єктів як єдину задачу регресії, що відображає пікселі зображення у ймовірності класів і координати обмежувальних рамок. Тому алгоритму достатньо переглянути зображення один раз, щоб спрогнозувати й локалізувати цільові об’єкти.

Розгляд зображення як цілого

Крім того, під час прогнозування YOLO розглядає все зображення цілісно. На відміну від методів пропонування областей і ковзних вікон, він бачить усе зображення під час навчання й тестування та може кодувати контекстну інформацію про класи і їхній вигляд.

До YOLO одним із найпопулярніших алгоритмів був Fast R-CNN, який не враховував ширший контекст і помилково приймав ділянки фону за об’єкти. Порівняно з Fast R-CNN, YOLO на 50% точніший щодо помилок, пов’язаних із фоном.

Узагальнення подань об’єктів

YOLO також прагне узагальнювати подання об’єктів. Коли його виконували й оцінювали на наборі природних зображень, він значно перевершував наявні моделі R-CNN. Завдяки високій здатності до узагальнення ймовірність невдачі з непередбаченими вхідними даними або в нових предметних областях була меншою.

YOLOv7: що нового?

Тепер, коли ми знаємо основи виявлення в реальному часі та YOLO, можна перейти до YOLOv7.

Оптимізація процесу навчання

YOLOv7 оптимізує і архітектуру моделі, і процес навчання. Він використовує модулі й методи оптимізації для підвищення точності виявлення, змінюючи витрати на навчання та зберігаючи витрати на виведення. Ці модулі утворюють набір методів, що піддаються навчанню без додаткових витрат під час виведення, або «trainable bag of freebies».

Призначення міток від грубих до точних під керівництвом головного блока виходу

YOLOv7 пропонує нове призначення міток від грубих до точних, кероване головним блоком виходу, замість звичайного динамічного призначення міток. За динамічного призначення навчання моделі з кількома вихідними шарами спричиняє проблеми, насамперед із призначенням динамічних цілей різним гілкам та їхнім виходам.

Репараметризація моделі

Репараметризація важлива для виявлення об’єктів, але може створювати труднощі під час навчання. YOLOv7 використовує шлях поширення градієнта для аналізу стратегій репараметризації для різних шарів мережі.

Розширене та комбіноване масштабування

YOLOv7 також запроваджує методи розширеного та комбінованого масштабування для ефективного використання параметрів і обчислень у виявленні об’єктів у реальному часі.

YOLOv7: пов’язані роботи

Виявлення об’єктів у реальному часі

YOLO є галузевим стандартом, і більшість детекторів реального часу використовує алгоритми YOLO та FCOS — Fully Convolutional One-Stage Object-Detection. Сучасний детектор зазвичай має такі характеристики:

  • Потужніша та швидша архітектура мережі.
  • Ефективний метод інтеграції ознак.
  • Точний метод виявлення об’єктів.
  • Надійна функція втрат.
  • Ефективний метод призначення міток.
  • Ефективний метод навчання.

YOLOv7 не використовує самокероване навчання чи методи дистиляції, які часто потребують великого обсягу даних. Натомість він застосовує набір методів, що піддаються навчанню без додаткових витрат на виведення.

Репараметризація моделі

Репараметризацію вважають методом ансамблювання, який об’єднує кілька обчислювальних модулів на етапі виведення. Вона поділяється на дві категорії: ансамблювання на рівні моделі та ансамблювання на рівні модуля.

Щоб отримати кінцеву модель виведення, репараметризація на рівні моделі використовує два підходи. Перший навчає багато однакових моделей на різних даних, а потім усереднює їхні ваги. Другий усереднює ваги моделей на різних ітераціях.

Репараметризація на рівні модуля набуває популярності. Під час навчання вона розділяє модуль на різні або однакові гілки, а під час виведення об’єднує їх в еквівалентний модуль.

Проте ці методи підходять не для всіх архітектур. Тому YOLOv7 використовує нові методи репараметризації для створення стратегій, придатних для різних архітектур.

Масштабування моделі

Масштабування означає збільшення чи зменшення моделі для пристосування до різних обчислювальних пристроїв. Факторами є кількість шарів (глибина), розмір вхідних зображень (роздільність), кількість пірамід ознак (етапи) і кількість каналів (ширина). Вони важливі для збалансування параметрів мережі, швидкості виведення, обчислень і точності.

Один із найпоширеніших методів — NAS, тобто пошук архітектури нейронної мережі, що автоматично знаходить відповідні коефіцієнти масштабування в просторі пошуку без складних правил. Його головний недолік — висока вартість пошуку.

Майже всі моделі репараметризації незалежно аналізують і оптимізують окремі коефіцієнти масштабування, оскільки архітектура NAS працює з некорельованими коефіцієнтами.

У моделях на основі конкатенації, таких як VoVNet або DenseNet, масштабування глибини змінює вхідну ширину деяких шарів. YOLOv7 використовує запропоновану архітектуру на основі конкатенації, тому застосовує комбіноване масштабування.

Попередній рисунок порівнює розширені мережі ефективного агрегування шарів (E-ELAN) різних моделей. E-ELAN зберігає шлях передавання градієнта початкової архітектури, але збільшує кількість елементів доданих ознак за допомогою групової згортки. Це збагачує ознаки, вивчені різними картами, і покращує використання обчислень та параметрів.

Архітектура YOLOv7

YOLOv7 базується на YOLOv4, YOLO-R і Scaled YOLOv4. Він є результатом експериментів із цими моделями для поліпшення результатів і точності.

Розширена мережа ефективного агрегування шарів, або E-ELAN

E-ELAN — основний структурний елемент YOLOv7, що походить від наявних моделей ефективності мереж, насамперед ELAN.

Під час проєктування ефективної архітектури враховують кількість параметрів, обчислювальну щільність та обсяг обчислень. Інші моделі також розглядають співвідношення вхідних і вихідних каналів, гілки мережі, швидкість виведення, кількість елементів у тензорах згорткової мережі та інші чинники.

Модель CSPVoNet не лише враховує ці чинники, а й аналізує шлях градієнта для вивчення різноманітніших ознак через ваги різних шарів. Це пришвидшує виведення та підвищує його точність. Архітектура ELAN прагне створити ефективну мережу, контролюючи найкоротші й найдовші шляхи градієнта для кращого навчання та збіжності.

ELAN уже досягла стабільного стану щодо кількості складених обчислювальних блоків і довжини шляху градієнта. Необмежене нарощування блоків може порушити стабільність і знизити використання параметрів. Запропонована E-ELAN розв’язує цю проблему розширенням, перемішуванням і об’єднанням кількості елементів , постійно покращуючи навчання мережі зі збереженням початкового шляху градієнта.

Порівнюючи E-ELAN та ELAN, бачимо, що відмінність лише в обчислювальному блоці, тоді як архітектура перехідного шару не змінюється.

E-ELAN пропонує збільшити кількість елементів обчислювальних блоків і каналів за допомогою групової згортки. Карти ознак обчислюються, перемішуються в групи відповідно до параметра групування, а потім конкатенуються. Кількість каналів у кожній групі залишається такою, як у початковій архітектурі. Нарешті групи карт додаються для реалізації потрібної кількості елементів.

Масштабування моделей на основі конкатенації

Масштабування дає змогу коригувати властивості моделей для створення моделей різного розміру відповідно до вимог і потрібної швидкості виведення.

Рисунок показує масштабування різних моделей із конкатенацією. У (a) і (b) зі збільшенням глибини зростає вихідна ширина обчислювального блока, а отже й вхідна ширина перехідних шарів. На (c) показано масштабування глибини в архітектурі з конкатенацією.

Тому коефіцієнти масштабування таких моделей не можна аналізувати незалежно: їх потрібно розглядати разом. Для моделі з конкатенацією доцільно використовувати відповідний метод комбінованого масштабування. Коли змінюється коефіцієнт глибини, необхідно також масштабувати вихідні канали блока.

Методи, що навчаються без додаткових витрат на виведення

Розробники вживають термін «bag of freebies» для набору методів або прийомів, що змінюють стратегію чи вартість навчання для підвищення точності моделі. Які такі методи використовує YOLOv7? Розгляньмо їх.

Планова репараметризована згортка

YOLOv7 використовує шляхи поширення градієнта, щоб визначити, як найкраще поєднати мережу з репараметризованою згорткою. Це має усунути обмеження алгоритму RepConv , який добре працює на VGG, але погано — за прямого застосування до DenseNet і ResNet.

Для визначення з’єднань у згортковому шарі RepConv поєднує згортки 3×3 та 1×1. Аналіз алгоритму, його продуктивності й архітектури показує, що RepConv порушує конкатенацію в DenseNet і залишкове з’єднання в ResNet.

Попереднє зображення показує модель із плановою репараметризацією. YOLOv7 встановив, що шар із конкатенацією або залишковими з’єднаннями не повинен мати тотожного з’єднання в RepConv. Тому можна використати RepConvN без такого з’єднання.

Грубі мітки для допоміжних втрат і точні для головних

Глибокий нагляд — напрям інформатики, який часто застосовують у навчанні глибоких мереж. Його основний принцип — додати допоміжний блок виходу в проміжні шари мережі , використовуючи допоміжні втрати також для спрямування ваг менш глибокої частини. YOLOv7 називає блок, що відповідає за остаточний вихід, головним, а блок, що допомагає навчанню, — допоміжним.

YOLOv7 також використовує інший метод призначення міток. Традиційно мітки створювали безпосередньо з еталонних даних і встановлених правил. Останніми роками розподіл та якість вхідних прогнозів стали важливими для формування надійних міток. YOLOv7 створює м’яку мітку об’єкта за прогнозами обмежувальних рамок та еталонними даними.

Новий метод використовує прогнози головного блока виходу, щоб спрямовувати і його, і допоміжний блок. Запропоновано дві стратегії.

Призначення міток під керівництвом головного блока виходу

Ця стратегія виконує обчислення на основі прогнозів головного блока та еталонних даних, а потім оптимізацією генерує м’які мітки для навчання обох блоків.

Вона виходить із того, що головний блок має більшу здатність до навчання, тож його мітки мають бути репрезентативнішими й пов’язувати джерело з ціллю.

Призначення міток від грубих до точних під керівництвом головного блока

Ця стратегія також спирається на прогнози головного блока та еталонні дані й оптимізацією генерує м’які мітки. Відмінність у тому, що вона створює два набори: грубі мітки та точні мітки.

Грубі мітки отримують послабленням обмежень призначення позитивних зразків,

вважаючи більше комірок сітки позитивними цілями. Це допомагає уникнути втрати інформації через слабшу здатність допоміжного блока до навчання.

Попередній рисунок пояснює методи YOLOv7: грубі мітки для допоміжного блока й точні для головного. Модель у (b) має допоміжний блок, тоді як звичайна модель у (a) — ні.

На (c) показано звичайний незалежний призначувач міток. На (d) і (e) — відповідно призначувач під керівництвом головного блока та його варіант від грубих до точних міток у YOLOv7.

Інші методи, що піддаються навчанню

YOLOv7 також використовує інші прийоми, які не були спочатку запропоновані його авторами:

  • Пакетна нормалізація в послідовності Conv-Bn-Activation: ця стратегія безпосередньо з’єднує згортковий шар із шаром пакетної нормалізації.
  • Неявні знання в YOLOR: YOLOv7 поєднує цю стратегію зі згортковою картою ознак.
  • Модель EMA: у YOLOv7 її використовують як остаточну еталонну модель, хоча основне застосування — у методі mean teacher.

YOLOv7: експерименти

Експериментальна конфігурація

YOLOv7 використовує набір Microsoft COCO для навчання й валідації моделі виявлення. Не всі експерименти використовують попередньо навчену модель. Розробники використали навчальний набір 2017 року для навчання та валідаційний набір 2017 року для добору гіперпараметрів. Зрештою результати порівнюють із передовими алгоритмами виявлення.

Розробники створили базові моделі для периферійних GPU (YOLOv7-tiny), звичайних GPU (YOLOv7) і хмарних GPU (YOLOv7-W6). Також масштабують базову модель відповідно до вимог різних сервісів, отримуючи варіанти. Масштабування стека відбувається в neck, а запропоновані комбіновані методи збільшують глибину й ширину.

Базові моделі для порівняння

YOLOv7 використовує попередні моделі YOLO й алгоритм виявлення YOLOR як базові орієнтири.

Попередній рисунок порівнює базову модель YOLOv7 з іншими детекторами, і результати очевидні. Порівняно з YOLOv4, YOLOv7 використовує на 75% менше параметрів і на 15% менше обчислень, маючи на 0,4% вищу точність. 

Порівняння з передовими детекторами об’єктів

Попередній рисунок показує порівняння з передовими моделями для мобільних і універсальних GPU. Метод YOLOv7 має найкращий баланс швидкості та точності.

Абляційне дослідження: запропоноване комбіноване масштабування

Попередній рисунок порівнює стратегії збільшення моделі. YOLOv7 збільшує глибину обчислювального блока у 1,5 раза, а ширину — у 1,25 раза.

Порівняно з моделлю, що збільшує лише глибину, YOLOv7 працює на 0,5% краще з меншою кількістю параметрів і обчислень. Порівняно з моделями, що збільшують лише глибину, точність зростає на 0,2%, але параметри потрібно збільшити на 2,9%, а обчислення — на 1,2%.

Запропонована модель із плановою репараметризацією

Щоб перевірити загальну застосовність пропозиції, YOLOv7 застосовує репараметризовану модель до залишкових архітектур і архітектур із конкатенацією. Для перевірки він використовує ELAN із трьома складеними блоками для моделі з конкатенацією та CSPDarknet для залишкової моделі.

У моделі з конкатенацією згорткові шари 3×3 в ELAN із трьома блоками замінюють на RepConv. Наступний рисунок показує детальну конфігурацію Planned RepConv і цієї версії ELAN.

Для залишкової моделі YOLOv7 використовує обернений блок dark, оскільки початковий не містить згорткового блока 3×3. Наступний рисунок показує Reversed CSPDarknet, де міняють місцями згорткові шари 3×3 та 1×1.

Запропоновані допоміжні втрати для допоміжного блока

Для цих втрат YOLOv7 порівнює незалежне призначення міток для допоміжного й головного блоків виходу.

Попередній рисунок містить результати дослідження допоміжного блока. Загальна продуктивність зростає з допоміжними втратами. Крім того, призначення міток під керівництвом головного блока перевершує незалежні стратегії.

Результати YOLOv7

На основі наведених експериментів подано результати YOLOv7 порівняно з іншими алгоритмами виявлення.

Попередній рисунок порівнює YOLOv7 з іншими алгоритмами та показує перевагу за співвідношенням середньої точності (AP) і пакетного виведення.

Наступний рисунок порівнює продуктивність YOLOv7 з іншими алгоритмами реального часу. Він знову перевершує їх за загальною продуктивністю, точністю й ефективністю.

Додаткові спостереження щодо результатів:

  1. YOLOv7-Tiny — найменша модель сімейства, з понад шістьма мільйонами параметрів. Її середня точність становить 35,2%, і вона перевершує YOLOv4-Tiny з порівнянною кількістю параметрів.
  2. YOLOv7 має понад 37 мільйонів параметрів і перевершує моделі з більшою кількістю параметрів, як-от YOLOv4.
  3. YOLOv7 має найвищі значення mAP і FPS у діапазоні від 5 до 160 FPS.

Висновок

YOLO, або You Only Look Once, — передова модель виявлення об’єктів у сучасному комп’ютерному зорі. Вона відома точністю й ефективністю та широко застосовується для виявлення в реальному часі. Від появи 2016 року експерименти дали розробникам змогу постійно вдосконалювати модель.

YOLOv7 — найновіший представник сімейства YOLO й найпотужніший його алгоритм у період, описаний у статті. Ми розглянули його основи та пояснили, що робить його настільки ефективним.

Kunal Kejriwal — бекенд‑інженер, який спеціалізується на Python, PostgreSQL, Redis та хмарній інфраструктурі в GCP і AWS. Має три роки досвіду у створенні та масштабуванні програмних систем у робочому середовищі, пише про інфраструктуру ШІ, розподілені системи та архітектуру розгортання навантажень машинного навчання.