Переінтерпретація може бути більшим і більш складним загрозою, ніж переобучення

Якщо ваша хороша подруга Аліса любить носити жовті свитери, ви будете бачити багато більше жовтих свитерів, ніж середній чоловік. Після деякого часу можливо, що коли ви побачите іншу жінку в жовтому свитері, основна концепція Аліса спрінг до розуму.

Якщо ви бачите жінку в жовтому свитері, яка відповідає Алісі трохи, ви можете навіть тимчасово сплутати її з вашою подругою.

Але це не Аліса. Кінцево, ви зрозумієте, що жовтий свитер не є корисним ключем для ідентифікації Аліси, оскільки вона ніколи не носить їх влітку, і не завжди носить їх в зимі. Десь у дружбі ви починаєте знижувати жовтий свитер як можливий Аліса ідентифікатор, оскільки ваш досвід з ним був незадовільним, і когнітивна енергія, використана для підтримки цього шортката, не часто винагороджується.

Якщо ви система розпізнавання на основі комп’ютерного зору, однак, цілком можливо, що ви бачите Алісу всюди, де бачите жовтий свитер.

Це не ваша вина; вам було доручено ідентифікувати Алісу за будь-яку ціну, з мінімальної доступної інформації, і немає нестачі когнітивних ресурсів для підтримки цього редуктивного Аліса підтримки.

Неймовірна розбірливість

За останніми даними з MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) і Amazon Web Services, цей синдром, названий переінтерпретацією, поширений у сфері комп’ютерного зору (CV); не може бути пом’якшений шляхом боротьби з переобученням (оскільки це не прямий наслідок переобучення); часто зустрічається в дослідженнях, які використовують два найбільш впливових набори даних у розпізнаванні зображень і перетворенні, CIFAR-10 і ImageNet; і не має легких засобів – певно, жодних дешевих засобів.

Дослідники виявили, що при зменшенні входних тренувальних зображень до всього 5% їхнього змістовного контенту широкий спектр популярних框 продовжував правильно класифікувати зображення, які виглядають, у більшості випадків, як візуальна “безсенс” для будь-якого людського спостерігача:

Оригінальні тренувальні зображення з CIFAR-10, зменшені до всього 5% від оригінального піксельного контенту, але правильно класифіковані широким спектром популярних框 комп’ютерного зору з точністю між 90-99%. Джерело: https://arxiv.org/pdf/2003.08907.pdf

У деяких випадках класифікаційні框 навіть знаходять ці скорочені зображення легше правильно класифікувати, ніж повні кадри в оригінальних тренувальних даних, з авторами, які спостерігають ‘[CNNs] більш впевнені в цих піксельних підмножинах, ніж у повних зображеннях’.

Це свідчить про потенційно підважуючий тип “обману”, який відбувається як звичайна практика для систем CV, які використовують бенчмарк-дані, такі як CIFAR-10 і ImageNet, і бенчмарк-рамки, такі як VGG16, ResNet20 і ResNet18.

Переінтерпретація має помітні наслідки для систем автономних транспортних засобів на основі CV, які нещодавно стали об’єктом уваги з рішенням Tesla віддавати перевагу інтерпретації зображень над LiDAR і іншими промінь-орієнтованими системами чуття для алгоритмів самоїдіння.

Хоча “шорткат-навчання” є відомим викликом, і активною областю дослідження в комп’ютерному зорі, автори статті коментують, що німецько-канадське дослідження, яке відзначно сформулювало проблему в 2019 році, не визнає, що “спурійні” піксельні підмножини, які характеризують переінтерпретацію, є “статистично дійсними даними”, які можуть потребувати розгляду з точки зору архітектури і вищого рівня підходів, а не лише через більш ретельну кураторію наборів даних.

Стаття стаття називається Переінтерпретація розкриває патології моделей класифікації зображень, і походить від Брендона Картера, Сіддхартхи Джайна і Девіда Гіффорда з CSAIL, у співпраці з Джонасом Мюллером з Amazon Web Services. Код для статті доступний на https://github.com/gifford-lab/overinterpretation.

Парування даних

Дані-обрізані зображення, які дослідники використовували, називаються ними Достатні входові підмножини (SIS) – по суті, SIS-зображення містить мінімально можливу “зовнішню оболонку”, яка може достатньо визначити зображення, щоб комп’ютерна система могла ідентифікувати оригінальну тему зображення (тобто собака, корабель тощо).

У верхньому рядку ми бачимо повні валідичні зображення ImageNet; нижче, SIS-підмножини, правильно класифіковані моделлю Inception V3 з 90% впевненістю, заснованою, очевидно, на всьому, що залишається від зображення – фоновому контексті. Природно, останній стовпець має помітні наслідки для розпізнавання знаків у алгоритмах самоїдіння.

Коментуючи результати, отримані у вищезазначеному зображенні, дослідники спостерігають:

‘Ми виявили, що пікселі SIS зосереджені поза справжнім об’єктом, який визначає класовий ярлик. Наприклад, у зображенні “піца” SIS зосереджений на формі тарілки та фоновому столі, а не на самій піці, що свідчить про те, що модель могла б погано узагальнювати зображення з різними круглими предметами на столі. У зображенні “гігантський панди” SIS містить бамбук, який, ймовірно, з’явився в колекції фотографій ImageNet для цього класу.

‘У зображеннях “світлофор” і “вуличний знак” SIS складається з пікселів неба, що свідчить про те, що системи автономних транспортних засобів, які можуть залежати від цих моделей, повинні бути ретельно оцінені на патології переінтерпретації.’

SIS-зображення не обрізані випадково, а були створені для проекту за допомогою процесу Batched Gradient Backselect на Inception V3 і ResNet50 через PyTorch. Зображення отримані шляхом абляції, яка враховує взаємозв’язок між здатністю моделі точно класифікувати зображення та областями, де оригінальні дані ітеративно видаляються.

Щоб підтвердити валідність SIS, автори протестували процес випадкового видалення пікселів і виявили результати “значно менш інформативними” у тестах, що свідчить про те, що SIS-зображення справді представляють мінімальні дані, необхідні популярним моделям і наборам даних для прийняття прийнятних передбачень.

Огляд будь-якого з скорочених зображень свідчить про те, що ці моделі повинні відмовитися на рівні з людською візуальною розбірливістю, що призведе до медіанної точності менше 20%.

З SIS-зображеннями, скороченими до всього 5% від оригінальних пікселів, люди майже досягли лише “більшого за випадковий” успіху класифікації, проти 90-99% успіху популярних наборів даних і рамок, вивчених у статті.

Поза переобученням

Переобучення відбувається, коли модель машинного навчання тренується настільки сильно на наборі даних, що вона стає майстром у прогнозуванні конкретних даних, але значно менш ефективною (або навіть зовсім неефективною) на нових даних, які вводяться до неї після тренування (дані поза розподілом).

Дослідники відзначають, що поточний академічний і промисловий інтерес до боротьби з переобученням не буде одночасно вирішувати проблему переінтерпретації, оскільки скорочені піксельні підмножини, які представляють ідентифіковані зображення для комп’ютерів і безглузді мазки для людей, насправді є справжніми застосовними даними, а не “закоханим” концентром на погано кураторських або анемічних даних:

‘Переінтерпретація пов’язана з переобученням, але переобучення можна діагностувати за допомогою зменшеної точності тесту. Переінтерпретація може походити від справжніх статистичних сигналів у основному розподілі даних, які виникають з особливих властивостей джерела даних (наприклад, лінійки дерматологів).

‘Таким чином, переінтерпретація може бути складнішою для діагностики, оскільки вона допускає рішення, прийняті статистично дійсними критеріями, і моделі, які використовують такі критерії, можуть видатно виконувати бенчмарки.’

Можливі рішення

Автори пропонують, що ансамбль моделей, де кілька архітектур внесуть свій внесок у процес оцінки і тренування, міг би частково пом’якшити переінтерпретацію. Вони також виявили, що застосування випадкового видалення входів, спочатку розробленого для боротьби з переобученням, призвело до “малого зниження” точності тесту CIFAR-10 (що, ймовірно, бажано), але “помітного” (∼ 6%) збільшення точності моделей на невидимих даних. Однак низькі цифри свідчать про те, що будь-які подальші засоби боротьби з переобученням є малоймовірними для повного вирішення переінтерпретації.

Автори визнають можливість використання карт салєнції для вказівки областей зображення, які мають значення для витягування функцій, але відзначають, що це підважує мету автоматичної обробки зображень, і вимагає людської анотації, яка є недосяжною у масштабі. Вони далі спостерігають, що карти салєнції були виявлені лише грубими оцінювачами щодо розуміння операцій моделі.

Стаття завершується:

‘Враховуючи існування не-салєнційних піксельних підмножин, які самі по собі достатньо для правильної класифікації, модель може сприймати лише такі шаблони. У цьому випадку метод інтерпретації, який вірно описує модель, повинен виводити ці безглузді раціонали, тоді як методи інтерпретації, які нахиляють раціонали до людських попередніх знань, можуть виробляти результати, які вводять користувачів в оману, щоб подумати, що їхні моделі поводяться так, як передбачалося.’

Перше опубліковане 13 січня 2022 року.