Adobe і Meta засуджують неправильне використання досліджень користувачів у дослідженні комп’ютерного зору

Adobe і Meta, разом з Університетом Вашингтону, опублікували розгорнуту критику щодо того, що вони вважають зростаючим неправильним використанням і зловживанням дослідженнями користувачів у сфері комп’ютерного зору (CV).

Дослідження користувачів раніше зазвичай проводилися серед місцевих жителів або студентів навколо кампусу однієї чи декількох учасницьких академічних закладів, але тепер майже повністю перейшли на онлайн-платформи краудсорсингу, такі як Amazon Mechanical Turk (AMT).

Серед широкого спектру скарг нова стаття стверджує, що проекти досліджень підштовхуються до проведення досліджень рецензентами статті; часто погано формулюють дослідження; замовляють дослідження, де логіка проекту не підтримує такий підхід; і часто “грують” цинічними краудворкерами, які “вигадують” бажані відповіді замість того, щоб дійсно думати про проблему.

П’ятнадцятисторінковий трактат (під назвою До кращих досліджень користувачів у комп’ютерній графіці та зорі) що становить центральну частину нової статті, висуває багато інших критичних зауважень щодо того, як краудсорсингові дослідження користувачів можуть фактично гальмувати розвиток підгалузей комп’ютерного зору, таких як розпізнавання зображень та синтез зображень.

Хоча стаття розглядає набагато ширший спектр питань, пов’язаних з дослідженнями користувачів, її найсильніші критичні зауваження стосуються того, як оцінка виходу у дослідженнях користувачів (тобто коли краудсорсингові люди оплачуються для проведення оцінок виходу нових алгоритмів синтезу зображень) може негативно впливати на всю галузь.

Давайте розглянемо деякі з центральних пунктів.

Сенсаційні інтерпретації

Однією з порад статті для тих, хто публікується у сфері комп’ютерного зору, є заклик ” інтерпретувати результати обережно”. Стаття цитує один приклад з 2021 року, коли нова робота дослідження про те, що “люди не можуть точно ідентифікувати мистецтво, створене штучним інтелектом”, була широко спотворена у популярній пресі.

Одна з вищопрофільних медіа-повідомлень про статтю 2021 року ‘Роль знань про атрибуцію штучного інтелекту у оцінці мистецтва’, Гарші Гангадхарбатли, цитованої як приклад у новій статті. Тут джерелом The Daily Mail є The Times (платна версія) Джерела: Daily Mail (архівна посилання) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Автори стверджують*:

‘[У] одному дослідженні у психологічному журналі зібрано зображення традиційних творів мистецтва та зображень, створених технологіями штучного інтелекту, зібрані з вебу, і краудворкери були просені розрізнити, які зображення походять з яких джерел. З результатів було зроблено висновок, що “люди не можуть точно ідентифікувати мистецтво, створене штучним інтелектом”, дуже широкий висновок, який не випливає безпосередньо з експериментів.

‘Крім того, стаття не повідомляє подробиці про те, які конкретні набори зображень були зібрані або використані, що робить заяви важкими, якщо не неможливими, для верифікації та відтворення.

‘Більш тривожним є те, що популярна преса повідомила про ці результати з помилковими твердженнями про те, що штучний інтелект може незалежно створювати мистецтво так само, як і люди.’

Обробка краудворкерів, які шахрають

Краудворкери зазвичай не отримують багато за свою роботу. Оскільки їхні перспективи мінімальні, а їхній найкращий потенціал заробітку полягає у виконанні великої кількості завдань, багато з них схильні використовувати будь-який “шорткат”, який прискорить поточне завдання, щоб перейти до наступного незначного “гіга”.

Стаття зауважує, що краудворкери, як і системи машинного навчання, будуть вивчати повторювані закономірності у дослідженнях користувачів, сформульованих дослідниками, і просто виведуть “правильну” або “бажану” відповідь, замість того, щоб надати справжню органічну відповідь на матеріал.

Для цього стаття рекомендує проводити перевірки краудворкерів, також відомі як “тестові випробування” або “сентінели” – фактично, фальшиві секції тесту, призначені для перевірки того, чи уважно краудворкер, чи просто клацає випадково, або слідує закономірності, яку він сам вивів з тестів, а не думає про свої вибори.

Автори стверджують:

‘Наприклад, у випадку пари стилізованих зображень одне зображення пари може бути об’єктивно поганим результатом. Під час аналізу дані учасників, які провалили певну кількість перевірок, можна викинути, вважаючи, що вони були неуважними або несумісними.

‘Ці перевірки повинні бути вставлені випадково у дослідження, і повинні виглядати так само, як і інші випробування; інакше учасники можуть зрозуміти, які випробування є перевірками.’

Обробка дослідників, які шахрають

З наміром чи без нього дослідники можуть бути співучасниками цього типу “грувань”; є багато способів, якими вони, можливо, навіть ненавмисно, можуть “сигналізувати” свої бажані вибори краудворкерам.

Наприклад, стаття зауважує, що шляхом відбору краудворкерів з профілями, які можуть бути сприятливими для отримання “ідеальних” відповідей у дослідженні, номінально доводячи гіпотезу, яка могла б зазнати поразки у менш “вибірковій” та більш випадковій групі.

Фразеологія також є ключовою проблемою:

‘Формулювання повинно відображати високорівневі цілі, наприклад, “яке зображення містить менше артефактів?” замість “яке зображення містить менше кольорових дефектів у лицевій області?” Навпаки, неточне формулювання завдання залишає занадто багато місця для інтерпретації, наприклад, “яке зображення краще?” може бути зрозуміло як “яке є більш естетично привабливим?” тоді як намір міг полягати у оцінці “яке є більш реалістичним?”

Інший спосіб “благословенно впливати” на учасників полягає у тому, щоб дати їм знати, відкрито чи неявно, який із можливих варіантів перед ними є методом автора, а не попереднім методом або випадковим зразком.

Стаття стверджує*:

‘[Учасники] можуть відповісти тими відповідями, які вони думають, що хочуть дослідники, свідомо чи ні, що відомо як “ефекти доброго суб’єкта”. Не маркуйте вихідні дані іменами, такими як “наш метод” або “існуючий метод”. Учасники можуть бути упереджені динамікою влади (тобто дослідник, який проводить дослідження), дослідники, які використовують мову для примінгування учасників (наприклад, “як вам це інструмент, який я побудував вчора?”), і дослідники та учасники відносин (наприклад, якщо вони обидва працюють в одному і тому ж лабораторії чи компанії).’

Форматування завдання у дослідженні користувачів також може вплинути на нейтральність дослідження. Автори зауважують, що якщо у представленні бок о бок базовий варіант завжди знаходиться ліворуч (тобто “зображення А”), а вихід нового алгоритму праворуч, учасники дослідження можуть зробити висновок, що Б є “кращим” вибором, заснований на їхньому зростаючому припущенні про сподіваний результат дослідників.

‘Інші аспекти презентації, такі як розмір зображень на екрані, їхня відстань один від одного тощо, можуть впливати на відповіді учасників. Пілотування дослідження з декількома різними налаштуваннями може допомогти виявити ці потенційні конфунди раніше.’

Неправильні люди для неправильного продукту

Автори статті зауважують у декількох місцях, що краудворкери є більш “універсальним” ресурсом, ніж можна було очікувати в попередні десятиліття, коли дослідники були змушені просити допомогу локально, часто серед студентів факультету, які доповнювали свій дохід участю у дослідженнях.

Вимога активної участі залишає найманому краудворкеру мало місця для того, щоб бути “незацікавленим” у продукті, який він тестує, і автори статті рекомендують дослідникам ідентифікувати своїх цільових користувачів до розробки та тестування потенційного продукту або послуги – інакше ризикують створити щось дуже важке для створення, але чого ніхто насправді не хоче.

‘Дійсно, ми часто були свідками того, як дослідники комп’ютерної графіки чи зору намагалися отримати прийняття своєї роботи промисловими практиками, але виявилося, що дослідження не відповідає потребам цільових користувачів. Дослідники, які не проводять пошук потреб на початку, можуть бути здивовані тим, що користувачі не мають потреби чи інтересу до інструменту, над яким вони провели місяці чи роки розробки.

‘Такі інструменти можуть показати погані результати у дослідженнях, оскільки користувачі можуть виявити, що технологія дає непотрібні, неважливі або несподівані результати.’

Стаття далі зауважує, що користувачі, які фактично ймовірно будуть використовувати продукт, повинні бути обрані для досліджень, навіть якщо вони не легко знайти (або, можливо, не дуже дешеві).

Замість повернення до вербування на кампусі (що було б, можливо, трохи застарілим кроком), автори статті рекомендують дослідникам “вербувати користувачів у дикій природі”, вступаючи у контакт з відповідними спільнотами.

‘Наприклад, може бути активна онлайн-дошка оголошень або соціальна спільнота, яку можна використати. Навіть зустріч з одним членом спільноти може привести до сніжної вибірки, при якій відповідні користувачі пропонують зв’язки з подібними особами у своїй мережі.’

Збір відгуку

Стаття також рекомендує збирати якісний відгук від тих, хто брав участь у дослідженнях користувачів, не в останню чергу тому, що це потенційно може викрити помилкові припущення з боку дослідників.

‘Ці можуть допомогти відладити дослідження, але вони також можуть розкрити несподівані аспекти виходу, які вплинули на рейтинги користувачів. Чи був учасник “дуже незадоволений” [sic] виходом, оскільки він був нереалістичним, неестетичним, упередженим чи з якоїсь іншої причини?

‘Без якісної інформації дослідник може працювати над удосконаленням алгоритму, щоб зробити його більш реалістичним, замість того, щоб звернутися до основної проблеми користувача.’

Як і багато інших рекомендацій у статті, ця конкретна рекомендація передбачає подальшу витрату часу та грошей з боку дослідників, у культурі, яка, як зазначається у роботі, за замовчуванням переходить до швидких і майже обов’язкових краудсорсингових досліджень користувачів, які зазвичай досить дешеві, і які відповідають виниклу культуру дослідження, яку стаття критикує на протяженні всієї статті.

Перевищено

Стаття рекомендує, що дослідження користувачів стають某种 “мінімальною вимогою” у переддрукованій спільноті комп’ютерного зору, навіть у випадках, коли дослідження не можна сформулювати (наприклад, з ідеєю такою новою чи маргінальною, що немає “подібного для порівняння” аналізу, який можна провести, і який не піддається жодному розумному метриці, який міг би дати значимі результати у дослідженні користувачів).

Як приклад “зловживання дослідженнями” (не фраза авторів), дослідники цитують випадок статті ICLR 2022, для якої рецензії доступні онлайн (архівна копія, зроблена 24 червня 2022 року; посилання взято безпосередньо зі статті)^†:

‘Два рецензенти дали дуже негативні оцінки частково через відсутність досліджень користувачів. Стаття була прийнята, супроводжувана резюме, яке дорікає рецензентам за використання “досліджень користувачів” як виправдання для поганого рецензування, і звинувачує їх у затворництві. Повна дискусія варто прочитати.

‘Остаточне рішення зазначило, що подання описувало програмну бібліотеку, яка була розгорнута протягом років, з тисячами користувачів (інформація, яка не була розкрита рецензентам для анонімного огляду). Чи була б стаття, яка описує високоефективну систему, відхилена, якщо комітет не мав цієї інформації?

‘І, якщо автори пішли на додаткові зусилля, щоб вигадати і провести дослідження користувачів, було б це значущим, і було б достатньо, щоб переконати рецензентів?’

Автори стверджують, що вони бачили рецензентів і редакторів, які накладають “тяжкі вимоги оцінки” на надіслані статті, незалежно від того, чи мали б ці оцінки будь-який сенс чи цінність.

‘Ми також спостерігали авторів і рецензентів, які використовують оцінки MTurk як опору, щоб уникнути прийняття важких рішень. Коментарі рецензентів, такі як “я не можу сказати, чи краще зображення, можливо, дослідження користувачів допоможе”, потенційно шкідливі, спонукають авторів виконувати додаткову роботу, яка не покращить відсутність стаття.’

Автори статті завершують свою роботу центральним “закликом до дії”, для спільнот комп’ютерного зору та комп’ютерної графіки, щоб більш повно розглянути свої вимоги до досліджень користувачів, а не дозволити дослідницькій культурі розвиватися як рутинну умовчання, незалежно від “крайніх випадків”, де частина найбільш цікавої роботи може не підходити деяким з найбільш прибуткових або плідних дослідницьких і підзвітних каналів.

Автори статті роблять висновок:

‘[Якщо] основна мета проведення досліджень користувачів полягає у тому, щоб задовольнити рецензентів, а не генерувати нові знання, то корисність і дійсність таких досліджень повинні бути поставлені під сумнів авторами та рецензентами. Покарання робіт, які не містять оцінки користувачів, має непередбачувану наслідок у тому, що спонукає поспішно виконані, погано виконані дослідження користувачів.

‘Максима, яку варто пам’ятати, полягає у тому, що “погані дослідження користувачів ведуть до поганих результатів”, і такі дослідження будуть продовжуватися, якщо рецензенти продовжуватимуть просити їх.’

* Моє перетворення посилань статті на відповідні гіперпосилання
^†  Моє виділення, не авторів.

Перше видання 24 червня 2022 року.