Ризики «Вайб»-орієнтованої анотації зображень

Хоча їм платять лише кілька доларів (або навіть нічого), невідомі люди, які оцінюють зображення за вмістом, що завдає шкоди, можуть змінити ваше життя своїми виборами. Тепер велика нова робота від Google схоже пропонує, що ці анотатори створюють свої власні правила щодо того, що є або не є «шкідливим» або образливим – незалежно від того, наскільки дивні або особисті їхні реакції на будь-яке зображення можуть бути. Що могло би піти не так?

Думка Цього тижня нова співпраця між Google Research і Google Mind об’єднала не менше 13 учасників у новій роботі, яка досліджує, чи повинні бути враховані «інтуїтивні відчуття» анотаторів зображень при оцінюванні зображень для алгоритмів, навіть якщо їхні реакції не відповідають встановленим стандартам оцінювання.

Це важливо для вас, оскільки те, що оцінювачі та анотатори вважають образливим за правилом консенсусу, схильне стати закріпленим у системах автоматичної цензури та модерації, а також у критеріях для «обscene» або «неприйнятного» матеріалу, у законодавстві, такому як новий брандмауер NSFW* у Великій Британії (версія якого приjde до Австралії скоро), а також у системах оцінки контенту на платформах соціальних медіа та в інших середовищах.

Тому ширше критерії образливого контенту, тим ширше потенційний рівень цензури.

Вайб-цензура

Це не єдина точка зору, яку пропонує нова робота; вона також визначає, що люди, які оцінюють зображення, часто більш цензурні щодо того, що, на їхню думку, образить інших людей, окрім себе; і що низькоякісні зображення часто викликають занепокоєння щодо безпеки, хоча якість зображення не має нічого спільного з його вмістом.

У висновку своєї роботи автори підкреслюють ці два висновки, ніби центральна позиція роботи не вдалася, але дослідники були зобов’язані її опублікувати.

Хоча це не є незвичайною ситуацією, робота містить, при ретельному прочитанні, більш зловісний підтон: що практики анотації можуть розглядати можливість прийняття того, що я можу описати лише як вайб-анотацію:

‘Наші результати свідчать про те, що існуючі рамкові структури повинні враховувати суб’єктивні та контекстні розміри, такі як емоційні реакції, імпліцитні судження та культурні інтерпретації шкоди. Часте використання анотаторами емоційної мови та їхнє відхилення від попередньо визначених ярликів шкоди підкреслюють прогалини в поточних оціночних практиках.

‘Розширення керівних принципів анотації для включення ілюстративних прикладів різних культурних та емоційних інтерпретацій може допомогти ліквідувати ці прогалини.’

Нова робота з малою кількістю ілюстрацій починається з прикладів, які є незамутненими та співчутливими до середнього читача, хоча фактичний основний матеріал запрошує багато питань. Тут, під кожним зображенням, ми бачимо емоційні реакції анотаторів, позначені для їхніх відповідних зображень. Джерело: https://arxiv.org/pdf/2507.16033

Спочатку це звучить як пропозиція розширити та краще кількісно визначити, що становить «шкоду» у зображенні – похвальна мета; але робота повторює кілька разів, що це не є бажаним чи (необхідно) здійсненним:

‘Наші результати свідчать про те, що існуючі рамкові структури повинні враховувати суб’єктивні та контекстні розміри, такі як емоційні реакції, імпліцитні судження та культурні інтерпретації шкоди. Часте використання анотаторами емоційної мови та їхнє відхилення від попередньо визначених ярликів шкоди підкреслюють прогалини в поточних оціночних практиках.

‘Розширення керівних принципів анотації для включення ілюстративних прикладів різних культурних та емоційних інтерпретацій може допомогти ліквідувати ці прогалини […]

‘[…] Процес, за допомогою якого анотатори міркують про двозначні зображення, часто відображає їхні особисті, культурні та емоційні перспективи, які є важкими для скелетування чи стандартизації.’

Важко побачити, як «Розширення керівних принципів анотації для включення ілюстративних прикладів різних культурних та емоційних інтерпретацій» може увійти до раціональної системи оцінювання; автори борються з тим, щоб прояснити цю точку або сформулювати чітку теорію, атакуючи матеріал багато разів, але ніколи не здобуваючи над ним верх. У цьому відношенні їхня центральна тема сама по собі здається «вайб-генерованою», навіть якщо вона займається невидимими психологіями.

Просто кажучи, здається мені, що розширення процесу анотації для включення критеріїв цього типу потенційно дозволяє «відміну» або затуманення будь-якого матеріалу (або класу теми), до якого анотатор міг сильно реагувати.

Бінарний суд

Ступінь, до якого зображення та текст можуть завдавати шкоди, є справді важким для кількісної оцінки, не в останню чергу тому, що висока культура часто перетинається з «низькою» культурою (наприклад, з мистецтвом та романами), що призводить до перших «вайб-орієнтованих» критеріїв цензури: навіть якщо обurливий матеріал не вдається точно визначити, ви знаєте, коли побачите його.

Під розширною та дослідницькою дискусією нової роботи про емпатію та якісну нюанс, робота схоже тихо атакує авторитет централізованих, стандартизованих таксономій (« насильство», «оголеність», «ненависть» тощо), які дозволяють платформам реалізовувати та масштабувати модерацію з прийнятними маржами помилок (зазвичай).

Аргумент, який виникає, полягає в тому, що тільки децентралізована, суб’єктивна, контекстно-чутлива людська обратна зв’язок може належно оцінити вихід Генеративного ІІ.

Однак це явно не масштабовано, оскільки ви не можете запустити трильйон-фільтрову трубу на «вайбі» та життєвому досвіді. Одне має кількісно визначити шкоду у різні властивості; встановити межу на діапазон результатної системи фільтрації; і чекати нових директив у «крайніх» випадках (так само, як сторони, які постраждали, іноді повинні чекати прийняття нових законів, які адресують їхні особливі обставини).

Натомість нова робота пропонує негласну директиву для автоматизованого модераційного потоку, який розширює свій діапазон автоматично, і так сильно схиляється до обережності, що навіть найбільш особиста та неповторна реакція анотатора могла б покарати зображення, яке нікого іншого не образило.

Моральна експансія

Хоча робота схилена до дослідження, а не до зайняття твердої позиції, вона включає елементи наукового методу: автори розробили рамкову структуру для визначення (хоча не строго вимірювання) ширшого спектру реакцій анотаторів на зображення, а також для вивчення того, як ці реакції змінюються через статеві та інші демографічні чинники.

Окрім аналізу фокусу на шкоді^†, процес аналізував «моральне міркування» у допоміжних коментарях учасників тесту, яким було запропоновано анотувати модифікований тестовий набір даних, що містить зображення та пов’язані з ними тексти.

Цей «авторейтинг моральних настроїв» був розроблений для захоплення моральних цінностей Піклування, Рівенство, Пропорційність, Лояльність, Авторитет та Чистота, як визначено у Теорії моральних основ – психологічній теорії, яка, через свою рідинну та еволюційну природу, є антитезою створення конкретних визначень, необхідних для великомасштабних систем оцінювання людини.

Інформовані цією теорією, додаткові розміри безпеки були категоризовані авторами, включаючи страх, гнів, смуток, відраза, замішання та неприродність.

Автори роз’яснюють першу з цих цінностей, страх:

‘Багато анотаторів використовували терміни типу “жахливо” (наприклад, для спотворених облич або зображень, що свідчать про насильство, наприклад, пістолет, направлений на дитину), “відразливо” (“Абсолютно гидке бачити, як когось збивають, дуже відразливо і гидко”, або “Відразливо і схоже на кров” для черв’яної фарби) або “відштовхуюче” (“Зображення дитини має багато спотворень… мені це прикро, оскільки здається, що дитина грає не з тієї сторони рейок”).

‘[Графік нижче] кількісно визначає “страх” як найбільш часто згадувану емоцію (233 згадки, тоді як майже половина цих згадок пов’язані з насильницьким вмістом, вмістом, визнаним не шкідливим, також викликає другу за частотою згадку страху).’

Розподіл термінів, пов’язаних з емоціями, через категорії шкоди, з висотами стовпців, що вказують на пропорції коментарів, кількість коментарів, відображених всередині стовпців, та загальну кількість коментарів, показану над кожною категорією.

Відносно включення цих нових розмірів безпеки, автори заявляють:

‘Ці нові теми підкреслюють критичну необхідність збагатити рамкові структури оцінки зображень ІІ, інтегруючи суб’єктивні, емоційні та перцептивні елементи.’

Це може бути небезпечною дорогою, оскільки здається, що процеси анотації можуть довільно додавати правила на основі реакцій, які матеріал може викликати у будь-якого окремого анотатора, а не вимагати, щоб всі анотатори дотримувалися встановлених стандартів та бенчмарків.

Якщо можна приписати цій ідеї економічну імперіалістичну директиву, то це те, що цей підхід дозволяє гіпермасштабну людську анотацію, при якій процес є безтривожним, учасники є самоорганізованими, а вони самі вирішують, які правила та межі існують.

Під стандартною анотацією правила приймаються людським консенсусом та дотримуються людськими анотаторами; під сценарієм, описаним у роботі, той перший рівень нагляду або видалений, або понижений: фактично будь-яке зображення, яке може викликати будь-яке обурення в когось, буде позначено (не в останню чергу, можливо, тому, що консенсус є дорогим, а також часоємким).

Роршахові судження

Мета анотації полягає в тому, щоб дійти до точного опису або визначення шляхом експертного нагляду, загального консенсусу серед кількох анотаторів або (ідеально) обох. Натомість розширення обмеженої, але добре визначеної ієрархії шкідливих дій у «інтуїтивну» та високо особисту інтерпретаційну позицію еквівалентно анотації тесту Роршаха.

Наприклад, деякі анотатори, як зазначено в роботі, інтерпретували низьку якість зображення (таку як артефакти JPEG, а також безглузді технічні недоліки в зображенні) як «відразливо» або «показове шкоди»:

‘Це відбулося, незважаючи на те, що завдання не містить інструкцій щодо якості зображення. Крім того, анотатори інтерпретували ці артефакти якості як семантично значущі.

‘Один анотатор прокоментував: “Зображення зовсім не шкідливе; він просто має трохи спотворене обличчя”. Аналогічно, деякі анотатори інтерпретували артефакти якості зображення як умисну шкоду, привласнюючи емоційний сенс глюкам. Наприклад, інший анотатор інтерпретував спотворене обличчя в іншому зображенні як “показове болю”’

Підняття суб’єктивних, емоційних чи контекстно-залежних реакцій над попередньо визначеними категоріями безпеки відкриває двері до режиму, в якому більше нічого може бути довільно позначено як шкідливе, і де «охолоджувальний ефект» ад хок видалення або негативної перекласифікації матеріалу (тобто матеріалу, який може «образити» особливу групу інтересів) стає реальною перспективою.

Робота “Просто дивне фото”: Оцінка “безпеки” у завданнях анотації зображень Генеративного ІІ з точки зору різних анотаторів доступна на Arxiv.

* Зріз, оскільки це не є центральною темою тут; згідно з новим законодавством, сайти, які викликають обурення, повинні або поліціювати себе; впроваджувати складні та дорогі системи перегляду та технології перевірки віку, які є недоступними для всіх, крім найбільших сайтів; або блокувати свої домени для британської аудиторії (знову ж таки, за власний рахунок).

† Просто виражено у мемі “думайте про дітей”, який сатирує привласнення моральної агентності іншого людини за явно альтруїстичними засобами.

Перша публікація у п’ятницю, 25 липня 2025 року