Ризики анотації зображень на основі “вібрацій”

Хоча їм платять лише кілька доларів (або навіть нічого), невідомі люди, які оцінюють зображення на наявність “шкідливого” контенту, можуть змінити ваше життя своїми рішеннями. Тепер нова велика робота від Google, здається, пропонує, що ці анотатори створюють自己的 правила щодо того, що є або не є “шкідливим” або образливим – незалежно від того, наскільки дивними або особистими можуть бути їхні реакції на будь-яке зображення. Що може піти не так?

Опінія Цього тижня нова співпраця між Google Research та Google Mind об’єднала не менше 13 учасників у новій роботі, яка досліджує, чи повинні “інтуїтивні відчуття” анотаторів зображень враховуватися при оцінюванні зображень для алгоритмів, навіть якщо їхні реакції не збігаються з встановленими стандартами оцінювання.

Це важливо для вас, оскільки те, що оцінювачі та анотатори вважають образливим згідно з правилом консенсусу, схильно стати частиною автоматичних систем цензурування та модерації, а також критеріїв для “обscene” або “неприйнятного” матеріалу, у законодавстві, такому як новий брандмауер NSFW* у Великій Британії (версія якого з’явиться в Австралії скоро), а також у системах оцінки контенту на платформах соціальних медіа, серед інших середовищ.

Таким чином, чим ширше критерії образливого контенту, тим ширше потенційний рівень цензурування.

Цензурування “вібрацій”

Це не єдина точка зору, яку пропонує нова робота; вона також визначає, що люди, які оцінюють зображення, часто більш цензурні щодо того, що, на їхню думку, буде образливим для інших людей, окрім себе; і що низькоякісні зображення часто викликають занепокоєння щодо безпеки, хоча якість зображення не має нічого спільного з його змістом.

У своєму висновку робота підкреслює ці два висновки, ніби центральна позиція роботи herself не змогла досягти успіху, але дослідники були зобов’язані опублікувати свою роботу в будь-якому випадку.

Хоча це не є незвичайною ситуацією, робота, після ретельного прочитання, містить більш зловісний підтон: що практики анотації можуть розглядати можливість прийняття того, що я можу описати лише як анотацію “вібрацій”:

‘Наші висновки свідчать про те, що існуючі рамки повинні враховувати суб’єктивні та контекстні виміри, такі як емоційні реакції, неявні судження та культурні інтерпретації шкоди. Часте використання анотаторами емоційної мови та їхнє відхилення від попередньо визначених міток шкоди підкреслюють прогалини в поточних практиках оцінювання.

‘Розширення керівних принципів анотації для включення ілюстративних прикладів різних культурних та емоційних інтерпретацій може допомогти ліквідувати ці прогалини.’

…