Невидима, часто невдоволена робоча сила, яка вирішує майбутнє штучного інтелекту

Два нових звітів, включаючи статтю під керівництвом Google Research, висловлюють занепокоєння щодо того, що поточна тенденція покладатися на дешеву та часто безправну групу випадкових працівників гіг-економіки для створення базової істини для систем машинного навчання може мати великі наслідки для штучного інтелекту.

Серед ряду висновків дослідження Google виявило, що власні упередження працівників гіг-економіки, ймовірно, будуть закладені в системи штучного інтелекту, чиї базові істини будуть засновані на їхніх відповідях; що поширені несправедливі трудові практики (включаючи в США) на платформах гіг-економіки, ймовірно, погіршать якість відповідей; і що система “консенсусу” (ефективно “міні-вибори” для деякої базової істини, яка вплине на системи штучного інтелекту) зараз може фактично відкинути найкращі та/або найбільш інформовані відповіді.

Це погані новини; ще гірші новини полягають у тому, що майже всі засоби є дорогими, тривалими або обома.

Небезпека, випадковий відхід і гіркота

Перший звіт, від п’яти дослідників Google, називається Чия базова істина? Урахування індивідуальних та колективних ідентичностей під час анотації наборів даних; другий звіт, від двох дослідників Університету Сірак’юса в штаті Нью-Йорк, називається Походження та значення розбіжностей серед анотаторів даних: Випадковий аналіз індивідуальних відмінностей при анотації ворожої мови.

У звіті Google зазначається, що працівники гіг-економіки – чиї оцінки часто утворюють визначальну основу систем машинного навчання, які можуть згодом вплинути на нашу життя – часто працюють під дією ряду обмежень, які можуть вплинути на те, як вони реагують на експериментальні завдання.

Наприклад, поточна політика Amazon Mechanical Turk дозволяє замовникам (тим, хто видає завдання) відхилити роботу анотатора без відповідальності*:

‘[Більшість працівників гіг-економіки (94%) мали роботу, яка була відхилена або за яку їм не було заплачено. Тим не менше, замовники зберігають повні права на отримані дані незалежно від того, приймають вони роботу чи відхиляють її; Робертс (2016) описує цю систему як таку, що “дозволяє вихватити заробітну плату”.

‘Крім того, відмова від роботи та утримання заробітної плати болісна, оскільки відміни часто спричинені нечіткими інструкціями та відсутністю значимих каналів зворотного зв’язку; багато працівників гіг-економіки повідомляють, що погана комунікація негативно впливає на їхню роботу.’

Автори рекомендують дослідникам, які використовують сторонні послуги для розробки наборів даних, враховувати, як платформа гіг-економіки ставиться до своїх працівників. Вони також зазначають, що в США працівники гіг-економіки класифікуються як “самозайняті”, а їхня робота відповідно не регулюється та не підлягає мінімальній заробітній платі, передбаченій Законом про стандарти праці.

Контекст має значення

У звіті також критикується використання ад hoc глобальної праці для завдань анотації без урахування походження анотатора.

Коли дозволяє бюджет, дослідникам, які використовують AMT та подібні платформи гіг-економіки, часто дають те саме завдання чотирьом анотаторам і слідують принципу “більшості” щодо результатів.

Контекстний досвід, як стверджується в звіті, явно недооцінюється. Наприклад, якщо питання щодо сексизму випадково розподілено між трьома згодними чоловіками у віці 18-57 років та однією несогласною жінкою у віці 29 років, вердикт чоловіків переможе, крім рідкісних випадків, коли дослідники звертають увагу на кваліфікацію своїх анотаторів.

Аналогічно, якщо питання про поведінку банд у Чикаго розподілено між жінкою з сільської місцевості США у віці 36 років, чоловіком-резидентом Чикаго у віці 42 років та двома анотаторами з Бангалору та Данії, людина, найімовірніше, постраждає від цієї проблеми (чоловік з Чикаго) володіє лише чвертю частки в результаті, у стандартній конфігурації аутсорсингу.

Дослідники зазначають:

‘[Поняття] про “одну істину” у відповідях працівників гіг-економіки є міфом; розбіжності між анотаторами, які часто розглядаються як негатив, можуть насправді надати цінний сигнал. Друга річ, оскільки багато пулів анотаторів гіг-економіки соціально-демографічно викривлені, існує вплив на те, які населення представлені в наборах даних, а також на те, які населення стикаються з проблемами [гіг-економіки].

‘Урахування викривлень демографії анотаторів є критичним для контекстуалізації наборів даних та забезпечення відповідального подальшого використання. Коротко кажучи, є цінність у визнанні та урахуванні соціокультурного походження працівників — як з точки зору якості даних, так і з точки зору суспільного впливу.’

Немає ‘нейтральних’ думок щодо гарячих тем

Дажи тоді, коли думки чотирьох анотаторів не викривлені демографічно чи іншими показниками, звіт Google висловлює занепокоєння щодо того, що дослідники не враховують життєвий досвід чи філософську позицію анотаторів:

‘Хоча деякі завдання ставлять об’єктивні питання з правильною відповіддю (чи є людське обличчя на зображенні?), часто набори даних спрямовані на захоплення суджень щодо відносно суб’єктивних завдань, для яких немає універсально правильної відповіді (чи це текст є образливим?). Важливо бути свідомим щодо того, чи слід сприймати суб’єктивні судження анотаторів.’

Відносно своєї конкретної сфери щодо проблем з маркуванням ворожої мови, звіт Сірак’юса зазначає, що більш категоричні питання, такі як Чи є кіт на цьому фотографії?, помітно відрізняються від запитання працівника гіг-економіки, чи є фраза “токсичною”:

‘Враховуючи заплутаність соціальної реальності, сприйняття людей щодо токсичності суттєво відрізняються. Їхні мітки токсичного контенту засновані на їхніх власних сприйняттях.’

Встановивши, що особистість та вік мають суттєвий вплив на вимірюване маркування ворожої мови, дослідники Сірак’юса роблять висновок:

‘Ці висновки свідчать про те, що зусилля щодо отримання узгодженості серед анотаторів з різним походженням та особистістю для ворожої мови можуть ніколи повністю не вдаватися.’

Суддя також може бути упередженим

Відсутність об’єктивності, ймовірно, буде повторюватися вище, згідно з заявами звіту Сірак’юса, який стверджує, що ручне втручання (або автоматична політика, також визначена людиною) щодо визначення “переможця” голосування щодо консенсусу також повинно бути предметом уваги.

Зрівнюючи цей процес з модерацією форуму, автори заявляють*:

‘[Модератори спільноти] можуть визначити долю як постів, так і користувачів у своїй спільноті, просуваючи або ховаючи пости, а також шануючи, ганьблячи або забанюючи користувачів. Рішення модераторів впливають на контент, який доставляється членам спільноти та аудиторії та, поширення, також впливають на досвід спільноти щодо обговорення.

‘Припускаючи, що людський модератор є членом спільноти, який має демографічну однорідність з іншими членами спільноти, здається можливим, що ментальна схема, яку вони використовують для оцінки контенту, буде збігатися з тим, що інші члени спільноти.’

Це дає деяке уявлення про те, чому дослідники Сірак’юса прийшли до такого песимістичного висновку щодо майбутнього анотації ворожої мови; наслідком є те, що політики та судження щодо розбіжностей у роботах гіг-економіки не можуть бути просто випадково застосовані згідно з “прийнятними” принципами, які не закріплені ніде (або не скорочуються до застосовуваної схеми, навіть якщо вони існують).

Люди, які приймають рішення (працівники гіг-економіки), упереджені, і були б безцінними для таких завдань, якщо б вони не були упереджені, оскільки завдання полягає у наданні цінного судження; люди, які судять про розбіжності у результатах гіг-економіки, також приймають цінні судження при встановленні політики розбіжностей.

Може бути сотні політик лише в одному кадрі виявлення ворожої мови, і якщо кожну з них не повернути до Верховного суду, де може походити “авторитетний” консенсус?

Дослідники Google пропонують ‘[розбіжності між анотаторами можуть містити цінні нюанси щодо завдання’. Звіт пропонує використання метаданих у наборах даних, які відображають та контекстуалізують розбіжності.

Однак складно побачити, як такий контекстно-залежний шар даних міг би привести до метрик типу “подібний-на-подібний”, адаптуватися до вимог встановлених стандартних тестів або підтримувати будь-які дефінітивні результати – окрім нереалістичного сценарію прийняття однієї й тієї ж групи дослідників у подальшу роботу.

Кураторство пулом анотаторів

Все це припускає, що в дослідницькому проекті є бюджет на кілька анотацій, які призведуть до голосування щодо консенсусу. У багатьох випадках дослідники намагаються “кураторство” пул анотацій гіг-економіки дешевше, вказуючи ознаки, які повинні мати працівники, такі як географічне розташування, стать чи інші культурні чинники, торгуючи множинністю за специфікою.

Звіт Google стверджує, що шляхом вперед від цих викликів міг би бути встановлення розширених структур комунікації з анотаторами, подібних до мінімальної комунікації, яку забезпечує додаток Uber між водієм та пасажиром.

Така ретельна увага до анотаторів, природно, стала б перепоною для гіпермасштабного аутсорсингу анотації, що призвело б до обмежених та низькооб’ємних наборів даних, які мають кращу раціональну підставу для своїх результатів, або “поспішної” оцінки анотаторів, отримання обмеженої інформації про них та характеризації їх як “підходящих для завдання” на основі недостатньої інформації.

Це якщо анотатори чесні.

‘Люди, які хочуть догодити’ у зовнішньому маркуванні наборів даних

З наявною робочою силою, яка недоплачується, піддається жорсткій конкуренції за доступні завдання, і пригнічена відсутністю кар’єрних перспектив, анотатори мотивовані швидко надати “правильну” відповідь та перейти до наступного міні-завдання.

Якщо “правильна відповідь” складніша, ніж Є кіт/Немає кота, звіт Сірак’юса стверджує, що працівник, ймовірно, спробує вивести “прийнятну” відповідь на основі змісту та контексту питання*:

‘[Поява альтернативних концептуалізацій та широке використання простих методів анотації, ймовірно, перешкоджають прогресу досліджень щодо ворожої мови в Інтернеті. Наприклад, Росс та ін. виявили, що показ Twitter’ової визначення ворожої поведінки анотаторам призвело до того, що вони частково зішліфували свої власні думки з визначенням. Це виправлення призвело до дуже низької надійності анотацій.’

* Моя конвертація посилань звіту на гіперпосилання.

Опубліковано 13 грудня 2021 – Оновлено 18 грудня 2021: додані теги