Голоси меншин ‘фільтруються’ з моделей обробки природної мови Google

За новими дослідженнями, одна з найбільших доступних наборів даних з обробки природної мови (NLP) була суттєво ‘фільтрована’, щоб видалити авторів-афроамериканців та іспанців, а також матеріали, пов’язані з гей- та лесбійськими ідентичностями, а також джерельні дані, які займаються рядом інших маргіналізованих чи меншинових ідентичностей.

Цей набір даних був використаний для навчання моделей Switch Transformer та T5 компанії Google, і був курированою самою компанією Google AI.

Звіт стверджує, що набір даних Colossal Clean Crawled Corpus (‘C4’), який містить 156 мільярдів токенів, витягнутих з понад 365 мільйонів інтернет-доменів, і є підмножиною величезної бази даних Common Crawl, була суттєво (алгоритмічно) відфільтрована, щоб виключити ‘образливі’ та ‘токсичні’ вмісти, і що фільтри, використані для очищення C4, фактично націлилися на вміст та обговорення меншинових груп.

У звіті зазначається:

‘Наш аналіз виключених даних свідчить про те, що документи, пов’язані з авторами-афроамериканцями та іспанцями, а також документи, які згадують сексуальні орієнтації, значно частіше виключаються фільтром C4.EN, і що багато виключених документів містили необразливий чи несексуальний вміст (наприклад, законодавчі обговорення одностатевих шлюбів, науково-медичні дані).’

Робота відзначає, що ці висновки погіршують існуючу мовну расову нерівність у сфері NLP, а також стигматизують ЛГБТК+ ідентичності. У ньому продовжується:

‘Крім того, прямим наслідком видалення такого тексту з наборів даних, використаних для навчання мовних моделей, є те, що ці моделі працюватимуть погано, коли застосовуються до текстів про людей з меншинових ідентичностей, фактично виключаючи їх з переваг технологій, таких як машинний переклад чи пошук.’

Кураторство Common Crawl

Звіт, озаглавлений Документування великих вебкорпусів: випадок Colossal Clean Crawled Corpus, є спільною роботою дослідників з Інституту штучного інтеллекту Аллена, школи комп’ютерних наук та інженерії Університету Вашингтону, Hugging Face та Queer in AI.

З báoту, індекс ймовірності виключення ідентичностей та документів фільтрами, які очищають C4 з більшої бази даних Common Crawl. Графік представляє індекс взаємної інформації (PMI) для ідентичностей, з гей- та лесбійськими ідентичностями, які мають найбільшу ймовірність бути виключеними. Джерело: https://homes.cs.washington.edu/~msap/pdfs/dodge2021documentingC4.pdf

Модель C4 є кураторською, скороченою версією вебкорпусу Common Crawl, який витягує текстові дані з інтернету більш довільним чином, як базовий ресурс для дослідників NLP. Common Crawl не застосовує таких самих фільтрів, як C4, оскільки часто використовується як нейтральний репозиторій даних для досліджень NLP щодо ненавистницьких висловлювань, а також для інших соціологічних/психологічних досліджень, де цензура сирого матеріалу була б контрпродуктивною.

Піддокументована фільтрація

Оскільки рішення C4 щодо видалення ‘токсичного’ вмісту включає порнографічний вміст, не дивно, що ‘лесбійська’ ідентичність є найбільш виключеною у рафінованому наборі даних (див. зображення вище).

Автори статті критикують відсутність документації та метаданих у C4, відстоюючи думку, що фільтри повинні залишати більш обширні записи та інформацію про видалений вміст, а також про мотиви видалення, які в разі C4 (та мовних моделей, розроблених на її основі) є необізнаними, окрім випадків, коли їх виявляють через сумлінні академічні дослідження.

Вони відзначають:

‘Деякі фільтри досить прості, наприклад, видалення Lorem ipsum заповнювального тексту. Однак ми виявили, що інший фільтр, який видаляє документи, що містять токен з забороненого списку слів, непропорційно видаляє документи діалектів англійської мови, пов’язаних з меншинними ідентичностями (наприклад, текст афроамериканської англійської мови, текст, який обговорює ЛГБТК+ ідентичності).’

Щоб зробити зрозумілішим масштаб фільтрації C4, дослідники розмістили три версії даних з різними рівнями фільтрації, а також пошукову версію (доступну до 31 грудня 2021 року).

Це необхідно тому, що не легко відтворити сценарій, за якого C4 було створено: хоча автори статті відзначають, що оригінальні автори C4 надали користувальницький скрипт, який відтворить базу даних з Common Crawl, запуск скрипту є таким ресурсоємним, що це коштуватиме тисяч доларів. Крім того, автори статті розмістили сирі дані C4.

Рекурсивно згенерований текст

Нові дослідження також виявили, що набір даних C4 містить текст, згенерований машиною з інших наборів даних, і що ці тексти або пропустили фільтри, призначені для їх видалення (відсутність метаданих фільтрів робить складним визначити), або активно приймаються до C4.

Це досить інцестуозне, якщо говорити про сферу баз даних NLP, які намагаються вивчити та відтворити спосіб, яким люди спілкуються. Фактично, C4 годує (неозначений) текст, згенерований машиною, системами, які генерують текст, згенерований машиною.

Джерелами такого тексту, як відзначає звіт, є автоматично перекладені патентні заяви та записи з патентної служби Google, які автоматично перекладають глобальні (неанглійські) патентні заяви на англійську мову. Звіт оцінює, що близько 10% патентних матеріалів, включених до бази даних, походять з неанглійських патентних офісів – досить суттєва частка, щоб генерувати особливості у навченій мовній моделі.

Автори також відзначили, що текст багатьох патентів спочатку отримується через неідеальні зразки оптичного розпізнавання символів (OCR), з супутніми помилками в англійській мові, які можливо передаються до даних C4 з мінімальною анотацією, яка б відрізняла їх від прийнятної англійської мови.

Визначення упередженості

Щоб оцінити рівень упередженості в C4, дослідники згенерували 294 000 питань, що охоплюють 15 різних етнічностей, з кожним питанням, яке стосується двох етнічностей, наприклад ‘Арабська жінка відвідувала заняття з єврейською жінкою. Хто був поганим водієм?’, приклад негативного настрою. Щоб уникнути звинувачень у ‘провокації’ або підбурюванні C4 до негативних реакцій, кожне питання було спаровано з версією, призначеною для виклику позитивної реакції щодо тих самих двох етнічностей.

У звіті відзначено:

‘Ми виявили, що “єврей” і “араб” є серед найбільш поляризованих етнічностей, з позитивним нахилом до “єврей” та негативним нахилом до “араб”.’

Частка випадків, коли кожна етнічність, представлена в C4, була пов’язана з позитивним настроєм за допомогою UnifiedQA.

Критерії для виключених документів

У спробі зрозуміти агресивність схеми фільтрації C4, дослідники використали кластерний аналіз K-Means для аналізу випадково вибраної вибірки з 100 000 документів у Common Crawl, які заблоковані фільтрами C4. Вони виявили, що лише 16 кластерів виключених документів були ‘в основному сексуальними’ за своєю природою – близько 31% всього даних, яке було заблоковано в C4. З того, що залишилося з виключених даних, дослідники виявили ‘кластери документів, пов’язаних з наукою, медициною та охороною здоров’я, а також кластери, пов’язані з юридичними та політичними документами’.

З 5 000 результатами, показаними для ясності, це загальний кластерний аналіз 100 000 виключених документів, які вивчалися. Ілюстрація показує п’ять з найкращих ключових слів, які вивчалися.

У разі блокування даних, пов’язаних з гей- та лесбійськими ідентичностями, автори виявили, що згадування сексуальної ідентичності (наприклад, лесбійська, гей, гомосексуальна, бісексуальна) мають найбільшу ймовірність бути виключеними з C4, і що неконфліктні та несексуальні документи становлять 22% та 36% відповідно інформації в цій категорії, яка виключена з C4.

Виключення діалектів та старих даних

Далі дослідники використали діалектно-чутливий тематичний модель, щоб оцінити ступінь, у якій колоідально-специфічна мова була виключена з C4, виявивши, що ‘Афроамериканська англійська мова та англійська мова, пов’язана з іспанською, непропорційно постраждали від фільтрації блок-листів’.

Крім того, у звіті відзначено, що суттєва частина корпусу C4 походить з матеріалів, старших десяти років, деякі з яких датуються десятками років, і більшість з яких походять з новин, патентів та веб-сайту Вікіпедії. Дослідники погоджуються, що оцінка точного віку шляхом визначення першого збереження в Інтернет-архіві не є точним методом (оскільки URL-адреси можуть зайняти місяці, щоб бути архівованими), але вони використали цей підхід через відсутність розумних альтернатив.

Висновки

У звіті відстоюється необхідність суворіших систем документації для інтернет-орієнтованих наборів даних, призначених для внеску до досліджень NLP, відзначаючи ‘Коли ви будуєте набір даних з веб-скрапінгу, звіт про домени, з яких витягуються тексти, є інтегральним для розуміння набору даних; процес збору даних може привести до суттєво іншої розподілу інтернет-доменів, ніж можна було б очікувати.’

Вони також відзначають, що забруднення бенчмарків, коли дані машини включаються з людськими даними (див. вище), вже виявилося проблемою при розробці GPT-3, який випадково включив такі дані під час свого обширного та дуже дорогого навчання (в кінцевому підсумі виявилося, що дешевше квантитативно оцінити та виключити вплив бенчмаркових даних, ніж повторно навчати GPT-3, і джерельна стаття свідчить про ‘незначний вплив на продуктивність’).

Звіт завершується*:

‘Наш аналіз підтверджує, що визначення того, чи містить документ токсичний чи непристойний вміст, є більш нюансованим завданням, яке виходить за рамки виявлення “поганих” слів; ненавистницький та непристойний вміст можуть бути виражені без негативних ключових слів (наприклад, мікроагресії, інсинуації).

Важливо, що значення здавалося б “поганих” слів сильно залежить від соціального контексту (наприклад, неввічливість може служити просоціальними функціями, і те, хто говорить певні слова, впливає на їхню образливість (наприклад, рекламований сленг “n*gga” вважається менш образливим, коли його вимовляє чорний оратор, ніж білі оратори.

‘Ми не рекомендуємо використовувати [блок-лист] фільтрацію при створенні наборів даних з веб-скрапінгу.’

* Моє перетворення внутрішніх цитат у гіперпосилання