Картель впливових наборів даних домінує в дослідженнях машинного навчання, свідчить нове дослідження

Нова робота вчених з Каліфорнійського університету та Google Research показала, що невелика кількість «еталонних» наборів даних машинного навчання, здебільшого з впливових західних інститутів, і частіше за все з урядових організацій, все більше домінує в галузі досліджень штучного інтелекту.

Дослідники висновують, що ця тенденція до «за замовчуванням» використання популярних відкритих наборів даних, таких як ImageNet, викликає ряд практичних, етичних та навіть політичних причин для занепокоєння.

Серед їхніх висновків – на основі основних даних проекту Papers With Code (PWC) – автори стверджують, що ‘широко використовувані набори даних вводяться лише невеликою кількістю елітних інститутів’, і що ця «консолідация» збільшилася до 80% за останні роки.

‘[Ми] виявили, що існує зростаюча нерівність у використанні наборів даних у світі, і що понад 50% усіх використань наборів даних у нашій вибірці з 43 140 відповідають наборам даних, введеним дванадцятьма елітними, переважно західними, інститутами.’

Карта неконтрольованих використань наборів даних за останні десять років. Критерії включення – це випадки, коли інститут або компанія обліковує понад 50% відомих використань. Праворуч показаний коефіцієнт Джині для концентрації наборів даних за час для інститутів і наборів даних. Джерело: https://arxiv.org/pdf/2112.01716.pdf

До домінуючих інститутів належать Стенфордський університет, Microsoft, Принстон, Facebook, Google, Інститут Макса Планка та AT&T. Чотири з десяти джерел наборів даних – корпоративні інститути.

У роботі також характеризується зростаюче використання цих елітних наборів даних як ‘засіб нерівності в науці’. Це відбувається через те, що дослідницькі команди, які шукають схвалення спільноти, більше мотивовані до досягнення результатів рівня стандарту (SOTA) проти постійного набору даних, ніж до генерації оригінальних наборів даних, які не мають такого статусу, і які потребують від колег адаптації до нових метрик замість стандартних індексів.

У будь-якому випадку, як зазначається в роботі, створення власного набору даних – це заборонительно дороге заняття для менш забезпечених інститутів і команд.

‘Первинна наукова валідність, надана SOTA-бенчмаркінгом, загалом суперечить соціальній кредibilitності дослідників, яких вважають здатними конкурувати на широко визнаному наборі даних, навіть якщо більш контекстно-специфічний бенчмарк міг би бути технічно більш підходящим.

‘Ми стверджуємо, що ці динаміки створюють “Ефект Матфея” (тобто “багаті стають багатшими, а бідні – біднішими”), де успішні бенчмарки та елітні інститути, які їх вводять, набувають непомірної ваги в галузі.

Робота названа Зменшені, повторно використані та перероблені: Життя набору даних у дослідженнях машинного навчання, і походять від Бернарда Коха та Джейкоба Г. Фостера з UCLA, та Емілі Дентон та Алекса Ганни з Google Research.

Ця робота піднімає ряд питань щодо зростаючої тенденції до консолідації, яку вона документує, і була зустрінута з загальною схваленням на Open Review. Один із рецензентів з NeurIPS 2021 відзначив, що ця робота ‘екстремально актуальна для будь-кого, хто займається дослідженнями машинного навчання.’ і передбачив її включення до списку обов’язкових читань у університетських курсах.

Від необхідності до корупції

Автори зазначають, що поточна культура ‘перемогти бенчмарк’ виникла як засіб проти відсутності об’єктивних інструментів оцінки, які спричинили колапс інтересу та інвестицій в штучний інтелект вдруге більше тридцяти років тому, після зниження бізнес-ентузіазму щодо нових досліджень в галузі ‘Експертних систем’:

‘Бенчмарки зазвичай формалізують певне завдання через набір даних та пов’язану з ним кількісну метрику оцінки. Ця практика була вперше введена в дослідженнях машинного навчання після “зими штучного інтелекту” 1980-х років урядовими фондаторами, які намагалися більш точно оцінити вартість отриманих грантів.’

У роботі стверджується, що початкові переваги цієї неформальної культури стандартизації (зниження бар’єрів для участі, послідовні метрики та більш гнучкі можливості розвитку) починають переважатися недоліками, які природно виникають, коли певний набір даних стає достатньо потужним, щоб ефективно визначати свої «умови використання» та сферу впливу.

Автори пропонують, у відповідності з багатьма недавніми промисловими та академічними думками на цю тему, що дослідницька спільнота не ставить нових завдань, якщо їх не можна вирішити за допомогою існуючих бенчмарк-наборів даних.

Вони також зазначають, що сліпе слідування цій невеликій кількості «золотих» наборів даних спонукає дослідників до досягнення результатів, які є перефільтрованими (тобто, які є специфічними для набору даних і не будуть працювати майже так само добре на реальних даних, нових академічних або оригінальних наборах даних, або навіть необхідних наборах даних у «золотому стандарті»).

‘Враховуючи високу концентрацію досліджень на невеликій кількості бенчмарк-наборів даних, ми вважаємо, що диверсифікація форм оцінки особливо важлива для уникнення перефільтровування існуючих наборів даних та неправильного представлення прогресу в галузі.’

Урядовий вплив на дослідження комп’ютерного зору

За даними роботи, дослідження комп’ютерного зору особливо сильно постраждали від синдрому, який вони описують, ніж інші галузі, причому автори зазначають, що дослідження обробки природної мови (NLP) менш постраждали. Автори вважають, що це може бути пов’язано з тим, що спільноти NLP «більш згуртовані» та більші за розміром, і що набори даних NLP більш доступні та легші для створення, а також менші та менш ресурсоємні щодо збору даних.

У галузі комп’ютерного зору, особливо щодо наборів даних розпізнавання облич (FR), автори стверджують, що корпоративні, державні та приватні інтереси часто зіштовхуються:

‘Корпоративні та урядові інститути мають цілі, які можуть вступати в конфлікт з приватністю (наприклад, спостереження), і їхнє зважування цих пріоритетів, ймовірно, буде відрізнятися від тих, яких дотримуються академіками чи широкими зацікавленими сторонами штучного інтелекту.’

Для завдань розпізнавання облич дослідники виявили, що кількість чисто академічних наборів даних різко знижується порівняно зі середнім:

‘[Чотири] з восьми наборів даних (33,69% усіх використань) були виключно профінансовані корпораціями, військовими США або урядом Китаю (MS-Celeb-1M, CASIA-Webface, IJB-A, VggFace2). MS-Celeb-1M було в кінцевому підсумку відкликано через суперечку щодо цінності приватності для різних зацікавлених сторін.’

Топ-набори даних, використані в спільнотах досліджень генерації зображень та розпізнавання облич.

На вищезазначеній графіці, як зазначають автори, ми також бачимо, що відносно нова галузь генерації зображень (або синтезу зображень) сильно залежить від існуючих, набагато старіших наборів даних, які не були призначені для цього використання.

Насправді робота відзначає зростаючу тенденцію до «міграції» наборів даних від їхнього первинного призначення, що викликає питання щодо їхньої придатності для потреб нових або віддалених дослідницьких галузей, а також щодо того, якою мірою бюджетні обмеження можуть «генералізувати» сферу амбіцій дослідників у вузький контекст, наданий наявними матеріалами та культурою, такою одержимою щорічними бенчмарк-рейтингами, що нові набори даних мають труднощі з отриманням визнання.

‘Наші висновки також свідчать, що набори даних регулярно передаються між різними спільнотами завдань. На найбільш крайньому кінці більшість бенчмарк-наборів даних, що циркулюють для деяких спільнот завдань, були створені для інших завдань.’

Відносно видатних діячів у галузі машинного навчання (включаючи Ендрю Нга), які все частіше закликають до більшої різноманітності та кураторства наборів даних за останні роки, автори підтримують цю думку, але вважають, що такі зусилля, навіть якщо вони успішні, можуть бути потенційно підірвані поточною залежністю культури від результатів SOTA та встановлених наборів даних:

‘Наше дослідження свідчить, що просте закликання до дослідників машинного навчання розробити більше наборів даних та зміна структурних стимулів так, щоб розвиток наборів даних був цінним і винагородженим, може бути недостатнім для диверсифікації використання наборів даних та перспектив, які в кінцевому підсумку формують та встановлюють порядку дні досліджень машинного навчання.

‘Крім стимуляції розвитку наборів даних, ми пропонуємо政策ові втручання, орієнтовані на рівність, які пріоритезують значне фінансування людей у менш забезпечених інститутах для створення високоякісних наборів даних. Це розширило б – з соціальної та культурної точки зору – бенчмарк-набори даних, які використовуються для оцінки сучасних методів машинного навчання.’

 6 грудня 2021 р., 16:49 – виправлено присвійний прийменник у заголовку. – MA