Дослідники розробили новий інструмент для боротьби з упередженнями в комп’ютерному зорі

Однією з недавніх проблем, що виникли в галузі штучного інтелекту (AI), є проблема упередженості в комп’ютерному зорі. Багато експертів зараз виявляють упередженість у системах AI, що призводить до перекошених результатів у різних застосуваннях, таких як програми судових вироків.

Тривають великі зусилля для вирішення деяких з цих проблем, а останнє досягнення прийшло з Принстонського університету. Дослідники цього закладу створили новий інструмент, який може виділяти потенційні упередженості в зображеннях, що використовуються для навчання систем AI.

Робота була представлена 24 серпня на віртуальній Європейській конференції з комп’ютерного зору.

Упередженість у системах AI

Одна з основних причин упередженості, присутньої у сучасних системах AI, полягає в тому, що вони часто навчаються на великих наборах зображень з онлайн-джерел. Ці зображення можуть бути стереотипними, і коли вони використовуються для розробки комп’ютерного зору, результат може бути ненавмисно вплинутий моделями. Комп’ютерний зір дозволяє комп’ютерам розпізнавати людей, об’єкти та дії.

Інструмент, розроблений дослідниками, є відкритим, і він здатний автоматично виявляти потенційні упередженості у візуальних даних. Він працює до того, як набори зображень будуть використані для навчання моделей комп’ютерного зору, і питання, пов’язані з недопредставленістю та стереотипами, можуть бути вирішені до того, як вони спричинять будь-який ефект.

REVISE

Новий інструмент називається REVISE, і він використовує статистичні методи для виявлення потенційних упереджень у наборі даних. Він зосереджується на трьох областях: об’єктних, ґендерних та географічних.

REVISE є повністю автоматичним і був створений на основі попередніх методів, які включали фільтрацію та балансування зображень у наборі даних, щоб користувач мав більший контроль.

Новий інструмент використовує існуючі анотації зображень та вимірювання для аналізу вмісту набору даних. Деякі з цих існуючих анотацій включають кількість об’єктів та країни походження зображень.

У одному з прикладів роботи інструменту REVISE показав, як зображення людей та квітів відрізнялися залежно від ґендеру. Чоловіки частіше з’являлися з квітами на церемоніях чи зустрічах, а жінки частіше з’являлися з квітами у картинах чи сценічних сценаріях.

Ольга Русаківська є асистентом професора комп’ютерних наук та головним дослідником лабораторії Visual AI. Статтю співавторами є аспірантка Анджеліна Ванг та асистент професора комп’ютерних наук Арвінд Нараянан.

Після того, як інструмент виявляє розбіжності, “тоді виникає питання про те, чи це цілком безневинний факт, чи щось глибше відбувається, і це дуже важко автоматизувати”, – сказала Русаківська.

Недопредставлені чи неправильно представлені регіони

Різні регіони світу недопредставлені у наборах даних комп’ютерного зору, що може призвести до упередженості у системах AI. Одним з відкриттів стало те, що значно більша кількість зображень походила зі Сполучених Штатів та європейських країн. REVISE також показав, що зображення з інших частин світу часто не мали анотацій зображень місцевою мовою, що означало, що багато з них могли походити з точки зору туриста про країну.

“…цей географічний аналіз показує, що розпізнавання об’єктів все ще може бути досить упередженим та виключним, і може впливати на різні регіони та людей нерівномірно”, – продовжила Русаківська.

“Практики збору даних у комп’ютерних науках не були достатньо розглянуті до останнього часу”, – сказав Ванг. Коли мова йде про збір зображень, вони “вибираються з інтернету, і люди не завжди розуміють, що їхні зображення використовуються [у наборах даних]. Ми повинні зібрати зображення з більш різноманітних груп людей, але коли ми це робимо, ми повинні бути обережними, щоб отримувати ці зображення способом, який є поважним.”

Вісенте Ордоньєс-Роман є асистентом професора комп’ютерних наук університету Вірджинії.

“Інструменти та бенчмарки є важливим кроком … вони дозволяють нам захопити ці упередженості на ранній стадії та переосмислити нашу проблему та припущення, а також практику збору даних”, – сказав Ордоньєс-Роман. “У комп’ютерному зорі є деякі конкретні виклики щодо представлення та поширення стереотипів. Роботи, такі як робота лабораторії Visual AI Принстонського університету, допомагають висвітлити та привернути увагу комп’ютерного зору до деяких з цих питань та пропонують стратегії для їх подолання.”

Новий інструмент, розроблений дослідниками, є важливим кроком для подолання упередженості, присутньої у системах AI. Тепер час вирішити ці питання, оскільки згодом це стане ще більш складним, оскільки системи будуть розвиватися та ставати більш складними.