У звіті GEPI «Як ШІ підводить жінок: коли упередженість посилюється» досліджується, як алгоритми посилюють гендерну упередженість

Оцінка кандидата під час наймання, кредитний рейтинг чи клінічна рекомендація можуть здаватися неупередженими, водночас відтворюючи нерівність, закладену в даних, на яких вони ґрунтуються. Саме про це йдеться в новому звіті Gender Equity Policy Institute «Як ШІ підводить жінок: коли упередженість посилюється», у якому зібрано дослідження про те, як автоматизовані системи можуть відтворювати, а іноді й посилювати дискримінацію за гендерною ознакою.

Авторка звіту — науковиця з машинного навчання та старша стипендіатка GEPI Myriam Shiran, PhD. У ньому розглянуто академічні та неакадемічні джерела про економічні можливості, охорону здоров’я, кримінальне правосуддя, контент, створений за допомогою ШІ, дизайн споживчих систем ШІ та сексуальне насильство із застосуванням зображень, створених за допомогою ШІ. Це узагальнення наявних свідчень, а не новий експеримент, у якому кожну систему ШІ перевіряють за єдиним критерієм.

Найважливіший аргумент звіту стосується того, що відбувається, коли упереджений результат виходить за межі моделі. Рекомендації впливають на рішення, згенерований контент формує очікування, а деякі результати стають матеріалом для подальшого навчання. Тож несправедливу закономірність може бути дедалі складніше виявити, коли вона проходить через низку систем.

Відсутність гендерних даних на вході не гарантує справедливих результатів

Інтуїтивною реакцією на дискримінацію може здаватися вилучення поля із зазначенням гендеру. У звіті GEPI пояснюється, чому одного цього кроку недостатньо: імена, освіта, історія працевлаштування та інші відомості все одно можуть містити сигнали, пов’язані з гендером. Історичні результати також можуть відображати нерівне ставлення ще до того, як із ними зіткнеться модель.

В одному з аудиторських досліджень найму, на яке посилається звіт, Wilson і Caliskan у 2024 році порівняли понад три мільйони змодельованих резюме за дев’ятьма професіями. Перевірені моделі відбору кандидатів статистично значуще частіше віддавали перевагу іменам, асоційованим із чоловіками, у 51,9% порівнянь, а іменам, асоційованим із жінками, — у 11,1%. У решті 37% порівнянь статистично значущої переваги не виявили. Це результати контрольованих випробувань моделей, а не частка реальних кандидатів, яким відмовили в роботі.

Результати також залежать від дизайну тестування. У звіті описано окреме аудиторське дослідження 2025 року: кілька мовних моделей не виявили гендерних відмінностей, коли дослідники змінювали лише імена, тоді як зміни у відомостях про освіту впливали на оцінки. Вузько сфокусований тест може не виявити інформації, важливої для інших етапів того самого робочого процесу.

Щодо кредитування, у звіті наведено дослідження приблизно 80 000 незабезпечених споживчих позик від великого фінтех-кредитора зі США. Позики жінкам приносили кредитору більший прибуток; згідно з дослідженням, це було пов’язано з тим, що модель завищувала ризик неповернення таких позик і відповідно встановлювала їхню вартість. Тут ідеться про зв’язок між прогнозованим ризиком, фактичним погашенням позики та сумою, яку сплачує позичальник, а не лише про те, чи вказано гендер у заявці.

Для медичного ШІ недостатньо високого середнього показника

Охорона здоров’я — особливо наочний приклад того, як загальні показники ефективності можуть приховувати важливі відмінності. Модель може добре працювати загалом, але припускатися більшої кількості помилок щодо людей, недостатньо представлених у даних для її навчання чи перевірки.

GEPI посилається на дослідження 2024 року, проведене Zack та його колегами: вони запропонували GPT-4 розглянути однакові в усіх інших аспектах випадки болю в грудях, описані як випадки чоловіка або жінки. У 200 запусках для кожного опису модель оцінила навантажувальний тест серця як дуже важливий у 71% випадків із чоловіком і 58% випадків із жінкою — різниця становила 13 відсоткових пунктів.

Цей результат стосується рекомендацій моделі під час контрольованого оцінювання, а не рішень про лікування чи наслідків для пацієнтів, зафіксованих у реальних умовах. Це розрізнення важливе, зокрема тому, що у звіті наведено попередні дослідження різних моделей, захворювань і клінічних завдань, проведені в різний час.

У звіті також зроблено важливе застереження: клінічно значущі статеві відмінності не слід просто нівелювати. Завдання полягає в тому, щоб з’ясувати, чи зумовлена відмінність у рекомендаціях моделі біологічними чинниками, що мають значення, чи необґрунтованим припущенням. Для цього потрібні репрезентативні дані оцінювання та ретельний аналіз помилок, а не вимога, щоб усі рекомендації були однаковими.

Упередженість може впливати як на рішення, так і на те, як зображують різні групи

У звіті розрізняють шкоду, завдану обмеженням доступу людини до ресурсів — наприклад, кредиту чи медичної допомоги, — і шкоду від того, як зображують певні групи. Згенеровані рекомендаційні листи, новинні статті та зображення представників різних професій можуть закріплювати стереотипи, навіть якщо безпосередньо після цього не ухвалюють рішення про розподіл ресурсів.

Узагальнені GEPI дослідження виявили, що мовні моделі частіше описують жінок через міжособистісні якості, а чоловіків — через лідерські здібності чи компетентність. Дослідження генераторів зображень виявили перебільшене розділення за гендером у зображеннях представників різних професій. Ці результати стосуються досліджених моделей і їхніх версій; їх не слід сприймати як нову перевірку кожної системи, доступної сьогодні.

Споживчі асистенти та компаньйони порушують інше питання. Їхні голоси, характери та реакції на домагання — це свідомі рішення під час розроблення продукту. Якщо оцінювати лише статистичний баланс їхніх відповідей, можна не помітити припущень, закладених у саму задуману розробниками сутність продукту.

У звіті також розглядаються синтетичні сексуальні зображення, створені без згоди, — ШІ може спростити їхнє створення та поширення, а отже, і вчинення насильства. Йдеться не просто про неточне зображення: використання образу реальної людини без її згоди може завдати прямої шкоди. На це потрібна інша реакція, ніж на виправлення професійного стереотипу в згенерованих зображеннях.

Чому незалежне тестування має значення

GEPI описує чотири повторювані механізми: навчання на історичних даних, що відображають нерівність, відтворення стереотипів, подання оцінок як об’єктивних вимірювань і передавання упереджених результатів для подальшого ухвалення рішень або навчання моделей.

Незалежні аудити допомагають виявити ці механізми. Дослідники можуть змінювати одну характеристику у зіставних вхідних даних і перевіряти, як змінюються результати, навіть не маючи доступу до внутрішньої архітектури пропрієтарної моделі. Однак успішне тестування на одному запиті чи бенчмарку не доводить, що система буде справедливою в усьому масштабі її впровадження.

Організаціям, які впроваджують ШІ, варто перевіряти його в конкретному сценарії використання. Команда з підбору персоналу має проаналізувати, як оцінки первинного відбору впливають на вибір кандидатів для співбесіди. Кредитор має зіставити оцінки ризику з результатами погашення позик. Медична організація має з’ясувати, які пацієнти представлені у валідаційних даних і де зосереджуються помилки. Ці перевірки дають відповіді на інші запитання, ніж оцінювання середньої плавності чи точності моделі.

Що встановлює звіт — і що залишається невідомим

Звіт спирається переважно на дані зі США, водночас за потреби згадуючи міжнародні дослідження. Його джерела охоплюють різні технології, роки й методи. Одні документують наслідки, інші виявляють тривожну поведінку під час моделювання. Огляд не встановлює єдиного універсального рівня дискримінації й не доводить, що кожна система відтворює однакові упередження.

У звіті також вказано на проблему вимірювання: дослідники часто не мають доступу до інституційних даних, необхідних, щоб пов’язати результат роботи системи з його наслідками. Виявити нерівність важливо, але для розуміння її реальної вартості можуть знадобитися дані роботодавців, постачальників, кредиторів або медичних установ.

Внесок GEPI полягає в тому, що звіт поєднує результати досліджень, які часто розглядають окремо, і ставить питання, чи супроводжують тестування та підзвітність ШІ в процесі ухвалення рішень, на які він впливає. У повному звіті Як ШІ підводить жінок: коли упередженість посилюється наведено методологію, посилання на дослідження та галузеві дані, що підтверджують цей аргумент.