В докладе GEPI «Как ИИ подводит женщин: усиление предвзятости» рассматривается, как алгоритмы усиливают гендерную предвзятость

Оценка кандидата при найме, кредитный рейтинг или клиническая рекомендация могут выглядеть беспристрастными, но при этом воспроизводить неравенство, заложенное в исходных данных. Именно об этом предупреждает новый доклад Gender Equity Policy Institute — «Как ИИ подводит женщин: когда предвзятость усиливается», в котором обобщены исследования того, как автоматизированные системы могут воспроизводить, а иногда и усугублять гендерную дискриминацию.

Автор доклада — специалистка по машинному обучению и старший научный сотрудник GEPI Мирьям Ширан, PhD. В докладе рассматриваются академические публикации и серая литература о возможностях в экономике, здравоохранении, уголовном правосудии, генерируемом контенте, разработке потребительских ИИ-систем и сексуальном насилии с использованием изображений, совершаемом при помощи ИИ. Это обобщение уже имеющихся данных, а не новый эксперимент, в котором каждая система ИИ оценивалась бы по единому критерию.

Самый важный тезис доклада касается того, что происходит после того, как предвзятый результат покидает модель. Рекомендации влияют на решения, генерируемый контент формирует ожидания, а некоторые результаты становятся материалом для последующего обучения. Поэтому по мере прохождения через последовательные системы несправедливую закономерность может становиться всё труднее выявить.

Отсутствие данных о гендере не гарантирует справедливых результатов

Удалить поле с указанием гендера — естественная реакция на дискриминацию. В обзоре GEPI объясняется, почему одного этого шага недостаточно: имена, образование, трудовая биография и другие сведения всё равно могут содержать сигналы, связанные с гендером. Исторические результаты также могут отражать неравное отношение ещё до того, как с ними столкнётся модель.

В одном из упомянутых в докладе аудитов найма, проведённом Уилсоном и Калисканом в 2024 году, сравнили более трёх миллионов симулированных резюме по девяти профессиям. Тестируемые модели отбора кандидатов статистически значимо отдавали предпочтение именам, ассоциируемым с мужчинами, в 51,9% сравнений, а именам, ассоциируемым с женщинами, — в 11,1%. В оставшихся 37% случаев значимого предпочтения не выявили. Это результаты контролируемых испытаний моделей, а не доля реальных соискателей, которым отказали в работе.

Результаты также зависят от дизайна теста. В докладе описан отдельный аудит 2025 года: в нём несколько языковых моделей не показали гендерных различий, когда исследователи меняли только имена, тогда как изменения сведений об образовании влияли на оценки. Узкий тест может не выявить информацию, которая имеет значение в других частях того же рабочего процесса.

В сфере кредитования в обзоре приводится исследование примерно 80 000 необеспеченных потребительских кредитов, выданных крупным финтех-кредитором из США. Кредиты, выданные женщинам, принесли кредитору более высокую доходность. В исследовании этот результат связали с тем, что модель завышала оценку риска невозврата таких кредитов и соответственно устанавливала их стоимость. Здесь речь идёт о взаимосвязи прогнозируемого риска, фактического погашения кредита и суммы, которую платит заёмщик, а не просто о том, указана ли в заявке информация о гендере.

Для медицинского ИИ недостаточно высокого среднего показателя

Здравоохранение особенно наглядно показывает, почему общие показатели эффективности для всей популяции могут скрывать важные различия. Модель может хорошо работать в целом, но чаще ошибаться в отношении людей, недостаточно представленных в обучающих или валидационных данных.

GEPI ссылается на исследование Зака и его коллег, опубликованное в 2024 году: исследователи предъявили GPT-4 одинаковые во всём, кроме одного, описания случаев боли в груди, указав в одном случае, что речь идёт о мужчине, а в другом — о женщине. В 200 запусках для каждого описания модель сочла стресс-тест сердца крайне важным в 71% случаев с мужчинами и в 58% случаев с женщинами — разница составила 13 процентных пунктов.

Этот результат касается рекомендаций модели в ходе контролируемой оценки, а не фактически принятых решений о лечении или исходов для пациентов. Это различие важно, особенно потому, что в докладе рассматриваются поисковые исследования разных моделей, заболеваний и клинических задач, проведённые в разное время.

В обзоре сделана и важная оговорка: клинически значимые различия между полами не следует просто игнорировать. Необходимо выяснить, объясняется ли разница в рекомендациях модели значимыми биологическими факторами или неподтверждённым предположением. Для этого нужны репрезентативные данные оценки и тщательный анализ ошибок, а не требование, чтобы все рекомендации были одинаковыми.

Предвзятость может влиять не только на решения, но и на то, как изображают людей

В докладе различаются вред, связанный с ограничением доступа отдельного человека к ресурсам — например, кредиту или медицинской помощи, — и вред, причиняемый тем, как изображают целые группы. Сгенерированные рекомендательные письма, новостные статьи и изображения людей разных профессий могут укреплять стереотипы, даже если за этим не следует немедленного решения о распределении ресурсов.

В исследованиях, обобщённых GEPI, языковые модели чаще описывали женщин через межличностные качества, а мужчин — через лидерские качества или способности. Исследования генераторов изображений выявили преувеличенное разделение профессий по гендерному признаку. Эти результаты относятся к изученным моделям и их версиям; их не следует воспринимать как новый аудит всех систем, доступных в настоящее время.

Потребительские ассистенты и виртуальные компаньоны ставят другой вопрос. Их голоса, характеры и реакции на домогательства — результат осознанных решений при разработке продукта. Оценка только статистического баланса ответов может не учитывать предположения, заложенные в саму концепцию продукта.

В обзоре также рассматриваются синтетические сексуальные изображения, созданные без согласия, распространению которых ИИ может способствовать, облегчая создание таких материалов. Речь идет не просто о неточном изображении: использование внешности реального человека без его согласия может причинить прямой вред. На это требуется реагировать иначе, чем на исправление профессионального стереотипа в созданном изображении.

Почему важны независимые проверки

GEPI описывает четыре повторяющихся механизма: обучение на исторических данных, отражающих неравенство, воспроизведение стереотипов, представление оценок как объективных измерений и влияние предвзятых результатов на последующие решения или модели.

Независимые проверки помогают выявить эти механизмы. Исследователи могут менять один признак во входных данных, оставляя остальные сопоставимыми, и изучать, как меняются результаты, даже если у них нет доступа к внутренней архитектуре закрытой модели. Однако успешная проверка на одном запросе или тестовом наборе не доказывает справедливость всей системы при ее внедрении.

Организациям, внедряющим ИИ, следует проверять его в реальных условиях применения. Команде по подбору персонала необходимо изучить, как результаты предварительного отбора влияют на решение о приглашении на собеседование. Кредитору следует сопоставить оценки риска с фактическим погашением кредитов. Медицинской организации необходимо понимать, какие пациенты представлены в данных для валидации и в каких случаях ошибки встречаются чаще. Эти проверки отвечают на иные вопросы, чем оценка того, насколько бегло или точно модель работает в среднем.

Что устанавливает отчет — и что остается неизвестным

В отчете рассматриваются главным образом данные из США, а также международные исследования, если они имеют отношение к теме. Источники охватывают разные технологии, годы и методы. В одних документируются результаты, в других выявляется вызывающее опасения поведение в ходе симуляций. Обзор не устанавливает единого универсального уровня дискриминации и не утверждает, что все системы проявляют одинаковую предвзятость.

В отчете также отмечается проблема измерения: исследователи часто не могут получить доступ к институциональным данным, необходимым для того, чтобы связать результат работы системы с его последствиями. Выявить неравенство важно, но для понимания его реальной цены могут потребоваться данные, которыми располагают работодатели, поставщики, кредиторы или медицинские организации.

Вклад GEPI состоит в том, что организация объединяет выводы, которые часто обсуждаются по отдельности, и задается вопросом, сопровождаются ли использование ИИ в принимаемых им решениях проверками и ответственностью за его работу. В полном отчете «Как ИИ подводит женщин: когда предвзятость усиливается» приведены методология, ссылки на исследования и данные по отдельным отраслям, на которых основана эта аргументация.