ИИ не устраняет человеческую предвзятость. Он масштабирует её.

ИИ часто представляют как способ сделать решения более объективными: считается, что достаточно исключить человеческое суждение — и предвзятость исчезнет. Однако всё больше исследований опровергают это утверждение.

Системы ИИ учатся на истории человечества. Их обучают на наших решениях, языке, институтах и, неизбежно, на наших слепых зонах. Когда такие системы отбирают кандидатов, распределяют медицинскую помощь или оценивают сотрудников, они могут воспроизводить предвзятость в масштабах и с такой скоростью, недостижимыми для отдельного человека.

Проблема в том, что такие решения выглядят нейтральными. Появляется оценка. Выстраивается рейтинг. Формируется рекомендация. За ними не видно предположений, на которых они основаны, и никто в комнате не обязательно чувствует ответственность за результат.

Поэтому предвзятость ИИ — прежде всего не проблема модели, а проблема управления. Модель можно переобучить, но гораздо сложнее организационные вопросы: кто отвечает за каждое решение, на что оптимизирована система и кто вправе оспорить её вывод.

Человеческая предвзятость проникает в ИИ и возвращается с машинной скоростью

Механизм здесь не загадочен. Модели выявляют статистические закономерности в обучающих данных, и если исторические результаты (кого принимали на работу, кто получал медицинскую помощь) уже отражают дискриминацию, то целевая переменная, которую учится предсказывать модель, изначально смещена. Недавние исследования показывают, как легко это происходит у разных поставщиков и при выполнении разных задач:

• Массовый отбор кандидатов. Анализ Стэнфордского университета, охвативший 4 миллиона реальных заявок на работу, показал, что 26% чернокожих кандидатов и 15% кандидатов азиатского происхождения подавали заявки на вакансии, при отборе на которые система ИИ дискриминировала их расовую группу. Модели усвоили закономерности, сложившиеся за десятилетия человеческих решений о найме.
• Ранжирование резюме. Исследователи из University of Washington оценили более 550 реальных резюме с помощью современных языковых моделей и выяснили, что в 85% случаев предпочтение отдавалось резюме с именами, ассоциирующимися с белыми людьми, тогда как имена чернокожих мужчин редко оказывались предпочтительными.
• Общение на рабочем месте. Исследование Johns Hopkins, опубликованное ранее в этом году, показало, что GPT-4, Llama, Gemma и Mistral создавали менее сложные и менее официальные рабочие письма, если в запросах использовались языковые обороты, более характерные для женщин.

После внедрения такой системы эти закономерности перестают быть свойством обучающих данных и становятся частью повседневных решений.

Настоящая опасность — в масштабах и молчании

Предвзятый рекрутер-человек может за год просмотреть сотни резюме. Предвзятая система отбора способна за одну ночь обработать миллионы заявок, применив к каждой одну и ту же ошибочную логику. Предвзятое решение человека часто остаётся единичным случаем; предвзятые решения модели могут быстро превратиться в правило.

Медицина — один из самых наглядных примеров. Широко применявшийся алгоритм, затронувший миллионы пациентов, был создан для выявления людей, которым поможет дополнительная медицинская помощь. Он оценивал состояние чернокожих пациентов как более здоровое, чем состояние белых пациентов с таким же уровнем тяжести заболевания. Никто не закладывал в него расистское правило. Алгоритм использовал расходы на медицинское обслуживание как косвенный показатель потребности в медицинской помощи. Поскольку чернокожие пациенты исторически получали меньше помощи и, следовательно, расходы на их лечение были ниже, алгоритм считал меньшие расходы признаком лучшего здоровья. Согласно анализу исследователей, опубликованному в Science, исправление этого единственного проектного решения увеличило бы долю чернокожих пациентов, которым алгоритм рекомендовал бы дополнительную помощь, с 17,7% до 46,5%.

Системы ИИ отражают не только метрики, которые мы им задаём, но и лежащие в их основе предположения. Человеческая предвзятость столь же реальна; просто её труднее увидеть и проверить. Поэтому решение заключается в совершенствовании управления, а не в отказе от автоматизации.

Встройте ответственность в процесс принятия решений

Стандартный подход к внедрению ИИ — выбрать модель, встроить её в рабочий процесс, следить за эффективностью и со временем совершенствовать её. Когда результаты работы системы влияют на людей, этого недостаточно.

Альтернативный подход я называю интеграцией вместо развертывания: человек, отвечающий за результат, участвует в принятии решения и обладает реальными полномочиями изменить его, а не просто раз в квартал просматривает отчётные панели постфактум. Этот подход начинается с трёх шагов:

1. Составьте карту всех решений, которые ИИ сейчас отбирает, оценивает или одобряет, и назначьте за каждое из них конкретного ответственного.
2. Проведите аудит исторических данных, на которых обучают модель, прежде чем эти данные превратятся в правило.
3. Создайте условия, в которых можно безопасно отменять решения модели, и отслеживайте частоту таких отмен.

Третий шаг важнее всего. Если сотрудники усвоят, что несогласие с машиной сочтут ошибкой, они перестанут возражать, и ИИ фактически станет лицом, принимающим решения, хотя формально человек останется «в контуре». Вопрос не в том, имеет ли человек последнее слово. Вопрос в том, есть ли у него полномочия, информация и психологическая безопасность, чтобы сказать: «Машина ошибается».

Переобучение помогает, но предвзятость проникает в систему через решения: на что оптимизировать модель, какие данные учитывать, кто проверяет результат. Именно на это и нужно смотреть. Для этого также нужны руководители, отвечающие за ИИ и способные спросить, почему система поставила что-либо именно на это место, и обладающие полномочиями действовать с учётом ответа.

Частота отмены решений системы полезна именно своей неоднозначностью. Если люди почти никогда не отменяют её решения, возможно, система просто точна. А возможно, они усвоили, что не соглашаться небезопасно. Если решения системы отменяют только старшие сотрудники, младшие могли научиться молчать, хотя именно они часто лучше других знакомы с результатами работы системы и людьми, которых они затрагивают. Цель не в том, чтобы полностью исключить отмену решений. Важно создать культуру, в которой обоснованная отмена решения считается признаком того, что система работает. Если кто-то отменил решение модели и оказался прав, рассказывайте эту историю как можно шире. Возможно, это лучший учебный материал по ИИ, который когда-либо создаст ваша компания.

Оценивайте результаты, а не намерения

Организациям не нужно ждать крупного сбоя, чтобы начать выявлять предвзятость. Уже сейчас можно провести три проверки:

1. Контролируемое сравнение. Выполните одно и то же задание, меняя только демографический признак — например, имя в резюме или диалект в запросе. Все остальное, включая шаблон запроса и порядок входных данных, оставьте неизменным. Поскольку результаты модели меняются от запуска к запуску, повторите каждый вариант несколько раз и используйте достаточное количество пар, чтобы разницу нельзя было списать на случайный шум. Именно таким образом исследователи выявили различия в ранжировании резюме и создании рабочих сообщений; внутренняя команда может провести первую такую проверку за один день.
2. Проверка прокси-показателей. Для каждой метрики, которую оптимизирует система, задайте два вопроса: что именно измеряет это число и кого оно может учитывать недостаточно? Алгоритм в здравоохранении неплохо предсказывал выбранную для него метрику. Он хорошо предсказывал расходы. Проблема заключалась в том, что расходы использовались как показатель медицинской потребности. Система может быть точной по собственной метрике и при этом серьезно ошибаться в отношении людей, которых она затрагивает.
3. Сравнение результатов. Сравните показатели отбора или одобрения для разных групп в реальных условиях эксплуатации системы. Распространенное правило четырех пятых, применяемое в США при рассмотрении трудовых практик и указывающее на группу, показатель которой составляет менее 80% от показателя группы с наибольшим значением, — обычный первый этап проверки. Используйте его вместе с описанным выше мониторингом отмены решений системы.

У этих проверок есть ограничения. Замена имени позволяет выявить явные демографические признаки, но не такие косвенные признаки, как почтовый индекс, учебное заведение или перерывы в трудовом стаже, поэтому важно сравнивать результаты. Технические меры по снижению предвзятости — например, изменение весов обучающих данных, добавление ограничений для обеспечения справедливости и корректировка порогов принятия решений — могут уменьшить различия, но требуют сделать выбор. Исследования Kleinberg, Mullainathan и Raghavan, а также отдельно Chouldechova показали, что если базовые показатели в разных группах различаются, модель, как правило, не может одновременно обеспечить калибровку и равенство частот ошибок. Модель не может решить, какое именно определение справедливости следует считать приоритетным. Это решение должен принять и зафиксировать ответственный человек, и здесь мы возвращаемся к вопросам управления.

Рассматривайте справедливость наряду с точностью

Слишком часто справедливость рассматривают как отдельную инициативу: отдел кадров или юристы оценивают её уже после того, как техническая команда проверила точность, эффективность и стоимость. Само это разделение — часть проблемы. Справедливость следует оценивать на том же совещании, что и точность со стоимостью, при той же подотчетности и с назначением конкретного ответственного.

В этом обсуждении должны участвовать отдел кадров и юристы, а также люди, которых подобные системы оценивали несправедливо. Те, кого недооценивали, часто первыми замечают то, что упускает система. Это одна из центральных идей моей книги The Bias Advantage: точки зрения, которые организации исторически оставляли без внимания, становятся мощным источником знаний, когда их учитывают в процессе принятия решений.

Цель не в том, чтобы создать систему ИИ, которая никогда не ошибается: это нереалистично. Цель — построить организацию, способную распознавать ошибки ИИ, понимать их причины и вмешиваться, прежде чем ошибка станет реальностью для кого-то другого.