ШІ не усуває людських упереджень. Він масштабує їх.

ШІ часто подають як засіб ухвалювати об’єктивніші рішення: мовляв, усуньте людське судження — і людські упередження зникнуть. Однак дедалі більше досліджень спростовують це твердження.

Системи ШІ навчаються на людській історії. Їх навчають на наших рішеннях, нашій мові, наших інституціях і, неминуче, наших сліпих зонах. Коли такі системи відбирають кандидатів, розподіляють медичну допомогу або оцінюють працівників, вони можуть відтворювати ці упередження з масштабом і швидкістю, яких не здатна досягти жодна окрема людина.

Найбільша проблема в тому, що ці рішення здаються нейтральними. З’являється оцінка. Виникає рейтинг. Система формує рекомендацію. Припущень, що лежать в її основі, не видно, і ніхто в кімнаті не обов’язково відчуває відповідальність за результат.

Саме тому упередженість ШІ — це насамперед не проблема моделі, а проблема управління. Модель можна перенавчити, але складніші питання стосуються організації: хто відповідає за кожне рішення, на що оптимізовано систему і хто має повноваження її оскаржити.

Людські упередження закладаються в ШІ, а повертаються зі швидкістю машини

Механізм тут не загадковий. Моделі виявляють статистичні закономірності у своїх навчальних даних, і якщо історичні результати (кого наймали, хто отримував медичну допомогу) вже містять дискримінацію, ціль, яку модель навчається прогнозувати, від самого початку викривлена. Останні дослідження показують, як легко це відбувається в різних постачальників і для різних завдань:

• Масштабний найм. Аналіз Stanford щодо 4 мільйонів справжніх заявок на роботу показав, що 26% темношкірих кандидатів і 15% кандидатів азійського походження подавалися на вакансії, де система ШІ дискримінувала їхню расову групу. Моделі засвоїли закономірності з десятиліть людських рішень щодо найму.
• Ранжування резюме. Дослідники з University of Washington оцінили понад 550 справжніх резюме за допомогою сучасних мовних моделей і виявили, що 85% випадків перевагу віддавали іменам, асоційованим із білими людьми, тоді як імена темношкірих чоловіків обирали рідко.
• Спілкування на роботі. Дослідження Johns Hopkins, оприлюднене на початку цього року, показало, що GPT-4, Llama, Gemma і Mistral створювали менш витончені й менш формальні робочі листи, коли запити містили мовні звороти, які частіше асоціюються з жінками.

Коли таку систему впроваджують, ці закономірності перестають бути властивістю навчальних даних і стають частиною повсякденних рішень.

Справжня небезпека — у масштабі й замовчуванні

Упереджений рекрутер-людина може переглянути сотні резюме за рік. Упереджена система відбору здатна за ніч опрацювати мільйони заявок, застосовуючи до кожної ту саму хибну логіку. Упереджене рішення людини часто залишається поодиноким випадком; упереджені рішення моделі можуть швидко стати політикою.

Охорона здоров’я дає один із найвиразніших прикладів. Широко використовуваний алгоритм, що вплинув на мільйони пацієнтів, розробили для виявлення людей, яким була б корисна додаткова медична допомога. Він оцінював темношкірих пацієнтів як здоровіших за білих пацієнтів із таким самим ступенем захворювання. Ніхто не прописував расистського правила. Алгоритм використовував витрати на медичне обслуговування як непрямий показник медичної потреби. Оскільки темношкірі пацієнти історично отримували менше допомоги й, відповідно, витрачали менше коштів, алгоритм трактував нижчі витрати як ознаку кращого здоров’я. Згідно з аналізом дослідників, опублікованим у Science, виправлення лише цього прорахунку в конструкції алгоритму збільшило б частку темношкірих пацієнтів, яким система рекомендувала додаткову допомогу, із 17.7% до 46.5%.

Системи ШІ не просто відображають показники, які ми їм задаємо, — вони відображають припущення, що стоять за цими показниками. Людські упередження не менш реальні; просто їх важче помітити й перевірити. Саме тому розв’язання проблеми полягає в кращому управлінні, а не у відмові від автоматизації.

Вбудуйте відповідальність у процес ухвалення рішень

Стандартний підхід до впровадження ШІ полягає в тому, щоб вибрати модель, інтегрувати її в робочий процес, відстежувати ефективність і з часом її покращувати. Якщо результати роботи системи впливають на людей, цього недостатньо.

Альтернативний підхід я називаю інтеграцією замість розгортання: відповідальна людина бере безпосередню участь в ухваленні рішення й має реальні повноваження змінити його, а не просто раз на квартал переглядає інформаційні панелі постфактум. Почати можна з трьох кроків:

1. Визначте всі рішення, які ШІ тепер відбирає, оцінює або схвалює, і призначте за кожне конкретну відповідальну людину.
2. Перевірте історичні дані, які використовують для навчання моделі, перш ніж вони стануть основою політики.
3. Створіть умови, за яких можна безпечно відхилити рекомендацію моделі, і відстежуйте частоту таких випадків.

Цей третій крок найважливіший. Якщо працівники засвоять, що незгоду з машиною вважатимуть помилкою, вони перестануть їй заперечувати, і ШІ фактично ухвалюватиме рішення, хоча формально людина й надалі залишатиметься «у контурі». Питання не в тому, чи має людина останнє слово. Важливо, чи має вона повноваження, інформацію та психологічну безпеку, щоб сказати: «Машина помиляється».

Перенавчання допомагає, але упередженість проникає через рішення: на що оптимізовано модель, які дані враховують, хто перевіряє результати. Саме це потрібно досліджувати. Для цього також потрібні керівники у сфері ШІ, які можуть запитати, чому система саме так щось ранжувала, і мають повноваження діяти на підставі відповіді.

Частота перевизначення рішень системи важлива саме тому, що її можна тлумачити по-різному. Якщо люди майже ніколи не втручаються в рішення системи, можливо, вона просто дає точні результати. А можливо, вони засвоїли, що заперечувати небезпечно. Якщо рішення системи перевизначають лише старші працівники, молодші могли навчитися мовчати, хоча часто саме вони найкраще знають, як система працює і на кого впливають її результати. Мета — не звести кількість таких випадків до нуля. Мета — сформувати культуру, у якій обґрунтоване перевизначення рішення свідчить про те, що система працює. Якщо хтось перевизначив рішення моделі й виявився правим, широко розкажіть цю історію. Можливо, це найкращий навчальний матеріал про ШІ, який будь-коли створить ваша компанія.

Перевіряйте результати, а не наміри

Організаціям не потрібно чекати на серйозний збій, щоб почати виявляти упередженість. Уже зараз можна провести три перевірки:

1. Контрольоване порівняння. Виконайте те саме завдання, змінюючи лише демографічну ознаку, наприклад ім’я в резюме або діалект у запиті. Залиште незмінними всі інші параметри, зокрема шаблон запиту та порядок введення даних. Оскільки результати моделі відрізняються під час кожного запуску, повторіть кожну пару кілька разів і використайте достатню кількість пар, щоб різницю не можна було списати на статистичний шум. Саме так дослідники виявили розбіжності в оцінюванні резюме та створених моделями робочих повідомленнях; внутрішня команда може провести першу таку перевірку за один пообідній час.
2. Аудит непрямих показників. Для кожного показника, який оптимізує система, поставте два запитання: що насправді вимірює це число і кого воно може недооцінювати? Медичний алгоритм добре прогнозував вибраний ним показник. Він добре прогнозував витрати. Проблема полягала в тому, що витрати використовували як замінник медичної потреби. Система може бути точною за власним показником і водночас серйозно помилятися щодо людей, на яких впливає.
3. Порівняння результатів. Порівнюйте показники відбору або схвалення для різних груп під час роботи системи. Правило чотирьох п’ятих, яке застосовують у трудовій практиці США і за яким позначають групу, чий показник нижчий за 80% показника групи з найвищим рівнем, є поширеним початковим критерієм перевірки. Поєднайте його з описаним вище моніторингом випадків перевизначення рішень системи.

Ці перевірки мають обмеження. Заміна імені виявляє явні демографічні ознаки, але не такі непрямі показники, як поштовий індекс, навчальний заклад або перерви в трудовому стажі, — саме тому важливо порівнювати результати. Технічні заходи (зміна ваги навчальних даних, запровадження обмежень для забезпечення справедливості, коригування порогів ухвалення рішень) можуть зменшити розбіжності, але вони змушують робити вибір. Дослідження Кляйнберга, Муллейнатана й Рагхавана, а також окреме дослідження Чоудхової показали, що коли базові рівні в групах відрізняються, модель зазвичай не може одночасно забезпечити калібрування та однакові частоти помилок. Модель не може визначити, яке саме розуміння справедливості слід поставити на перше місце. Це рішення має взяти на себе й задокументувати конкретна людина, а отже, ми знову повертаємося до питання управління.

Оцінюйте справедливість разом із точністю

Надто часто справедливість розглядають як окрему ініціативу, яку відділ кадрів або юридичний відділ оцінює вже після того, як технічна команда перевірила точність, ефективність і вартість. Саме таке розмежування і є частиною проблеми. Справедливість слід оцінювати на тих самих нарадах, що й точність та вартість, із такою самою відповідальністю та чітко визначеною відповідальною особою.

До цього обговорення мають долучитися відділи кадрів і юридичний відділ, а також люди, яких неправильно оцінювали такі системи. Ті, кого недооцінювали, часто першими помічають те, чого не бачить система. Це одна з головних ідей моєї книжки The Bias Advantage: перспективи, які організації історично залишали поза увагою, стають потужним джерелом розуміння, щойно їх враховують під час ухвалення рішень.

Мета — не створити систему ШІ, яка ніколи не помиляється: це нереалістично. Мета — побудувати організацію, здатну розпізнати помилку ШІ, зрозуміти її причину й втрутитися, перш ніж ця помилка стане чиєюсь реальністю.