Аліса Сімпсон Рочверґер, співавтор книги “Дійсний світ штучного інтелекту” – Серія інтерв’ю

Аліса Рочверґер – лідер продукту, орієнтований на клієнта, який присвячений створенню продуктів, що розв’язують складні проблеми для реальних людей. Вона займала численні керівні посади в організаціях з машинного навчання. Вона працювала віце-президентом з продукту в компанії Figure Eight (придбана компанією Appen), віце-президентом з штучного інтелекту та даних в компанії Appen, а також директором з продукту в компанії IBM Watson. Нещодавно вона залишила цю сферу, щоб переслідувати свою мрію про використання технологій для покращення охорони здоров’я. На даний момент вона працює директором з продукту в компанії Blue Shield of California, де вона оточена великою кількістю даних, багатьма складними проблемами та безліччю можливостей зробити позитивний вплив.

Ми обговорюємо її нову книгу: Дійсний світ штучного інтелекту: Практичний посібник для відповідального машинного навчання

У вступі до книги ви описуєте, як під час роботи менеджером продукту в компанії IBM ви вперше зустрілися з проблемою системи штучного інтелекту, яка надавала упереджену інформацію, коли зображення людини в інвалідному візку було класифіковано алгоритмом як “неудачник”. Наскільки це було сигналом для вас щодо упередженості штучного інтелекту?

Я б не назвала це сигналом, а радше своїм першим досвідом створення продукту на основі машинного навчання (я працювала на цій посаді лише кілька місяців) і я ще не знала достатньо про те, як ця технологія працює, щоб належним чином встановити заходи та активно мінімізувати нежадану упередженість. Це був відкритий досвід, який загострив мою увагу на цій проблемі – і зробив мене гостро відчутливою до неї в майбутньому. Справедливість, доступність та інклюзивність – це тема, про яку я давно переймаюсь – і навіть отримала нагороду в коледжі за свою адвокатуру щодо студентів з обмеженими можливостями. Цей досвід в компанії IBM допоміг мені зрозуміти з технічної сторони, наскільки легко системна соціальна упередженість може бути закодована в продукти на основі машинного навчання, якщо команда не активно мінімізує її. Я була рада працювати в установі, яка глибоко переймається справедливістю та вкладає ресурси в мінімізацію цієї проблеми.

Що ви особисто дізналися під час дослідження та написання цієї книги?

З особистого боку – мені довелося виділити час для написання цієї книги, одночасно змінюючи роботу, виховуючи 1-річного сина та переживаючи COVID. Я дізналася, як виділити час, щоб зробити це пріоритетом, і як просити про допомогу в своєї сім’ї, щоб мати час для написання книги.

Професійно – було чудово мати так nhiều учасників, які добровільно та щедро поділилися своїми історіями для публікації. Професіонали в галузі машинного навчання, на мій досвід, – це надзвичайно вдумливі та щедрі люди – готові допомогти іншим та поділитися помилками та уроками. На жаль, багато цих історій мали бути виключені з цієї книги або суттєво анонімізовані, через побоювання щодо публікації внутрішньої інформації, яка могла б зробити компанію або окрему особу поганою в неправильному світлі. Хоча це, безумовно, звичайна практика, особисто я вважаю, що це прикро – я велика прихильниця навчання та зростання з помилок минулого, якщо вони можуть бути корисними для інших.

Які з найбільш важливих уроків ви сподіваєтеся, що люди вивчать з читання цієї книги?

Я сподіваюся, що люди дізнаються, що машинне навчання не надто складне чи важке для розуміння. Що це потужна, але іноді крихка технологія, яка потребує керівництва та структури для успішного розв’язання складних проблем. А також що відповідальне та етичне використання цієї технології є критичним для зрілості та успіху – і що фокусування на мінімізації шкідливої упередженості на ранній стадії є ключем до бізнес-успіху.

Одним з прикладів упередженості штучного інтелекту щодо гендеру, зображеного в книзі, було видання нижчих ліній кредитування жінкам, ніж чоловікам, компанією Apple Credit Card. Це був приклад того, як виключення гендеру як варіанту не врахувало інших змінних, які можуть слугувати проксі для гендеру. Приклад показав, що без вхідних даних про “гендер” було неможливо визначити, що результат є упередженим, аж до виходу кінцевого продукту. Які з вхідних даних, на вашу думку, ніколи не повинні бути виключені, щоб уникнути упередженості щодо гендеру чи меншин?

Є немає жорсткого правила – кожен набір даних, випадок використання та ситуація є різними. Я б порадила практикам зануритися у деталі та нюанси тієї проблеми, яку розв’язує алгоритм машинного навчання, – і якої шкідливої упередженості можна закодувати в це рішення.

У книзі описується, як одна з основних відповідальностей під час спілкування з командою штучного інтелекту полягає в тому, щоб точно визначити результати, які важливі для бізнесу. На вашу думку, скільки компаній не виконують цю задачу?

Я б сказала, що, на мій досвід, більшість часу результати або не визначені, або визначені лише на високому рівні. Заглиблення у деталі щодо конкретних результатів – це легкий спосіб забезпечити успіх команди на ранній стадії.

Книга говорить про важливість усвідомлення того, що система штучного інтелекту не є системою типу “встановіть і забудьте”. Чи можете ви коротко обговорити це?

Це класична помилка, яку більшість компаній робить при запуску нової системи машинного навчання у виробництво. Реальність змінюється – час проходить, те, що було правдою вчора (тренувальні дані), може не бути правдою завтра. Все залежить від обставин, але в більшості випадків важливо мати можливість навчатися та корегувати рішення з часом на основі більш недавньої інформації.

Продукти на основі машинного навчання є суттєво приймачами рішень. Для порівняння з людським прикладом – це як суддя в високих ставках футбольного матчу. Багато разів, якщо це добре тренований суддя з досвідом, суддя приймає хороше рішення, і гра продовжується – але іноді цей суддя або приймає погане рішення – або не впевнений у тому, яке рішення прийняти – і йому потрібно повернутися та переглянути відео – запитати кількох інших людей, щоб прийняти рішення щодо певного ходу. Подібно – продукти машинного навчання потребують зворотного зв’язку, навчання, і іноді не впевнені. їм потрібно мати запасні варіанти, на які можна спертися, а також нову інформацію, щоб вивчити та покращити рішення з часом. Добрий суддя вивчить з часом і покращить свої судження.

Чи можете ви говорити про важливість створення міжфункціональної команди, яка може визначити, які проблеми найкраще розв’язуються за допомогою штучного інтелекту?

Технологія машинного навчання найкраще підходить для дуже складних конкретних проблем, які не розв’язуються іншими підходами. Будь-яка складна проблема – це проблема, яка потребує команди для успіху. Коли компанії нові в штучному інтелекті – часто існує хибна розповідь про те, що один вчений-машиніст або навіть команда машинного навчання можуть розв’язати проблему самостійно. Я ніколи не знайшла цього правдою. Це потрібно команда з різними фоновими знаннями та підходами для розв’язання складної проблеми – і, безумовно, для успішного розгортання технології машинного навчання у виробництво.

Дякую за велике інтерв’ю, для читачів (і особливо бізнес-експертів), які цікавляться дізнатися більше, я рекомендую їм прочитати книгу Дійсний світ штучного інтелекту: Практичний посібник для відповідального машинного навчання.