Стартапи, що створюють інструменти для моніторингу штучного інтелекту та сприяння етичному використанню штучного інтелекту

Протягом останнього року, схоже, все більше уваги приділяється тому, щоб штучний інтелект використовувався етично. Google і Microsoft мають і те, і інше нещодавно попередив інвесторів що неправильне використання алгоритмів ШІ або погано розроблені алгоритми ШІ становлять етичні та правові ризики. Тим часом штат Каліфорнія щойно вирішив прийняти законопроект який забороняє використання технології розпізнавання облич правоохоронними органами Каліфорнії.

Останнім часом такі стартапи, як Arthur, намагаються розробити інструменти, які допоможуть інженерам штучного інтелекту кількісно визначити та оцінити ефективність їхніх моделей машинного навчання. Як повідомляє Wired, Артур намагається дати розробникам штучного інтелекту набір інструментів, який полегшить їм виявлення проблем під час розробки фінансових додатків, наприклад виявлення упередженості в рішеннях про інвестиції чи кредитування.

Зусилля Артура спрямовані на вирішення проблеми Проблема «чорного ящика» ШІ. Проблема чорної скриньки в штучному інтелекті описує, як на відміну від традиційного коду, який можуть легко інтерпретувати ті, хто вміє його читати, системи машинного навчання відображають особливості поведінки, не розкриваючи причин, чому ця поведінка вибрана/як функції були інтерпретовані. Іншими словами, в системі чорного ящика точна реалізація алгоритму є непрозорою.

Системи машинного навчання працюють шляхом вилучення шаблонів із вхідних даних і міркування щодо цих шаблонів. Це досягається тим, що, по суті, комп’ютер пише свій власний код, маніпулюючи певними математичними функціями. Щоб вирішити цю проблему, дослідникам та інженерам потрібні інструменти, які полегшують спостереження та аналіз поведінки програмного забезпечення для машинного навчання. Такі стартапи, як Артур, визнають складність вирішення цієї проблеми та не стверджують, що мають оптимальні рішення, але вони сподіваються досягти прогресу в цій галузі та зробити зламування чорної скриньки трохи легшим. Є надія, що якщо системи штучного інтелекту можна буде легше аналізувати, то стане легше виправляти такі проблеми, як упередженість.

Великі компанії, такі як Facebook, уже мають деякі інструменти для аналізу внутрішньої роботи систем машинного навчання. Наприклад, у Facebook є інструмент під назвою Fairness Flow, який має на меті переконатися, що оголошення, які рекомендують людям роботу, націлені на людей із різним походженням. Однак цілком імовірно, що великі команди ШІ не захочуть витрачати час на створення таких інструментів, і тому існують бізнес-можливості для компаній, які хочуть створити інструменти моніторингу для використання компаніями ШІ.

Артур зосереджений на створенні інструментів, які дозволяють компаніям краще підтримувати та контролювати системи ШІ після того, як систему вже розгорнуто. Інструменти Arthur призначені для того, щоб дозволити компаніям побачити, як продуктивність їхньої системи змінюється з часом, що теоретично дозволить компаніям виявити потенційні прояви упередженості. Якщо програмне забезпечення компанії для рекомендацій щодо кредитів починає виключати певні групи клієнтів, можна встановити прапорець, який вказує, що система потребує перевірки, щоб переконатися, що вона не дискримінує клієнтів на основі чутливих ознак, таких як раса чи стать.

Однак Arthur — не єдина компанія, яка створює інструменти, які дозволяють компаніям зі штучним інтелектом перевіряти продуктивність своїх алгоритмів. Багато стартапів інвестують у створення інструментів для боротьби з упередженнями та забезпечення етичних правил використання алгоритмів ШІ. Weights & Biases — ще один стартап, який створює інструменти, які допомагають інженерам машинного навчання аналізувати потенційні проблеми з їхньою мережею. Toyota використовувала інструменти, створені Weights & Biases, щоб контролювати свої пристрої машинного навчання під час тренувань. Тим часом стартап Fiddler працює над створенням іншого набору інструментів моніторингу ШІ. IBM навіть створила власну службу моніторингу під назвою OpenScale.

Ліз О'Салліван, одна із співавторів Arthur, пояснила, що інтерес до створення інструментів, які допомагають вирішити проблему Black Box, викликаний зростаючим усвідомленням потужності ШІ.

«Люди починають усвідомлювати, наскільки потужними можуть бути ці системи, і що їм потрібно відповідально використовувати переваги», – сказав О'Салліван.