Як Explainable AI підвищує надійність і довіру

Штучний інтелект (AI) поступово демократизується в підприємствах, і він повільно впроваджується в тканину нашого існування. Одним з важливих аспектів цієї демократизації є те, що кінцеві користувачі повинні能够 повністю зрозуміти процеси і механізми, які AI використовує для досягнення висновків або для отримання бажаних результатів. Як люди, ми маємо глибоко укорінену потребу розкрити “чому” і “як” будь-якого явища, що прискорило наш технологічний прогрес. У контексті AI цей розуміння називається “роз’яснюваністю”.

Чому роз’яснюваність є необхідністю години?

Зазвичай ми підходимо до AI як до “чорної скриньки”, де ми маємо знання лише про входи і виходи, але десь процеси, які використовуються, втрачені для нас. Це проблему посилює той факт, що алгоритми, які живлять більшість популярних форм AI, такі як складні системи прогнозування на основі глибокого навчання і обробки природної мови (NLP), є дуже абстрактними навіть для їхніх найбільш досвідчених фахівців.

Довіра і прозорість: Для того, щоб користувачі довіряли прогнозам AI, воно повинно мати певний рівень роз’яснюваністі. Наприклад, якщо лікар повинен рекомендувати лікування на основі прогнозів AI, він повинен бути впевнений у прогнозі. Банк повинен мати повну впевненість у рішеннях про відхилення або затвердження кредиту і能够 виправдати це рішення перед усіма зацікавленими сторонами. AI, який використовується для підбору і прийому на роботу, повинен довести, що його механізми є справедливими і рівними для всіх категорій申请ників.

Роз’яснюваність робить AI більш людським і підвищує його прийняття: У звіті McKinsey “Стан AI у 2020 році” ми дізнаємося, що виробник використовує дуже прозорі моделі для прийняття від працівників на заводі, яким потрібно довіряти судженням AI щодо їхньої безпеки. Для швидкого прийняття AI потрібно отримати згоду зацікавлених сторін. Це значно полегшується, якщо результати є роз’яснювані для широкої аудиторії. З бізнес-перспективи роз’яснюваність підвищує загальний досвід користувача і збільшує задоволеність клієнтів. За даними дослідження Інституту бізнес-цінностей IBM, 68% топ-менеджерів вважають, що клієнти будуть вимагати більшої роз’яснюваністі від AI протягом наступних трьох років.

Розкриття упереджень і покращення моделі: Розробник повинен знати, як покращити модель, і як саме виправити її. Чітка структура роз’яснюваністі є одним з найважливіших інструментів для проведення глибокого аналізу, який необхідний.

Отримання точних і повних знань: Потрібен повний огляд для повного розуміння будь-яких рекомендацій, зроблених AI. Наприклад, якщо AI використовується для інвестиційних рішень, потрібно знати підстави для цих рішень, щоб перенести це знання в інші області і зрозуміти потенційні ризики таких рішень. Глибоке розуміння того, як працює AI, також дозволить приймальникам рішень розкрити нові випадки використання.

Регуляторні вимоги і відповідальність: Деякі регуляторні акти, такі як GDPR, вимагають права на роз’яснення для вирішення питань відповідальності, які виникають при автоматизованому прийнятті рішень. У системах, таких як автономні транспортні засоби, якщо щось пішло не так і відбулися втрати людського життя і майна, потрібно знати причину, яку буде важко визначити в системі “чорної скриньки”.

Як зробити AI більш роз’яснюваним?

Роз’яснювані системи штучного інтелекту (XAI) розробляються за допомогою різних технік, які фокусуються або на поясненні моделі в цілому, або на поясненні підстав для окремих прогнозів за допомогою деякого алгоритму.

Більшість технік роз’яснюваністі ґрунтуються на:

• Роз’єднанні моделі на окремі компоненти)
• Візуалізації прогнозів моделі (наприклад, якщо модель класифікує автомобіль певної марки, вона виділяє частину, яка спричинила це)
• Роз’яснювальному аналізі (використанні методів машинного навчання для пошуку відповідних даних, які пояснюють прогноз алгоритму штучного інтелекту).

Одна з таких технік називається проксі-моделюванням, у якій простіша і більш зрозуміла модель, наприклад, дерево рішень, використовується для приблизного представлення більш складної моделі AI. Ці прості пояснення дають загальне уявлення про модель на високому рівні, але іноді можуть приховувати деякі нюанси.

Інший підхід називається “роз’яснюваністю за проектуванням”. Цей підхід встановлює обмеження на проектування і навчання мережі AI у новий спосіб, який намагається побудувати всю мережу з менших і простіших роз’яснюваних частин. Це включає компроміс між рівнем точності і роз’яснюваністю та обмежує деякі підходи для фахівців з даних. Це також може бути дуже обчислювально інтенсивним.

Навчання і тестування AI також можуть використовувати агностичні техніки верифікації даних, такі як локальна інтерпретативна модель (LIME) і адитивні пояснення Шеплі (SHAP), які повинні бути налаштовані для досягнення високої точності за допомогою метрик F-оцінки, точності та інших показників. І, звичайно, всі результати повинні бути моніторовані і верифіковані за допомогою широкого спектра даних. Використовуючи LIME, наприклад, організації можуть створювати тимчасові моделі, які імітують прогнози не прозорих алгоритмів, таких як машинне навчання. Ці моделі LIME можуть потім створювати широкий спектр варіантів на основі заданого набору даних і відповідного виходу, який можна використовувати для навчання простих і більш інтерпретованих моделей разом з повними списками пояснень для кожного рішення і/або прогнозу. Фреймворк SHAP, який заснований на теорії ігор і конкретно на кооперативній теорії ігор, є моделлю, яка поєднує оптимальну розподілу кредитів з локальними поясненнями за допомогою оригінальних значень Шеплі з теорії ігор та їхніх нащадків.

Принципові операції

На більш стратегічному рівні, однак, рамки надійності AI повинні включати широкий набір принципів, спрямованих на забезпечення належних результатів як на початку розгортання, так і з часом, коли моделі еволюціонують у присутності змінних обставин. Мінімально ці рамки повинні включати такі речі, як:

• Виявлення упереджень – всі набори даних повинні бути очищені від упереджень і дискримінаційних атрибутів і потім повинні бути надані належна вага і розгляд при застосуванні до навчальної моделі;
• Людський фактор – оператори повинні能够 розслідувати і інтерпретувати виходи алгоритмів у будь-який час, особливо коли моделі використовуються для правоохоронної діяльності і збереження громадянських свобод;
• Пояснення – всі прогнози повинні能够 витримати перевірку, яка за своєю природою вимагає високого рівня прозорості для того, щоб зовнішні спостерігачі могли оцінити процеси і критерії, використані для отримання результатів;
• Повторюваність – надійні моделі AI повинні бути послідовними у своїх прогнозах і повинні демонструвати високий рівень стабільності при зустрічі з новими даними.

Але XAI не повинно розглядатися лише як засіб для покращення прибутковості, а також для забезпечення відповідальності і роз’яснення впливу своїх творінь на суспільство в цілому. t бути послідовними у своїх прогнозах і повинні демонструвати високий рівень стабільності при зустрічі з новими даними. Але XAI не повинно розглядатися лише як засіб для покращення прибутковості, а також для забезпечення відповідальності і роз’яснення впливу своїх творінь на суспільство в цілому.