Що таке Explainable AI?

Оскільки штучний інтелект (ШІ) стає все більш складним і широко поширеним у суспільстві, одним із найважливіших наборів процесів і методів є пояснюваний (ШІ), який іноді називають XAI. 

Пояснюваний ШІ можна визначити як:

• Набір процесів і методів, які допомагають користувачам розуміти результати алгоритмів машинного навчання та довіряти їм. 

Як ви можете здогадатися, ця можливість пояснення надзвичайно важлива, оскільки алгоритми штучного інтелекту контролюють багато секторів, що супроводжується ризиком упередженості, помилкових алгоритмів та інших проблем. Досягнувши прозорості та зрозумілості, світ може справді використати потужність ШІ. 

Пояснюваний ШІ, як випливає з назви, допомагає описати модель ШІ, її вплив і потенційні упередження. Він також відіграє важливу роль у характеристиці моделі точності, чесності, прозорості та результатів у процесах прийняття рішень на основі ШІ. 

Сучасні організації, що керуються штучним інтелектом, повинні завжди застосовувати зрозумілі процеси штучного інтелекту, щоб допомогти створити довіру та впевненість у моделях штучного інтелекту у виробництві. Зрозумілий штучний інтелект також є ключовим фактором, щоб стати відповідальною компанією в сучасному середовищі ШІ.

Оскільки сучасні системи штучного інтелекту настільки розвинені, люди зазвичай виконують обчислення, щоб відстежити, як алгоритм прийшов до свого результату. Цей процес стає «чорним ящиком», тобто його неможливо зрозуміти. Коли ці незрозумілі моделі створюються безпосередньо з даних, ніхто не може зрозуміти, що відбувається всередині них. 

Розуміючи, як системи штучного інтелекту працюють через зрозумілий штучний інтелект, розробники можуть переконатися, що система працює належним чином. Це також може допомогти переконатися, що модель відповідає нормативним стандартам, і надає можливість оскаржити або змінити модель. 

Зображення: д-р Метт Турек/DARPA

Відмінності між ШІ та XAI

Деякі ключові відмінності допомагають відокремити «звичайний» штучний інтелект від штучного інтелекту, який можна пояснити, але найголовніше те, що XAI реалізує спеціальні прийоми та методи, які допомагають забезпечити відстеження та пояснення кожного рішення в процесі ML. Для порівняння, звичайний ШІ зазвичай досягає результату за допомогою алгоритму ML, але неможливо повністю зрозуміти, як алгоритм прийшов до результату. У випадку звичайного штучного інтелекту надзвичайно важко перевірити точність, що призводить до втрати контролю, підзвітності та можливості аудиту. 

Переваги Explainable AI 

Є багато переваг для будь-якої організації, яка хоче застосувати зрозумілий ШІ, наприклад: 

• Швидші результати: Explainable AI дозволяє організаціям систематично відстежувати та керувати моделями для оптимізації бізнес-результатів. Можна постійно оцінювати та покращувати продуктивність моделі та точно налаштовувати розробку моделі.
  
• Зниження ризиків: Впроваджуючи зрозумілі процеси ШІ, ви гарантуєте, що ваші моделі ШІ є зрозумілими та прозорими. Ви можете керувати нормативними вимогами, відповідністю, ризиками та іншими вимогами, мінімізуючи накладні витрати на перевірку вручну. Усе це також допомагає зменшити ризик ненавмисної упередженості. 
• Побудуйте довіру: Зрозумілий штучний інтелект допомагає встановити довіру до виробничого штучного інтелекту. Моделі штучного інтелекту можна швидко довести до виробництва, ви можете забезпечити можливість інтерпретації та пояснення, а процес оцінки моделі можна спростити та зробити більш прозорим. 

Техніки для зрозумілого ШІ

Існують деякі методи XAI, які повинні враховувати всі організації, і вони складаються з трьох основних методів: точність прогнозу, простежуваність та розуміння рішення. 

Перший із трьох методів, точність прогнозу, необхідний для успішного використання ШІ в повсякденних операціях. Можна проводити моделювання, а результати XAI можна порівнювати з результатами в наборі навчальних даних, що допомагає визначити точність прогнозу. Одним із найпопулярніших методів досягнення цього є Local Interpretable Model-Agnostic Explanations (LIME), метод, який пояснює передбачення класифікаторів за допомогою алгоритму машинного навчання. 

Другий спосіб - це простежуваність, що досягається шляхом обмеження способів прийняття рішень, а також встановлення вужчого діапазону для правил і функцій машинного навчання. Одним із найпоширеніших методів відстеження є DeepLIFT, або Deep Learning Important FeaTures. DeepLIFT порівнює активацію кожного нейрона з його еталонним нейроном, демонструючи простежуваний зв’язок між кожним активованим нейроном. Він також показує залежності між ними. 

Третій і останній спосіб розуміння рішення, який орієнтований на людину, на відміну від двох інших методів. Розуміння рішень передбачає навчання організації, зокрема команди, яка працює з ШІ, щоб вони могли зрозуміти, як і чому ШІ приймає рішення. Цей метод має вирішальне значення для встановлення довіри до системи. 

Зрозумілі принципи ШІ

Щоб краще зрозуміти XAI та його принципи, Національний інститут стандартів (NIST), який є частиною Міністерства торгівлі США, надає визначення чотирьох принципів пояснюваного ШІ: 

1. Система штучного інтелекту повинна надавати докази, підтримку або аргументацію для кожного результату. 
2. Система штучного інтелекту повинна надавати пояснення, зрозумілі її користувачам. 
3. Пояснення має точно відображати процес, використаний системою для отримання результату. 
4. Система штучного інтелекту має працювати лише в тих умовах, для яких вона була розроблена, і вона не повинна надавати результати, якщо їй бракує достатньої впевненості в результаті. 

Ці принципи можна ще далі поділити на: 

• Значення: Для досягнення принципу осмисленості користувач повинен розуміти надане пояснення. Це також може означати, що у випадку, коли алгоритм ШІ використовується різними типами користувачів, може бути кілька пояснень. Наприклад, у випадку з безпілотним автомобілем одне з пояснень може бути таким: «ШІ класифікував пластиковий пакет на дорозі як камінь і тому вжив заходів, щоб уникнути його зіткнення». Хоча цей приклад буде працювати для драйвера, він не буде дуже корисним для розробника ШІ, який хоче вирішити проблему. У цьому випадку розробник повинен зрозуміти, чому сталася неправильна класифікація. 
• Пояснення Точність: На відміну від точності виводу, точність пояснення передбачає точне пояснення алгоритмом ШІ того, як він досяг результату. Наприклад, якщо алгоритм схвалення позики пояснює рішення на основі доходу заявки, хоча насправді воно базується на місці проживання заявника, пояснення буде неточним. 
• Обмеження знань: Межі знань штучного інтелекту можна досягти двома способами, і це передбачає вхідні дані поза компетенцією системи. Наприклад, якщо система створена для класифікації видів птахів і їй дається зображення яблука, вона повинна мати можливість пояснити, що вхідні дані не є птахом. Якщо системі надається розмите зображення, вона повинна мати можливість повідомити, що вона не може ідентифікувати птаха на зображенні, або, альтернативно, що його ідентифікація має дуже низьку надійність. 

Роль даних у зрозумілому ШІ

Одним із найважливіших компонентів пояснюваного ШІ є дані. 

За оцінками Google, щодо даних і пояснюваного штучного інтелекту, «систему штучного інтелекту найкраще зрозуміти за базовими навчальними даними та навчальним процесом, а також за отриманою моделлю штучного інтелекту». Це розуміння залежить від здатності зіставляти навчену модель штучного інтелекту з точним набором даних, який використовується для її навчання, а також здатності ретельно досліджувати дані. 

Щоб підвищити зрозумілість моделі, важливо звернути увагу на навчальні дані. Команди повинні визначити походження даних, які використовуються для навчання алгоритму, законність і етику, пов’язані з їх отриманням, будь-яке потенційне упередження в даних і те, що можна зробити, щоб пом’якшити будь-яке упередження. 

Інший важливий аспект даних і XAI полягає в тому, що дані, які не стосуються системи, повинні бути виключені. Щоб досягти цього, нерелевантні дані не повинні включатися в навчальний набір або вхідні дані. 

Google рекомендує набір практик для досягнення тлумачення та підзвітності: 

• Сплануйте свої варіанти, щоб досягти інтерпретації
• Розглядайте інтерпретацію як основну частину взаємодії з користувачем
• Розробіть модель так, щоб її можна було інтерпретувати
• Виберіть показники, які відображатимуть кінцеву мету та кінцеве завдання
• Зрозумійте навчену модель
• Передайте пояснення користувачам моделі
• Проведіть численні тести, щоб переконатися, що система ШІ працює належним чином 

Дотримуючись цих рекомендованих практик, ваша організація може забезпечити зрозумілий штучний інтелект, який є ключовим для будь-якої організації, що керується ШІ в сучасних умовах.