Що таке Explainable AI?

Оскільки штучний інтелект (AI) стає все більш складним і широко采用ється в суспільстві, одна з найкритичніших груп процесів і методів – це пояснюваний інтелект (AI), іноді називається XAI. 

Пояснюваний інтелект можна визначити як:

• Набір процесів і методів, які допомагають людям зрозуміти і довіряти результатам алгоритмів машинного навчання. 

Як ви можете здогадатися, ця пояснюваність надзвичайно важлива, оскільки алгоритми штучного інтелекту контролюють багато секторів, що пов’язано з ризиком упередженості, помилкових алгоритмів та інших проблем. Завдяки досягненню прозорості за допомогою пояснюваності, світ може真正 використати силу штучного інтелекту. 

Пояснюваний інтелект, як і назва говорить, допомагає описати модель штучного інтелекту, її вплив і потенційну упередженість. Він також грає роль у характеристиці точності моделі, справедливості, прозорості та результатів у процесах прийняття рішень, які використовують штучний інтелект. 

Сьогодні організації, які використовують штучний інтелект, повинні завжди采用вати процеси пояснюваного штучного інтелекту, щоб допомогти створити довіру і впевненість у моделях штучного інтелекту, які використовуються у виробництві. Пояснюваний штучний інтелект також є ключем до того, щоб стати відповідальною компанією у сучасному середовищі штучного інтелекту.

Через те, що сучасні системи штучного інтелекту настільки просунуті, люди зазвичай виконують розрахунковий процес, щоб відтворити, як алгоритм прийшов до свого результату. Цей процес стає “чорною скринькою”, тобто його неможливо зрозуміти. Коли ці необ’яснювані моделі розробляються безпосередньо з даних, ніхто не може зрозуміти, що відбувається всередині них. 

Пояснюваний штучний інтелект допомагає розробникам забезпечити, що система працює так, як вона повинна. Це також може допомогти забезпечити, що модель відповідає нормативним стандартам, і надає можливість для моделі бути оскарженою або зміненою. 

Image: Dr. Matt Turek/DARPA

Відмінності між AI і XAI

Деякі ключові відмінності допомагають розділити “звичайний” штучний інтелект і пояснюваний штучний інтелект, але найважливіше, що XAI реалізує конкретні техніки і методи, які допомагають забезпечити, що кожне рішення у процесі машинного навчання є слідчим і пояснюваним. На відміну від цього, звичайний штучний інтелект зазвичай приймає результати за допомогою алгоритму машинного навчання, але неможливо повністю зрозуміти, як алгоритм прийшов до свого результату. У випадку звичайного штучного інтелекту дуже складно перевірити точність, що призводить до втрати контролю, відповідальності і аудитабельності. 

Переваги пояснюваного штучного інтелекту

Є багато переваг для будь-якої організації, яка хоче采用вати пояснюваний штучний інтелект, таких як: 

• Швидші результати: Пояснюваний штучний інтелект дозволяє організаціям систематично контролювати і керувати моделями для оптимізації бізнес-результатів. Можна постійно оцінювати і покращувати продуктивність моделі і тонко налаштовувати розвиток моделі.
  
• Зменшення ризиків: При采用анні процесів пояснюваного штучного інтелекту, ви забезпечуєте, що ваші моделі штучного інтелекту є пояснюваними і прозорими. Ви можете керувати нормативними, відповідними ризиками і іншими вимогами, мінімізуючи накладні витрати ручної інспекції. Все це також допомагає зменшити ризик непередбачуваної упередженості. 
• Створення довіри: Пояснюваний штучний інтелект допомагає створити довіру до моделей штучного інтелекту у виробництві. Моделі штучного інтелекту можуть швидко бути введені у виробництво, ви можете забезпечити інтерпретацію і пояснюваність, і процес оцінки моделі можна спростити і зробити більш прозорим. 

Техніки пояснюваного штучного інтелекту

Є деякі техніки XAI, які всі організації повинні розглянути, і вони складаються з трьох основних методів: точність прогнозування, слідчість, і розуміння рішень. 

Перший з трьох методів, точність прогнозування, є важливим для успішного використання штучного інтелекту у повсякденних операціях. Симуляції можна проводити, і вихідні дані XAI можна порівнювати з результатами у навчальному наборі даних, що допомагає визначити точність прогнозування. Одним з популярних методів для досягнення цього є Local Interpretable Model-Agnostic Explanations (LIME), техніка, яка пояснює передбачення класифікаторів алгоритмом машинного навчання. 

Другий метод – слідчість, яке досягається шляхом обмеження того, як можуть бути прийняті рішення, а також встановлення вузького діапазону для правил і функцій машинного навчання. Одним з найпоширеніших методів слідчості є DeepLIFT, або Deep Learning Important FeaTures. DeepLIFT порівнює активацію кожного нейрону з його довідковим нейроном, демонструючи слідчу зв’язок між кожним активованим нейроном. Це також показує залежності між ними. 

Третій і останній метод – розуміння рішень, яке є орієнтованим на людину, на відміну від інших двох методів. Розуміння рішень включає в себе навчання організації, зокрема команди, яка працює з штучним інтелектом, щоб дозволити їм зрозуміти, як і чому штучний інтелект приймає рішення. Цей метод є важливим для створення довіри до системи. 

Принципи пояснюваного штучного інтелекту

Для надання кращого розуміння XAI і його принципів, Національний інститут стандартів (NIST), який є частиною Міністерства торгівлі США, надає визначення чотирьох принципів пояснюваного штучного інтелекту: 

1. Система штучного інтелекту повинна надавати докази, підтримку або обґрунтування для кожного виходу. 
2. Система штучного інтелекту повинна надавати пояснення, які можуть бути зрозумілі її користувачам. 
3. Пояснення повинно точно відображати процес, який використовується системою для отримання свого виходу. 
4. Система штучного інтелекту повинна працювати тільки за умов, для яких вона була розроблена, і вона не повинна надавати вихід, якщо вона не має достатньої впевненості у результаті. 

Ці принципи можуть бути організовані ще далі у: 

• Значимість: Для досягнення принципу значимості, користувач повинен зрозуміти пояснення, надане. Це також може означати, що у випадку використання алгоритму штучного інтелекту різними типами користувачів, можуть бути декілька пояснень. Наприклад, у випадку самохідного автомобіля, одне пояснення може бути таким: “штучний інтелект класифікував пластиковий пакет на дорозі як камінь, і тому вирішив уникнути його”. Хоча це пояснення буде працювати для водія, воно не буде дуже корисним для розробника штучного інтелекту, який хоче виправити проблему. У цьому випадку розробник повинен зрозуміти, чому відбулася неправильна класифікація. 
• Точність пояснення: На відміну від точності виходу, точність пояснення включає в себе те, що алгоритм штучного інтелекту точно пояснює, як він прийшов до свого виходу. Наприклад, якщо алгоритм схвалення кредиту пояснює рішення на основі доходу заявника, коли насправді воно було засновано на місці проживання заявника, пояснення буде неточним. 
• Обмеження знань: Обмеження знань штучного інтелекту можуть бути досягнуті двома способами, і це включає вхідні дані, які виходять за межі знань системи. Наприклад, якщо система розроблена для класифікації видів птахів і їй надається зображення яблука, вона повинна бути能够 пояснити, що вхідні дані не є птахом. Якщо системі надається розмите зображення, вона повинна бути能够 повідомити, що вона не може ідентифікувати птаха на зображенні, або що її ідентифікація має дуже низьку впевненість. 

Роль даних у пояснюваному штучному інтелекті

Одним з найважливіших компонентів пояснюваного штучного інтелекту є дані. 

За даними Google (GOOGL ) , щодо даних і пояснюваного штучного інтелекту, “система штучного інтелекту найкраще зрозуміла через підлягаючі навчанню дані і процес навчання, а також отриману модель штучного інтелекту.” Це розуміння залежить від можливості зіставити навчену модель штучного інтелекту з точним набором даних, який використовувався для її навчання, а також можливість уважно вивчити дані. 

Для підвищення пояснюваності моделі важливо звернути увагу на навчальні дані. Команди повинні визначити походження даних, які використовувалися для навчання алгоритму, законність і етику їх отримання, потенційну упередженість у даних і те, що можна зробити для мінімізації будь-якої упередженості. 

Іншим критичним аспектом даних і XAI є те, що дані, які не мають значення для системи, повинні бути виключені. Для досягнення цього, іррелевантні дані не повинні бути включені у навчальний набір або вхідні дані. 

Google рекомендує набір практик для досягнення інтерпретаційності і підзвітності: 

• Плануйте свої варіанти для досягнення інтерпретації
• Розглядаєте інтерпретацію як основну частину користувацького досвіду
• Проектуйте модель для інтерпретації
• Вибираєте метрики, які відображають кінцеву мету і кінцеве завдання
• Розумієте навчену модель
• Надаєте пояснення користувачам моделі
• Проводите багато тестів, щоб забезпечити, що система штучного інтелекту працює так, як передбачено 

За допомогою цих рекомендацій, ваша організація може забезпечити, що вона досягне пояснюваного штучного інтелекту, який є ключем до будь-якої організації, яка використовує штучний інтелект у сучасному середовищі.