Що таке пояснювальний штучний інтелект?

Оскільки штучний інтелект (ШІ) стає все складнішим і ширше впроваджується в суспільстві, одним з найважливіших наборів процесів і методів є пояснювальний штучний інтелект (Explainable AI), іноді його називають XAI. Пояснювальний ШІ можна визначити як:

• Набір процесів і методів, які допомагають користувачам-людям зрозуміти та довіряти результатам алгоритмів машинного навчання.

Як можна здогадатися, ця пояснюваність надзвичайно важлива, оскільки алгоритми ШІ беруть під контроль багато секторів, що несе ризик упередженості, несправних алгоритмів та інших проблем. Досягаючи прозорості завдяки пояснюваності, світ може справді використати силу ШІ. Пояснювальний ШІ, як випливає з назви, допомагає описати модель ШІ, її вплив та потенційні упередження. Він також відіграє роль у характеристиці точності моделі, справедливості, прозорості та результатів у процесах прийняття рішень на основі ШІ. Сучасні організації, що керуються ШІ, завжди повинні впроваджувати процеси пояснювального ШІ, щоб допомогти побудувати довіру та впевненість у моделях ШІ, що використовуються на практиці. Пояснювальний ШІ також є ключем до того, щоб стати відповідальною компанією в сучасному середовищі ШІ. Оскільки сучасні системи ШІ настільки просунуті, люди зазвичай проводять розрахунковий процес, щоб відстежити, як алгоритм прийшов до свого результату. Цей процес стає “чорною скринькою”, тобто його неможливо зрозуміти. Коли такі непояснювані моделі розробляються безпосередньо з даних, ніхто не може зрозуміти, що відбувається всередині них. Розуміючи, як працюють системи ШІ за допомогою пояснювального ШІ, розробники можуть гарантувати, що система працює належним чином. Це також може допомогти забезпечити відповідність моделі регуляторним стандартам і надає можливість оскаржити або змінити модель.

Image: Dr. Matt Turek/DARPA

Відмінності між ШІ та XAI

Існують ключові відмінності, які допомагають відокремити “звичайний” ШІ від пояснювального ШІ, але найголовніше, що XAI впроваджує конкретні методики та методи, які допомагають забезпечити відстежуваність та пояснюваність кожного рішення в процесі машинного навчання. На противагу цьому, звичайний ШІ зазвичай отримує свій результат за допомогою алгоритму машинного навчання, але повністю зрозуміти, як алгоритм прийшов до результату, неможливо. У випадку звичайного ШІ надзвичайно складно перевірити точність, що призводить до втрати контролю, підзвітності та можливості аудиту.

Переваги пояснювального ШІ

Існує багато переваг для будь-якої організації, яка хоче впровадити пояснювальний ШІ, наприклад:

• Швидші результати: Пояснювальний ШІ дозволяє організаціям систематично моніторити та керувати моделями для оптимізації бізнес-результатів. Можна постійно оцінювати та покращувати продуктивність моделі та точно налаштовувати її розробку.
• Зменшення ризиків: Впроваджуючи процеси пояснювального ШІ, ви гарантуєте, що ваші моделі ШІ є пояснюваними та прозорими. Ви можете керувати регуляторними вимогами, вимогами відповідності, ризиками та іншими вимогами, мінімізуючи при цьому накладні витрати на ручну перевірку. Все це також допомагає зменшити ризик ненавмисного упередження. 
• Побудова довіри: Пояснювальний ШІ допомагає встановити довіру до ШІ, що використовується на практиці. Моделі ШІ можна швидко впроваджувати в експлуатацію, ви можете забезпечити інтерпретованість та пояснюваність, а процес оцінки моделі можна спростити та зробити більш прозорим.

Методики пояснювального ШІ

Існують деякі методики XAI, які варто розглянути всім організаціям, і вони складаються з трьох основних методів: точність прогнозування, відстежуваність та розуміння рішень. Перший із трьох методів, точність прогнозування, є важливим для успішного використання ШІ у повсякденній роботі. Можна проводити симуляції, а вихідні дані XAI можна порівнювати з результатами в навчальному наборі даних, що допомагає визначити точність прогнозування. Одна з найпопулярніших методик для досягнення цього називається Local Interpretable Model-Agnostic Explanations (LIME) — це методика, яка пояснює прогноз класифікаторів алгоритмом машинного навчання. Другий метод — це відстежуваність, яка досягається шляхом обмеження способів прийняття рішень, а також встановлення більш вузької сфери дії правил і ознак машинного навчання. Одна з найпоширеніших методик відстежуваності — це DeepLIFT, або Deep Learning Important FeaTures. DeepLIFT порівнює активацію кожного нейрона з його еталонним нейроном, демонструючи відстежуваний зв’язок між кожним активованим нейроном. Він також показує залежності між ними. Третій і останній метод — це розуміння рішень, який, на відміну від двох попередніх, орієнтований на людину. Розуміння рішень включає навчання організації, зокрема команди, яка працює з ШІ, щоб дозволити їм зрозуміти, як і чому ШІ приймає рішення. Цей метод є вирішальним для встановлення довіри до системи.

Принципи пояснювального ШІ

Щоб краще зрозуміти XAI та його принципи, Національний інститут стандартів (NIST), який входить до складу Міністерства торгівлі США, надає визначення для чотирьох принципів пояснювального ШІ:

1. Система ШІ повинна надавати докази, підтримку або обґрунтування для кожного результату. 
2. Система ШІ повинна надавати пояснення, які можуть бути зрозумілими її користувачами. 
3. Пояснення має точно відображати процес, який система використала для отримання результату. 
4. Система ШІ повинна працювати лише в умовах, для яких вона була розроблена, і вона не повинна надавати результат, коли не має достатньої впевненості в ньому.

Ці принципи можна ще більш деталізувати:

• Змістовність: Щоб досягти принципу змістовності, користувач повинен розуміти надане пояснення. Це також може означати, що у випадку використання алгоритму ШІ різними типами користувачів може бути кілька пояснень. Наприклад, у випадку з автономним автомобілем одне пояснення може бути таким: “ШІ класифікував пластиковий пакет на дорозі як камінь, тому вжив заходів, щоб уникнути зіткнення з ним”. Хоча цей приклад був би зрозумілий водієві, він не був би дуже корисним для розробника ШІ, який намагається виправити проблему. У такому випадку розробник повинен зрозуміти, чому сталася помилкова класифікація. 
• Точність пояснення: На відміну від точності результату, точність пояснення передбачає, що алгоритм ШІ точно пояснює, як він прийшов до свого результату. Наприклад, якщо алгоритм схвалення кредиту пояснює рішення на основі доходу заявки, коли насправді воно базувалося на місці проживання заявника, пояснення буде неточним. 
• Межі знань: Межі знань ШІ можуть бути досягнуті двома способами, і це передбачає, що вхідні дані знаходяться поза сферою компетенції системи. Наприклад, якщо система створена для класифікації видів птахів, і їй дають зображення яблука, вона повинна мати можливість пояснити, що вхідні дані не є птахом. Якщо системі дають розмите зображення, вона повинна мати можливість повідомити, що не може ідентифікувати птаха на зображенні, або, альтернативно, що її ідентифікація має дуже низький рівень впевненості.

Роль даних у пояснювальному ШІ

Одним з найважливіших компонентів пояснювального ШІ є дані. Згідно з Google, щодо даних та пояснювального ШІ, “систему ШІ найкраще розуміти через основні навчальні дані та процес навчання, а також отриману модель ШІ”. Це розуміння залежить від можливості відобразити навчену модель ШІ на точний набір даних, який використовувався для її навчання, а також від можливості уважно вивчити ці дані. Щоб покращити пояснюваність моделі, важливо звертати увагу на навчальні дані. Команди повинні визначати походження даних, використаних для навчання алгоритму, законність та етичність їх отримання, будь-які потенційні упередження в даних і що можна зробити для пом’якшення будь-яких упереджень. Ще одним критичним аспектом даних та XAI є те, що дані, нерелевантні для системи, повинні бути виключені.