Як Explainable AI створює довіру та підзвітність

Компанії вже повністю занурилися в采用 AI, спішачи розгорнути чат-боти, генератори контенту та інструменти підтримки прийняття рішень по всьому спектру своїх операцій. За даними McKinsey, 78% компаній використовують AI принаймні в одній бізнес-функції.

Відчайдушність реалізації зрозуміла — кожен бачить потенційну цінність. Але в цьому поспіху багато організацій забувають, що всі технології, засновані на нейронних мережах, включаючи кожну LLM і генеративну систему AI, що використовується сьогодні і в найближчому майбутньому, мають суттєвий недолік: вони непередбачувані та в кінцевому підсумку неконтрольовані.

Як деякі дізналися, це може мати реальні наслідки. В одному з дилерів Chevrolet, який розгорнув чат-бот на своєму сайті, клієнт переконав чат-бот, що працює на базі ChatGPT, продати йому Chevrolet Tahoe за 58 195 доларів за 1 долар. Інший клієнт змусив того ж чат-бота написати Python-скрипт для складних рівнянь динаміки рідин, що він і зробив. Дилер швидко вимкнув боти після того, як ці інциденти стали вірусними.

Минулого року Air Canada програла справу в суді малих претензій, коли вона стверджувала, що її чат-бот, який дав пасажирові неточну інформацію про знижку у зв’язку з трауром, “є окремим юридичним суб’єктом, який відповідає за свої власні дії”.

Ця непередбачуваність випливає з фундаментальної архітектури LLM. Вони настільки великі та складні, що неможливо зрозуміти, як вони прийшли до конкретних відповідей або передбачити, що вони згенерують, поки вони не видають результат. Більшість організацій реагують на цю проблему надійності, не повністю усвідомлюючи її.

Розсудливе рішення полягає в тому, щоб перевірити результати AI вручну, що працює, але суттєво обмежує потенціал технології. Коли AI обмежується ролью особистого помічника — складання тексту, ведення хвилин зустрічей, підсумовування документів та допомога в програмуванні — вона забезпечує скромні продуктивні вигоди. Не досить, щоб революціонізувати економіку.

Справжні вигоди від AI настануть, коли ми припинимо використовувати її для допомоги існуючим роботам і замість цього перепроектуємо цілі процеси, системи та компанії, щоб використовувати AI без участі людини на кожному етапі. Розгляньте обробку кредитних заяв: якщо банк надає кредитним спеціалістам AI-помічника для підсумовування заяв, вони можуть працювати на 20-30% швидше. Але розгортання AI для обробки всього процесу прийняття рішень (з відповідними заходами безпеки) може скоротити витрати більш ніж на 90% і ліквідувати майже весь час обробки. Це різниця між інкрементним покращенням і трансформацією.

Шлях до надійної реалізації AI

Розкриття повного потенціалу AI без підкорення його непередбачуваності вимагає складної суміші технічних підходів і стратегічного мислення. Хоча кілька сучасних методів пропонують часткові рішення, кожен з них має суттєві обмеження.

Деякі організації намагаються пом’якшити проблеми надійності за допомогою системного штовхання — тонкого спрямування поведінки AI в бажані напрямки, щоб вона реагувала на певні вхідні дані певним чином. Дослідники Anthropic продемонстрували хиткість цього підходу, ідентифікуючи “функцію Золотих воріт” у нейронній мережі Claude і, штучно посилюючи її, змусили Claude розвинути кризу ідентичності. Коли його запитали про його фізичну форму, замість того, щоб визнати, що в нього немає форми, Claude заявив, що є Золотими воротами самими собою. Цей експеримент показав, як легко можна змінити основну роботу моделі, і що кожен поштовх представляє собою компроміс, потенційно покращуючи одну сторону продуктивності, але погіршуючи інші.

Інший підхід полягає в тому, щоб один AI контролював інший. Хоча цей шаровий підхід може виявити деякі помилки, він вводить додаткову складність і все ж таки не забезпечує повної надійності. Жорсткі обмеження — це більш прямий захід, наприклад, блокування відповідей, що містять певні ключові слова або шаблони, такі як попередні інгредієнти для зброї. Хоча вони ефективні проти відомих проблем, ці обмеження не можуть передбачити нові проблематичні виходи, які виникають з цих складних систем.

Більш ефективний підхід полягає в будівництві процесів, орієнтованих на AI, які можуть працювати автономно, з стратегічно розташованим людським наглядом, щоб виявити проблеми надійності до того, як вони спричинять реальні проблеми. Ви не хотіли б, щоб AI безпосередньо схвалював або відхиляв кредитні заяви, але AI міг би провести попередню оцінку для людських операторів, щоб вони її переглянули. Це може працювати, але воно залежить від людської уваги, щоб виявити помилки AI, і підкреслює потенційні вигоди від використання AI.

Будівництво майбутнього

Ці часткові рішення вказують на більш комплексний підхід. Організації, які фундаментально переосмислюють, як здійснюються їхні роботи, а не просто доповнюють існуючі процеси допомогою AI, отримають найбільшу перевагу. Але AI ніколи не повинен бути останнім кроком у високих ставках процесів або рішень, тому який найкращий шлях вперед?

По-перше, AI створює повторюваний процес, який надійно і прозоро забезпечить стабільні результати. По-друге, люди переглядають процес, щоб забезпечити, що вони розуміють, як він працює, і що вхідні дані є відповідними. Нарешті, процес працює автономно — без використання AI — з періодичним людським переглядом результатів.

Розгляньте страхову галузь. Традиційний підхід міг би полягати в тому, щоб додати AI-помічників, щоб допомогти працівникам з обробки претензій працювати більш ефективно. Більш революційний підхід міг би полягати в тому, щоб використовувати AI для розробки нових інструментів — таких як комп’ютерне зору, яке аналізує фотографії пошкоджень, або покращені моделі виявлення шахрайства, які ідентифікують підозрілі моделі — і потім об’єднати ці інструменти в автоматизовані системи, керовані чіткими, зрозумілими правилами. Люди мали б проектувати та контролювати ці системи, а не обробляти окремі претензії.

Цей підхід підтримує людський нагляд на критичному етапі, де він найважливіший: проектуванні та валідації самої системи. Він дозволяє досягти експоненціальних виграшів від ефективності, ліквідуючи ризик, що непередбачуваність AI призведе до шкідливих результатів в окремих випадках.

AI міг би ідентифікувати потенційні індикатори здатності погасити кредит у даних про транзакції, наприклад. Людські експерти могли б тоді оцінити ці індикатори за справедливістю та створити явні, зрозумілі моделі, щоб підтвердити їх передбачувальну силу.

Цей підхід до пояснюваної AI створить чітку межу між організаціями, які використовують AI поверхнево, і тими, які трансформують свої операції навколо нього. Останні будуть все більше відриватися в своїх галузях,能够 пропонувати продукти та послуги за ціни, яких їхні конкуренти не можуть досягти.

На відміну від чорної скриньки AI, пояснювані системи AI забезпечують, щоб люди підтримували суттєвий нагляд над застосуванням технології, створюючи майбутнє, де AI розширює людський потенціал, а не просто замінює людську працю.