Охорона здоров’я штучного інтелекту має проблему з відповідальністю

У сфері охорони здоров’я штучний інтелект зараз вбудований у все, від клінічних рішень до кадрової служби та фінансів. Однак багато організацій все ще не мають необхідної делегації управління ризиками, щоб забезпечити, щоб інструменти штучного інтелекту не завдали шкоди. Відсутність структурованого нагляду означає, що рішення, пов’язані зі штучним інтелектом, приймаються без чіткої відповідальності, що піддає організації ризику порушень етики та законодавства.

Коли ніхто не відповідає за рішення та дії штучного інтелекту, сліпі плями швидко розростаються. Наслідки системи штучного інтелекту, яка приймає рішення високого рівня без нагляду, численні та далекосяжні, особливо коли на кону стоять людські життя.

Сьогодні прогалини у управлінні штучним інтелектом нагадують попередні точки інфлексії, де технологічна крива стрімко зростала швидше, ніж здатність підприємства керувати нею. Ми пройшли через це з облачними обчисленнями: команди приймали SaaS, IaaS та “тіньові ІТ”, щоб рухатися швидше, тоді як управління відставало у таких питаннях, як класифікація даних, керування ідентифікацією та доступом, нагляд за постачальниками, реєстрація/мониторинг та спільна відповідальність – тому відповідальність розсіювалася по ІТ, безпеці, закупівлях та бізнесу. Ми також бачили це з швидкою конSUMERизацією ІТ та мобільними/BYOD-пристроями, де працівники привносили нові пристрої та програми до регульованих середовищ ще до того, як організації мали зрілі політики щодо шифрування, контролю кінцевих точок, перевірки програм та відкриття електронної пошти. У кожному випадку прийняття було раціональним і часто створювало цінність – але відсутність чіткої власності, стандартизованих контролю та нагляду за життєвим циклом створювала передбачувані невдачі. Урок для штучного інтелекту простий: управління не може бути післяthought, прикріпленим до інновацій; воно повинно бути побудовано, як і інші критичні інфраструктури – свідомо, з визначеними правами на прийняття рішень, безперервним моніторингом та примусовими обмеженнями.

Проблема з розпорошеною відповідальністю

Швидке розгортання штучного інтелекту випередило розвиток стандартів управління та відповідальності, що призвело до прогалини “розпорошеної відповідальності”, де жодна окрема сутність не бере на себе відповідальність, коли штучний інтелект виходить з ладу.

Відповідальність вже є всюдисущим питанням у сфері охорони здоров’я, а штучний інтелект лише приніс нові виклики. Інструменти штучного інтелекту не мають визнаної юридичної особи, тобто вони не можуть бути позивачами чи страхувальниками, а також не можуть виплачувати юридичну компенсацію потерпілим. У судових процедурах провину потрібно перекласти на людину чи корпорацію, а не на інструмент.

Дослідники у виданні The Lancet, провідному медичному дослідному журналі, нещодавно стверджували, що “інституційні структури відповідальності повинні перерозподіляти відповідальність від клініцистів до організацій, які проектують та розгортають [інструменти штучного інтелекту]”. Чітко, що такі питання щодо відповідальності будуть тривати далеко в майбутнє.

Європейський Союз намагається вирішити ці питання на регіональному рівні. Блок ввів два основні законодавчі інструменти: закон про штучний інтелект, який регулює використання штучного інтелекту за ступенем ризику та підкреслює збереження людського нагляду; та директиву про відповідальність штучного інтелекту, яка встановлює нові правила, які полегшують людям отримання компенсації за шкоду, завдану штучним інтелектом.

Але лише регулювання не вирішить проблему. Лікарні працюють у складній мережі постачальників, клініцистів, адміністраторів та ІТ-команд, тому коли система штучного інтелекту виробляє шкідливий або упереджений вивід, відповідальність передається між зацікавленими сторонами: постачальник може вказати на неправильне використання, клініцисти можуть сказати, що проект є дефектним, а керівництво може звинуватити регуляторну неоднозначність.

Все це означає, що відповідальність розпорошена, залишаючи лікарні вразливими до великих юридичних битв.

Практичні кроки для закриття прогалин у управлінні

Хороша новина полягає в тому, що навіть без комплексних регуляцій організації охорони здоров’я можуть активно закрити прогалини в управлінні штучним інтелектом. Для початку керівники можуть почати з звіту Всесвітньої організації охорони здоров’я “Етика та управління штучним інтелектом для охорони здоров’я”, який спрямований на максимізацію обіцянок штучного інтелекту при мінімалізації ризику.

Кроки, викладені в цьому звіті, спрямовані на захист автономії, сприяння благополуччю людини та громадської безпеки, забезпечення прозорості та пояснюваності, а також на формування відповідальності та підзвітності. Щоб звернутися до прогалин у управлінні, давайте зосередимося на останніх двох пунктах.

Реалізуйте єдиний підхід до управління штучним інтелектом, забезпечуючи його спрямованість зверху донизу керівниками або експертами. Наразі багато організацій дозволяють окремим відділам використовувати штучний інтелект, де вони вважають це доречним, залишаючи керівників нездатними пояснити, як і де організація використовує ці інструменти. Видимість є важливою, тому переконайтеся, що у вас є список усіх інструментів, які використовуються, для чого вони використовуються та з якою метою.

Наступним важливим кроком є встановлення чітких ліній відповідальності на всіх етапах життєвого циклу штучного інтелекту. Це означає призначення особи або відділу, відповідальному за все, від закупівлі та верифікації до розгортання, моніторингу та реагування на інциденти. Лікарні повинні вимагати від постачальників дотримання визначених стандартів прозорості та аудиту, а також забезпечувати, щоб внутрішні команди були підготовлені до розуміння як можливостей, так і обмежень систем штучного інтелекту.

Нарешті, управління повинно бути операціоналізовано, а не просто задокументовано. Вбудуйте політики у робочі процеси шляхом інтеграції оцінок ризику штучного інтелекту у процеси закупівель, проведення регулярних аудитів продуктивності штучного інтелекту та створення механізмів для того, щоб персонал першої лінії міг повідомляти про проблеми без труднощів.

На практиці закриття прогалини у управлінні полягає менше у введенні нових принципів, а більше у забезпечення дисципліни: стандартизуйте, як штучний інтелект потрапляє до організації, визначте, хто володіє ним на кожному етапі, та забезпечте, щоб його продуктивність безперервно контролювалася. Без цієї дисципліни інструменти штучного інтелекту продовжуватимуть випереджати структури, призначені для їхньої безпеки.

Прихований ризик: якість даних

Дажі коли структури відповідальності на місці, інший ризик часто недооцінюється: цілісність даних, які живлять системи штучного інтелекту, та те, як ці системи еволюціонують з часом. Будь-яка система штучного інтелекту є лише такою надійною, як дані, на яких вона навчена та безперервно вчиться, а середовища даних лікарень відомі своїми фрагментами, несумісностями та прогалинами.

Електронні медичні записи, системи зображень та адміністративні платформи часто працюють у сілах, створюючи розбіжності, які можуть безпосередньо вплинути на вивід штучного інтелекту. Модель, навчена на неповних або упереджених наборах даних, може виробляти дефектні рекомендації, які можуть залишитися непоміченими, поки шкода вже не буде завдана. Це особливо небезпечно у клінічних умовах, де маленькі відхилення точності можуть перекладатися у значні наслідки для пацієнтів.

Ускладнює цю проблему “зміна моделі”: тенденція моделей штучного інтелекту відхилятися від інструкцій та контексту, коли更多 даних потрапляє до системи. Коли популяції пацієнтів еволюціонують, вводяться нові протоколи лікування та зовнішні чинники впливають на операції, базові припущення інструментів штучного інтелекту можуть зміщуватися. Без безперервного моніторингу та перенастройки система штучного інтелекту, яка раніше виконувалася надійно, може почати приймати дії чи пропонувати рішення, які відходять від її навчання.

Щоб звернутися до зміни моделі, лікарні повинні розглядати системи штучного інтелекту як динамічні, високоризиковані активи, а не статичні інструменти. Це означає реалізацію безперервного моніторингу продуктивності, встановлення чітких порогів для прийнятної точності та визначення власності для повторної навчання та верифікації. Управління якістю даних також повинно бути посилено, з стандартизованими практиками щодо якості даних, сумісності та виявлення упередженості.

Без звернення до ризиків, пов’язаних з якістю даних та зміною моделі, навіть найкращі рамки управління штучним інтелектом будуть недостатковими. Для систем штучного інтелекту у сфері охорони здоров’я, які є лише такою хорошими, як дані, що лежать в їхній основі, ігнорування цього шару ризику створює потенціал системної невдачі раніше чи пізніше.

Все правильно зробити, перш ніж запустити

Штучний інтелект має потенціал трансформувати охорону здоров’я шляхом покращення ефективності, точності та результатів лікування пацієнтів. Але без чіткої власності ризиків, які він виявляє, цей потенціал може швидко перетворитися на зобов’язання.

Лікарні не можуть дозволити собі розглядати управління штучним інтелектом як виконання вимог законодавства. Воно повинно розглядатися як核心 оперативна пріоритетність: визначити володіння, структурувати нагляд та оцінювати безперервно. Тому що в охороні здоров’я, коли щось пішло не так, наслідки можуть бути набагато гіршими, ніж хто винен.