Проблема медичної інформатики з розпорошеною відповідальністю

У сфері охорони здоров’я штучний інтелект зараз впроваджений у все, від клінічних рішень до кадрової та фінансової діяльності. Однак багато організацій все ще не мають необхідної делегації управління ризиками, щоб забезпечити, щоб інструменти штучного інтелекту не завдали шкоди. Відсутність структурованого нагляду означає, що рішення, пов’язані зі штучним інтелектом, приймаються без чіткої відповідальності, що піддає організації ризику порушень етичних та нормативних вимог.

Коли ніхто не відповідає за рішення та дії штучного інтелекту, сліпі плями швидко розростаються. Наслідки системи штучного інтелекту, яка приймає рішення високого рівня без нагляду, численні та далекосяжні, особливо коли на кону стоять людські життя.

Сьогодні прогалини у управлінні штучним інтелектом нагадують попередні точки інфлексії, де технологічна крива загострювалася швидше, ніж здатність підприємства керувати нею. Ми пройшли через це з облачними обчисленнями: команди приймали SaaS, IaaS та “тіньові ІТ”, щоб рухатися швидше, тоді як управління відставало у таких основних питаннях, як класифікація даних, керування ідентифікацією та доступом, нагляд за постачальниками, реєстрація/мониторинг та ясність спільної відповідальності – тому відповідальність розсіювалася по ІТ, безпеці, закупівлях та бізнесу. Ми також бачили це з швидкою конSUMERизацією ІТ та мобільними/BYOD, де працівники привносили нові пристрої та програми до регульованих середовищ ще до того, як організації мали зрілі політики щодо шифрування, контролю кінцевих точок, перевірки програм та електронного відкриття. У кожному випадку прийняття було раціональним та часто створенням цінності – але відсутність чіткої власності, стандартизованих засобів контролю та нагляду за життєвим циклом створила передбачувані невдачі. Урок для штучного інтелекту простий: управління не може бути післяthought, прикріпленим до інновацій; воно повинно бути побудовано, як і інші критичні інфраструктури – свідомо, з визначеними правами на прийняття рішень, безперервним моніторингом та примусовими обмеженнями.

Проблема з розпорошеною відповідальністю

Швидке впровадження штучного інтелекту випередило розвиток стандартів управління та відповідальності, що призвело до “розпорошеної відповідальності” прогалини, де жодна окрема сутність не бере на себе відповідальність, коли штучний інтелект виходить з ладу.

Відповідальність вже є постійною проблемою в сфері охорони здоров’я, а штучний інтелект лише приніс нові виклики. Інструменти штучного інтелекту не мають визнаної юридичної особи, тобто вони не можуть бути притягнуті до суду чи застраховані, а також не можуть виплатити юридичну компенсацію потерпілим. У юридичних процедурах провину потрібно перекласти на людину або корпорацію, а не на інструмент.

Дослідники у виданні The Lancet, провідному медичному дослідному журналі, недавно стверджували, що “структури інституційної відповідальності повинні перерозподіляти відповідальність з клініцистів на організації, які проектують та впроваджують [інструменти штучного інтелекту]”. Чисто, що такі питання щодо відповідальності будуть тривати далеко в майбутнє.

Європейський Союз намагається вирішити ці питання на регіональному рівні. Блок ввів два великих законодавчих інструменти: закон про штучний інтелект, який регулює використання штучного інтелекту за ступенем ризику та підкреслює збереження людського нагляду; та директиву про відповідальність штучного інтелекту, яка встановлює нові правила, які полегшують людям отримання компенсації за шкоду, завдану штучним інтелектом.

Але регулювання самі по собі не вирішить проблему. Лікарні діють у складній мережі постачальників, клініцистів, адміністраторів та ІТ-команд, тому коли система штучного інтелекту виробляє шкідливий або упереджений вихід, відповідальність передається між зацікавленими сторонами: постачальник може вказати на неправильне використання, клініцисти можуть сказати, що проект є дефектним, а керівництво може звинуватити нормативну двозначність.

Все це означає, що відповідальність розпорошена, залишаючи лікарні вразливими до великих юридичних битв.

Практичні кроки для закриття прогалин управління

Хороша новина полягає в тому, що навіть без повних регуляцій організації охорони здоров’я можуть активно закрити прогалини в управлінні штучним інтелектом. Для початку лідери можуть почати з звіту Всесвітньої організації охорони здоров’я ” Етика та управління штучним інтелектом для охорони здоров’я, “, який спрямований на максимізацію обіцянок штучного інтелекту при мінімалізації ризику.

Кроки, викладені в цьому звіті, спрямовані на захист автономії, сприяння людському благополуччю та громадській безпеці, забезпечення прозорості та пояснюваності, а також на формування відповідальності та підзвітності. Щоб звернутися до прогалин управління, давайте зосередимося на останніх двох пунктах.

Реалізуйте єдиний підхід до управління штучним інтелектом, забезпечуючи його зверху керівництвом чи експертами. Зараз багато організацій дозволяють окремим відділам використовувати штучний інтелект, де вони вважають це доречним, залишаючи лідерів нездатними пояснити, як і де організація використовує ці інструменти. Видимість є найважливішою, тому переконайтеся, що у вас є список точно тих інструментів, які використовуються, де і з якою метою.

Так само важливо встановити чіткі лінії відповідальності на всіх етапах життєвого циклу штучного інтелекту. Це означає призначення особи або відділу відповідальним за все, від закупівлі та верифікації до розгортання, моніторингу та реагування на інциденти. Лікарні повинні вимагати від постачальників відповідати визначеним стандартам прозорості та аудиту, а також забезпечувати, щоб внутрішні команди були підготовлені до розуміння як можливостей, так і обмежень систем штучного інтелекту.

Нарешті, управління повинно бути оперативним, а не просто задокументованим. Вбудуйте політики у робочі процеси шляхом інтеграції оцінок ризику штучного інтелекту у процеси закупівель, проведення регулярних аудитів продуктивності штучного інтелекту та створення механізмів для того, щоб персонал першої лінії міг повідомляти про проблеми без труднощів.

На практиці закриття прогалини управління менше про введення нових принципів і більше про забезпечення дисципліни: стандартизуйте, як штучний інтелект вступає в організацію, визначте, хто володіє ним на кожному етапі, і забезпечте, щоб його продуктивність постійно піддавалася перевірці. Без цієї дисципліни інструменти штучного інтелекту продовжуватимуть випереджати структури, призначені для їх безпеки.

Прихований ризик: якість даних

Дажі коли структури відповідальності на місці, інший ризик часто недооцінюється: цілість даних, які живлять системи штучного інтелекту, та те, як ці системи еволюціонують з часом. Будь-яка система штучного інтелекту є тільки такою надійною, як і дані, на яких вона тренується та безперервно вчиться, а середовища даних лікарень відомі своєю фрагментацією, несумісністю та схильністю до прогалин.

Електронні медичні записи, системи зображень та адміністративні платформи часто працюють у сілах, створюючи розбіжності, які можуть безпосередньо вплинути на вихід штучного інтелекту. Модель, тренована на неповних або упереджених наборах даних, може виробляти дефектні рекомендації, які можуть залишитися непоміченими до тих пір, поки шкода вже не буде завдана. Це особливо небезпечно у клінічних умовах, де маленькі відхилення точності можуть перекладатися у значні наслідки для пацієнтів.

Ускладнюючи цю проблему, є ” дрифт моделі “: тенденція моделей штучного інтелекту відхилятися від інструкцій та контексту, коли більше даних вступає в систему. Коли популяції пацієнтів еволюціонують, вводяться нові протоколи лікування та зовнішні чинники впливають на операції, базові припущення інструментів штучного інтелекту можуть зміщуватися. Без безперервного моніторингу та перенастройки система штучного інтелекту, яка раніше виконувалася надійно, може почати приймати дії або пропонувати рішення, які відхиляються від її тренування.

Щоб звернутися до дрифту моделі, лікарні повинні розглядати системи штучного інтелекту як динамічні, високоризиковані активи, а не статичні інструменти. Це означає реалізацію безперервного моніторингу продуктивності, встановлення чітких порогів прийнятної точності та визначення власності для повторної тренування та верифікації. Управління якістю даних також повинно бути посилено, з стандартизованими практиками щодо якості даних, сумісності та виявлення упередженості.

Без звернення до ризиків, пов’язаних з якістю даних та дрифтом моделі, навіть найкращі рамки управління штучним інтелектом будуть недолугими. Для систем штучного інтелекту охорони здоров’я, які є тільки такої хороші, як і дані, які їх підтримують, ігнорування цього шару ризику створює потенціал системної невдачі раніше чи пізніше.

Все правильно зробити, перш ніж запустити

Штучний інтелект має потенціал трансформувати охорону здоров’я шляхом поліпшення ефективності, точності та результатів лікування пацієнтів. Але без чіткої власності ризиків, які він виявляє, цей сам потенціал швидко може стати зобов’язанням.

Лікарні не можуть дозволити собі розглядати управління штучним інтелектом як виконання нормативних вимог. Воно повинно розглядатися як основна операційна пріоритетність: визначити володіння, структурувати нагляд та оцінювати безперервно. Адже в сфері охорони здоров’я, коли щось пішло не так, наслідки можуть бути набагато гіршими, ніж хто винен.