Чому моделі штучного інтелекту не розв’язують основні проблеми радіології

Більшість робіт зі штучного інтелекту в радіології сьогодні зосереджена на діагностичних моделях. Основна увага приділяється поліпшенню точності шляхом навчання на більшій кількості даних та вдосконалення моделей. Такий підхід розглядає радіологію в основному як візуальну задачу розпізнавання, де покращення розпізнавання повинно поліпшити всю систему. На перший погляд, це здається розумним: якщо розпізнавання покращується, діагностична якість також повинна покращитися. Це бачення не враховує головну проблему.

Головна проблема в радіології полягає в тому, як сам діагноз структурований. Це не обмеження розпізнавання закономірностей, а того, як організована робота та прийняття рішень. І поліпшення моделей не розв’язує цю проблему. Нижче ми розглянемо, чому це відбувається та які зміни потрібні за межами точності моделей.

Проблема є структурною

Моделі комп’ютерного зору допомагають у розпізнаванні закономірностей на зображеннях. У контрольованих дослідженнях вони можуть досягати результатів, порівнянних з результатами радіологів, з коефіцієнтом площини під кривою (AUC) часто понад 0,90, а в деяких випадках скринінгу – навіть перевищують результати фахівців. У багатьох галузях можливість виявлення результатів вже не є основним обмеженням.

Одночасно вони працюють лише з даними зображень. Вони виділяють можливі результати, але не беруть участь у самому процесі діагностики. Вони не поєднують різні входи в єдиний діагноз або не керують процесом прийняття рішень. У багатьох галузях можливість виявлення результатів вже не є основним обмеженням. Вони розроблені для розпізнавання закономірностей, а не для участі в діагностиці як процесі.

У практиці це означає, що структура не змінюється. Радіологи залишаються відповідальними за перегляд результатів та прийняття остаточних рішень, а виходи штучного інтелекту часто потребують додаткової верифікації. Відповідальність залишається з лікарем. Робочий процес не змінюється. Бутілька залишається. Кожне дослідження все ще призначено одному радіологу, який очікується переглянути, інтерпретувати, перевірити та надати звіт. Дослідження показують, що результати клініцистів все ще сильно залежать від того, як обробляються помилки штучного інтелекту, а неправильні виходи можуть негативно впливати на процес прийняття рішень.

Модель не може переглянути своє рішення. Якщо вона робить помилку, немає способу переглянути справу з додатковим контекстом. Результат залишається фіксованим, тоді як справжня діагностика вимагає безперервної корекції. Її виходи є статичними, тоді як клінічне мислення є внутрішньо ітеративним.

Як наслідок, бутільки залишаються, варіативність триває, а процес продовжує залежати від одного радіолога. Коли об’єми зображень зростають, система, побудована навколо одного спеціаліста на справу, неминуче досягає своїх меж.

Криза довіри

Штучний інтелект у радіології також створює проблему довіри.

Радіолог не тільки сумнівається у виході моделі. Він сумнівається у системі, яка її підтримує, особливо коли штучний інтелект представляється як заміна, а не інструмент, яким можна керувати. Довіра до моделі є нестабільною. Менш досвідчені лікарі можуть надто сильно покладатися на нього та пропустити помилки. Більш досвідчені лікарі, після однієї помилки, можуть перестати використовувати його. Ці два шаблони – надмірна залежність та відключення – обидва вводять нові ризики замість зменшення їх.

Після помилки модель часто виходить з процесу прийняття рішень. Вона більше не використовується як інструмент, а просто ігнорується. Це порушує безперервність та обмежує її практичну цінність. У практиці це призводить до нестабільного використання замість стабільної інтеграції у робочий процес.

Це відображає глибокий конфлікт із тим, як працює медицина. Радіолог не може передати відповідальність за діагноз системі. Клінічна та юридична відповідальність залишається з лікарем. Розгляд штучного інтелекту як заміни суперечить структурі медичної практики.

Це створює структурний конфлікт, у якому модель пропонує, а лікар повинен верифікувати. Розпізнавання можна автоматизувати. Відповідальність не можна. І поки відповідальність не може бути передана, кожен вихід моделі повинен бути перевірений, що обмежує її здатність зменшити робоче навантаження.

Ілюзія ефективності

Штучний інтелект не видаляє роботу з радіолога. Він додає шар контролю. Лікаря все ще інтерпретує дослідження та також повинен верифікувати вихід моделі. Це створює подвійну роботу замість економії часу. Замість ліквідації зусиль штучний інтелект часто перерозподіляє їх у додаткові кроки верифікації та корекції.

Система може здаватися швидшою, але на практиці час перейшов у додаткові перевірки, а не зменшився. З часом це накопичення інструментів збільшує операційну складність без фундаментального поліпшення того, як діагноз видається.

Штучний інтелект також вводить фрагментацію. Більшість моделей розроблені для вузької задачі: одного анатомічного регіону, модальності або патології. Щоб покрити реальні клінічні потреби, клініці потрібно використовувати кілька моделей. Замість єдиної системи це призводить до фрагментованого набору інструментів.

Кожна модель приносить свій інтерфейс, інтеграцію та вимоги до технічного обслуговування. Це збільшує складність системи та додає більше точок взаємодії.

Як наслідок, система стає складнішою для керування, тоді як основний процес діагностики залишається незмінним.

Обмеження масштабування штучного інтелекту

З кожною новою версією моделі довіра повинна бути відновлена. Робочий процес починає адаптуватися до моделі, а не підтримувати лікаря. Це ще більше зміщує увагу від поліпшення системи самої до адаптації до окремих інструментів.

Це ускладнюється вузькою направленістю більшості моделей. Кожна з них розроблена для конкретної задачі або анатомічного регіону. На практиці це означає, що клініці потрібно кілька моделей одночасно, кожна з яких має свої обмеження, інтеграції та витрати. Система стає складнішою для експлуатації.

Одночасно стає ясно, де штучний інтелект має найбільший вплив сьогодні. Не в інтерпретації зображень, а в поліпшенні системи навколо нього – маршрутизації досліджень, керуванні чергами, призначенні справ спеціалістам та прогнозуванні робочого навантаження. Ці області користуються координацією, а не ізольованим прогнозуванням.

Що відбулося на практиці

У нашій мережі клінік, де щорічно проводиться понад один мільйон досліджень МРТ та КТ у понад 40 клініках у трьох країнах, ми реалізували кілька моделей штучного інтелекту, включаючи рішення, затверджені FDA. Конфігурація була простою: модель аналізувала дослідження зображень, генерувала звіт, а радіолог переглядав та підтверджував його. Очікуваним результатом була швидша обробка та менше помилок.

На практиці досвідчені радіологи продовжували інтерпретувати кожне дослідження самостійно, перш ніж дивитися на вихід моделі. Робота з генерованим текстом часто потребувала більше зусиль, ніж написання з нуля, оскільки він не відповідав їхньому стилю звітування. Процес не прискорювався, а в багатьох випадках ставав повільнішим. У деяких випадках взаємодія з моделлю вводила більше тертя, ніж цінності.

Поведінка користувачів також створювала ризик. Коли модель робила помилку, досвідчені радіологи мали тенденцію втрачати довіру та припиняти використання її. Менш досвідчені лікарі були більш схильні покладатися на систему, збільшуючи шанс пропустити помилки та пов’язані з цим клінічні та юридичні ризики.

Ці спостереження вказують на глибшу проблему. Поліпшення окремих інструментів не змінює, як працює система. Бутілька лежить у робочому процесі, побудованому навколо одного радіолога, який обробляє дослідження від початку до кінця. Ці обмеження роблять складним поліпшення системи лише шляхом додавання нових інструментів.

У DICO ми підійшли до цього інакше. Замість додавання штучного інтелекту до існуючого робочого процесу ми зосередилися на самій структурі. Справи можна розділити на частини, з кожною частиною, обробленою відповідним спеціалістом, який працює безпосередньо з даними зображень. Остатній звіт складається з цих входів, а штучний інтелект підтримує координацію. Діагноз у цій моделі вже не пишеться одним людиною – він складається з декількох внесків.

Це були не питання якості моделі. Це були питання структури.

Перегляд діагностичної системи

Сучасна радіологія побудована на одному припущенні. Одне дослідження, один радіолог. Це створює бутільки, варіативність та обмеження масштабування. Головна проблема не в тому, що моделі роблять помилки. Система не побудована для роботи з ними. Вона побудована на нескалабельній основі.

Ненітеративний інструмент розміщений у процесі, який залежить від ітерації. У клінічній практиці радіологія не є однопасовим рішенням. Дослідження показують, що розбіжність між первинною та другою інтерпретацією відбувається у ~30% випадків, а клінічно значимі розбіжності можуть впливати на управління у ~18-20% випадків. Другі висновки не є винятком, а звичайною частиною діагностичної роботи.

Ширше, у медицині другі висновки вказують на зміну діагнозу у 10-62% випадків, залежно від середовища.

Без можливості переглянути, координувати та переоцінити з контекстом виходи моделей залишаються статичними, тоді як справжня діагностика вимагає безперервної корекції.

Наступний крок не полягає у більш точних моделях. Це переробка діагностичної системи.

Зміна відбувається від окремих інструментів штучного інтелекту до єдиного підходу до керування діагностикою – де діагноз не є окремим рішенням, а процесом, який маршрутизується та інтерпретується через декілька кроків. Обмеження не полягає в відсутності інтелектуальних моделей, а в відсутності системи, яка може координувати діагностичну роботу як процес.