У дослідженні Stony Brook лікарі у 95% випадків віддали перевагу створеним ШІ випискам

Лікарі, які оцінювали документи, у 95% випадків віддали перевагу створеним ШІ випискам, а не випискам, підготовленим людьми, у госпіталізаціях, розглянутих у дослідженні Stony Brook University. Ретроспективний аналіз охопив 60 госпіталізацій до відділення внутрішньої медицини тривалістю від семи до 21 дня. Через тривале лікування та великий обсяг клінічних записів передавання пацієнтів під амбулаторне спостереження в таких випадках особливо складне.

Результати, опубліковані в npj Digital Medicine, свідчать, що великі мовні моделі можуть допомогти лікарям створювати повніші й зручніші для використання виписки. Водночас вони показують, чому перевірка людиною залишається необхідною: помилки траплялися як у створених ШІ, так і в підготовлених людьми виписках, а вищі оцінки не доводять кращих результатів лікування пацієнтів.

Чому підготовка виписок — складне завдання для ШІ

Виписка пов’язує допомогу, надану в лікарні, з роботою медичних фахівців, відповідальних за подальше лікування. У ній потрібно пояснити причину госпіталізації, перебіг лікування, зміни в медикаментозній терапії, невирішені проблеми та план подальшого спостереження. Якщо лікарю первинної медичної допомоги бракує пояснень або незрозуміло, що робити далі, йому може довестися відновлювати перебіг госпіталізації за значно об’ємнішою медичною документацією.

За тривалішої госпіталізації проблема ускладнюється. Інформація накопичується в записах про перебіг лікування, консультаціях, звітах про візуалізаційні дослідження та інших документах; до того ж у них часто є повтори й зафіксовані зміни плану лікування. Якісна виписка має відтворювати підсумкову клінічну картину й водночас пояснювати, як змінювалися рішення.

Підхід Stony Brook розробляли разом із лікарями, зосередившись на інформації, потрібній медикам, які приймають пацієнтів після виписки. За даними університету, система впорядковувала медичні записи пацієнтів і за кілька хвилин створювала на їхній основі чернетки виписок. Це свідчить про швидкість генерування тексту; вплив системи на загальний час, який лікарі витрачають на документування та перевірку, ще потрібно оцінити в клінічній практиці.

За що лікарі поставили вищі оцінки

У дослідженні зіставили оцінки лікарів стаціонару та лікарів первинної медичної допомоги. Вони оцінили створені ШІ виписки вище за загальною якістю, читабельністю та лаконічністю, фактичною точністю й повнотою. Також у них виявили менше пропущених клінічних деталей.

За наданою п’ятибальною шкалою середня оцінка загальної якості виписок, створених ШІ, становила 4,71 бала, тоді як виписки, підготовлені людьми, отримали 3,16 бала. Середня оцінка фактичної точності становила відповідно 4,62 і 3,73 бала, а повноти — 4,69 і 3,42 бала. Це оцінки лікарів, а не відсоток тверджень, правильність яких було доведено.

На графіку наведено по 120 оцінок для кожного типу виписок за сукупними показниками лікарів стаціонару та первинної медичної допомоги, а також по 60 оцінок для кожного типу за запитаннями, що стосувалися лише первинної медичної допомоги. Лікарі первинної ланки вище оцінили виписки, створені ШІ, за тим, наскільки вони допомагають зрозуміти перебіг госпіталізації, пояснити його пацієнтам і особам, які за ними доглядають, та забезпечити подальше медичне спостереження.

Ці відмінності важливі, адже автор виписки та фахівець, який використовує її на практиці, мають різні погляди. Документ може докладно описувати події під час перебування в лікарні, але все одно залишати лікаря, який приймає пацієнта, без чіткого розуміння невирішених питань або причин зміни медикаментозної терапії.

Як конвеєр узагальнення опрацьовує об’ємну документацію

Публічне оприлюднення коду дослідників дає змогу краще зрозуміти технологію. Експортований конвеєр LangChain/LangGraph упорядковує записи в хронологічному порядку, створює структуроване узагальнення й удосконалює його чернетку в міру опрацювання наступних фрагментів. На окремому етапі з позначених записів вилучають випадково виявлені знахідки, після чого формують остаточний текст.

Поетапний підхід допомагає впоратися з практичним обмеженням мовних моделей: обсяг довгої клінічної документації може перевищувати кількість тексту, яку модель здатна опрацювати за один раз. Якщо зберігати структуровану чернетку й доповнювати її, наступні фрагменти документації також впливатимуть на кінцевий результат.

У публічному експорті також зберігаються ідентифікатори джерел і формуються метадані цитувань для структурованих і текстових результатів. Він містить демонстраційні синтетичні дані, а в репозиторії для аналізу доступні знеособлені результати оцінювання та анотації помилок. Це дає змогу досліджувати робочий процес, не оприлюднюючи оригінальні медичні записи пацієнтів.

Менша кількість пропусків не усуває клінічних ризиків

Згідно з опублікованою анотацією, меншу кількість анотованих неточностей або пропусків пояснюють переважно тим, що пропусків стало менше. В оцінках рецензентів щодо тяжкості можливої шкоди від помилок і ймовірності її настання статистично значущої різниці між двома типами виписок не виявили.

Цей результат не доводить, що обидва підходи однаково безпечні, і не означає, що чернетку, створену ШІ, можна вносити до медичної документації пацієнта без перевірки. У дослідженні оцінювали документи та судження лікарів; воно не доводить зменшення кількості повторних госпіталізацій, шкоди, пов’язаної з медикаментами, чи інших негативних наслідків для пацієнтів.

Автори наголошують, що перед використанням документ має перевірити лікар. Інструкції щодо приймання ліків, невирішені медичні питання та рекомендації щодо подальшого спостереження є центральними для призначення документа й залишаються важливими аспектами, у яких може статися помилка або щось може бути пропущено.

Що потрібно перед переходом до рутинного клінічного використання

«Ці результати свідчать, що штучний інтелект може допомогти з оформленням виписок після складного перебування в лікарні», — сказала Rachel Wong, MD, співавторка-кореспондентка дослідження та клінічна доцентка Stony Brook, у повідомленні університету.

Співавтор-кореспондент дослідження Fusheng Wang, PhD, сказав, що наступні етапи дослідження передбачають оцінювання точності, безпеки, фактичної економії часу лікарів і відповідності клінічним робочим процесам. За повідомленням університету, розглядається можливість провести пілотне впровадження у щоденну практику Stony Brook Medicine.

Міждисциплінарний проєкт під керівництвом Tyler Osborne, аспіранта з інформатики, об’єднує лікарів, фахівців із комп’ютерних наук, спеціалістів із біомедичної інформатики та експертів із комунікацій. Дослідження дає обнадійливі свідчення на користь підготовки складних виписок під наглядом клініцистів. Щоб з’ясувати, чи можна надійно використовувати цей підхід у щоденній практиці, потрібно оцінювати процес перевірки разом зі згенерованим текстом.