Protege запускає незалежне тестування медичного ШІ, а Disease Odyssey виявляє прогалини в діагностиці

Protege запускає незалежне оцінювання систем ШІ у сфері охорони здоров’я, перевіряючи моделі на клінічних випадках, з якими вони раніше не стикалися. Перший бенчмарк компанії, Disease Odyssey, дає початкове уявлення про важливість такого тестування: за даними компанії, провідні моделі виявляли такі стани, як апное сну й анемія, лише у 53%–69% випадків, спираючись на історії хвороб пацієнтів.

Запуск 21 жовтня також передбачає оцінювання за участю Xlue AI і Standard Model Biomedicine. Разом ці результати дають змогу відповісти на два важливі для лікарень і розробників запитання: чи здатна модель виокремлювати корисні клінічні сигнали з реальних медичних записів і скільки коштує отримання таких прогнозів.

Protege прагне перенести більшу частину такого оцінювання за межі організацій, які створюють моделі. Компанія розробляє й проводить оцінювання та виставляє бали, використовуючи захищені з погляду конфіденційності медичні записи пацієнтів і відповіді, перевірені клініцистами. Це дає розробникам змогу виявляти слабкі місця, перш ніж робити ширші заяви про ефективність моделей.

Чим це тестування відрізняється від відповідей на запитання медичних іспитів

Медичне запитання з чітко сформульованим діагнозом — це не те саме, що історія хвороби пацієнта, зібрана під час кількох візитів. Симптоми розвиваються з часом, медичні записи можуть бути неповними, а вирішальна підказка може ховатися серед менш важливої інформації. Disease Odyssey зосереджується на розпізнаванні хвороби до встановлення діагнозу на основі таких історій хвороби, що охоплюють тривалий період.

Заявлений діапазон 53%–69% стосується перевірених випадків і захворювань, а не медичного ШІ загалом. В оголошенні Protege недостатньо інформації про розмір вибірок, конкретні моделі для порівняння чи невизначеність результатів, щоб робити ширші висновки про рейтинг. Однак результати свідчать, що в межах першого бенчмарку компанії ще є значний простір для вдосконалення.

«Медичний ШІ стрімко розвивається, але методи його оцінювання не встигають за цим темпом», — заявив в оголошенні співзасновник і генеральний директор Protege Боббі Семюелс.

Як Protege відокремлює тестування від розроблення

Protege описує свій процес як подвійне сліпе оцінювання: розробники моделей заздалегідь не бачать даних пацієнтів і запитань, а Protege оцінює системи, не знаючи, як їх створили. У цьому випадку цей термін описує організацію оцінювання, а не рандомізоване клінічне дослідження.

Важливо не допускати потрапляння тестових матеріалів у процес розроблення, адже знайомство з питаннями бенчмарку може завищити видимі показники ефективності. Модель, яка бачила відповідь під час навчання, може здаватися спроможнішою, ніж є насправді, коли стикається з дійсно новим випадком.

Платформа оцінювання систем ШІ у сфері охорони здоров’я компанії передбачає кілька практичних механізмів контролю. За описом, вона використовує захищені тестові випадки, відокремлені від навчальних даних, версіонування завдань і системи оцінювання, а також аналізує закономірності помилок і групи населення, яких вони стосуються. Версіонування робить порівняння різних версій моделей змістовнішим: вищий бал легше інтерпретувати, якщо завдання та правила оцінювання непомітно не змінилися.

Платформа використовує пов’язані між собою дані, зокрема електронні медичні картки, клінічні записи, знімки, результати патологічних досліджень, страхові вимоги та дані про результати лікування. Її Data Lab перетворює клінічні запитання на завдання для оцінювання та еталонні відповіді. Такий підхід покликаний перевірити, як моделі використовують клінічний контекст, а не лише чи здатні вони відтворювати окремі медичні факти.

Спеціалізовані моделі змагаються за ефективністю та вартістю

У супровідних оцінюваннях розглядаються різні завдання, тому їхні результати слід аналізувати окремо від результатів Disease Odyssey.

У межах співпраці зі Standard Model Biomedicine Protege оцінювала прогнози щодо виживаності пацієнтів із раком молочної залози та легень, а також часу до наступного лікування. За даними компанії, спеціалізована модель показала результати на рівні провідних систем, а вартість кожного прогнозу була в 36–170 разів нижчою.

В окремому оцінюванні моделі HealthSAW від Xlue AI розглядали майбутні ризики, пов’язані з раком, серцево-судинними та неврологічними захворюваннями. За словами Protege, HealthSAW перевершила провідні моделі у 14 із 16 тестів, а її вартість на пацієнта становила менш ніж 0,1% від їхньої.

Це порівняння в межах конкретних завдань, про які повідомляє Protege, а не доказ того, що одна модель найкраща для будь-яких клінічних умов. В оголошенні не наведено повної методики розрахунку вартості. Нижча вартість прогнозування може зробити практичнішими повторні скринінгові обстеження або аналіз даних у великому масштабі, однак витрати на впровадження також залежать від інтеграції, нагляду та роботи, спричиненої помилковими результатами.

Оцінювання має встигати за оновленнями моделей

Основний бізнес Protege також передбачає постачання даних для розроблення ШІ, тому розмежування даних для розроблення та оцінювання є важливою частиною її підходу. У своїх матеріалах компанія наголошує на походженні даних, контрольованому доступі й оновленні клінічних випадків пацієнтів як способах зберегти користь тестування з часом.

Компанія планує розширити оцінювання на такі сфери, як патологія, дерматологія, онкологія та адміністративні робочі процеси. Її мета — створити відтворюваний процес, який можна запускати знову в міру зміни моделей, замість того щоб назавжди закріплювати за продуктом один-єдиний бал.

Це корисно і покупцям, і розробникам. Лікарні потрібно знати, чи й далі оновлена модель ефективно працює з її пацієнтами та в її робочих процесах. Розробнику потрібен не лише середній бал: він має розуміти, на яких випадках система дає збій і чи не призводить поліпшення в одній сфері до слабких місць в інших.

Незалежне тестування може зробити такі обговорення предметнішими, однак результати ретроспективних тестів не тотожні підтвердженій користі в клінічній практиці. Важливими складниками доказової бази залишаються проспективні дослідження, результати для різних груп пацієнтів, частота хибнопозитивних і хибнонегативних результатів, а також вплив на робоче навантаження клініцистів.

Запуск Protege ставить перед компаніями, що працюють у сфері ШІ для охорони здоров’я, гостріше запитання: як система працює з незнайомими випадками, коли тестування проводить хтось інший? Цінність нової послуги залежатиме від того, наскільки чітко її методи й результати допоможуть організаціям відповісти на це запитання — і наскільки послідовно тести виявлятимуть проблеми, які залишаються непомітними під час відшліфованих демонстрацій.