Google опублікувала багатометодну систему оцінювання ШІ в охороні здоров’я

Google оголосила про публікацію документа з описом методики 4 листопада 2026 року, у якому викладено, як компанія оцінює генеративний ШІ загального призначення в охороні здоров’я. Система поєднує тести із закритими запитаннями, автоматизованих оцінювачів на основі ШІ та експертну перевірку людьми, щоб визначати точність, безпеку й корисність у типових сценаріях і ситуаціях високого ризику.

Авторка, докторка Сара Монтгомері-Тейлор, очолює напрям клінічного оцінювання в Google for Health; докторки Елізабет Макґлінн і Дана Ґелб Сафран долучилися до цієї роботи. Google повідомляє, що розробила цей підхід і продовжує використовувати його, щоб оцінювати, чи надають її моделі корисні й точні відповіді, які сприяють безпечній взаємодії у сфері охорони здоров’я. Публікація методики має сприяти прозорості й допомогти розробникам, дослідникам і клініцистам створювати інструменти, яким люди можуть довіряти.

Узгодження оцінювання з реальною клінічною практикою

Автори стверджують, що методи оцінювання, розроблені для окремих завдань, не забезпечують належної оцінки моделей загального призначення. Для прикладу вони наводять модель ШІ, створену до появи генеративного ШІ: вона може виявити рак легень на комп’ютерній томограмі, але не здатна виявити рак молочної залози на мамограмі чи підсумувати розмову у вигляді нотатки. Коли одна модель може виконувати сотні, тисячі або й більше завдань, розробникам і організаціям у сфері охорони здоров’я потрібен спосіб визначати пріоритетність взаємодій і ризиків.

Перш ніж обирати тестові випадки, фахівці з оцінювання визначають критичний шлях користувача: хто користується системою, чого ця людина хоче досягти та які кроки для цього потрібні. Користувачами можуть бути пацієнти, члени їхніх родин, клініцисти або адміністратори. Таке визначення шляху допомагає сформувати репрезентативні тестові дані й метрики. Воно також охоплює передбачене використання та поширені способи неналежного використання, зокрема покладання на систему поза межами її затверджених показань і спроби обійти фільтри безпеки.

Потім кожне застосування оцінюють за трьома напрямами. Точність охоплює відповідність медичному консенсусу, доказову обґрунтованість, фактичну точність, клінічне міркування та доречність у контексті; для таких завдань, як підсумовування медичної інформації, також оцінюють обґрунтованість відповіді джерелами. Під час оцінювання безпеки зважають не лише на правильність тверджень, а й на шкоду, яка може настати, якщо людина витлумачить відповідь і діятиме відповідно до неї або не вживатиме потрібних заходів. Оцінювання враховує як тяжкість, так і ймовірність такої шкоди. Корисність визначають за рівнем медичної грамотності, доречністю, повнотою відповіді та тим, чи може людина діяти на її основі. Отже, відповідь може бути точною, але небезпечною або точною й безпечною, проте надто складною чи непридатною до практичного застосування, щоб допомогти користувачеві.

Приклади в статті показують, як основний ризик залежить від завдання. Якщо споживач перевіряє симптоми, головне занепокоєння щодо безпеки полягає в тому, що система може не вказати на тривожні симптоми, які потребують невідкладної допомоги; надмірно тривожна відповідь натомість може спричинити непотрібне занепокоєння, а нечіткі рекомендації щодо самооцінювання стану — завадити зробити належні подальші кроки. У створеному ШІ виписному епікризі для клініциста галюцинації, пропуски й фактичні помилки загрожують точності, невраховані алергії чи протипоказані ліки створюють небезпеку для безпеки пацієнта, а заплутане форматування або непослідовна хронологія можуть знизити корисність документа.

Поєднання автоматизованого масштабного оцінювання з людським судженням

Перший метод оцінювання спирається на тести з однозначними відповідями, наприклад запитання з кількома варіантами відповіді, що дає змогу порівняно недорого перевіряти базові знання у великому обсязі. Статичні тести не відтворюють складності й репрезентативності реальних взаємодій. Ще одне обмеження — забруднення даних: якщо тестові запитання трапляються в навчальних даних, результати можуть свідчити про підготовку до тесту, а не про здатність до узагальненого медичного міркування. Тому ця система використовує такі тести для визначення базового рівня та орієнтирів для подальшого оцінювання; для перевірки ефективності в реальних умовах потрібні додаткові методи.

Другий метод передбачає передавання оцінювання іншій системі ШІ. Ці автоматизовані оцінювачі застосовують письмові критерії до розгорнутих відповідей, тож можна перевірити значно більше сценаріїв, ніж спроможні оцінити експерти. Вони можуть аналізувати змодельовані багатокрокові розмови, у яких користувачі спочатку не повідомляють клінічних подробиць, і перевіряти, чи ставить модель уточнювальні запитання, перш ніж надавати рекомендації. Однак автоматизовані оцінювачі все одно потрібно перевіряти за еталонними даними, підготовленими експертами, адже вони можуть заохочувати багатослівність, віддавати перевагу відповідям моделей із власної родини й відтворювати похибки та шум у людських анотаціях.

Потім клініцисти та інші фахівці з відповідних галузей розглядають випадки, для яких автоматизовані критерії оцінювання найменш ефективні, зокрема складні клінічні картини, нестандартні ситуації та теми з обмеженим клінічним консенсусом. Вони також оцінюють, чи відповідає результат місцевим клінічним нормам і потребам різних груп пацієнтів. Окремо проводять тестування безпеки методом red teaming, перевіряючи межі захисту за допомогою таких прийомів, як емоційні благання, вигадані обставини або видавання себе за медичного працівника, щоб спонукати систему згенерувати відповідь за межами передбаченого призначення продукту. Людська перевірка також не безпомилкова: автори зазначають, що оцінки двох лікарів під час одного й того самого завдання можуть різнитися на 30–40% або й більше, тому потрібні заходи для контролю розбіжностей між оцінювачами та належний аналіз.

Моніторинг триває й після впровадження

Оцінювання починається ще до появи продукту: перевіряють загальні можливості й безпеку базової моделі. Коли модель інтегрують у застосунок, оцінювання адаптують до користувачів і робочих процесів саме цього продукту. Перед випуском контрольоване впровадження може охоплювати непомітні тіньові випробування, клінічні пілотні проєкти або поетапний запуск; перед ширшою доступністю також проводять оцінювання людського чинника та зручності використання.

Клінічні команди та команди розробників мають спільно визначати порогові значення для успішного проходження оцінювання й вагомість критеріїв на кожному етапі ухвалення рішень щодо продукту, керуючись клінічним профілем ризику застосунку, а не універсальними чи довільними числовими межами. Після розгортання розробники відстежують алгоритмічний дрейф і стабільність системи. Організації, що впроваджують ці рішення, контролюють безпеку клінічних робочих процесів у професійних інструментах, а для споживчих продуктів — безпеку користувачів і моделі використання.

Автори зазначають, що реактивних сигналів, як-от скарг користувачів і сигнальних подій, недостатньо для моніторингу після розгортання, якщо покладатися лише на них. Тестові набори відрізняються від реальних взаємодій, а з набуттям досвіду користувачі змінюють свої запити й очікування. Результати моніторингу мають враховуватися під час перегляду вимог, навчання та подальших пріоритетів оцінювання. Довгостроковий моніторинг взаємодій і наслідків для здоров’я ускладнюють ізольовані сховища даних, а також перешкоди, пов’язані з конфіденційністю, технічними й організаційними чинниками. У статті також визначено спільну відповідальність розробників і систем охорони здоров’я, витрати на впровадження, незалежну валідацію та науковий консенсус як питання управління, які ще належить опрацювати.

Для розробників і систем охорони здоров’я ця рамкова модель змінює саму постановку питання: замість того, чи пройшла модель статичне тестування за контрольними показниками, слід з’ясувати, чи можна підтвердити її точність, безпеку й корисність на всіх етапах розроблення та розгортання. Головний виклик — практичний: пов’язати моніторинг із підзвітністю, водночас визначивши відповідальних, забезпечивши фінансування цієї роботи та незалежно перевіривши результати на рівні різних організацій і меж доступу до даних.