Protege запускает независимые испытания медицинского ИИ на фоне выявленных Disease Odyssey пробелов в диагностике

Protege запускает независимую оценку ИИ в здравоохранении, проверяя модели на клинических случаях, с которыми они прежде не сталкивались. Первый тест компании, Disease Odyssey, наглядно показывает, почему это важно: по данным компании, ведущие модели выявляли такие заболевания, как апноэ во сне и анемия, лишь в 53%–69% случаев при анализе историй болезни пациентов.

Запуск состоялся 21 октября; в рамках проекта также представлены оценки моделей Xlue AI и Standard Model Biomedicine. В совокупности результаты позволяют ответить на два важных для больниц и разработчиков вопроса: способна ли модель извлекать полезные клинические сигналы из реальных медицинских записей и сколько стоит получить такие прогнозы.

Protege предлагает перенести большую часть такой оценки за пределы организаций, разрабатывающих модели. Компания разрабатывает и проводит испытания, а также оценивает их результаты, используя защищенные с точки зрения конфиденциальности медицинские записи пациентов и ответы, проверенные врачами. Это позволяет разработчикам выявлять слабые места до того, как они начнут делать более широкие заявления о производительности.

Чем такая проверка отличается от ответов на вопросы медицинского экзамена

Медицинский вопрос, в котором диагноз сформулирован четко, — это не то же самое, что история болезни пациента, собранная за несколько визитов. Симптомы развиваются со временем, медицинские записи могут быть неполными, а решающая подсказка может затеряться среди менее значимой информации. Disease Odyssey оценивает, насколько хорошо модели распознают заболевание до постановки диагноза, опираясь на такие истории болезни, охватывающие длительный период.

Указанный диапазон 53%–69% относится к проверенным случаям и заболеваниям, а не ко всему ИИ в здравоохранении. В объявлении Protege недостаточно сведений о размерах выборок, конкретных моделях для сравнения и неопределенности результатов, чтобы делать более широкие выводы о рейтинге. Однако оно показывает, что в рамках первого теста компании остается значительный потенциал для улучшения.

«ИИ в здравоохранении развивается стремительно, но методы его оценки не успевают за этим прогрессом», — заявил в объявлении соучредитель и генеральный директор Protege Бобби Сэмюэлс.

Как Protege отделяет тестирование от разработки

Protege называет свой процесс двойным слепым методом: разработчики моделей заранее не видят данные пациентов и вопросы, а Protege оценивает системы, не зная, как они были созданы. В данном случае этот термин описывает порядок проведения оценки, а не рандомизированное клиническое исследование.

Важно не использовать тестовые материалы при разработке, поскольку знакомство с вопросами теста может искусственно повысить видимые результаты. Модель, уже встречавшая ответ во время обучения, может казаться способнее, чем она есть на самом деле, когда сталкивается с действительно новым случаем.

платформа для оценки ИИ в здравоохранении компании предусматривает несколько практических механизмов контроля. По описанию компании, она использует защищенные тестовые случаи, не включенные в обучающие данные, задания и систему оценивания с контролем версий, а также анализирует закономерности ошибок и группы населения, которых они затрагивают. Контроль версий позволяет содержательнее сравнивать выпуски моделей: более высокий балл легче интерпретировать, если задание и правила оценивания незаметно не изменились.

Платформа использует связанные между собой данные, включая электронные медицинские карты, клинические записи, снимки, патоморфологические данные, сведения по страховым случаям и информацию об исходах лечения. Ее Data Lab преобразует клинические вопросы в задания для оценки и эталонные ответы. Такое сочетание призвано проверить, как модели используют клинический контекст, а не только то, способны ли они воспроизводить отдельные медицинские факты.

Специализированные модели конкурируют по производительности и стоимости

В сопутствующих оценках рассматриваются разные задачи, поэтому их результаты следует анализировать отдельно от результатов Disease Odyssey.

В рамках работы с Standard Model Biomedicine Protege оценивала прогнозы выживаемости при раке молочной железы и раке легкого, а также срок до следующего лечения пациента. По данным компании, специализированная модель показала результаты на уровне ведущих систем, при этом каждый прогноз обходился в 36–170 раз дешевле.

В отдельной оценке модели HealthSAW компании Xlue AI рассматривались будущие риски, связанные с онкологическими, сердечно-сосудистыми и неврологическими заболеваниями. По словам Protege, HealthSAW превзошла ведущие модели в 14 из 16 тестов, а ее стоимость на одного пациента составила менее 0,1% от их стоимости.

Это результаты сравнений для конкретных задач, представленные Protege, а не доказательство того, что одна модель лучше всех в любой клинической ситуации. В объявлении не приводится полная методика расчета стоимости. Снижение затрат на прогнозирование может сделать более практичными повторный скрининг или анализ больших массивов данных, однако стоимость внедрения также зависит от интеграции, контроля и последствий ошибок.

Оценка должна поспевать за обновлениями моделей

Основное направление бизнеса Protege — предоставление данных для разработки ИИ, поэтому разделение данных для разработки и оценки является важной частью подхода компании. В своих материалах она подчеркивает важность происхождения данных, контролируемого доступа и обновления клинических случаев пациентов для сохранения актуальности тестирования с течением времени.

Компания планирует расширить оценки на такие области, как патоморфология, дерматология, онкология и административные процессы. Ее цель — создать воспроизводимую процедуру, которую можно повторять по мере изменения моделей, а не присваивать продукту единственный балл, который останется неизменным навсегда.

Это полезно и заказчикам, и разработчикам. Больнице важно знать, продолжает ли обновлённая модель хорошо работать с её пациентами и в её рабочих процессах. Разработчику недостаточно среднего балла: ему нужно понимать, на каких случаях модель даёт сбои и не приводит ли улучшение в одной области к слабым местам в других.

Независимое тестирование может сделать такие обсуждения предметнее, однако результаты ретроспективного тестирования по бенчмарку — не то же самое, что доказанная польза в клинической практике. Важными составляющими доказательной базы остаются проспективные исследования, результаты для разных групп пациентов, частота ложноположительных и ложноотрицательных результатов, а также влияние на рабочую нагрузку клиницистов.

Запуск сервиса Protege ставит перед компаниями в сфере ИИ для здравоохранения более острый вопрос: как система работает со случаями, с которыми раньше не сталкивалась, и когда тестирование проводит независимая сторона? Ценность нового сервиса будет зависеть от того, насколько его методы и результаты помогут организациям ясно ответить на этот вопрос и насколько последовательно тесты будут выявлять проблемы, которые остаются незаметными во время тщательно подготовленных демонстраций.