Десятилетние анонимные медицинские данные могут сейчас вызывать ошибочные диагнозы ИИ

Согласно новому исследовательскому сотрудничеству между Германией и Великобританией, анонимные записи пациентов, включённые в медицинские наборы данных ещё десятилетия назад, могут заставить ИИ‑системы, обученные на них, распознавать реальные характеристики пациента спустя годы — и относиться к пациенту 2026 года так, как будто сейчас 2012 год (или любой другой год, когда их анонимные данные впервые попали в набор/ы).

Это может означать, например, что пациент, у которого 20 лет назад была зафиксирована онкологическая терапия и который впоследствии перешёл в длительную ремиссию, теперь может рассматриваться ИИ‑системой в контексте их более старой, поражённой раком версии — что логически даже повышает вероятность ошибочного диагноза рецидива.

И наоборот, если версия данных этого пациента 2012 года отражала идеальное здоровье при обычных осмотрах, такой оптимистичный взгляд может быть наложен на более старую, текущую версию пациента, скрывая выявление новых состояний или проблем, требующих лечения.

Из новой статьи — пример того, как смещение запоминания может влиять на возвращающегося пациента. Модель, обученная на ранних здоровых ЭКГ Элис, назначает лишь 15 % вероятность её последующего сердечного приступа, по сравнению с 73 % для модели, которая никогда не видела её исторические записи. Источник

Сдерживание «иммиграции данных»

Сценарий становится более вероятным из‑за различных национальных и региональных директив, рекомендующих, чтобы данные пациентов для таких целей по возможности брались из страны, в которой предполагается использовать системы, основанные на этих данных, что «локализует» пул пациентов в наборах данных и заметно повышает вероятность такого незамеченного события деанонимизации.

По выводу, ограничение объёма доступных данных только национальным набором повышает вероятность запоминания — возможности того, что модель будет видеть одни и те же данные столь часто в процессе обучения, что она «зафиксируется» на этих переобученных шаблонах. Наоборот, чем больше и разнообразнее набор данных, тем выше вероятность того, что он будет обобщать на невидимые данные после обучения, вместо запоминания конкретных точек данных или конфигураций.

Тем не менее, добавление «иностранных» медицинских данных может привести к включению сведений о национальных тенденциях здоровья и особенностях, которые не применимы в стране, где развертывается обученная модель; в этом отношении, как признаёт новая статья, определённый уровень запоминания уместен и полезен, поскольку помогает модели работать в рамках наиболее вероятных общих медицинских характеристик конкретной популяции.

В статье указано*:

‘[When] модели развертываются проспективно, запоминание создаёт специфический и недооценённый риск. Поскольку записи пациента сильно самоподобны во времени, будущая запись может служить частичным сигналом к запомненной исторической записи, смещая предсказания модели в сторону предыдущего состояния здоровья пациента.

Это не гипотетический сценарий. Медицинские модели ИИ регулярно развертываются на той же популяции, из которой были получены их обучающие данные.

‘Например, национальная программа скрининга рака молочной железы в Германии программа использует модель ИИ, обученную на 1,2 млн маммограмм, полученных из той же популяции скрининга, которой она сейчас обслуживает.

‘Сравнительное развертывание ведётся и в других странах, включая национальные программы скрининга рака молочной железы в Соединённом Королевстве и Швеции.

‘Регулятивные рекомендации активно поощряют это, при этом EU AI Act требует, чтобы обучающие данные отражали географический и контекстуальный контекст предполагаемого использования (ст. 10(4)), а подобные международные руководства по разработке медицинского ИИ требуют, чтобы целевая популяция пациентов была достаточным образом представлена в обучающем наборе модели.’

Постоянная историческая катастрофа..?

Хотя статья не рассматривает этот вопрос, статистически логично, что пациенты, которые (или не) регулярно посещали медицинские осмотры в течение своей жизни, и чьи анонимные записи периодически попадали в поток данных ИИ, скорее всего появляются в анонимных данных пациентов почти исключительно в те моменты, когда им требовалось лечение — что, вероятно, повышает шанс «переноса» давно излеченного состояния на того же пациента сейчас, поскольку записи не содержат «баланса» хорошего здоровья.

предыдущие исследования в области ‘смещение информированного присутствия’ в электронных медицинских записях показывают, что медицинские наборы данных непропорционально представляют периоды, когда пациенты больны и взаимодействуют с системой здравоохранения.

Одно исследование обнаружило, что у тяжело больных пациентов было в 5,05 раза больше дней с лабораторными данными и в 6,85 раза больше дней с назначениями лекарств, чем у самых здоровых пациентов.

В 2022 году около 76 % взрослых в США сообщали, что проходили плановый осмотр в течение предыдущего года, определяемый CDC как общий физический осмотр, а не лечение конкретного заболевания; а в Европе в 2023 году в многостраничном опросе выявили, что 58 % проходили хотя бы один профилактический осмотр, но только 15 % посещали все профилактические приёмы, считающиеся для них релевантными.

Степень воздействия

Исследование проверило эффект на четырёх крупных медицинских наборах данных, включающих ЭКГ‑записи, рентген грудной клетки и электронные медицинские карты; а именно, базу рентгеновских снимков грудной клетки MIMIC-CXR и записи неотложной помощи MIMIC-IV-ED, а также MIMIC-ECG и гораздо более крупную коллекцию ЭКГ HEEDB. Размер наборов варьировался от десятков тысяч пациентов до более чем 1,8 млн человек.

Авторы отмечают, что рассчитанный эффект значительно варьируется, при этом изменения предсказанной вероятности превышают 70 процентных пунктов в некоторых случаях:

Результаты, показывающие, как исторические данные пациента меняют последующие предсказания. Верхние панели сравнивают частоту и величину этих изменений в четырёх наборах данных; нижние панели показывают, как эффект меняется со временем с момента последней обучающей записи пациента. Значительные эффекты становятся реже со временем, но остаются обнаружимыми спустя десятилетия.

В качестве контроля исследователи случайным образом разделили модели на группы и повторили сравнение, однако это не привело к значительным изменениям в будущих предсказаниях.

Эффект, как отмечается в статье, может сохраняться десятилетиями. Хотя он, как правило, ослабевал и становился реже по мере увеличения интервала между записями, набор данных HEEDB, содержащий ЭКГ, собранные с 1980‑х по 2025 год, показал значительные изменения в предсказаниях более чем через 25 лет после последней обучающей записи пациента.

Диагностический вред

Исследователи новой статьи — под названием Memorisation bias in medical AI — затем смоделировали, как запоминание может влиять на точность диагностики, когда пациенты позже сталкиваются с моделью, обученной на их ранних записях.

Будущие случаи были разделены в зависимости от того, развилось ли у пациента новое заболевание, отсутствующее в их исторических обучающих данных, или же они возвращались с практически тем же состоянием здоровья.

Для новых состояний эффект оказался последовательно отрицательным: модели, ранее видевшие исторические записи пациента, демонстрировали более низкую чувствительность по ряду диагнозов, представленных в четырёх наборах данных. Это включало инфаркты и другие аномалии ЭКГ, заболевания лёгких и более широкие критические исходы.

На практике модели генерировали больше ложных отрицательных результатов, когда состояние здоровья пациента изменилось; но когда состояние пациента не изменилось, память модели о их ранних записях повышала вероятность правильного диагноза. И чувствительность, и специфичность увеличивались, поскольку текущее состояние пациента напоминало состояние, уже представленное в обучающих данных.

Авторы отмечают, что это может затруднить точную оценку таких систем: если у большинства возвращающихся пациентов сохраняются те же заболевания, модель будет показывать лучшую работу на них, потенциально скрывая её более низкую чувствительность к пациентам, у которых развились новые заболевания.

Средства исправления

В качестве возможной защиты исследователи протестировали дифференциальную приватность (которая ограничивает, сколько информации о любой отдельной обучающей записи может сохраняться в модели) во время обучения.

Хотя защита отдельных записей уменьшила эффект запоминания, она не устранила его даже при самом сильном тестируемом параметре. Применение защиты на уровне пациента, охватывающей все записи одного человека, было гораздо эффективнее и почти полностью устранило эффект.

Следует отметить, однако, что если набор данных был безвозвратно анонимизирован, данные пациента нельзя изолировать таким образом, чтобы такие методы были применимы; и, как наблюдают исследователи, если набор данных обучается без включённой дифференциальной приватности, атаки на определение членства становятся риском; если же она включена, необходимые ресурсы для обучения заметно возрастают.

Заключение

Авторы завершают, отмечая, что хотя тревожные инциденты сейчас происходят относительно редко, в будущем это может измениться*:

‘Есть основания ожидать, что число пропущенных диагнозов, обусловленных смещением запоминания, увеличится в будущем, хотя мы не проверяем это напрямую. Предыдущие исследования показали, что доля обучающих данных, которые модель запоминает, растёт с увеличением ёмкости модели [6, 7, 9, 10, 40].’

‘Это вызывает беспокойство, учитывая, что текущая разработка моделей ИИ руководствуется «законами масштабирования» [41], которые стимулируют быстрый рост как размеров моделей, так и наборов данных в стремлении к повышенной производительности.’

‘По мере обучения более крупных моделей ИИ на исторических данных, полученных из всё более крупных групп пациентов, абсолютное количество людей, затронутых смещением запоминания, вероятно, резко возрастёт, усугубляя выявленные нами здесь риски.’

* Мой перевод встроенных ссылок авторов в гиперссылки, с некоторой интерпретацией там, где точная репликация невозможна или нецелесообразна.

Первоначальная публикация: пятница, 18 сентября 2026 г. Исправлено 18:17 EET для корректировки гиперссылок.