Десятилітні анонімізовані медичні дані можуть викликати помилкові діагнози ШІ вже сьогодні

Згідно з новим дослідницьким співробітництвом між Німеччиною та Великою Британією, анонімізовані записи пацієнтів, які були включені до медичних наборів даних ще десятиліття тому, можуть змусити системи ШІ, навчені на них, розпізнавати реальні характеристики пацієнта через роки – і ставитися до пацієнта 2026 року так, ніби це був 2012 рік (або будь‑який інший рік, коли їх анонімізовані дані вперше потрапили до набору).

Це може означати, наприклад, що пацієнт, у записах якого зафіксовано лікування раку 20 років тому, а потім він перейшов у тривалу ремісію, тепер може бути оброблений системою ШІ у контексті їхньої старшої, хворобливої на рак особистості – логічно навіть підвищуючи ймовірність хибного діагнозу рецидиву.

Навпаки, якщо 2012‑й варіант даних цього пацієнта відображав ідеальне здоров’я під час рутинних оглядів, ця оптимістична перспектива могла б бути накладена на старішу, поточну версію пацієнта, приховуючи виявлення нових захворювань або проблем, які потребують лікування.

З нового документу, ілюстрація того, як упередженість запам’ятовування може впливати на повернного пацієнта. Модель, навчена на ранніх здорових ЕКГ Аліси, призначає лише 15 % ймовірності її подальшого інфаркту, у порівнянні з 73 % для моделі, яка ніколи не бачила її історичних записів. Джерело

Обмеження «імміграції даних»

Сценарій стає більш ймовірним через різні національні та регіональні директиви, які рекомендують, щоб дані пацієнтів для таких цілей, по можливості, бралися з країни, у якій планується використання систем, що їх створює, що «локалізує» пул пацієнтів у наборах даних і значно підвищує ймовірність такого типу непоміченого розанонімізування.

За висновком, обмеження обсягу даних лише національним набором збільшує ймовірність запам’ятовування – можливості, коли модель під час навчання бачить ті самі дані стільки разів, що вона «фіксується» на цих надмірно вивчених шаблонах. Навпаки, чим більший і різноманітніший набір даних, тим імовірніше, що він узагальнюватиме невидимі дані після навчання, замість запам’ятовування конкретних точок даних або конфігурацій.

Проте додавання «іноземних» медичних даних ризикує внести докази національних тенденцій здоров’я та ідіосинкразій, які не будуть застосовні в країні, де розгортається навчена модель; у цьому плані, як визнає новий документ, певна кількість запам’ятовування є доцільною та корисною, оскільки вона допомагає моделі працювати в межах найймовірніших загальних медичних характеристик конкретного населення.

У документі зазначено*:

‘[When] моделі розгортаються перспективно, запам’ятовування створює специфічний і недооцінений ризик. Оскільки записи пацієнта надзвичайно схожі самі на себе протягом часу, майбутній запис може слугувати частковим підказкою для запам’ятованого історичного запису, зміщуючи прогнози моделі у бік попереднього стану здоров’я пацієнта.

Це не гіпотетичний сценарій. Медичні моделі ШІ регулярно розгортаються на тій самій популяції, з якої були отримані їхні навчальні дані.

‘Наприклад, національна програма скринінгу раку молочної залози Німеччини програма використовує модель ШІ, навчена на 1,2 мільйона мамографій, отриманих з тієї ж популяції скринінгу, яку вона зараз обслуговує.

‘Подібне розгортання триває в інших місцях, включаючи національні програми скринінгу раку молочної залози in the United Kingdom та Sweden.

‘Регуляторні рекомендації активно підтримують це, з EU AI Act що вимагає, щоб навчальні дані відображали географічне та контекстуальне середовище запланованого використання (Art. 10(4)), та подібні міжнародні рекомендації для розробки медичних ШІ, які закликають забезпечити достатнє представлення цільової популяції пацієнтів у навчальному наборі даних моделі.’

Тривала історична катастрофа..?

Хоча документ не розглядає це питання, статистично логічно, що пацієнти, які (або раніше) не регулярно проходили медичні огляди протягом усього життя, і чиї анонімізовані записи періодично потрапляли до потоку даних ШІ, ймовірно, з’являються в анонімізованих даних пацієнтів майже виключно в моменти, коли вони потребували лікування – що, ймовірно, підвищує ймовірність «проекції» довготривало вилікуваного стану на того ж пацієнта зараз, оскільки записи не мають противаги у вигляді «гарного здоров’я».

Це підтверджується попередніми дослідженнями щодо ‘упередженість інформованої присутності’ у електронних медичних записах, які виявляють, що медичні набори даних непропорційно представляють періоди, коли пацієнти хворі та взаємодіють із системами охорони здоров’я.

Одне дослідження виявило, що тяжко хворі пацієнти мали в 5,05 рази більше днів з лабораторними даними і в 6,85 рази більше днів з призначеннями медикаментів, ніж найздоровіші пацієнти.

У 2022 році близько 76 % дорослих у США повідомили, що пройшли плановий медичний огляд протягом попереднього року, який CDC визначає як загальний фізичний огляд, а не лікування конкретного захворювання; у Європі ж 2023‑річне багатокраїнове опитування виявило, що 58 % відвідали принаймні деякі профілактичні огляди, але лише 15 % відвідали всі профілактичні візити, які вважалися для них релевантними.

Ступінь впливу

Дослідження перевіряло ефект на чотирьох великих медичних наборах даних, що включають запис електрокардіограм, рентген грудної клітки та електронні медичні записи; а саме, базу даних рентгенів MIMIC-CXR та екстрені записи MIMIC-IV-ED, а також MIMIC-ECG і значно більшу колекцію HEEDB електрокардіограм. Розмір наборів варіювався від десятків тисяч пацієнтів до понад 1,8 мільйона осіб.

Автори зазначають, що розрахований ефект значно варіюється, причому зміни передбачуваної ймовірності перевищують 70 процентних пунктів у деяких випадках:

Результати, що показують, як історичні дані пацієнта змінюють подальші прогнози. Верхні панелі порівнюють частоту та розмір цих змін у чотирьох наборах даних; нижні панелі демонструють, як ефект змінюється з часом від останнього навчального запису пацієнта. Значущі ефекти стають менш поширеними з часом, але залишаються виявленими навіть через десятиліття.

Як контроль, дослідники випадковим чином розділили моделі на групи та повторили порівняння, хоча це не призвело до значних змін у майбутніх прогнозах.

У статті зазначається, що ефект може також зберігатися протягом десятиліть. Хоча він загалом послаблювався і ставався менш поширеним зі збільшенням інтервалу між записами, набір даних HEEDB, який містить електрокардіограми, зібрані з 1980‑х до 2025 року, показав значні зміни у прогнозах понад 25 років після останнього навчального запису пацієнта.

Шкідливість діагностики

Дослідники нової статті – під назвою Memorisation bias in medical AI – далі змоделювали, як запам’ятовування може впливати на точність діагностики, коли пацієнти пізніше стикаються з моделлю, навченою на їхніх ранніх записах.

Майбутні випадки були розподілені за тим, чи розвинула пацієнт новий стан, який відсутній у його історичних навчальних даних, чи повернувся він з практично тим самим станом здоров’я.

Для нових станів ефект виявився послідовно негативним: моделі, які раніше бачили історичні записи пацієнта, демонстрували нижчу чутливість у діапазоні діагнозів, представлених у чотирьох наборах даних. Це включало інфаркти та інші аномалії ЕКГ, захворювання легень та ширші критичні результати.

На практиці моделі генерували більше хибних негативних результатів, коли стан здоров’я пацієнта змінювався; але коли стан здоров’я пацієнта не змінювався, пам’ять моделі про його ранні записи підвищувала ймовірність правильного діагнозу. І чутливість, і специфічність зростали, оскільки поточний стан пацієнта нагадував стан, вже представлений у навчальних даних.

Автори зазначають, що це може ускладнити точну оцінку таких систем: якщо більшість повертаючихся пацієнтів все ще мають ті ж стани, модель працюватиме краще на них, потенційно приховуючи її нижчу чутливість до пацієнтів, у яких розвинулися нові стани.

Заходи

Як можливий захисний механізм дослідники випробували диференціальну приватність (яка обмежує, скільки інформації про будь‑який окремий навчальний приклад може залишитися в моделі) під час навчання.

Хоча захист окремих записів зменшив ефект запам’ятовування, він не усунув його навіть при найсильнішому випробуваному налаштуванні. Захист на рівні пацієнта, що охоплює всі записи однієї особи, був значно ефективнішим і майже усунув ефект.

Слід зауважити, що якщо набір даних був безповоротно анонімізований, дані пацієнта не можна ізольовано захистити таким способом; і, як зазначають дослідники, якщо набір даних не навчений з увімкненою диференціальною приватністю, membership inference attacks становляться ризиком; якщо ж увімкнено, необхідні ресурси для навчання значно зростають.

Висновок

Автори підсумовують, що хоча наразі тривожні інциденти трапляються відносно рідко, у майбутньому це може змінитися*:

‘Є підстави очікувати, що кількість пропущених діагнозів, спричинених упередженістю запам’ятовування, збільшиться в майбутньому, хоча ми не тестували це безпосередньо. Попередні дослідження показали, що частка навчальних даних, яку модель запам’ятовує, зростає зі збільшенням потужності моделі [6, 7, 9, 10, 40].

‘Це викликає занепокоєння, оскільки поточний розвиток моделей ШІ керується «законами масштабування» [41], які стимулюють швидке зростання як розмірів моделей, так і наборів даних у пошуках покращеної продуктивності.

‘У міру того, як більші моделі ШІ навчаються на історичних даних, отриманих з дедалі більших популяцій пацієнтів, абсолютна кількість людей, на яких впливає упередженість запам’ятовування, ймовірно, різко зросте, посилюючи ризики, які ми тут ідентифікуємо.’

* Моє перетворення вбудованих посилань авторів у гіперпосилання, з певною інтерпретацією там, де точна реплікація неможлива або не корисна.

Перший раз опубліковано у п’ятницю, 18 вересня 2026 року. Виправлено о 18:17 EET для корекції гіперпосилань.