Десятилітні анонімізовані медичні дані можуть викликати помилкові діагнози ШІ вже зараз

Згідно з новим дослідницьким співробітництвом між Німеччиною та Великою Британією, анонімізовані записи пацієнтів, включені до медичних наборів даних ще десятиліття тому, можуть змусити системи ШІ, навчені на них, розпізнавати справжні характеристики пацієнта через роки — і лікувати пацієнта 2026 року так, ніби це був 2012 рік (або будь‑який інший рік, коли їх анонімізовані дані вперше потрапили до набору).

Це може означати, наприклад, що пацієнт, у якого 20 років тому було зафіксовано лікування раку, а потім він перейшов у довготривалу ремісію, тепер може бути оброблений системою ШІ у контексті його старшого, хворого на рак стану — логічно навіть підвищуючи ймовірність хибної діагностики рецидиву.

Навпаки, якщо 2012‑річна версія даних цього пацієнта відображала ідеальне здоров’я під час рутинних оглядів, ця оптимістична перспектива може бути накладена на старішу, поточну версію пацієнта, приховуючи виявлення нових станів чи проблем, які потребують лікування.

З нового дослідження – ілюстрація того, як упередженість до запам’ятовування може впливати на поверненого пацієнта. Модель, навчена на ранніх здорових ЕКГ Аліси, присвоює лише 15 % ймовірності її подальшому інфаркту, у порівнянні з 73 % для моделі, яка ніколи не бачила її історичні записи. Джерело

Обмеження ‘Імміграція даних’

Сценарій стає більш імовірним через різні національні та регіональні директиви, які рекомендують, щоб дані пацієнтів для таких цілей, по можливості, бралися з тієї країни, у якій передбачається використання систем, що їх створюють, що «локалізує» пул пацієнтів у наборах даних і суттєво підвищує ймовірність такого типу непоміченого деанонімізування.

За висновком, обмеження обсягу даних лише національним набором збільшує ймовірність запам’ятовування — можливості, коли модель під час навчання бачить ті самі дані стільки разів, що вона «западає» у ці надмірно вивчені патерни. Навпаки, чим більший і різноманітніший набір даних, тим більш ймовірно, що він узагальнюватиме нові, невидимі дані після навчання, замість запам’ятовування конкретних точок даних чи конфігурацій.

Проте додавання «іноземних» медичних даних ризикує внести докази національних тенденцій здоров’я та ідіосинкразій, які не будуть застосовні в країні, де розгортається навчена модель; у цьому контексті, як визнає нове дослідження, певна кількість запам’ятовування є доречною та корисною, оскільки вона допомагає моделі працювати в межах найймовірніших загальних медичних характеристик певного населення.

У статті зазначено*:

‘[When] моделі розгортаються перспективно, запам’ятовування створює специфічний і недооцінений ризик. Оскільки записи пацієнта надзвичайно схожі протягом часу, майбутній запис може слугувати частковим підказкою для запам’ятованого історичного запису, зсуваючи прогнози моделі у бік попереднього стану здоров’я пацієнта.’

Це не гіпотетичний сценарій. Медичні моделі ШІ регулярно розгортаються на тій же популяції, з якої були отримані їхні навчальні дані.

‘Наприклад, національна програма скринінгу раку молочної залози Німеччини використовує модель ШІ, навчена на 1,2 мільйона мамографій, отриманих від тієї ж популяції скринінгу, яку вона зараз обслуговує.

‘Подібне розгортання триває в інших країнах, включаючи національні програми скринінгу раку молочної залози у Великій Британії та Швеції.

‘Регуляторні рекомендації активно заохочують це, з EU AI Act що вимагає, щоб навчальні дані відображали географічний та контекстуальний середовище передбачуваного використання (Art. 10(4)), і подібні міжнародні рекомендації для розробки медичних ШІ, які закликають до достатнього представлення цільової популяції пацієнтів у навчальному наборі даних моделі.’

Тривала історична катастрофа..?

Хоча стаття не розглядає це питання, статистично логічно, що пацієнти, які (або раніше) не регулярно проходять медичні огляди протягом життя, і чиї анонімізовані записи періодично потрапляли у потік даних ШІ, ймовірно, з’являються в анонімізованих даних пацієнтів майже виключно в моменти, коли вони потребували лікування — що, ймовірно, підвищує шанс «проекції» довго вилікуваного стану на того ж пацієнта зараз, оскільки записи не мають протилежного «гарного здоров’я».

Це підтверджується попередніми дослідженнями щодо ‘informed presence bias’ в електронних медичних записах, які виявляють, що медичні набори даних непропорційно представляють періоди, коли пацієнти хворі та взаємодіють із медичними службами.

Одне дослідження виявило, що тяжко хворі пацієнти мали 5.05 рази більше днів з лабораторними даними та 6.85 рази більше днів з призначеннями медикаментів, ніж найздоровіші пацієнти.

У 2022 році близько 76% дорослих у США заявили, що пройшли плановий медичний огляд протягом попереднього року, який CDC визначає як загальний фізичний огляд, а не лікування конкретного захворювання; а в Європі багатокраїзне опитування 2023 року виявило, що 58% відвідали принаймні деякі профілактичні огляди, проте лише 15% відвідали всі профілактичні прийоми, які вважалися для них релевантними.

Масштаб ефекту

Дослідження протестувало ефект на чотирьох великих медичних наборах даних, що охоплювали ЕКГ‑записи, рентген грудної клітки та електронні медичні записи; а саме, базу даних рентгенографій грудної клітки MIMIC-CXR та екстрені медичні записи MIMIC-IV-ED, разом із MIMIC-ECG та значно більшою колекцією ЕКГ HEEDB. Розмір наборів даних коливався від десятків тисяч пацієнтів до понад 1.8 мільйона осіб.

Автори зазначають, що обчислений ефект значно варіює, причому зміни передбачуваної ймовірності в деяких випадках перевищують 70 процентних пунктів:

Результати, що демонструють, як історичні дані пацієнта змінюють подальші прогнози. Верхні панелі порівнюють частоту та масштаб цих змін у чотирьох наборах даних; нижні панелі показують, як ефект змінюється з часом від останнього навчального запису пацієнта. Значні ефекти стають менш поширеними з часом, проте залишаються виявленими навіть через десятиліття.

Як контроль, дослідники випадковим чином розподілили моделі на групи та повторили порівняння, хоча це не призвело до значних змін у майбутніх прогнозах.

Ефект, зазначає стаття, може також зберігатися протягом десятиліть. Хоча зазвичай він став слабшим і менш поширеним зі збільшенням інтервалу між записами, набір даних HEEDB, який містить ЕКГ, зібрані з 1980‑х до 2025 року, продемонстрував значні зміни у прогнозах понад 25 років після останнього навчального запису пацієнта.

Шкода діагностики

Дослідники нової статті – під назвою Memorisation bias in medical AI – далі змоделювали, як запам’ятовування може вплинути на точність діагностики, коли пацієнти пізніше стикаються з моделлю, навченою на їхніх ранніх записах.

Майбутні випадки були розподілені за тим, чи розвинула у пацієнта нову хворобу; чи її не було в їхніх історичних навчальних даних; або чи пацієнт повернувся з практично тим же станом здоров’я.

Для нових захворювань ефект виявився послідовно негативним: моделі, які раніше мали доступ до історичних записів пацієнта, демонстрували нижчу чутливість у широкому спектрі діагнозів, представлених у чотирьох наборах даних. Це включало інфаркти та інші аномалії ЕКГ; захворювання легень; та більш широкі критичні результати.

На практиці моделі генерували більше хибних негативних результатів, коли стан здоров’я пацієнта змінився; проте коли стан здоров’я пацієнта не змінився, пам’ять моделі про їхні ранні записи підвищувала ймовірність правильного діагнозу. І чутливість, і специфічність зросли, оскільки поточний стан пацієнта подібний до стану, вже представленного у навчальних даних.

Автори зазначають, що це може ускладнити точну оцінку таких систем: якщо більшість повернених пацієнтів все ще мають ті ж захворювання, модель працюватиме краще для них, потенційно приховуючи її нижчу чутливість до пацієнтів, у яких розвинулися нові захворювання.

Заходи

Як можливий захист, дослідники протестували диференціальну приватність (яка обмежує, скільки інформації про будь-який окремий навчальний приклад може зберігатися в моделі) під час навчання.

Хоча захист окремих записів зменшив ефект запам’ятовування, він не усунув його, навіть при найсильнішому випробуваному налаштуванні. Застосування захисту на рівні пацієнта, охоплюючи всі записи, що належать одній особі, було значно ефективнішим і майже усунуло ефект.

Проте слід зазначити, що якщо набір даних був безповоротно анонімізований, дані пацієнта не можна ізольовано захистити таким чином, щоб дозволити такі методи; і, зазначають дослідники, якщо набір даних не навчений з увімкненою диференціальною приватністю, атаки виведення членства становляться ризиком; якщо ж вона використовується, ресурси, необхідні для навчання, значно зростають.

Висновок

Автори завершують, зазначаючи, що хоча турбуючі випадки наразі трапляються відносно рідко, це може змінитися в майбутньому*:

‘Є підстави очікувати, що кількість пропущених діагнозів, пов’язаних з упередженістю пам’яті, зростатиме в майбутньому, хоча ми цього безпосередньо не тестуємо. Попередні дослідження показали, що частка навчальних даних, яку модель запам’ятовує, збільшується зі збільшенням потужності моделі [6, 7, 9, 10, 40].

‘Це викликає занепокоєння, оскільки поточний розвиток AI‑моделей керується «законами масштабування» [41], які стимулюють швидке зростання як розмірів моделей, так і наборів даних задля підвищення продуктивності.

‘У міру того, як більші AI‑моделі навчаються на історичних даних, отриманих з дедалі більших популяцій пацієнтів, абсолютна кількість осіб, на яких впливає упередженість пам’яті, ймовірно, різко зросте, посилюючи ризики, які ми тут виявляємо.’

* Моє перетворення вбудованих посилань авторів у гіперпосилання, з певною інтерпретацією там, де точна реплікація неможлива або не корисна.

Вперше опубліковано у п’ятницю, 18 вересня 2026