수십 년 된 익명화된 의료 데이터가 현재 AI 오진을 일으킬 수 있다

독일과 영국 간의 새로운 연구 협력에 따르면, 수십 년 전에도 의료 데이터세트에 포함된 익명화된 환자 기록이 AI 시스템이 이를 학습한 후 수년 뒤에 실제 환자의 특성을 인식하게 만들 수 있으며, 2026년 환자를 마치 2012년(또는 익명화된 환자 데이터가 처음 데이터세트에 포함된 연도)인 것처럼 치료할 수 있다.

예를 들어, 20년 전 암 치료를 받았고 이후 장기 관해 상태에 들어간 환자가 이제 AI 시스템에 의해 그들의 과거 암에 걸렸던 상태를 기준으로 치료될 수 있으며, 이는 재발에 대한 잘못된 진단 가능성을 논리적으로 높일 수 있다.

반대로, 2012년 해당 환자의 데이터가 정기 검진에서 완벽한 건강을 보여주었다면, 이러한 낙관적인 관점이 더 오래된 현재 버전에 강요되어 새로운 질환이나 치료가 필요한 문제를 감지하지 못하게 할 수 있다.

새 논문에서, 기억 편향이 재방문 환자에게 어떻게 영향을 미칠 수 있는지에 대한 예시. Alice의 이전 건강한 심전도로 학습된 모델은 그녀의 이후 심장마비에 대해 단 15%의 확률을 부여하는 반면, 그녀의 과거 기록을 전혀 보지 않은 모델은 73%를 부여한다. 출처

‘데이터 이민’ 억제

이 시나리오는 환자 데이터가 사용될 국가에서 가져와야 한다는 다양한 국가 및 지역 지침에 의해 더욱 가능성이 높아지며, 이는 데이터세트의 환자 풀을 ‘지역화’하고 이러한 탐지되지 않은 비식별화 사건이 발생할 가능성을 크게 높인다.

추론에 따르면, 데이터를 국가 데이터세트로만 제한하면 기억—모델이 학습 중 동일한 데이터를 너무 많이 보게 되어 이러한 과도 학습된 패턴에 ‘고정’되는 가능성—의 확률이 증가한다. 반대로, 데이터세트가 클수록 다양할수록 학습 후에 보지 못한 데이터에 대해 일반화할 가능성이 높아져, 특정 데이터 포인트나 구성에 대한 기억을 피한다.

하지만 ‘외국’ 의료 데이터를 추가하면 해당 국가에서 배포되는 모델에 적용되지 않을 국가별 보건 추세와 특이성을 도입할 위험이 있다; 이 점에서 새 논문이 인정하듯, 일정 수준의 기억은 적절하고 유용한데, 이는 모델이 특정 인구의 가장 가능성 높은 일반 의료 특성 내에서 작동하도록 돕기 때문이다.

논문은 다음과 같이 명시한다*:

‘[When] 모델은 사전 배치되며, 기억은 특정하고 과소평가된 위험을 만든다. 환자의 기록은 시간에 따라 매우 자기 유사성이 높기 때문에, 미래 기록이 기억된 과거 기록에 대한 부분적인 단서가 되어 모델의 예측을 환자의 이전 건강 상태로 이동시킬 수 있다.

이는 가설적인 시나리오가 아니다. 의료 AI 모델은 학습 데이터가 출처된 동일한 인구에 일상적으로 배치된다.

‘예를 들어, 독일의 국가 유방암 검진 프로그램 은 현재 서비스를 제공하는 동일한 검진 인구에서 수집된 120만 개의 유방촬영술을 기반으로 학습된 AI 모델을 사용한다.

‘유사한 배치는 다른 지역에서도 진행 중이며, 여기에는 국가 유방암 검진 프로그램 영국 및 스웨덴이 포함된다.

‘규제 지침은 이를 적극 권장하며, EU AI Act는 훈련 데이터가 의도된 사용의 지리적 및 상황적 설정을 반영하도록 요구한다(Art. 10(4)). 또한 의료 AI 개발을 위한 유사한 국제 지침은 의도된 환자 집단이 모델의 훈련 데이터세트에 충분히 대표되도록 요구한다.’

지속적인 역사적 재난..?

논문은 다루지는 않지만, 통계적으로 환자들이 평생 정기 검진을 거의 하지 않았고, 익명화된 기록이 AI 데이터 흐름에 주기적으로 들어갔을 경우, 그들은 치료가 필요할 때에 거의 전적으로 나타나는 경향이 있어, 이는 현재 같은 환자에게 오래 전 치유된 상태를 ‘투사’할 가능성을 높인다, 왜냐하면 기록에 ‘건강한’ 균형이 없기 때문이다.

이는 이전 연구가 전자 건강 기록에서 ‘정보 기반 존재 편향’을 조사한 결과와 일치하며, 의료 데이터세트가 환자가 아프고 의료 서비스를 이용하는 기간을 과도하게 대표한다는 것을 발견했다.

한 연구는 심각하게 아픈 환자들이 가장 건강한 환자에 비해 실험실 데이터가 있는 날이 5.05배, 약물 처방이 있는 날이 6.85배 더 많다는 것을 발견했다.

2022년에 미국 성인의 약 76%가 보고했다 지난 1년 내에 정기 검진을 받았다고, 이는 CDC가 특정 질환 치료가 아니라 일반 신체 검진으로 정의한 것이다; 그리고 유럽에서는 2023년 다국가 설문조사에서 발견했다 58%가 최소한 일부 예방 검진에 참석했으며, 그러나 단지 15%만이 자신에게 관련된 모든 예방 예약에 참석했다.

효과의 정도

이 연구는 ECG 기록, 흉부 X선, 전자 건강 기록을 포함하는 네 개의 대형 의료 데이터셋에서 효과를 테스트했다; 구체적으로 MIMIC-CXR 흉부 X선 데이터베이스와 MIMIC-IV-ED 응급 진료 기록, 그리고 MIMIC-ECG와 훨씬 더 큰 HEEDB ECG 컬렉션을 포함한다. 데이터셋 규모는 수만 명의 환자부터 180만 명이 넘는 사람까지 다양했다.

저자들은 계산된 효과가 상당히 다양하며, 경우에 따라 예측 확률 변화가 70 퍼센트 포인트를 초과한다는 점을 언급한다:

역사적 환자 데이터가 이후 예측을 어떻게 변화시키는지를 보여주는 결과. 상단 패널은 네 개 데이터셋 전반에 걸친 이러한 변화의 빈도와 규모를 비교하고; 하단 패널은 환자의 마지막 훈련 기록 이후 경과된 시간에 따라 효과가 어떻게 변하는지를 보여준다. 유의미한 효과는 시간이 지남에 따라 덜 흔해지지만 수십 년 후에도 감지될 수 있다.

대조군으로 연구자들은 모델을 무작위로 그룹화하고 비교를 반복했지만, 이는 향후 예측에 유의미한 변화를 일으키지 않았다.

논문에서 언급한 바와 같이, 이 효과는 수십 년 동안 지속될 수도 있다. 일반적으로 기록 간 간격이 늘어날수록 약해지고 덜 흔해지지만, 1980년대부터 2025년까지 수집된 ECG를 포함하는 HEEDB 데이터셋은 환자의 최신 훈련 기록 이후 25년 이상 예측에 유의미한 변화를 보였다.

진단적 해악

새 논문의 연구자들 – 제목이 의료 AI에서 기억 편향인 – 은 이후 환자가 자신의 이전 기록으로 훈련된 모델을 접했을 때 기억이 진단 정확도에 어떻게 영향을 미칠 수 있는지를 시뮬레이션했다.

향후 사례는 환자가 새로운 질환을 발생시켰는지, 과거 훈련 데이터에 없었는지, 혹은 본질적으로 동일한 건강 상태로 재방문했는지에 따라 구분되었다.

새로운 질환의 경우, 효과는 일관되게 부정적이었으며, 이전에 환자의 과거 기록을 본 모델은 네 개 데이터셋에 포함된 다양한 진단에 대해 민감도가 낮았다. 여기에는 심근경색 및 기타 ECG 이상, 폐 질환, 그리고 보다 광범위한 중대한 결과가 포함된다.

실질적으로, 환자의 건강이 변한 경우 모델은 더 많은 위음성을 생성했지만; 환자의 건강이 변경되지 않은 경우, 모델이 이전 기록을 기억함으로써 올바른 진단을 내릴 가능성이 높아졌다. 민감도와 특이도 모두 증가했는데, 이는 환자의 현재 상태가 훈련 데이터에 이미 포함된 상태와 유사했기 때문이다.

저자들은 이것이 이러한 시스템을 정확히 평가하기 어렵게 만들 수 있다고 언급한다: 대부분의 재방문 환자가 여전히 동일한 질환을 가지고 있다면 모델은 이들에 대해 더 좋은 성능을 보이며, 새로운 질환이 발생한 환자에 대한 낮은 민감도를 숨길 수 있다.

대책

가능한 안전장치로서 연구자들은 훈련 중에 차등 개인정보 보호(개별 훈련 사례에 대한 정보가 모델에 얼마나 보존될 수 있는지를 제한함)를 테스트했다.

개별 기록을 보호하면 기억 편향 효과가 감소했지만, 테스트된 가장 강력한 설정에서도 완전히 사라지지는 않았다. 동일 인물에 속한 모든 기록을 포괄하는 환자 수준에서 보호를 적용하면 훨씬 효과적이며, 효과를 거의 완전히 없앨 수 있었다.

그러나 데이터셋이 영구적으로 익명화된 경우, 환자 데이터를 이러한 방법이 허용하도록 격리할 수 없으며; 연구자들은 데이터셋이 차등 개인정보 보호 없이 훈련될 경우 멤버십 추론 공격 위험이 된다; 차등 개인정보 보호를 적용하면 훈련에 필요한 자원이 현저히 증가한다는 점을 관찰했다.

결론

저자들은 현재 우려되는 사건들이 비교적 낮은 비율로 발생하고 있지만, 이는 향후 변할 수 있음을 관찰하며 마무리한다*:

‘기억 편향으로 인한 놓친 진단 수가 앞으로 증가할 것으로 예상할 이유가 있지만, 우리는 이를 직접 테스트하지는 않았습니다. 이전 연구에 따르면 모델이 기억하는 훈련 데이터 비율은 모델 용량이 증가함에 따라 증가합니다 [6, 7, 9, 10, 40].

‘이는 현재 AI 모델 개발이 “스케일링 법칙” [41]에 의해 안내되고 있으며, 이는 성능 향상을 위해 모델과 데이터셋 규모가 급속히 성장하게 만든다는 점에서 우려됩니다.

‘보다 큰 AI 모델이 점점 더 큰 환자 집단에서 수집된 과거 데이터를 기반으로 훈련됨에 따라, 기억 편향의 영향을 받는 개인 수가 급격히 증가할 가능성이 높으며, 이는 여기서 식별한 위험을 더욱 악화시킬 것입니다.

* 내가 저자들의 인라인 인용을 하이퍼링크로 변환했으며, 정확한 복제가 불가능하거나 도움이 되지 않을 경우 일부 해석을 포함했습니다.

2026년 9월 18일 금요일 최초 게시. 하이퍼링크 수정을 위해 18:17 EET에 수정됨.