수십 년 된 익명화된 의료 데이터가 이제 AI 오진을 초래할 수 있다

독일과 영국 간의 새로운 연구 협력에 따르면, 수십 년 전에도 의료 데이터셋에 포함된 익명화된 환자 기록이 AI 시스템이 이를 학습한 후 수년 뒤에 실제 환자의 특성을 인식하게 만들 수 있으며, 2026년 환자를 마치 2012년(또는 익명화된 환자 데이터가 처음 데이터셋에 포함된 연도)인 것처럼 치료할 수 있습니다.

예를 들어, 20년 전 암 치료를 받고 장기 관해 상태에 들어간 환자가 이제 AI 시스템에 의해 그들의 과거 암에 걸린 상태를 고려한 맥락에서 치료받을 수 있으며, 이는 재발에 대한 잘못된 진단 가능성을 논리적으로 더욱 높일 수 있습니다.

반대로, 해당 환자의 2012년 데이터가 정기 검진에서 완벽한 건강을 보여주었다면, 이러한 낙관적인 관점이 환자의 현재의 더 오래된 버전에 적용되어 새로운 질환이나 치료가 필요한 문제의 탐지를 가릴 수 있습니다.

새 논문에서, 기억 편향이 재방문 환자에게 어떻게 영향을 미칠 수 있는지를 보여주는 예시입니다. Alice의 이전 건강한 ECG에 대해 학습된 모델은 그녀의 이후 심장마비에 대해 단 15%의 확률을 부여하는 반면, 그녀의 과거 기록을 전혀 보지 않은 모델은 73%를 부여합니다. 출처

‘데이터 이민’ 억제

다양한 국가 및 지역 지침에서 이러한 목적의 환자 데이터를 해당 시스템이 사용될 국가에서 가져오는 것이 이상적이라고 권고함에 따라, 이 시나리오가 더 가능해집니다. 이는 데이터셋에서 환자 풀을 ‘지역화’하고, 이러한 종류의 탐지되지 않은 비식별화 사건이 발생할 가능성을 크게 높입니다.

추론에 따르면, 데이터를 국가 데이터셋으로만 제한하면 암기 가능성이 높아집니다 – 이는 모델이 훈련 중 동일한 데이터를 너무 많이 보게 되어 이러한 과학습 패턴에 ‘고정’되는 상황을 의미합니다. 반대로, 데이터셋이 크고 다양할수록 훈련 후 보지 못한 데이터에 대해 일반화할 가능성이 높아지며, 특정 데이터 포인트나 구성에 대한 암기를 피하게 됩니다.

하지만 ‘외국’ 의료 데이터를 추가하면 해당 모델이 배포되는 국가에 적용되지 않을 국가별 건강 추세와 특이성을 도입할 위험이 있습니다; 이러한 측면에서 새 논문은 일정 수준의 암기가 적절하고 유용하다고 인정하는데, 이는 모델이 특정 인구 집단의 가장 가능성 높은 일반 의료 특성 내에서 작동하도록 돕기 때문입니다.

논문은 다음과 같이 명시합니다*:

‘[When] 모델이 사전 배포될 때, 암기는 특정하고 과소평가된 위험을 초래합니다. 환자의 기록은 시간에 따라 매우 자체적으로 유사하기 때문에, 미래 기록이 기억된 과거 기록에 대한 부분적인 단서가 되어 모델의 예측을 환자의 이전 건강 상태로 이동시킬 수 있습니다.

이는 가상의 시나리오가 아닙니다. 의료 AI 모델은 훈련 데이터가 출처된 동일한 인구에 정기적으로 배포됩니다.

‘예를 들어, 독일의 국가 유방암 검진 프로그램 사용합니다 현재 서비스를 제공하는 동일한 검진 인구에서 수집된 120만 건의 유방촬영술을 기반으로 학습된 AI 모델을.

‘유사한 배치는 다른 지역에서도 진행 중이며, 국가 유방암 검진 프로그램 in the United Kingdom 및 Sweden을 포함합니다.

‘규제 지침은 이를 적극 권장하며, EU AI Act는 훈련 데이터가 의도된 사용의 지리적 및 상황적 설정을 반영하도록 요구하고(Art. 10(4)), 의료 AI 개발을 위한 유사한 국제 가이드라인은 모델의 훈련 데이터셋에 의도된 환자 집단이 충분히 대표되도록 요구합니다.’

지속적인 역사적 재난..?

비록 논문이 이 문제를 다루지는 않지만, 평생 동안 정기적으로 건강 검진을 받지 않았던 환자들이 주기적으로 익명화된 기록이 AI 데이터 흐름에 들어가게 되면, 익명화된 환자 데이터에 거의 전적으로 치료가 필요했던 시기에만 나타나는 경향이 있습니다 – 이는 기록에 ‘건강’이라는 균형이 없기 때문에 현재 동일한 환자에게 오랫동안 치료받았던 상태를 ‘투사’할 가능성을 높입니다.

이전 연구에 따르면 전자 건강 기록에서 ‘정보 기반 존재 편향’을 조사한 결과, 의료 데이터셋이 환자가 아프고 의료 서비스를 이용하는 기간을 과도하게 대표한다는 것이 밝혀졌습니다.

한 연구에 따르면 중증 환자는 가장 건강한 환자에 비해 실험실 데이터가 있는 날이 5.05배, 약물 처방이 있는 날이 6.85배 더 많았다.

2022년, 미국 성인 약 76%가 정기 검진을 받았다고 보고했으며, 이는 CDC가 정의한 일반 신체 검진으로 특정 질환 치료가 아니라 지난 1년 내에 받은 검진을 의미한다. 유럽에서는 2023년 다국가 설문조사에서 58%가 최소한 일부 예방 검진에 참석했으며, 그러나 오직 15%만이 자신에게 관련된 모든 예방 진료에 참석했다.

효과의 범위

이 연구는 ECG 기록, 흉부 X선, 전자 건강 기록을 포함하는 네 개의 대규모 의료 데이터셋에서 효과를 테스트했다. 구체적으로는 MIMIC-CXR 흉부 X선 데이터베이스와 MIMIC-IV-ED 응급 진료 기록, 그리고 MIMIC-ECG와 훨씬 규모가 큰 HEEDB ECG 컬렉션을 대상으로 했다. 데이터셋 규모는 수만 명에서 180만 명 이상에 이르렀다.

저자들은 계산된 효과가 크게 달라지며, 경우에 따라 예측 확률 변화가 70 퍼센트 포인트를 초과한다고 지적한다.

역사적 환자 데이터가 이후 예측에 어떻게 변화를 주는지를 보여주는 결과. 상단 패널은 네 개 데이터셋 전반에 걸친 변화 빈도와 규모를 비교하고, 하단 패널은 환자의 마지막 학습 기록 이후 경과 시간에 따라 효과가 어떻게 변하는지를 보여준다. 유의미한 효과는 시간이 지남에 따라 덜 흔해지지만 수십 년 후에도 감지될 수 있다.

대조군으로 연구진은 모델을 무작위로 그룹화하고 비교를 반복했지만, 이는 향후 예측에 유의미한 변화를 일으키지 않았다.

논문에서는 이 효과가 수십 년간 지속될 수 있다고 언급한다. 일반적으로 기록 간 간격이 늘어날수록 약해지고 덜 흔해지지만, 1980년대부터 2025년까지 수집된 ECG를 포함하는 HEEDB 데이터셋은 환자의 최신 학습 기록 이후 25년 이상에 걸쳐 예측에 유의미한 변화를 보였다.

진단적 해악

새 논문의 연구진은 – 제목이 Memorisation bias in medical AI – 이후 환자가 이전 기록으로 학습된 모델을 접했을 때 기억 편향이 진단 정확도에 어떻게 영향을 미칠 수 있는지를 시뮬레이션했다.

향후 사례는 환자가 새로운 질환을 발병했는지, 과거 학습 데이터에 없었는지, 혹은 본질적으로 동일한 건강 상태로 재방문했는지에 따라 구분되었다.

새로운 질환의 경우, 효과는 일관되게 부정적이었으며, 환자의 과거 기록을 이전에 본 모델은 네 개 데이터셋에 포함된 다양한 진단에 대해 민감도가 낮았다. 여기에는 심근경색 및 기타 ECG 이상, 폐 질환, 그리고 보다 광범위한 중증 결과가 포함된다.

실질적으로 환자의 건강 상태가 변했을 때 모델은 더 많은 위음성을 생성했지만, 환자의 건강 상태가 변하지 않았을 때는 이전 기록에 대한 모델의 기억이 올바른 진단을 내릴 가능성을 높였다. 민감도와 특이도 모두 증가했는데, 이는 환자의 현재 상태가 학습 데이터에 이미 포함된 상태와 유사했기 때문이다.

저자들은 이로 인해 시스템을 정확히 평가하기 어려워질 수 있다고 지적한다. 대부분의 재방문 환자가 여전히 동일한 질환을 가지고 있다면 모델은 이들에 대해 더 좋은 성능을 보이게 되어, 새로운 질환을 겪은 환자에 대한 민감도 저하를 감추게 될 가능성이 있다.

대응 방안

가능한 보호책으로 연구진은 훈련 중에 차등 개인정보 보호(개별 학습 사례에 대한 정보를 모델이 보유할 수 있는 양을 제한함)를 테스트했다.

개별 기록을 보호하면 기억 편향 효과가 감소했지만, 테스트된 가장 강력한 설정에서도 완전히 제거되지는 않았다. 동일 인물의 모든 기록을 포괄하는 환자 수준에서 보호를 적용하면 훨씬 효과적이며, 효과를 거의 완전히 없앨 수 있었다.

그러나 데이터셋이 영구적으로 익명화된 경우 환자 데이터를 이러한 방법으로 격리할 수 없으며, 연구진은 데이터셋이 차등 개인정보 보호 없이 학습될 경우 멤버십 추론 공격이 위험이 된다고 관찰했다; 차등 개인정보 보호를 적용하면 훈련에 필요한 자원이 크게 증가한다.

결론

저자들은 현재 우려되는 사건들이 비교적 낮은 비율로 발생하고 있지만, 이는 향후 변할 수 있음을 관찰하며 마무리한다*:

‘기억 편향으로 인한 놓친 진단 수가 앞으로 증가할 것이라는 이유가 있으며, 우리는 이를 직접 테스트하지는 않았다. 이전 연구에 따르면 모델 용량이 커짐에 따라 모델이 기억하는 훈련 데이터 비율이 증가한다 [6, 7, 9, 10, 40].

‘이는 현재 AI 모델 개발이 “스케일링 법칙”에 의해 안내되고 있으며, 이는 성능 향상을 위해 모델과 데이터셋 규모가 급속히 성장하게 만든다 [41] 때문에 우려스럽다.

‘더 큰 AI 모델이 점점 더 큰 환자 집단에서 수집된 과거 데이터를 기반으로 학습됨에 따라, 기억 편향의 영향을 받는 개인 수가 크게 증가할 것으로 예상되며, 이는 여기서 식별한 위험을 더욱 악화시킨다.’

* 저는 저자들의 인라인 인용을 하이퍼링크로 변환했으며, 정확한 복제가 불가능하거나 도움이 되지 않을 경우 일부 해석을 추가했습니다.

2026년 9월 18일 금요일 최초 게시