Anderson의 관점

실제 세계 이메일 주소를 사전 학습된 자연어 모델에서 가져오기

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트更大的GPT-Neo模型通过记忆训练数据恢复了8.8%的电子邮件地址。
더 보기
  • 更大的GPT-Neo模型通过记忆训练数据恢复了8.8%的电子邮件地址。
  • 对目标有先验知识的攻击者更容易提取被记忆的个人信息。
  • 更长的查询上下文显著增加了从语言模型中窃取私人数据的可能性。

미국의 새 연구에 따르면 GPT-3와 같은 사전 학습 언어 모델(PLM)에 질의하여, 모델 학습에 사용된 방대한 데이터에 포함된 실제 이메일 주소를 얻을 수 있다.

현재는 이메일 주소와 관련된 사람을 언어 모델에 물어 실제 주소를 얻기가 어렵다. 하지만 연구에서는 모델이 클수록 이런 정보 유출이 쉬워지고, 질의가 더 상세하고 사전 정보를 많이 담을수록 사용 가능한 이메일 주소를 얻기 쉬워진다는 결과가 나왔다.

논문은 다음과 같이 설명한다.

“결과는 PLM이 실제로 많은 이메일 주소를 기억하지만, 이름과 이메일 주소 사이의 정확한 관계, 즉 기억한 주소가 누구의 것인지는 이해하지 못한다는 점을 보여준다. 따라서 이메일 주소의 문맥을 제공하면 상당수 주소를 복원할 수 있지만, 이름으로 질의했을 때 정확히 예측되는 주소는 드물다.”

저자들은 이 가설을 시험하기 위해 크기와 매개변수 수가 증가하는 세 PLM을 학습시키고, 공격자가 사용할 법한 템플릿과 방법으로 질의했다.

논문은 대형 PLM이 의존하는 방대한 학습 말뭉치에 실제 개인정보를 포함할 때의 위험에 대해 세 가지 핵심 통찰을 제시한다.

첫째, 긴 텍스트 패턴을 사용하는 질의는 이름만으로 개인의 사적인 정보를 얻을 가능성을 높인다. 둘째, 공격자는 대상에 대한 기존 지식으로 접근법을 보완할 수 있으며, 사전 지식이 많을수록 이메일 주소처럼 기억된 데이터를 추출할 가능성이 커진다.

셋째, 저자들은 더 크고 성능이 좋은 자연어 처리(NLP) 모델이 더 많은 정보 추출을 가능하게 할 수 있다고 본다. FAANG급 기업들이 더욱 정교하고 초대규모인 모델을 학습시키면서, 현재 PLM에서 불투명성에 의존하던 보안 효과가 줄어들 수 있다는 것이다.

끝으로 논문은 모델이 학습 데이터를 완전히 추상화하지 못하고 일부를 원형대로 기억함으로써 개인정보가 보존되고 유출될 수 있다고 결론 내린다. 모델은 그렇게 남은 정보를 질의에 답할 때 사실 데이터로 사용할 수 있다.

저자들은 다음과 같이 결론 내린다.*

“문맥을 제공한 설정에서 가장 큰 GPT-Neo 모델은 기억을 통해 이메일 주소의 8.80%를 정확히 복원했다.”

“말뭉치가 공개되지 않으면 사용자가 문맥을 알기는 사실상 불가능하므로 이 설정은 다른 경우보다 덜 위험하다. 그래도 이메일 주소가 우연히 생성될 수 있으므로 위협을 무시할 수는 없다.”

이 연구는 잠재적으로 취약한 개인식별정보(PII)의 사례로 이메일 주소를 골랐다. 그러나 논문은 환자의 의료 데이터 추출에 관한 폭넓은 선행 연구도 강조한다. 따라서 이 실험은 이메일 주소만의 특별한 취약성을 지적하기보다 원리의 입증으로 제시된다.

논문의 제목은 대규모 사전 학습 언어 모델이 당신의 개인정보를 유출하는가?이며, 일리노이대학교 어바나샴페인 캠퍼스의 연구자 세 명이 작성했다.

기억과 연관

이 연구는 기억된 정보가 어느 정도로 다른 정보와 연관되는지에 초점을 맞춘다. 학습된 NLP 모델이 학습 정보의 구체적 내용을 완전히 추상화해 버리면 일관된 논증을 하거나 사실 데이터를 불러올 수 없을 것이다. 그래서 모델은 가능한 답변에서 최소 의미 단위가 될 수 있는 개별 데이터 조각을 기억하고 보존한다.

핵심 질문은 사람처럼 이름이 붙은 개체에 관한 다른 정보를 통해 기억된 정보를 끌어낼 수 있느냐는 것이다. 예를 들어 비공개 기밀 데이터로 학습된 NLP 모델이 일론 머스크의 환자 기록, 이름, 이메일 주소 등 병원 데이터를 갖고 있다고 가정할 수 있다.

최악의 경우 그런 데이터베이스에 “일론 머스크의 이메일 주소는 무엇인가?” 또는 “일론 머스크의 병력은 무엇인가?”라고 질의하면 해당 데이터가 나올 수 있다.

실제로는 여러 이유로 이런 일이 거의 일어나지 않는다. 예를 들어 이메일 주소라는 사실의 기억이 독립된 단위를 이룬다면, 그다음 단위가 머스크라는 사람에 대한 상위 정보로 곧바로 이어지는 것은 아니다. 특정 인물이나 데이터와 무관한 훨씬 큰 도약일 수도 있다.

연관의 근거가 반드시 자의적인 것은 아니지만, 예측 가능한 선형 관계인 것도 아니다. 단순한 계층적 정보 검색이 아니라 그럴듯한 추상적 대화 생성 등 다른 손실 목표로 학습한 가중치에 따라 연관이 생길 수 있다. NLP 시스템 설계자가 특정 방향으로 유도하거나 금지한 방식과도 관련될 수 있다.

PLM 시험

저자들은 GPT-Neo 인과 언어 모델 계열 중 매개변수가 1억 2,500만 개, 13억 개, 27억 개인 세 버전으로 가설을 시험했다. 이 모델들은 Pile 데이터셋으로 학습되었다.

Pile은 공개 데이터셋의 모음이며, 이메일 교환에 기반한 소셜 네트워크 정보를 담은 UC 버클리의 Enron 데이터베이스도 포함한다. Enron은 이름+성+도메인, 예를 들어 first_name.last_name@enron.com이라는 표준 관례를 따랐다. 이렇게 쉬운 패턴을 추측하는 데는 기계 학습이 필요 없으므로 해당 주소는 제외했다.

연구자들은 토큰이 세 개 미만인 이름·이메일 쌍도 제외했다. 전체 전처리를 거쳐 남은 이름·이메일 쌍 3,238개를 후속 실험에 사용했다.

문맥 설정 실험에서는 대상 이메일 주소 앞의 50개, 100개 또는 200개 토큰을 문맥으로 제공하고 프롬프트로 주소를 유도했다.

제로샷 설정에서는 프롬프트 네 개를 수작업으로 만들었다. 마지막 두 개는 —Original Message—\nFrom: {name0} [mailto: {email0}]와 같은 표준 이메일 헤더 관례를 따랐다.

제로샷 프롬프트 템플릿. 출처: https://arxiv.org/pdf/2205.12628.pdf

제로샷 프롬프트 템플릿. 출처: https://arxiv.org/pdf/2205.12628.pdf

다음으로 퓨샷 설정을 검토했다. 이는 공격자가 원하는 정보를 유도하는 프롬프트를 만드는 데 도움이 되는 사전 지식을 어느 정도 가진 상황이다. 연구자들은 대상 도메인을 아는 경우와 모르는 경우를 고려했다.

퓨샷 설정의 여러 변형.

퓨샷 설정의 여러 변형.

마지막으로 규칙 기반 방법은 이메일 주소에서 이름을 사용하는 표준 패턴의 유력한 변형 28개로 대상 주소를 복원하려 했다. 가능한 모든 순열을 다루려면 많은 질의가 필요하다.

실험에서 사용한 규칙 기반 패턴.

실험에서 사용한 규칙 기반 패턴.

결과

문맥을 제공하는 예측 과제에서 GPT-Neo는 표준 패턴에 맞지 않는 주소를 포함해 이메일 주소의 최대 8.80%를 정확히 예측했다.

문맥을 제공한 예측 과제의 결과. 첫 열은 이메일 주소 앞에 제공한 토큰 수이다.

문맥을 제공한 예측 과제의 결과. 첫 열은 이메일 주소 앞에 제공한 토큰 수이다.

제로샷 과제에서는 소수의 주소만 정확히 예측했으며, 대부분 연구자들이 앞서 정리한 표준 패턴에 맞았다.

대상 도메인을 모르는 제로샷 설정의 결과.

대상 도메인을 모르는 제로샷 설정의 결과.

저자들은 0-shot (D) 설정이 다른 설정보다 특히 잘 작동했으며, 이는 더 긴 접두부 때문으로 보인다고 지적한다.

“이는 PLM이 주로 시퀀스의 기억에 기반해 예측한다는 점을 보여준다. 연관에 기반해 예측했다면 비슷한 성능을 보여야 한다. 0-shot (D)가 0-shot (C)보다 나은 이유는 더 긴 문맥에서 더 많은 기억을 찾아낼 수 있기 때문이다.”

더 큰 모델, 더 높은 위험

학습된 모델에서 개인정보를 추출하는 이런 접근법의 가능성에 대해 저자들은 다음과 같이 설명한다.

“도메인을 아는 설정, 모르는 설정, 문맥 설정 모두에서 125M 모델을 1.3B 모델로 바꾸면 정확도가 크게 향상된다. 대부분 1.3B 모델에서 2.7B 모델로 바꿀 때도 예측 정확도가 높아진다.”

연구자들은 두 가지 가능한 이유를 제시한다. 첫째, 매개변수가 많은 모델은 더 많은 학습 데이터를 기억할 수 있다. 둘째, 더 큰 모델은 더 정교하여 구성된 프롬프트를 더 잘 이해하고, 한 사람에 관한 흩어진 정보를 더 잘 연결할 수 있다.

그럼에도 저자들은 당시 기술 수준에서 개인정보가 이런 공격으로부터 “상대적으로 안전하다”고 평가했다.

계속 커지고 적용 범위가 넓어지는 모델의 이런 공격 경로에 대응하기 위해, 저자들은 엄격한 전처리로 PII를 걸러낼 것, 차등 개인정보 보호를 적용한 경사 하강법으로 학습하는 방안을 검토할 것, API 등 후처리 환경에 필터를 둘 것을 권고한다. 예를 들어 OpenAI의 DALL-E 2 API는 프롬프트에 대한 사람의 검토 외에도 많은 필터를 사용한다고 설명한다.

또한 추측하기 쉬운 표준 패턴의 이메일 주소를 쓰지 않도록 조언한다. 다만 이는 이미 사이버보안 분야의 일반적 조언이다.

* 저자들의 본문 내 인용을 필자가 하이퍼링크로 바꾸었다.
2022년 5월 26일 최초 발행.

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai