API 출력을 통한 머신러닝 모델 탈취

캐나다의 새로운 연구는 값비싼 머신러닝 개발의 성과물을 공격자가 복제할 수 있는 한 가지 방법을 제시한다. 독점 시스템에 접근하는 유일한 통로가 출력 정보를 엄격히 제한하고 겉보기에는 잘 방어된 API여도 가능할 수 있다는 것이다. 여기서 API는 사용자 요청을 서버에서 처리하고 응답 결과만 반환하는 인터페이스 또는 프로토콜이다.

연구 분야가 고비용 모델 훈련을 서비스형 머신러닝(MLaaS)으로 수익화하는 방향에 주목하는 가운데, 이 연구는 자기지도학습(SSL) 모델이 이러한 모델 유출에 더 취약할 수 있다고 지적한다. 사용자 레이블 없이 훈련하므로 복제가 단순해지고, 출력에 숨겨진 원본 모델을 재현하는 데 유용한 정보가 많이 담기는 경우가 일반적이기 때문이다.

연구진은 로컬 피해 모델에 일반 사용자가 웹 API를 통해 얻을 수 있는 수준 이상의 접근 권한을 부여하지 않는 블랙박스 시뮬레이션을 수행했다. 그 결과 비교적 적은 자원으로 목표 시스템을 복제했다.

“우리 공격은 피해 모델 훈련에 사용된 요청 수의 5분의 1보다 적은 요청으로도 후속 작업에서 상당한 성능을 보이는 복제본을 훔칠 수 있다. 레이블 없는 ImageNet 샘플 120만 개로 훈련하고 후속 Fashion-MNIST 분류에서 정확도 91.9%를 얻은 피해 모델을 대상으로, InfoNCE 손실을 이용한 직접 추출은 요청 20만 개로 정확도 90.5%인 인코더 복제본을 얻었다.”

“마찬가지로 레이블 없는 CIFAR10 샘플 5만 개로 훈련하고 후속 CIFAR10 분류에서 정확도 79.0%를 얻은 피해 모델을 대상으로, SoftNN 손실을 이용한 직접 추출은 요청 9,000개로 정확도 76.9%인 복제본을 얻었다.”

연구진은 세 가지 공격 방법을 비교했으며 직접 추출이 가장 효과적이었다. 이 모델들은 로컬에서 재구성한 CIFAR10 피해 인코더를 대상으로 CIFAR10 테스트 세트의 요청 9,000개를 사용해 복제했다. 출처: https://arxiv.org/pdf/2205.07890.pdf

지도학습 모델을 공격으로부터 보호하는 방법은 비지도 방식으로 훈련한 모델에는 잘 맞지 않는다고 연구진은 덧붙였다. 이런 모델들은 이미지 합성 분야에서 특히 기대와 주목을 받는 성과물이기도 하다.

토론토대학교와 Vector 인공지능연구소의 새로운 논문 제목은 자기지도학습을 모델 추출로부터 방어하기 어려운 이유다.

자기 인식

자기지도학습에서는 레이블 없는 데이터로 모델을 훈련한다. SSL 모델은 데이터의 내재적 구조에서 연관성과 집단을 찾아야 한다. 데이터의 비슷한 측면을 찾아 점차 노드 또는 표현으로 묶는다.

SSL을 적용할 수 있는 경우 생산성이 매우 높다. 비용이 많이 들고 흔히 외주에 맡기며 논란도 있는 크라우드 노동자의 분류 작업을 생략하고, 데이터 자체를 자율적으로 정리할 수 있기 때문이다.

논문은 세 가지 SSL 접근법을 다룬다. SimCLR는 샴 네트워크다. SimSiam도 표현 학습에 중점을 둔 샴 네트워크다. Barlow Twins는 2021년 공개 당시 ImageNet 분류에서 최고 수준의 성능을 보인 SSL 접근법이다.

레이블이 있는 데이터, 즉 지도학습으로 훈련한 모델의 추출은 비교적 잘 연구되어 있다. 공격자가 피해 모델을 재구성하려면 그 모델의 레이블을 얻어야 하므로 방어하기도 상대적으로 쉽다.

이전 논문의 지도학습 아키텍처를 대상으로 한 knockoff classifier 공격 모델. 출처: https://arxiv.org/pdf/1812.02766.pdf

화이트박스 접근 권한이 없으면 이는 간단한 작업이 아니다. 이런 모델의 API 요청에 대한 일반적인 응답은 SSL API의 응답보다 정보량이 적기 때문이다.

논문은 다음과 같이 설명한다.*

“기존 모델 추출 연구는 지도학습(SL) 환경에 초점을 맞췄다. 이때 피해 모델은 대체로 레이블 또는 신뢰도 점수나 로짓 같은 저차원 출력을 반환한다.”

“반면 SSL 인코더는 고차원 표현을 반환한다. 컴퓨터 비전에서 널리 쓰는 ResNet-50 Sim-CLR 모델의 사실상 표준 출력은 2048차원 벡터다.”

“인코더에서 훨씬 더 많은 정보가 유출되기 때문에 SL 모델보다 추출 공격에 취약하다는 것이 우리의 가설이다.”

아키텍처와 데이터

연구진은 SSL 모델 추론·추출을 위한 세 가지 방법을 시험했다. 직접 추출은 평균제곱오차(MSE) 같은 적절한 손실 함수로 API 출력과 재구성한 인코더 출력을 비교한다. 프로젝션 헤드 재구성은 일반적으로 배포 전에 버리는 모델의 중요한 분석 기능을 다시 조립해 복제 모델에서 사용한다. 프로젝션 헤드 접근은 원래 개발자가 해당 아키텍처를 공개했을 때만 가능하다.

방법 1인 직접 추출은 피해 모델의 출력과 로컬 모델의 출력을 비교한다. 방법 2는 원래 훈련 아키텍처에서 사용되지만 보통 배포 모델에서는 제거되는 프로젝션 헤드를 재구성한다.

목표 모델의 작동 가능한 복제본을 얻는 데는 직접 추출이 가장 효과적이었다. 일반적인 정당한 사용자와 행동이 거의 다르지 않아 공격으로 분류하기도 가장 어렵다는 추가적인 이점이 있다.

연구진은 CIFAR10, ImageNet, 스탠퍼드의 Street View House Numbers(SVHN) 등 세 이미지 데이터 세트로 피해 모델을 훈련했다. ImageNet에는 ResNet50을, CIFAR10과 SVHN에는 ResNet18과 ResNet24를 사용했으며, 무료로 공개된 SimCLR의 PyTorch 구현을 활용했다.

후속 작업, 즉 배포된 모델의 성능은 CIFAR100, STL10, SVHN, Fashion-MNIST에서 평가했다. 모델을 획득하기 위해 더 많은 내부 접근 권한을 쓰는 화이트박스 방식도 시험했지만, 권한이 가장 적은 직접 추출이 가장 좋은 결과를 냈다.

공격으로 추론하고 복제한 표현을 평가하기 위해 선형 예측 계층을 모델에 추가했다. 후속 작업의 레이블이 있는 전체 훈련 세트로 이 계층을 미세 조정하는 동안 나머지 네트워크 계층은 고정했다. 예측 계층의 테스트 정확도를 성능 지표로 삼을 수 있다. 이 계층은 공격의 추론 과정에는 기여하지 않으므로 화이트박스 기능에 해당하지 않는다.

공격 추론에 관여하지 않는 선형 평가 계층을 통해 얻은 테스트 결과. 정확도 점수는 굵게 표시했다.