Anderson의 관점

기계 학습 대 쿠키 동의 시스템

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
One of the cryptic cubes from the Hellraiser franchise.
핵심 포인트CookieEnforcer는 T5-Large 모델을 사용하여 쿠키 동의 코드를 분석하고 필수적이지 않은 쿠키를 비활성화합니다.
더 보기
  • CookieEnforcer는 T5-Large 모델을 사용하여 쿠키 동의 코드를 분석하고 필수적이지 않은 쿠키를 비활성화합니다.
  • 이 시스템은 종단 간 테스트에서 본 적 없는 웹사이트의 91%에 대해 쿠키 거부를 성공적으로 자동화했습니다.
  • 사용자 연구에 따르면 CookieEnforcer는 수동 쿠키 설정보다 15% 더 높은 사용성 점수를 달성했습니다.

위스콘신 대학교와 구글의 새로운 연구 협력은 기계 학습을 지난 10년 동안 가장 악명 높은 웹 사용자 불편 사항 중 하나인 불투명하고 기만적인 쿠키 동의 배너와 대립시킵니다.

새 프레임워크인 CookieEnforcer는 의미적 텍스트 이해를 이용해 쿠키 동의 팝업이나 배너를 뒷받침하는 코드의 의미와 기능을 분석합니다. 이를 통해 실제로는 필요하지 않은 모든 쿠키를 한 번의 클릭으로 비활성화할 수 있게 합니다. 여기에는 도메인 소유자가 필수라고 표시하지만 실제로는 필수가 아닌 쿠키도 포함됩니다.

CookieEnforcer는 www.askubuntu.com 웹사이트의 쿠키 동의 코드를 조사합니다. 출처: https://arxiv.org/pdf/2204.04221.pdf

CookieEnforcer는 www.askubuntu.com 웹사이트의 쿠키 동의 코드를 조사합니다. 출처: https://arxiv.org/pdf/2204.04221.pdf

시스템은 사용자 설치형 웹 브라우저 플러그인을 통해 구현되며, 사용자 정의 규칙을 한 번의 클릭으로 적용할 수 있습니다. 쿠키 동의 프레임워크가 웹사이트에 나타날 때, 사용자는 플러그인을 활성화하여 쿠키 동의 코드를 조사하고 사용자의 대신에 적절한 자바스크립트를 생성할 수 있습니다.

플러그인은 사용자 정의 설정을 자동으로 적용하거나 개별적으로 적용할 수 있습니다. 사용자는 설정을 조정한 후 최종 제출할 수 있습니다.

쿠키 동의 배너를 자동으로 비활성화하는 CookieEnforcer. 크롬 플러그인은 이 프로세스를 완전히 자동화할 수 있습니다. 자세한 내용은 나중에 첨부된 비디오를 참조하십시오. 출처: https://www.youtube.com/watch?v=5NI6Q981quc

작동 중인 CookieEnforcer. 원하면 Chrome 플러그인이 추가 사용자 개입 없이 이 과정을 완전히 자동화할 수 있습니다. 자세한 내용은 뒤에 나오는 동영상을 참조하십시오. 출처: https://www.youtube.com/watch?v=5NI6Q981quc

동의를 거부하는 선택지는 사용자 친화적인 모두 수락 버튼과 달리, 이해하기 어렵고 조작이 번거로운 설정 묶음 안에 숨겨지는 경우가 많습니다. 이러한 선택지를 분석하는 문제는 시퀀스-투-시퀀스 작업으로 모델링됩니다.

종단 간 정확도 평가에서 CookieEnforcer는 모델 학습 중 보지 못한 도메인을 대상으로 한 사례의 91%에서 복잡한 쿠키 동의 절차를 우회하는 데 필요한 모든 단계를 생성했습니다. 사용자 연구에서도 동의 모듈을 탐색하는 데 드는 노력을 크게 줄이는 것으로 나타났습니다.

새로운 논문은 CookieEnforcer: 자동화된 쿠키 공지 분석 및 적용이라고 제목이 붙여졌으며, 위스콘신 대학교 매디슨의 3명과 구글의 1명 연구자에 의해 발표되었습니다.

비밀의 쿠키 동의로의 길

2016년 일반개인정보보호법(GDPR)과 2018년 캘리포니아 소비자 개인정보 보호법(CCPA)이 제정된 뒤, 해당 지역 사용자에게 서비스를 제공하려는 웹사이트에는 쿠키 선호도 관리 장치가 요구되었습니다. 보통 IP 주소로 사용자의 출신 국가를 추정합니다.

그러나 도메인 소유자는 불투명하고 보통 눈에 띄지 않는 쿠키 구현으로부터 가치 있고 활용 가능한 사용자 데이터를 수집하는 데 익숙했기 때문에, 새 권리를 얻은 사용자에게 손쉬운 거부 방법을 제공하기를 꺼렸습니다.

쿠키 동의 인터페이스는 처음 도메인을 방문하거나 해당 도메인의 쿠키를 삭제했을 때 나타납니다. 기본 UI는 권리를 행사하려는 사용자를 세세하고 오래 걸리는 선택으로 지치게 하는 다크 패턴, 또는 소유자가 원하는 모든 쿠키를 쉽게 수락하게 하는 버튼으로 자리 잡았습니다.

이 미로 같은 UI 선택 문화는 2020년 연구에서 «보물찾기»로 묘사되었습니다.

새로운 논문은 다음과 같이 말합니다:

‘사용자는 복잡한 쿠키 공지가 있는 웹사이트에서 충분한 정보를 바탕으로 쿠키를 통제하기 어려울 수 있습니다. 사용자는 각 웹사이트에 대한 쿠키 설정을 미세하게 조정하기보다 기본 설정에 의존할 가능성이 더 높습니다. 이러한 기본 설정은 개인 정보를 침해하고 서비스 제공자를 우선시킵니다. 이는 개인 정보에 대한 위험을 초래합니다.’

인기 포럼 게시물의 한 댓글은 이런 관행을 «악의적인 규정 준수»로 묘사했습니다. 사용자의 불만은 대형 출판사에도 이해 충돌을 일으키는 주제입니다. 자신들의 관련 관행이 드러날 위험이 없다면 이 문제를 더 폭넓게 보도할 수도 있었을 것입니다.

TechCrunch 웹사이트의 대표적인 옵션 모음. 이 경우, EU의 쿠키 동의에 대한 태도 변화에 관한 기사 앞에 나타납니다. URL 식별자와 후크는 262자로 삭제되었습니다. '모두 거부' 버튼은 특정 쿠키 범주에 대해서만 사용할 수 있으며, 예외적인 경우 사용자는 각 토글을 개별적으로 작동시켜야 합니다.

TechCrunch 사이트가 제시한 선택지의 미로입니다. 아이러니하게도 쿠키 동의의 요건에 관한 EU의 태도 변화를 다룬 기사 앞에 나옵니다. 추가 추적을 위한 URL 식별자와 부가 요소는 262자에 달했으며 여기서는 삭제했습니다. «모두 거부» 버튼은 일부 쿠키 범주에만 적용되므로, 나머지는 사용자가 각 스위치를 따로 조작해야 합니다.

독일의 2019년 논문은 연구된 도메인의 대부분의 사이트 방문자가 광범위한 동의로 유도되었으며, 웹사이트의 3분의 1만이 데이터 수집 목적을 설명했다고 밝혔습니다.

최근 몇 년 동안 쿠키 동의 문제를 해결하기 위해 여러 웹 브라우저 플러그인, 애드온, 확장 프로그램이 등장했습니다. 예를 들어, Cookie Quick Manager 파이어폭스 확장 프로그램과 크롬의 다양한 대안이 있습니다. 유럽 연합은 쿠키 동의 구조의 규정 준수상 허점을 막으려 하고 있습니다.

방법과 데이터

새로운 논문의 연구자들은 최근 여러 머신러닝 지원 프로젝트와 유사 프로젝트의 핵심 접근법인 키워드 또는 수작업 규칙에 의존하지 않고, 더 강력한 쿠키 동의 관리 프레임워크를 만들고자 했습니다.

CookieEnforcer는 세 가지 목표를 가지고 있습니다. 쿠키 공지와 인터페이스를 기계가 읽을 수 있는 형식으로 번역하는 것, 비필수적인 쿠키를 비활성화하는 쿠키 설정 구성 방식을 식별하는 것, 그리고 사용자가 원하면 추가 입력 없이 제한을 자동으로 적용하는 것입니다.

시스템은 쿠키 공지를 감지하고 분석하는 백엔드와 브라우저 확장 형태의 프론트엔드로 이루어집니다. 프론트엔드는 비필수 쿠키를 비활성화하는 절차를 생성하고 실행합니다. 비필수 쿠키란 차단해도 해당 도메인의 탐색이나 접근을 막지 않는 쿠키입니다.

프레임워크는 크롬 전용으로 설치된 로컬 확장 프로그램으로, Selenium 웹 테스트 라이브러리를 사용하여 ChromeDriver 프레임워크에서 작동합니다.

백엔드 섹션에는 탐지, 분석, 의사 결정 모듈이 있습니다. 분석 모듈은 사용자 상호작용으로 인한 코드 변경을 고려하여 초기 코드 덤프가 무효화되지 않도록 합니다.

자연어 이해

코드를 확보한 뒤에는 CookieEnforcer가 실행 가능한 조작의 현재 상태를 이해해야 합니다. 토글 버튼의 문구는 최종 사용자에게 유리한지 여부가 모호할 수 있기 때문입니다.

이를 위해 연구자들은 Text-To-Text Transfer Transformer (T5) 모델을 의사 결정 구성 요소로 교육했습니다. T5-Large 모델은 7억 7천만 개의 매개변수를 포함하며, 코드 설명과 토글 옵션의 기능을 설명하는 입력/출력 코드의 사용자 정의 데이터베이스에서 미세 조정되었습니다.

T5 모델을 위한 샘플 형식 및 훈련 데이터. 데이터 예제는 www.askubuntu.com에서 가져옵니다.

T5 모델을 위한 샘플 형식 및 훈련 데이터. 데이터 예제는 www.askubuntu.com에서 가져옵니다.

데이터셋은 Tranco의 인기 웹사이트 상위 50,000개 목록에서 선택된 300개의 웹사이트의 쿠키 공지 샘플링으로 생성되었습니다. 탐지기와 분석 모듈은 런타임 소스 코드에서 쿠키 동의 옵션을 추출하고 기본 상태를 평가했습니다.

한 연구자는 모든 연구된 웹사이트에 대한 비필수적인 쿠키를 비활성화하는필요한 클릭 시리즈를 수동으로 레이블링했습니다. 결과는 300개의 완전히 레이블링된 도메인이었습니다.

사용자 정의 데이터셋의 예시 코드 소스 다양성.

사용자 정의 데이터셋의 예시 코드 소스 다양성.

60개의 웹사이트는 테스트 세트로 설정되었으며, T5-Large 모델은 20개의 에포크 동안 학습률 0.003, 배치 크기 16, 최대 입력 시퀀스 길이 256 토큰, 최대 대상 시퀀스 길이 64로 학습되었습니다. 토큰은 Google의 SentencePiece 토큰화기에 의해 생성되었습니다.

마지막으로 처리된 정보는 로컬 데이터베이스에 저장되어 프론트엔드에 제공됩니다. 저자들은 querySelector() HTML 함수를 이전 유사 프로젝트의 XML Path Language(XPath) 방식보다 선호했습니다. 쿠키 공지의 XPath는 DOM 업데이트에 취약합니다. 최초 로딩 후 사용자 상호작용에 따라 코드가 달라질 수 있기 때문입니다. 선택한 방식에서는 요소 경로가 동적이고 외부 요인에 반응하더라도 유지될 수 있습니다.

테스트 및 성능

실제로 CookieEnforcer는 데이터셋에서 매우 교묘한 다크 패턴도 처리할 수 있었습니다. 예를 들어 The New Scientist의 쿠키 동의 프레임워크에는 사용자가 명시적으로 표시를 요청할 때까지 JavaScript가 숨겨 두는 선택지가 있었습니다.

저자들은 다음과 같이 말합니다:

‘이 옵션은 사용자가 추가 프레임을 확장해야만 볼 수 있기 때문에 사용자에게 쉽게 빠질 수 있습니다. CookieEnforcer는 이 옵션을 찾을 뿐만 아니라 의미를 이해하고 거부합니다. 이러한 예제는 모델이 컨텍스트를 학습하고 새로운 예제에 일반화한다는 것을 보여줍니다.’

연구자들은 세 가지 테스트를 수행했습니다. 첫 번째 테스트는 학습 중 보지 못한 500개 도메인에서 프레임워크의 성능을 평가했습니다. 여기서 저자들은 91%의 웹사이트에서 비필수적인 쿠키를 비활성화할 수 있음을 보고했습니다.

두 번째 테스트는 14개 웹사이트를 대상으로 한 온라인 사용자 연구였습니다. System Usability Scale 점수를 수동 조작 기준선과 비교했을 때 CookieEnforcer의 점수가 15% 높았다고 저자들은 보고했습니다.

CookieEnforcer는 기준선보다 15% 높은 점수를 얻으면서 번거로운 프로세스를 자동화합니다.

CookieEnforcer는 기준선보다 15% 높은 점수를 얻으면서 번거로운 프로세스를 자동화합니다.

마지막으로, CookieEnforcer의 훈련된 매개변수는 미국과 유럽의 상위 5000개 웹사이트에서 쿠키 공지를 탐색하는 능력을 테스트했습니다. 저자들은 다음과 같이 말합니다:

‘이러한 측정은 이전에 수행되었지만, CookieEnforcer는 키워드 기반 휴리스틱을 넘어서 옵션을 더 깊이 이해할 수 있습니다. 특히, 우리는 영국에서 쿠키 공지가 있는 웹사이트 중 16.7%가적어도 하나의 비필수적인 쿠키를 활성화하고 있음을 발견했습니다. 미국의 경우 이 숫자는 22%입니다.’

저자들은 CookieEnforcer를 보여주는 짧은 유튜브 비디오를 공개했습니다:

 

최초 게시일: 2022년 4월 12일.

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai