Борба с блокирането на Adblock с машинно обучение

Нова изследователска инициатива от САЩ и Пакистан разработи метод, базиран на машинно обучение, за идентифициране на уебсайтове, които са устойчиви на блокиране на реклами и други технологии за запазване на поверителността, както и деконструиране на техниките, които тези сайтове използват за „смесване“ на произхода на рекламите и реално съдържание, така че съдържанието да не се вижда, ако рекламите са блокирани.

Новите технологии за блокиране на реклами, разработени въз основа на констатациите, биха могли да сложат край на инциденти, при които централното съдържание на дадена статия не се вижда, когато рекламите са блокирани, предоставяйки автоматизиран метод за разделяне на рекламни и скриптови ресурси, вместо ръчния подход, използван в момента от популярни рамки за блокиране на реклами .

Авторите проведоха широкомащабно проучване на „смесени ресурси“ на 100,000 17 уебсайта, като установиха, че 48% от домейните, 6% от имената на хостове, 9% от скриптовете и XNUMX% от методите за доставяне на съдържание умишлено смесват проследяваща (т.е. рекламна) функционалност с процеси, които доставят истинско съдържание. В такива случаи съдържанието на статията ще изчезне за потребители, които използват софтуер за блокиране на реклами или анти-проследяване, принуждавайки потребителя да изключи тези мерки, за да види съдържанието.

В повечето случаи това не означава само, че рекламите ще бъдат видими отново, но и че потребителите ще бъдат принудени да се върнат в системите за проследяване между домейни, които са разпалени активисти за неприкосновеността на личния живот в последните години.

Новото изследване предлага система, която е в състояние да отдели компонентите на тези „смесени“ уеб ресурси с 98% точност, позволявайки на решенията за блокиране на реклами и анти-проследяване шанс да разплитат потоците в по-късните итерации на техния софтуер и да активират отново достъп до съдържание на блокирани от реклами страници.

- нова хартия е озаглавен TrackerSift: Разплитане на смесени проследяващи и функционални уеб ресурси, и идва от изследователи от Virginia Tech и UoC Davis в САЩ и FAST NUCES и Лахорския университет за управленски науки (LUMS) в Пакистан.

Войните на Adblock

Системите за блокиране на реклами разчитат като цяло на необходимостта рекламното съдържание в дадена уеб страница да произхожда от специфични, специализирани домейни – обикновено рекламни платформи с имена на домейни и/или IP адреси, които могат да бъдат класифицирани като „рекламиране на трети страни“, което позволява разработването на списъци за блокиране, които няма да рендират съдържание от тези източници в уеб страница.

Освен това имената на специфични за рекламата ресурси, като например скриптове, могат да бъдат добавени към списъци за блокиране, така че те да не се изпълняват дори в случаите, когато техният произход е умишлено скрит. Схемите за именуване на такива систематично генерирани скриптове често са последователни, което позволява разпознаване и блокиране.

Тъй като реклама, включена в уеб страница, често се избира през последните няколко милисекунди от зареждането на страницата чрез динамични тръжни процеси (въз основа на ключови думи, намерени в страницата, целеви показатели на кампанията и много други фактори), не е практично да се съхраняват реклами в хост домейна, което на теория би попречило на рекламните блокери да скрият търговско съдържание.

Все по-често уебсайтовете се борят срещу блокирането на реклами чрез CNAME прикриване – използването на поддомейни на „автентичния“ домейн като прокси на рекламни сървъри (т.е. content.example.com ще показва реклами на example.com, въпреки че поддомейнът няма друга цел освен да показва реклами и не се поддържа от хост уебсайта, а по-скоро от неговите рекламодатели).

Този метод обаче може да бъде количествено определен и блокиран чрез разграничаване на съдържанието на поддомейна като реклама или използване на техники за мрежов анализ за идентифициране на аномалната и нередовна връзка на поддомейна с основния домейн.

TrackerSift

Документът на авторите предлага TrackerSift, платформа за анализиране на мрежови ресурси, извлечени от уебсайтове, и след това повторно категоризиране на смесени ресурси в „съдържание“ и „реклама“. На най-общо ниво на анализ TrackerSift записва основни мрежови заявки за ресурси, като рекламно съдържание, извлечено от мрежа за доставка на съдържание (CDN) или рекламна платформа; но след това се задълбочава до съдържанието на извлечените ресурси, като извършва анализ на ниво код и разграничава функциите на различни типове кодови извиквания и процедури.

Йерархията на анализа на TrackerSift, от проследяване на ресурси (червено) до необходими функционални ресурси (зелено). Смесените ресурси, които е вероятно да доведат до объркване на съдържанието (жълто), са подложени на по-задълбочен анализ. Източник: https://arxiv.org/pdf/2108.13923.pdf

Дата

За да получат набора от данни, захранващ TrackerSift, авторите са проучили 100,000 2018 произволно избрани уебсайта от XNUMX г. Списък с топ милиони на Tranco. Селен автоматизацията на браузъра беше използвана заедно с Google Chrome за изпълнение на задачата.

Мрежата за обхождане на мрежата беше базирана на университетски сайтове в Северна Америка, включваща клъстер от 13 възела със 112 ядра, 52 терабайта за съхранение и 823 гигабайта оперативна RAM сред цялата система.

Всеки възел беше базиран в Docker контейнер и предназначен за обхождане на подмножество от 100,000 XNUMX избрани уеб страници, с програмни паузи за устойчивост и пълно изтриване на всички бисквитки и идентификатори при зареждане на нов домейн, за да се гарантира, че предишните сесии и състояния не са повлияли на четимост на следващия домейн.

Смесени скриптове

Резултатите показват широко използване на групиране на скриптове, където рекламните платформи и хостовете на съдържание съзнателно свързват базирани на съдържание и базирани на реклами скриптове в „uberscripts“, които ще попречат на показването на съдържание, ако бъдат блокирани. Като пример, авторите отбелязват, че pressl.co обслужва уеб скрипт, свързан чрез уеб пакет Платформа за конкатенатор на JavaScript, която съдържа пиксел за проследяване на Facebook, както и код, който позволява рендиране на действително съдържание.

Освен това документът отбелязва, че редица домейни желаят да вграждат скриптове директно в кода на уеб страниците, което прави необходимо рамки за блокиране на реклами да адресират функционалността в скриптовете, вместо просто да предотвратяват зареждането на скрипта въз основа на неговата трета парти източник URL.

Чрез локализирането на тези методи пътят е ясен за системно разделяне на такъв код на категории съдържание и реклами и потенциалното възстановяване на показването на съдържание в блокирани от реклами среди.

Въпреки че съществуващите решения за блокиране на реклами, като NoScript, AdGuard, uBlock Origin и Firefox Smartblock, използват сурогатни скриптове, които разглобяват такива обединени скриптове в блокираеми компонентни скриптове, те зависят от ръчно пренаписване на скриптове, което води до продължаваща студена война между блокерите и непрекъснато променящите се техники, които ги нарушават. За разлика от това, TrackerSift предлага потенциален програмен метод за декомпозиция на смесено съдържание.