Analyse van 25 jaar privacybeleid met machine learning

Onlangs heeft een studie machine learning-analysetechnieken gebruikt om de leesbaarheid, bruikbaarheid, lengte en complexiteit van meer dan 50.000 privacybeleiden op populaire websites in een periode van 25 jaar van 1996 tot 2021 in kaart te brengen. Het onderzoek concludeert dat de gemiddelde lezer 400 uur ‘jaarlijkse leestijd’ (meer dan een uur per dag) moet besteden om de groeiende woordenschat, verwarrende taal en vage taalgebruik te doorgronden die de moderne privacybeleiden van sommige van de meest bezochte websites kenmerken.

Het rapport vermeldt:

‘De gemiddelde lengte van het beleid is bijna verdubbeld in de afgelopen tien jaar, met 2159 woorden in maart 2011 en 4191 woorden in maart 2021, en bijna verviervoudigd sinds 2000 (1146 woorden).’

De gemiddelde woordenschat en zinschat van de onderzochte corpus, over een periode van 25 jaar. Bron: https://arxiv.org/pdf/2201.08739.pdf

Hoewel de stijging van de lengte van de beleiden een piek bereikte toen de GDPR en de California Consumer Privacy Act (CCPA) in werking traden, wijt het papier deze variaties aan ‘kleine effectgroottes’ die onbeduidend lijken tegen de bredere langetermijntrend. De GDPR wordt echter geïdentificeerd als een mogelijke oorzaak van de groeiende ‘vaagheid’ in de beleiden (zie hieronder).

Als we ervan uitgaan dat de leessnelheid 250 woorden per minuut bedraagt, stelt het papier dat het gemiddelde privacybeleid nu 17 minuten duurt om te lezen, terwijl populaire beleiden (d.w.z. beleiden die zijn gekoppeld aan een groot aantal gebruikers) 23 minuten duren om te voltooien.

Het langste beleid in de dataset, van Microsoft, vereist 152 minuten om te consumeren, volgens het onderzoek, dat een aantal varianten van Google’s BERT-taalmodel heeft gebruikt.

Groei in het aantal jaarlijkse uren dat nodig is om moderne privacybeleiden te lezen, ervan uitgaande dat de lezer 1462 unieke websites per jaar bezoekt.

Veel van de recente toename in woordkeuze en dubbelzinnigheid in privacybeleiden wordt door het papier toegeschreven aan een reactie op pogingen in de afgelopen twee decennia om regelgeving op te leggen, maar ook aan het oneerlijke gebruik van regelgevingsvereisten als excuus om het bereik en de ondoorzichtigheid van privacybeleiden stiekem te vergroten.

‘Over het algemeen laten onze resultaten zien dat recente privacyregelgeving de privacy van gebruikers online niet aanzienlijk heeft verbeterd, maar heeft geleid tot meer opgeblazen privacybeleiden die meer en meer invasieve gegevenspraktijken beschrijven.’

Hoewel een aantal Natural Language Processing (NLP)-papers de leesbaarheid en andere aspecten van privacybeleiden in de afgelopen jaren heeft behandeld, gelooft de auteur dat dit het eerste project van zijn soort is dat een dergelijk breed overzicht van beleidsontwikkeling in recente decennia biedt.

Het papier heeft de titel Privacybeleiden door de jaren heen: inhoud en leesbaarheid van privacybeleiden 1996-2021 en komt van Isabel Wagner van het Cyber Technology Institute van de De Montfort University in het VK.

Elliptische taal

Het rapport suggereert ook dat het gemiddelde aantal ‘verwarrende woorden’ (d.w.z. acceptabel, significant, voornamelijk en andere woorden die geen definitieve betekenis geven) in privacybeleiden gestaag is toegenomen tot 2018, maar daarna is gestegen van een mediaan van 227 rond maart 2018 tot 304 in juni 2020.

De auteur stelt dat deze stijging te wijten is aan de effecten van de GDPR, en het papier vindt dat meer dan twee derde (72%) van de zinnen in de onderzochte privacybeleiden minstens één verwarrend woord bevatten.

Leesbaarheid

Over drie veelvoorkomende maatstaven voor leesmoeilijkheid vond de studie dat privacybeleiden steeds moeilijker te lezen zijn geworden in de loop der jaren. De auteurs schatten dat 41% van de in 2021 geldige beleiden een mediaan Flesch Reading Ease (FRE, hoger is beter) van slechts 31,8 had, waarbij de auteur opmerkt ‘Deze score geeft aan dat het een zeer moeilijke tekst is die het beste wordt begrepen door universitaire afgestudeerden’.

Tegelijkertijd behaalden slechts 6,7% van de beleiden een FRE-score boven de 45 (wat, zoals het rapport opmerkt, de leesstandaard is die vereist is voor verzekeringen in de staat Florida).

Beleidswijzigingsbewustzijn

Het onderzoek behandelt ook de mate waarin privacybeleiden details bevatten over hoe de potentiële toestemmer uiteindelijk op de hoogte wordt gesteld in het geval van latere updates, die de bereidheid van de gebruiker om de overeenkomst te handhaven, kunnen beïnvloeden.

De auteur merkt op:

‘In 2021 bevatten 73% van de beleiden een verklaring over beleidswijzigingen. Van deze beleiden vermelden 34% dat wijzigingen worden aangekondigd door een kennisgeving in het privacybeleid, 37% zullen een kennisgeving op de website plaatsen en 22% zullen een persoonlijke kennisgeving sturen (de overige beleiden laten het type kennisgeving ongespecificeerd).

‘Als gevolg daarvan is het voor de meeste gebruikers onwaarschijnlijk dat ze op de hoogte worden gesteld van wijzigingen in de privacybeleiden.

‘Bovendien hebben gebruikers bijna geen keuze wanneer beleiden worden gewijzigd. Van de beleiden die de gebruiker op de hoogte stellen van wijzigingen, bieden slechts 12% een nieuw opt-in, terwijl 34% geen keuze bieden en 54% het ongespecificeerd laten.’

De resultaten van het onderzoek naar de beschreven methoden voor het informeren van gebruikers over beleidswijzigingen.

Beperkte keuze met betrekking tot tracking

Volgens de studie worden in privacybeleiden een veel groter aantal mechanismen aangeboden voor toegang tot gebruikersaccountinformatie dan voor toegang tot gebruikersprofielgegevens. Profielgegevens kunnen worden gemaakt en bijgewerkt via geautomatiseerde en niet-evidente mechanismen, terwijl gebruikersaccountgegevens niet alleen expliciet door de gebruiker worden verleend, maar ook onderworpen zijn aan bewerking onder de regelgeving van verschillende rechtsgebieden.

De keuze van consumenten met betrekking tot cookie-toestemming in privacybeleiden (een onderwerp dat sinds de invoering van de GDPR heated debate heeft aangetrokken en honderdduizenden cookie-toestemmingspop-ups voor EU-exemplaren van internationale en Europese websites heeft gegenereerd) wordt over het algemeen in de beleiden behandeld, maar verhult een belangrijker laag van minder toegankelijke gegevens*:

‘[De] keuzes met betrekking tot cookies zijn onvoldoende om gebruikers te beschermen tegen alle tracking, omdat keuze- of controlemechanismen zelden worden aangeboden voor computerinformatie, apparaatidentificatoren, en persoonlijke identificatoren, die gebruikers via vingerafdrukken kunnen traceren.’

Een scherp contrast in het beschikbare niveau van controle dat door privacybeleiden wordt verleend tussen profielgegevens (die op impliciete of stiekeme wijze kunnen worden verkregen) en gebruikersaccountgegevens (waarvoor enige mate van controle vaak wordt opgelegd door de GDPR, de California Consumer Privacy Act (CCPA) en soortgelijke nationale en regionale mechanismen).

Gegevens

Om de gegevens voor de studie te verkrijgen, heeft de auteur websites doorzocht naar links naar hun privacybeleiden, waarbij het vaak nodig was om de scope te verbreden tot voorbij het initiële resultaat, vanwege het aantal niet-integrale beleiden dat naar verdere beleiden linkt (die elk het potentieel hebben om te veranderen, hetzij in tandem met of onafhankelijk van het ouder- of verwante beleid).

De Wayback Machine werd gebruikt om historische beleiden te verkrijgen, hoewel het nodig was om bij het overwegen van resultaten rekening te houden met beleiden die waren geblokkeerd voor crawlen of archiveren via een robots.txt-configuratiebestand (een klein tekstbestand met instructies voor web-crawling-indexeringsagenten over pagina’s en andere entiteiten die niet in een openbare index mogen worden opgenomen).

Eén momentopname per maand werd verkregen van de Wayback Machine via de CDX API voor elk identificeerbaar en continu toepasselijk beleid, met behulp van Firefox onder Selenium. Het uitvoeren van optische tekenherkenning op beleiden die alleen in PDF-formaat beschikbaar waren, werd niet overwogen voor het project, dat zich beperkte tot het (veel grotere) aantal beschikbare HTML-beleiden.

Een interessant resultaat van het project is dat de duidelijkheid en leesbaarheid van pornografische websites daadwerkelijk zijn verbeterd over de onderzochte periode – mogelijk in afwachting van groeiende oproepen tot meer regelgeving en duidelijkheid. Om deze documenten te verzamelen, was het nodig om ze te verkrijgen met extra crawls vanuit residentiële IP-adressen, vanwege de content-blokkeringsprotocollen van de universiteit.

Aanvankelijk werden 1.068.683 documenten verkregen, gelijk aan 120.265 unieke documenten met een gemiddelde van 39,1 beleidsartikelen of -clausules en 4,4 unieke beleidsteksten per link.

Alleen Engels

Zoals gebruikelijk in soortgelijke recente studies, kon het project geen niet-Engelse privacybeleiden behandelen, die tijdens de dataverzamelfase werden verwijderd met behulp van de PYCLD2-package.

Om privacybeleiden te onderscheiden van andere soorten materiaal, gebruikte het project een classificator die in 2019 is ontwikkeld als een gezamenlijk initiatief van de University of Wisconsin en de École Polytechnique Fédérale de Lausanne.

Architectuur van de IS-POLICY-classificator. Bron: https://arxiv.org/pdf/1809.08396.pdf

Hoewel de IS-POLICY-classificator was getraind op dezelfde 1000-documentcorpus als in het oorspronkelijke papier, moest de auteur nieuwe niet-beleidsdocumenten verkrijgen voor training, aangezien de oorspronkelijke bronnen niet beschikbaar waren.

Na filtering werden de gegevens teruggebracht tot 56.416 unieke privacybeleiden.

* De inline-citatie van het papier is hier omgezet in een hyperlink, italic toggling is van het papier.

Voor het eerst gepubliceerd op 31 januari 2022.