Bailey Kacsmar, PhD-kandidaat aan de Universiteit van Waterloo – Interviewreeks

Bailey Kacsmar is een PhD-kandidaat aan de School of Computer Science van de Universiteit van Waterloo en een aanstaand faculteitslid aan de Universiteit van Alberta. Haar onderzoeksinteresses liggen in de ontwikkeling van gebruikersbewuste privacy-verhogende technologieën, door middel van de parallelle studie van technische benaderingen voor privéberekeningen naast de overeenkomstige gebruikerspercepties, zorgen en begrip van deze technologieën. Haar werk is gericht op het identificeren van het potentieel en de beperkingen voor privacy in machine learning-toepassingen.

Uw onderzoeksinteresses liggen in de ontwikkeling van gebruikersbewuste privacy-verhogende technologieën, waarom is privacy in AI zo belangrijk?

Privacy in AI is zo belangrijk, omdat AI in onze wereld niet bestaat zonder data. Data, hoewel een nuttige abstractie, is uiteindelijk iets dat mensen en hun gedragingen beschrijft. We werken zelden met data over boombevolkingen en waterpeilen; dus, elke keer dat we werken met iets dat invloed kan hebben op echte mensen, moeten we ons hiervan bewust zijn en begrijpen hoe ons systeem goed of kwaad kan doen. Dit is vooral waar voor AI, waar veel systemen profiteren van enorme hoeveelheden data of proberen om highly gevoelige data (zoals gezondheidsdata) te gebruiken om nieuwe inzichten in onze wereld te ontwikkelen.

Wat zijn enkele manieren waarop u heeft gezien dat machine learning de privacy van gebruikers heeft geschonden?

Verraden is een sterk woord. Echter, elke keer dat een systeem informatie over mensen gebruikt zonder hun toestemming, zonder hen te informeren en zonder mogelijke schade te overwegen, loopt het het risico de privacy van individuen of de maatschappij te schenden. Eigenlijk resulteert dit in verraad door duizend kleine steekjes. Dergelijke praktijken kunnen zijn: het trainen van een model op gebruikers e-mailinboxen, het trainen op gebruikers tekstberichten of op gezondheidsdata; alles zonder de onderwerpen van de data te informeren.

Kunt u differentiële privacy definiëren en uw mening over dit onderwerp geven?

differentiële privacy is een definitie of techniek die prominent is geworden in termen van gebruik voor het bereiken van technische privacy. Technische definities van privacy omvatten over het algemeen twee belangrijke aspecten; wat wordt beschermd en tegen wie. Binnen technische privacy zijn privacygaranties beschermingen die worden bereikt als een reeks veronderstellingen wordt vervuld. Deze veronderstellingen kunnen zijn over potentiële tegenstanders, systeemcomplexiteiten of statistieken. Het is een buitengewoon nuttige techniek die een breed scala aan toepassingen heeft. Echter, het is belangrijk om in gedachten te houden dat differentiële privacy niet gelijk is aan privacy.

Privacy is niet beperkt tot één definitie of concept, en het is belangrijk om je bewust te zijn van noties die verder gaan dan dat. Bijvoorbeeld, contextuele integriteit is een conceptuele notie van privacy die rekening houdt met dingen zoals hoe verschillende toepassingen of verschillende organisaties de privacypercepties van een individu veranderen met betrekking tot een situatie. Er zijn ook wettelijke noties van privacy, zoals die vervat in Canada’s PIPEDA, Europa’s GDPR en Californië’s consumentenbeschermingswet (CCPA). Alles dit is om te zeggen dat we technische systemen niet kunnen behandelen alsof ze bestaan in een vacuüm, vrij van andere privacyfactoren, zelfs als differentiële privacy wordt gebruikt.

Nog een andere privacy-verhogende soort machine learning is gefedereerde leren, hoe zou u dit definiëren en wat zijn uw meningen over dit onderwerp?

gefedereerde leren is een manier om machine learning uit te voeren wanneer het model getraind moet worden op een verzameling datasets die zijn verdeeld over meerdere eigenaars of locaties. Het is niet intrinsiek een privacy-verhogende soort machine learning. Een privacy-verhogende soort machine learning moet formeel definiëren wat wordt beschermd, wie wordt beschermd tegen en de voorwaarden die moeten worden vervuld om deze beschermingen te handhaven. Bijvoorbeeld, wanneer we denken aan een eenvoudige differentieel privéberekening, garandeert het dat iemand die naar de output kijkt niet kan bepalen of een bepaald datapunt is bijgedragen of niet.

Verder garandeert differentiële privacy dit niet als, bijvoorbeeld, er correlatie is tussen de datapunten. Gefedereerde leren heeft deze functie niet; het traint slechts een model op een verzameling data zonder dat de houders van die data hun datasets rechtstreeks aan elkaar of een derde partij hoeven te verstrekken. Terwijl dit klinkt als een privacyfunctie, is een formele garantie nodig dat men de beschermde informatie niet kan leren gegeven de tussenpersonen en uitvoer die de niet-vertrouwde partijen zullen observeren. Deze formaliteit is vooral belangrijk in de gefedereerde instelling waar de niet-vertrouwde partijen iedereen omvatten die data verstrekken om het collectieve model te trainen.

Wat zijn enkele van de huidige beperkingen van deze benaderingen?

Huidige beperkingen kunnen het beste worden omschreven als de aard van de privacy-nut trade-off. Zelfs als je alles anders doet, communiceert de privacy-implicaties naar degenen die zijn getroffen, evalueert het systeem voor wat je probeert te doen, enz., het komt uiteindelijk neer op het bereiken van perfecte privacy, wat betekent dat we het systeem niet maken, het bereiken van perfecte nut, wat over het algemeen geen enkele privacybescherming heeft, dus de vraag is hoe we het “ideale” compromis bepalen. Hoe vinden we het juiste kantelpunt en bouwen we ernaartoe, zodat we nog steeds de gewenste functionaliteit bereiken en de nodige privacybescherming bieden.

U streeft ernaar om gebruikersbewuste privacytechnologie te ontwikkelen door middel van de parallelle studie van technische oplossingen voor privéberekeningen. Kunt u enkele details geven over enkele van deze oplossingen?

Wat ik bedoel met deze oplossingen is dat we, losjes gesproken, een aantal technische privacy-systemen kunnen ontwikkelen. Echter, wanneer we dit doen, is het belangrijk om te bepalen of de privacygaranties degenen bereiken die zijn getroffen. Dit kan betekenen dat we een systeem ontwikkelen nadat we hebben ontdekt welke soorten bescherming de bevolking waardeert. Dit kan betekenen dat we een systeem bijwerken nadat we hebben ontdekt hoe mensen een systeem echt gebruiken, gegeven hun echte bedreigingen en risico’s. Een technische oplossing kan een correct systeem zijn dat de definitie die ik eerder noemde, vervult. Een gebruikersbewuste oplossing zou het systeem ontwerpen op basis van invoer van gebruikers en anderen die zijn getroffen in de beoogde toepassingsdomein.

U zoekt op dit moment geïnteresseerde graduate students om in september 2024 te beginnen, waarom denkt u dat studenten geïnteresseerd moeten zijn in AI-privacy?

Ik denk dat studenten geïnteresseerd moeten zijn omdat het iets is dat alleen maar zal groeien in zijn alomtegenwoordigheid binnen onze samenleving. Om te zien hoe snel deze systemen evolueren, hoeven we alleen maar te kijken naar de recente Chat-GPT-versterking door nieuwsartikelen, sociale media en debatten over de implicaties ervan. We bestaan in een samenleving waar de verzameling en het gebruik van data zo diepgeworteld zijn in ons dagelijks leven dat we bijna constant informatie over onszelf verstrekken aan verschillende bedrijven en organisaties. Deze bedrijven willen deze data gebruiken, in sommige gevallen om hun diensten te verbeteren, in andere voor winst. Op dit punt lijkt het onrealistisch om te denken dat deze corporate data-gebruikspraktijken zullen veranderen. Echter, het bestaan van privacy-beschermende systemen die gebruikers beschermen terwijl ze nog steeds bepaalde analyses toelaten die door bedrijven worden gewenst, kan helpen om het risico-reward-compromis te balanceren dat zo’n impliciet onderdeel is geworden van onze samenleving.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten bezoeken Bailey Kacsmar’s Github-pagina.