Patricia Thaine, CEO bij Private AI – Interviewreeks

Patricia Thaine is de medeoprichter en CEO van Private AI, een PhD-kandidaat in computerwetenschappen aan de Universiteit van Toronto en een postdoctoraal affiliate aan het Vector Institute, waar zij onderzoek doet naar privacy-bewarende natuurlijke taalverwerking, met een focus op toegepaste cryptografie. Zij doet ook onderzoek naar computationele methoden voor het ontcijferen van verloren talen.

Patricia is een ontvanger van de NSERC Postgraduate Scholarship, de RBC Graduate Fellowship, de Beatrice “Trixie” Worsley Graduate Scholarship in Computer Science en de Ontario Graduate Scholarship. Zij heeft acht jaar ervaring in onderzoek en softwareontwikkeling, waaronder bij het McGill Language Development Lab, het Computational Linguistics Lab van de Universiteit van Toronto, het Departement Linguïstiek van de Universiteit van Toronto en de Public Health Agency of Canada.

Wat trok je aanvankelijk aan tot computerwetenschappen?

De mogelijkheid om problemen op te lossen en tegelijkertijd creatief te zijn. Het is alsof je een ambacht uitoefent. Je ziet je productideeën tot leven komen, net als een timmerman meubels bouwt. Zoals iemand ooit tegen me zei: programmeren is het ultieme creatieve instrument. Het feit dat de producten die je bouwt, kunnen worden geschaald en door mensen over de hele wereld kunnen worden gebruikt, is zo’n extraatje.

Kunt u de oorsprong van Private AI bespreken en hoe het ontstond uit uw observatie dat er een gebrek is aan tools die gemakkelijk te integreren zijn voor het bewaren van privacy?

Door middel van spraak en schrijven produceren en verzenden we enkele van onze meest gevoelige informatie naar de bedrijven wiens diensten we gebruiken. Toen we overwogen welke NLP-producten we zouden bouwen, was er een laag van privacy die we moesten integreren, die eenvoudigweg niet bestond in de markt. Om privacyoplossingen te gebruiken, moesten bedrijven hun gebruikersgegevens overdragen aan een derde partij, gebruikmaken van ondermaatse open-source-oplossingen die niet goed genoeg waren om gebruikersgegevens te beschermen, of een oplossing in-house bouwen met heel weinig expertise in privacy. Dus besloten we ons te concentreren op het creëren van de beste producten mogelijk voor ontwikkelaars en AI-teams die de uitvoer van privacy-verhogende technologieën gemakkelijk nodig hebben.

Waarom is privacy-bewaarde AI belangrijk?

Ongeveer 80 procent van de gegenereerde informatie is ongestructureerd en AI is de enige manier om alle gegevens te begrijpen. Het kan voor goed worden gebruikt, zoals het helpen van het detecteren van valpartijen bij een oudere bevolking, of voor slecht, zoals het profileren en volgen van individuen van ondervertegenwoordigde bevolkingsgroepen. Het waarborgen dat privacy is ingebouwd in de software die we creëren, maakt het veel moeilijker voor AI om op een nadelige manier te worden gebruikt.

Hoe is privacy een concurrentievoordeel?

Er zijn veel redenen, maar hier zijn er een paar:

1. Steeds meer gebruikers geven om privacy en naarmate consumenten meer onderwijs genieten, groeit deze zorg: 70 procent van de consumenten maakt zich zorgen over de privacy van hun gegevens.
2. Het is veel gemakkelijker om zaken te doen met andere bedrijven als je de juiste gegevensbescherming en -privacyprotocollen en -technologieën hebt.
3. Wanneer je je producten op een privacy-bewaarde manier hebt gebouwd, houd je beter bij waar de kwetsbaarheidspunten in je dienst liggen en, vooral door gegevensminimalisatie, gooi je de gegevens die je niet nodig hebt en die je in de problemen kunnen brengen wanneer een cyberaanval plaatsvindt, weg.

Kunt u de belangrijkheid van trainingsgegevensprivacy bespreken en waarom het vatbaar is voor reverse-engineering?

Dit is een geweldige vraag en er moet veel meer onderwijs over zijn. Vereenvoudigd gezegd, onthouden machine learning-modellen informatie. Hoe groter de modellen, hoe meer ze hoekgevallen onthouden. Wat dit betekent, is dat de informatie waarop deze modellen zijn getraind, in productie kan worden uitgespuwd. Dit is aangetoond in verschillende onderzoeksartikelen, waaronder The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks en Extracting Training Data from Large Language Models.

Het is ook aangetoond dat persoonlijke informatie kan worden geëxtraheerd uit woordvectoren en, voor degenen die twijfelen of dit een echt probleem is, was er ook een schandaal dit jaar toen een Koreaanse liefdesbot gebruikersgegevens schreef in chats met andere gebruikers.

Wat zijn uw mening over gefedereerd leren en gebruikersprivacy?

Gefedereerd leren is een grote stap wanneer het gebruikscase toelaat. Echter, het is nog steeds mogelijk om informatie over een gebruikersinput te extraheren uit de gewichtsupdates die naar de cloud worden verzonden vanaf een specifiek apparaat van een gebruiker, dus het is belangrijk om gefedereerd leren te combineren met andere privacy-verhogende technologieën (differentieel privacyleer en homomorfische encryptie/veilige multipartijenberekening). Elke privacy-verhogende technologie moet worden gekozen op basis van het gebruikscase – geen enkele kan worden gebruikt als een hamer om alle problemen op te lossen. We gaan door het beslissingsboom hier. Een groot voordeel is dat je nooit je rauwe gegevens buiten je apparaat verstuurt. Een groot nadeel is dat, als je gegevens nodig hebt om een systeem te debuggen of te zien of het goed getraind is, het veel moeilijker wordt om deze te verkrijgen. Gefedereerd leren is een goede start met veel onopgeloste problemen die zowel onderzoek als industrie aan het werken zijn.

Hoe zorgt Private AI ervoor dat ontwikkelaars privacyanalyse kunnen integreren met slechts enkele regels code om privacy te waarborgen?

Onze technologie draait als een REST API waarop onze gebruikers POST-aanvragen verzenden met de tekst die ze willen redigeren, anonimiseren of pseudonimiseren/aanvullen met realistische gegevens. Sommige van onze klanten sturen calltranscripties door die moeten worden geredigeerd om PCI-compliant te zijn, terwijl anderen hele chats doorsturen zodat ze de informatie kunnen gebruiken om chatbots, sentimentanalysatoren of andere NLP-modellen te trainen. Onze gebruikers kunnen ook kiezen welke entiteiten ze nodig hebben om te behouden of zelfs als metadata te gebruiken om bij te houden waar persoonlijke gegevens worden opgeslagen. We nemen de pijn weg van het moeten trainen van een nauwkeurig systeem om persoonlijke informatie in echt rommelige gegevens te detecteren en te vervangen.

Waarom is privacy voor IoT-apparaten een huidig probleem en wat zijn uw mening over het oplossen ervan?

Uiteindelijk is de beste manier om een privacyprobleem op te lossen heel gebruikscase-afhankelijk, en IoT-apparaten zijn geen uitzondering. Terwijl sommige gebruikscases afhankelijk zijn van edge-implementatie, edge-inferentie en privacy-bewaard gefedereerd leren (bijv. crowdsensing in slimme steden), hebben andere gebruikscases mogelijk afhankelijkheid van gegevensaggregatie en anoniem maken (bijv. energieverbruiksgegevens) nodig. Met dat gezegd, IoT-apparaten zijn een prima voorbeeld van hoe privacy en beveiliging hand in hand moeten gaan. Deze apparaten zijn berucht onveilig voor cyberaanvallen, dus er is maar zo veel dat privacy-verhogende technologieën kunnen doen zonder de fundamentele kwetsbaarheden van apparaten te verhelpen. Aan de andere kant, zonder manieren te bedenken om gebruikersprivacy te verbeteren, kan informatie die uit onze huizen wordt verzameld, ongecontroleerd worden gedeeld met onbekende partijen, waardoor het heel moeilijk wordt om de beveiliging van de informatie te garanderen. We hebben twee fronten om te verbeteren en de conceptwetgeving die door de Europese Commissie over IoT-apparaatbeveiliging wordt geschreven, kan uiteindelijk degene zijn die apparaatfabrikanten ertoe aanzet om hun verantwoordelijkheid ten aanzien van de beveiliging en privacy van consumenten serieus te nemen.

Is er nog iets anders dat u zou willen delen over Private AI?

We zijn een groep experts in privacy, natuurlijke taal, gesproken taal, beeldverwerking, machine learning-modelimplementatie in omgevingen met weinig middelen, gesteund door M12, Microsofts venturefonds.

We zorgen ervoor dat de producten die we creëren, naast zeer nauwkeurig te zijn, ook computationeel efficiënt zijn, zodat u geen enorme cloudrekening aan het eind van de maand heeft. Bovendien worden de gegevens van onze klanten nooit overgedragen aan ons – alles wordt verwerkt in hun eigen omgeving.

Bedankt voor het geweldige interview, om meer te leren, bezoek Private AI.