Patricia Thaine, VD på Private AI – Intervjuserie

Patricia Thaine är medgrundare och VD för Private AI, en doktorand i datavetenskap vid University of Toronto och en postgraduate affiliate vid Vector Institute som forskar om privatlivsbevarande naturlig språkbehandling, med fokus på tillämpad kryptografi. Hon forskar också om beräkningsmetoder för förlorad språktolkning.

Patricia är mottagare av NSERC Postgraduate Scholarship, RBC Graduate Fellowship, Beatrice “Trixie” Worsley Graduate Scholarship i datavetenskap och Ontario Graduate Scholarship. Hon har åtta års erfarenhet av forskning och programvaruutveckling, inklusive på McGill Language Development Lab, University of Torontos Computational Linguistics Lab, University of Torontos institution för lingvistik och Public Health Agency of Canada.

Vad var det som initialt drog dig till datavetenskap?

Förmågan att lösa problem och vara kreativ samtidigt. Det är som en hantverk. Du får se dina produktidéer bli verklighet, precis som en snickare bygger möbler. Som jag hörde någon säga en gång: programmering är det ultimata kreativa verktyget. Det faktum att de produkter du bygger kan skalas och användas av människor över hela världen är en sådan cherry på toppen.

Kan du diskutera ursprunget till Private AI och hur det kom till från din observation att det saknas verktyg som är lätta att integrera för att bevara privatliv?

Genom tal och skrift producerar och överför vi några av våra mest känsliga uppgifter till de företag vars tjänster vi använder. När vi övervägde vilka NLP-produkter vi skulle bygga, fanns det ett lager av privatliv som vi skulle behöva integrera som enkelt inte fanns på marknaden. För att använda privatlivslösningar behövde företagen antingen överföra sina användares data till en tredje part, använda undermåliga öppen källkods lösningar som inte riktigt fungerar för att skydda användarprivatliv, eller bygga en lösning internt med mycket liten expertis inom privatliv. Så vi bestämde oss för att fokusera på att skapa de bästa produkterna möjliga för utvecklare och AI-team som behöver ha utdata från privatlivsbevarande teknologier som fungerar lätt för deras behov.

Varför är privatlivsbevarande AI viktigt?

Ungefär 80 procent av den information som produceras är ostrukturerad och AI är det enda sättet att göra sig en bild av all den data. Det kan användas för gott, som att hjälpa till att upptäcka fall för en äldre befolkning, eller för ont, som att profilera och spåra individer från underrepresenterade grupper. Att säkerställa att privatliv är byggt in i den programvara vi skapar gör det mycket svårare för AI att användas på ett skadligt sätt.

Hur är privatliv en konkurrensfördel?

Det finns många anledningar, men här är några:

1. Allt fler användare bryr sig om privatliv och när konsumenter blir mer utbildade, växer denna oro: 70 procent av konsumenterna är oroliga för privatlivet för deras data.
2. Det är mycket lättare att göra affärer med andra företag om du har ordentlig dataskydd och dataprivatlivsprotokoll och teknologier på plats.
3. När du har byggt dina produkter på ett privatlivsbevarande sätt, håller du bättre koll på var sårbarhetspunkterna i din tjänst är och, särskilt genom dataminimering, blir du av med den data du inte behöver och som skulle kunna få dig i trubbel när en cyberattack inträffar.

Kan du diskutera vikten av utbildningsdataprivatliv och varför det är känsligt för reverse engineering?

Detta är en bra fråga och det behövs så mycket mer utbildning om detta. Förenklat kan man säga att maskinlärningsmodeller memoriserar information. Ju större modellerna är, desto mer memoriserar de hörnfall. Detta innebär att den information som modellerna tränats på kan produceras i produktion. Detta har visats i flera forskningsartiklar, inklusive The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks och Extracting Training Data from Large Language Models.

Det har också visats att personlig information kan extraheras från word embeddings och, för de som har några tvivel om att detta är ett verkligt problem, fanns det också en skandal i år när en koreansk kärleksbot skrev ut användardetaljer i samtal med andra användare.

Vad är din syn på federerat lärande och användarprivatliv?

Federerat lärande är ett bra steg när användningsfallet tillåter det. Men det är fortfarande möjligt att extrahera information om en användares indata från viktuppdateringar som skickas till molnet från en viss användares enhet, så det är viktigt att kombinera federerat lärande med andra privatlivsbevarande teknologier (differensialprivatliv och homomorf kryptering/säker multipel beräkning). Varje privatlivsbevarande teknologi måste väljas enligt användningsfallet – ingen kan användas som en hammare för att lösa alla problem. Vi går igenom beslutsstrukturen här. En stor vinst är att du aldrig skickar din rådata utanför din enhet. En stor nackdel är att om du behöver data för att felsöka ett system eller se om det tränas korrekt, blir det mycket svårare att få tag på. Federerat lärande är ett bra start med många olösta problem som forskning och industri arbetar med.

Hur möjliggör Private AI för utvecklare att integrera privatlivsanalys med några rader kod för att säkerställa privatliv?

Vår teknik körs som en REST API som våra användare skickar POST-förfrågningar till med den text de vill sudda ut, avidentifiera eller pseudonymisera/augmentera med realistiska data. Vissa av våra kunder skickar genom samtalstranskriptioner som måste suddas ut för att vara PCI-kompatibla, medan andra skickar genom hela chattar så att de sedan kan använda informationen för att träna chatbots, sentimentanalyser eller andra NLP-modeller. Våra användare kan också välja vilka entiteter de behöver behålla eller till och med använda som metadata för att spåra var personlig data lagras. Vi tar bort smärtan av att behöva träna upp ett exakt system för att upptäcka och ersätta personlig information i riktigt smutsig data.

Varför är privatliv för IoT-enheter ett aktuellt problem och vad är din syn på att lösa det?

Till slut är det bästa sättet att lösa ett privatlivsproblem mycket användningsfallsberoende, och IoT-enheter är inget undantag. Medan vissa användningsfall kan förlita sig på edge-utplacering, edge-inferens och privatlivsbevarande federerat lärande (t.ex. crowd sensing i smarta städer), kan andra användningsfall behöva förlita sig på dataaggregering och anonymisering (t.ex. energianvändningsinformation). Med det sagt är IoT-enheter ett perfekt exempel på hur privatliv och säkerhet måste gå hand i hand. Dessa enheter är notoriskt osäkra mot cyberattacker, så det finns bara så mycket privatlivsbevarande teknologier kan göra utan att åtgärda grundläggande enhetsvulnerabiliteter. Å andra sidan, utan att tänka på sätt att förbättra användarprivatliv, kan information som samlas in från våra hem delas, okontrollerat, till okända parter, vilket gör det extremt svårt att garantera säkerheten för informationen. Vi har två fronter att förbättra här och det utkast till lagstiftning som skrivs av Europeiska kommissionen om IoT-enhetssäkerhet kan bli det som får enhets­tillverkare att ta sitt ansvar för konsumenternas säkerhet och privatliv på allvar.

Finns det något annat du vill dela om Private AI?

Vi är en grupp experter inom privatliv, naturlig språk, talat språk, bildbehandling, maskinlärningsmodellutplacering i miljöer med låga resurser, backade av M12, Microsofts riskkapitalfond.

Vi ser till att de produkter vi skapar, utöver att vara mycket exakta, också är beräkningsmässigt effektiva så att du inte har en massiv molnräkning i slutet av månaden. Dessutom överförs aldrig våra kunders data till oss – allt bearbetas i deras egen miljö.

Tack för den underbara intervjun, för att lära mer besök Private AI.