Patricia Thaine, administrerende direktør i Private AI – Intervju-serie

Patricia Thaine er medstifter og administrerende direktør i Private AI, en ph.d.-stipendiat i datalogi ved University of Toronto og en postgraduate-tilknytning ved Vector Institute, hvor hun forsker i privatlivsbeskyttende naturlig sprogbehandling med fokus på anvendt kryptografi. Hun forsker også i beregningsmetoder til tabt sprogdekodning.

Patricia er modtager af NSERC Postgraduate Scholarship, RBC Graduate Fellowship, Beatrice “Trixie” Worsley Graduate Scholarship i datalogi og Ontario Graduate Scholarship. Hun har otte års erfaring med forskning og softwareudvikling, herunder på McGill Language Development Lab, University of Torontos Computational Linguistics Lab, University of Torontos afdeling for lingvistik og Public Health Agency of Canada.

Hvad var det, der oprindeligt tiltrak dig til datalogi?

Evnen til at løse problemer og være kreativ på samme tid. Det er som en håndværk. Du får at se dine produktideer blive til virkelighed, ligesom en snedker bygger møbler. Som jeg engang hørte nogen sige: programmering er det ultimative kreative værktøj. Det faktum, at de produkter du bygger, kan skala og blive brugt af mennesker over hele verden, er bare en kage på toppen.

Kan du diskutere Private AIs oprindelseshistorie og hvordan den opstod fra din observation af, at der mangler værktøjer, der er lette at integrere for at beskytte privatlivet?

Gennem tale og skrift producerer og overfører vi nogen af vores mest følsomme oplysninger til de virksomheder, hvis tjenester vi bruger. Da vi overvejede, hvilke NLP-produkter vi skulle bygge, var der et lag af privatliv, som vi ville have brug for at integrere, som simpelthen ikke eksisterede på markedet. For at bruge privatlivsløsninger skulle virksomhederne overføre deres brugeres data til en tredjepart, bruge underlige åbne kilde-løsninger, som ikke var gode nok til at beskytte brugerens privatliv, eller bygge en løsning internt med meget lidt ekspertise i privatliv. Så vi besluttede os for at fokusere på at skabe de bedste produkter mulige for udviklere og AI-hold, der har brug for at have outputtet af privatlivsforbedrings-teknologier let at arbejde med.

Hvorfor er privatlivsbeskyttende AI vigtig?

Cirka 80 procent af den information, der produceres, er ustuktureret, og AI er den eneste måde at give mening til al den data på. Det kan bruges til godt, som at hjælpe med at opdage fald blandt en ældre befolkning, eller til dårligt, som at profilere og spore individer fra underrepræsenterede befolkningsgrupper. At sikre, at privatliv er bygget ind i den software, vi skaber, gør det meget sværere for AI at blive brugt på en skadelig måde.

Hvorfor er privatliv en konkurrencefordel?

Der er mange grunde, men her er bare nogle få:

1. Flere og flere brugere bekymrer sig om privatliv, og da forbrugerne bliver mere uddannede, vokser denne bekymring: 70 procent af forbrugerne er bekymrede for deres datas privatliv.
2. Det er meget lettere at gøre forretning med andre virksomheder, hvis du har ordentlig dataskyning og privatlivsprotokoller og -teknologier på plads.
3. Når du har bygget dine produkter på en privatlivsbeskyttende måde, holder du bedre styr på, hvor svaghederne er i din tjeneste, og du fjerner den data, du ikke har brug for, og som kan bringe dig i vanskeligheder, når der sker et cyberangreb.

Kan du diskutere vigtigheden af træningsdata-privatliv og hvorfor det er sårbart over for reverse engineering?

Dette er et godt spørgsmål, og der skal være meget mere uddannelse omkring dette. Forenklet set husker maskinlæringsmodeller information. Jo større modellerne er, jo mere husker de corner cases. Dette betyder, at den information, som modellerne er trænet på, kan blive udledt i produktion. Dette er blevet vist i flere forskningsartikler, herunder The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks og Extracting Training Data from Large Language Models.

Det er også blevet vist, at personlige oplysninger kan udtrækkes fra word embeddings og at der var en skandale i år, da en koreansk kærlighedsbot skrev brugerens detaljer i chats med andre brugere.

Hvad er dine synspunkter på fædrelands-læring og brugerprivatliv?

Fædrelands-læring er et godt skridt, når brugsfaldet tillader det. Men det er stadig muligt at udtrække information om en brugers input fra vægt-opdateringerne, der sendes over til skyen fra en bestemt brugers enhed, så det er vigtigt at kombinere fædrelands-læring med andre privatlivsforbedrings-teknologier (differential privatliv og homomorft kryptering/sikker multiparti-komputation). Hver privatlivsforbedrings-teknologi skal vælges efter brugsfaldet – ingen kan bruges som en hammer til at løse alle problemer. Vi gennemgår beslutningstræet her. En stor gevinst er, at du aldrig sender din rådata uden for din enhed. En stor ulempe er, at hvis du har brug for data for at fejlfinde et system eller se, om det trænes korrekt, bliver det meget sværere at få fat i. Fædrelands-læring er et godt startskud med mange uløste problemer, som både forskning og industri arbejder på.

Hvordan aktiverer Private AI udviklere til at integrere privatlivsanalyse med få linjer kode for at sikre privatliv?

Vores teknologi køres som en REST API, som vores brugere sender POST-anmodninger til med den tekst, de ønsker at redigere, anonymisere eller pseudonymisere/augmentere med realistiske data. Nogle af vores kunder sender gennem samtale-transkriptioner, der skal redigeres for at være PCI-kompatible, mens andre sender gennem hele chats, så de kan bruge informationen til at træne chatbots, sentiment-analytikere eller andre NLP-modeller. Vores brugere kan også vælge, hvilke enheder de har brug for at beholde eller bruge som metadata til at spore, hvor personlige data gemmes. Vi fjerner smerten ved at skulle træne en præcis system til at opdage og erstatte personlige oplysninger i rigtig beskidt data.

Hvorfor er privatliv for IoT-enheder et nuværende problem, og hvad er dine synspunkter på at løse det?

Ultimativt er den bedste måde at løse et privatlivsproblem meget afhængigt af brugsfaldet, og IoT-enheder er ikke anderledes. Mens nogle brugsfald måske afhænger af edge-udvikling, edge-inferens og privatlivsbeskyttende fædrelands-læring (f.eks. crowdsensing i smarte byer), må andre brugsfald måske afhænge af data-aggregat og anonymisering (f.eks. energiforbrugsinformation). Med det sagt er IoT-enheder et perfekt eksempel på, hvordan privatliv og sikkerhed må gå hånd i hånd. Disse enheder er notorisk usikre over for cyberangreb, så der er kun så meget, privatlivsforbedrings-teknologier kan gøre uden at løse de grundlæggende enheds-svagheder. På den anden side kan information, der indsamles fra vores hjem, uden at tænke på måder at forbedre brugerprivatliv, deles, ubekymret, til ukendte parter, hvilket gør det ekstremt svært at garantere informationens sikkerhed. Vi har to fronter at forbedre her, og det udkast til lovgivning, der skrives af den europæiske kommission om IoT-enhedssikkerhed, kan måske blive det, der får enhedsproducenterne til at tage deres ansvar for forbrugernes sikkerhed og privatliv alvorligt.

Er der noget andet, du gerne vil dele om Private AI?

Vi er en gruppe eksperter i privatliv, naturlig sprog, tale, billedbehandling, modellering i lav-resurse-miljøer, støttet af M12, Microsofts venture-fond.

Vi sikrer, at de produkter, vi skaber, på toppen af at være meget præcise, også er beregningsmæssigt effektive, så du ikke får en enorm sky-regning i hånden ved månedens slutning. Desuden bliver vores kunders data aldrig overført til os – alt bliver behandlet i deres eget miljø.

Tak for det gode interview, for at lære mere besøg Private AI.