Bailey Kacsmar, Candidata a Doutorado na Universidade de Waterloo – Série de Entrevistas

Bailey Kacsmar é uma candidata a doutorado na Escola de Ciência da Computação da Universidade de Waterloo e uma futura membro da faculdade na Universidade de Alberta. Seus interesses de pesquisa estão no desenvolvimento de tecnologias de privacidade que levam em conta o usuário, por meio do estudo paralelo de abordagens técnicas para computação privada ao lado das percepções, preocupações e compreensão dos usuários dessas tecnologias. Seu trabalho visa identificar o potencial e as limitações da privacidade em aplicações de aprendizado de máquina.

Seus interesses de pesquisa estão no desenvolvimento de tecnologias de privacidade que levam em conta o usuário, por que a privacidade em IA é tão importante?

A privacidade em IA é tão importante, em grande parte, porque a IA em nosso mundo não existe sem dados. Dados, embora sejam uma abstração útil, são, em última análise, algo que descreve pessoas e seus comportamentos. Raramente trabalhamos com dados sobre populações de árvores e níveis de água; então, sempre que trabalhamos com algo que pode afetar pessoas reais, precisamos ser conscientes disso e entender como nosso sistema pode fazer o bem ou o mal. Isso é particularmente verdadeiro para a IA, onde muitos sistemas se beneficiam de grandes quantidades de dados ou esperam usar dados altamente sensíveis (como dados de saúde) para tentar desenvolver novas compreensões do nosso mundo.

Quais são algumas maneiras pelas quais você viu que o aprendizado de máquina traiu a privacidade dos usuários?

Trair é uma palavra forte. No entanto, sempre que um sistema usa informações sobre pessoas sem o seu consentimento, sem informá-las e sem considerar possíveis danos, ele corre o risco de trair as normas de privacidade individuais ou sociais. Basicamente, isso resulta em traição por mil pequenos cortes. Tais práticas podem ser treinar um modelo nos e-mails dos usuários, treinar nos textos dos usuários ou nos dados de saúde; todos sem informar os sujeitos dos dados.

Poderia definir o que é privacidade diferencial e quais são suas opiniões sobre isso?

Privacidade diferencial é uma definição ou técnica que ganhou destaque em termos de uso para alcançar privacidade técnica. Definições técnicas de privacidade, em geral, incluem dois aspectos principais; o que está sendo protegido e de quem. Dentro da privacidade técnica, garantias de privacidade são proteções que são alcançadas desde que uma série de suposições sejam atendidas. Essas suposições podem ser sobre os adversários potenciais, complexidades do sistema ou estatísticas. É uma técnica incrivelmente útil que tem uma ampla gama de aplicações. No entanto, o que é importante lembrar é que a privacidade diferencial não é equivalente à privacidade.

Privacidade não está limitada a uma definição ou conceito, e é importante estar ciente de noções além disso. Por exemplo, integridade contextual, que é uma noção conceitual de privacidade que leva em conta coisas como como diferentes aplicações ou organizações mudam as percepções de privacidade de um indivíduo em relação a uma situação. Existem também noções legais de privacidade, como as abrangidas pela PIPEDA do Canadá, pelo GDPR da Europa e pela Lei de Proteção ao Consumidor da Califórnia (CCPA). Tudo isso é dizer que não podemos tratar sistemas técnicos como se existissem em um vácuo livre de outros fatores de privacidade, mesmo que a privacidade diferencial esteja sendo empregada.

Outro tipo de aprendizado de máquina que melhora a privacidade é o aprendizado federado, como você definiria o que é e quais são suas opiniões sobre isso?

Aprendizado federado é uma maneira de realizar aprendizado de máquina quando o modelo é treinado em uma coleção de conjuntos de dados que estão distribuídos em vários proprietários ou locais. Ele não é intrinsecamente um tipo de aprendizado de máquina que melhora a privacidade. Um tipo de aprendizado de máquina que melhora a privacidade precisa definir formalmente o que está sendo protegido, quem está sendo protegido e as condições que devem ser atendidas para que essas proteções sejam válidas. Por exemplo, quando pensamos em um cálculo diferencialmente privado simples, ele garante que alguém que vê a saída não poderá determinar se um determinado ponto de dados foi contribuído ou não.

Além disso, a privacidade diferencial não faz essa garantia se, por exemplo, houver correlação entre os pontos de dados. O aprendizado federado não tem essa característica; ele simplesmente treina um modelo em uma coleção de dados sem exigir que os detentores desses dados forneçam diretamente seus conjuntos de dados uns aos outros ou a uma terceira parte. Embora isso soe como uma característica de privacidade, o que é necessário é uma garantia formal de que não se pode aprender as informações protegidas dadas as partes intermediárias e as saídas que as partes não confiáveis observarão. Essa formalidade é especialmente importante no ambiente federado, onde as partes não confiáveis incluem todos que fornecem dados para treinar o modelo coletivo.

Quais são algumas das limitações atuais dessas abordagens?

Limitações atuais podem ser melhor descritas como a natureza da troca entre privacidade e utilidade. Mesmo que você faça tudo o mais, comunique as implicações de privacidade para aqueles afetados, avalie o sistema para o que você está tentando fazer, etc., ainda se resume a alcançar a privacidade perfeita, o que significa que não criamos o sistema, alcançar a utilidade perfeita geralmente não terá nenhuma proteção de privacidade, então a questão é como determinamos o que é o “ideal” equilíbrio. Como encontramos o ponto de equilíbrio certo e nos esforçamos para alcançá-lo, de modo que ainda alcancemos a funcionalidade desejada enquanto fornecemos as proteções de privacidade necessárias.

Você atualmente visa desenvolver tecnologia de privacidade consciente do usuário por meio do estudo paralelo de soluções técnicas para computação privada. Poderia entrar em alguns detalhes sobre o que são algumas dessas soluções?

O que quero dizer com essas soluções é que podemos, falando de forma geral, desenvolver qualquer número de sistemas de privacidade técnica. No entanto, ao fazer isso, é importante determinar se as garantias de privacidade estão alcançando aqueles afetados. Isso pode significar desenvolver um sistema após descobrir quais tipos de proteções a população valoriza. Isso pode significar atualizar um sistema após descobrir como as pessoas realmente usam um sistema, considerando suas considerações de ameaças e riscos reais. Uma solução técnica poderia ser um sistema correto que satisfaz a definição que mencionei anteriormente. Uma solução consciente do usuário projetaria seu sistema com base em entradas de usuários e outros afetados no domínio de aplicação pretendido.

Você atualmente procura estudantes de pós-graduação interessados para começar em setembro de 2024, por que acha que os estudantes devem estar interessados na privacidade da IA?

Acho que os estudantes devem estar interessados porque é algo que só crescerá em sua ubiquidade dentro de nossa sociedade. Para ter alguma ideia de quão rapidamente esses sistemas estão se espalhando, basta olhar para a recente amplificação do Chat-GPT por meio de artigos de notícias, mídias sociais e debates sobre suas implicações. Existimos em uma sociedade onde a coleta e uso de dados estão tão enraizados em nossa vida diária que quase constantemente estamos fornecendo informações sobre nós mesmos a várias empresas e organizações. Essas empresas querem usar os dados, em alguns casos para melhorar seus serviços, em outros para lucro. Neste ponto, parece irrealista pensar que essas práticas de uso de dados corporativos mudarão. No entanto, a existência de sistemas de privacidade que protegem os usuários, enquanto ainda permitem certas análises desejadas pelas empresas, pode ajudar a equilibrar a troca de riscos e recompensas que se tornou uma parte tão implícita de nossa sociedade.

Obrigada pela grande entrevista, leitores que estão interessados em aprender mais devem visitar a página do Github de Bailey Kacsmar.