Бейлі Касмар, кандидат філософського докторату в Університеті Ватерлоо – Серія інтерв’ю

Бейлі Касмар – кандидат філософського докторату в Школі комп’ютерних наук Університету Ватерлоо та майбутній член факультету Університету Альберти. Її дослідницькі інтереси полягають у розробці технологій, що підвищують приватність користувачів, шляхом паралельного вивчення технічних підходів для приватних обчислень та відповідних сприйняття, проблем та розуміння користувачами цих технологій. Її робота спрямована на визначення потенціалу та обмежень приватності в додатках машинного навчання.

Ваши дослідницькі інтереси полягають у розробці технологій, що підвищують приватність користувачів, чому приватність у штучному інтелекті така важлива?

Приватність у штучному інтелекті така важлива, оскільки штучний інтелект у нашому світі не існує без даних. Дані, хоча й корисна абстракція, в кінцевому підсумку описують людей та їх поведінку. Ми рідко працюємо з даними про популяції дерев та рівні води; тому, коли ми працюємо з чимось, що може вплинути на реальних людей, нам потрібно бути обізнаними про це та розуміти, як наша система може зробити добро чи заподіяти шкоду. Це особливо вірно для штучного інтелекту, де багато систем користуються великими кількостями даних або сподіваються використовувати дуже чутливі дані (наприклад, дані про здоров’я), щоб спробувати розробити нові розуміння нашого світу.

Які способи ви бачили, що машинне навчання зрадило приватність користувачів?

Зрада – це сильне слово. Однак, коли система використовує інформацію про людей без їхньої згоди, без інформування їх та без урахування потенційних шкод, вона ризикує зрадити індивідуальну чи суспільну приватність. По суті, це результат зради тисячами малих порізів. Такі практики можуть полягати у тренуванні моделі на поштових скриньках користувачів, тренуванні на текстових повідомленнях користувачів або на даних про здоров’я; усе це без інформування суб’єктів даних.

Можете визначити, що таке диференціальна приватність, і які ваші погляди на неї?

Диференціальна приватність – це визначення або техніка, яка набула популярності щодо використання для досягнення технічної приватності. Технічні визначення приватності, загалом кажучи, включають два ключових аспекти; що захищається, і від кого. У технічній приватності гарантії приватності – це захисту, які досягаються за умови виконання серії припущень. Ці припущення можуть бути про потенційних противників, складність системи чи статистику. Це надзвичайно корисна техніка, яка має широкий спектр застосувань. Однак важливо пам’ятати, що диференціальна приватність не еквівалентна приватністю.

Приватність не обмежується однією дефініцією чи поняттям, і важливо бути обізнаним про поняття, що виходять за межі цього. Наприклад, контекстна цілісність – це концептуальне поняття приватності, яке враховує такі речі, як як різні програми або організації змінюють сприйняття приватності індивідуума щодо ситуації. Також існують юридичні поняття приватності, такі як ті, що охоплені законом Канади про захист особистої інформації, законом Європи про загальну захист даних та законом Каліфорнії про захист споживачів (CCPA). Все це означає, що ми не можемо розглядати технічні системи так, ніби вони існують у вакуумі, вільному від інших чинників приватності, навіть якщо використовується диференціальна приватність.

Інший тип машинного навчання, що підвищує приватність, – це федеративне навчання, можете визначити, що це таке, і які ваші погляди на нього?

Федеративне навчання – це спосіб виконання машинного навчання, коли модель повинна бути тренована на колекції наборів даних, розподілених по кількох власників або місцях. Воно не є внутрішньо типом машинного навчання, що підвищує приватність. Тип машинного навчання, що підвищує приватність, повинен формально визначити, що захищається, від кого захищається, і умови, які повинні бути виконані для цих захисту. Наприклад, коли ми думаємо про просту диференційно-приватну обчислення, воно гарантує, що хтось, хто дивиться на результат, не зможе визначити, чи був певний дані внесений чи ні.

Далі, диференціальна приватність не дає цієї гарантії, якщо, наприклад, існує кореляція серед даних. Федеративне навчання не має цієї функції; воно просто тренує модель на колекції даних без вимоги від власників цих даних безпосередньо надавати свої набори даних один одному або третій стороні. Хоча це звучить як функція приватності, потрібно формальна гарантія, що не можна вивчити захищену інформацію, дану посередників та результати, які спостерігатимуть недовіри особи.

Які деякі з поточних обмежень цих підходів?

Поточні обмеження можна найкраще описати як характер торгової угоди між приватністю та корисністю. Навіть якщо ви робите все інше, спілкуєтеся про наслідки приватності з тими, хто постраждав, оцінюєте систему для того, що ви намагаєтеся зробити, тощо, все це зводиться до досягнення ідеальної приватності, що означає, що ми не створюємо систему, досягнення ідеальної корисності зазвичай не має жодних засобів захисту приватності, тому питання полягає в тому, як ми визначаємо “ідеальний” компроміс. Як ми знаходимо правильну точку та будуємо до неї так, щоб все ще досягати бажаної функціональності, забезпечуючи необхідні засоби захисту приватності.

Ви зараз намагаєтеся розробити технології, що підвищують приватність користувачів, через паралельне вивчення технічних рішень для приватних обчислень, можете розповісти про деякі з цих рішень?

Тим, що я маю на увазі ці рішення, є те, що ми можемо, вільно кажучи, розробити будь-яку кількість технічних систем приватності. Однак, роблячи це, важливо визначити, чи засоби захисту приватності досягаються тими, хто постраждав. Це може означати розробку системи після того, як ми дізналися, які засоби захисту цінує населення. Це може означати оновлення системи після того, як ми дізналися, як люди фактично використовують систему, враховуючи реальні загрози та ризики. Технічне рішення може бути правильною системою, яка задовольняє визначення, яке я згадав раніше. Рішення, що підвищує приватність користувачів, буде проектувати свою систему на основі даних від користувачів та інших осіб, які постраждали у сфері застосування.

Ви зараз шукаєте зацікавлених студентів-магістрів, щоб вони почали роботу у вересні 2024 року, чому ви думаєте, що студенти повинні бути зацікавлені у приватності штучного інтелекту?

Я думаю, що студенти повинні бути зацікавлені, оскільки це щось, що тільки зростатиме у своєму поширенні у нашому суспільстві. Щоб мати деяке уявлення про те, як швидко ці системи розвиваються, дивіться не далі最近ної підтримки Chat-GPT через новинні статті, соціальні медіа та дискусії про її наслідки. Ми існуємо у суспільстві, де збір та використання даних так глибоко вплетені у нашу повсякденну життя, що ми майже постійно надаємо інформацію про себе різним компаніям та організаціям. Ці компанії хочуть використовувати дані, іноді для покращення своїх послуг, іноді для прибутку. На цьому етапі здається нереалістичним думати, що ці корпоративні практики використання даних зміниться. Однак існування систем, що підвищують приватність, які захищають користувачів, одночасно дозволяючи певний аналіз, бажаний компаніями, може допомогти збалансувати ризик-відшкодування, яке стало такою неявною частиною нашого суспільства.

Дякую за велике інтерв’ю, читачам, які хочуть дізнатися більше, слід відвідати сторінку Бейлі Касмар на Github.