Бейлі Касмар, докторантка Університету Ватерлоо — серія інтерв’ю

Бейлі Касмар – докторантка в Школі комп’ютерних наук Університету Ватерлоо та майбутня викладачка Університету Альберти. Її дослідницькі інтереси полягають у розробці технологій, що підвищують приватність користувачів, шляхом паралельного вивчення технічних підходів для приватних обчислень та відповідних сприйняття, проблем та розуміння користувачами цих технологій. Її робота спрямована на визначення потенціалу та обмежень приватності в додатках машинного навчання.

Ваші дослідницькі інтереси полягають у розробці технологій, що підвищують приватність користувачів, чому приватність у штучному інтелекті така важлива?

Приватність у штучному інтелекті така важлива, оскільки штучний інтелект у нашому світі не існує без даних. Дані, хоча й корисна абстракція, в кінцевому підсумку описують людей та їх поведінку. Ми рідко працюємо з даними про популяції дерев та рівні води; тому, коли ми працюємо з чимось, що може вплинути на реальних людей, нам потрібно бути обізнаними про це та розуміти, як наша система може зробити добро чи заподіяти шкоду. Це особливо вірно для штучного інтелекту, де багато систем користуються великими кількостями даних або сподіваються використовувати дуже чутливі дані (наприклад, дані про здоров’я), щоб спробувати розробити нові розуміння нашого світу.

Які способи ви бачили, що машинне навчання зрадило приватність користувачів?

Зрада – це сильне слово. Однак, коли система використовує інформацію про людей без їхньої згоди, без інформування їх та без урахування потенційних шкод, вона ризикує зрадити індивідуальну чи суспільну приватність. По суті, це результат зради тисячами малих порізів. Такі практики можуть полягати у тренуванні моделі на поштових скриньках користувачів, тренуванні на текстових повідомленнях користувачів або на даних про здоров’я; усе це без інформування суб’єктів даних.

Можете визначити, що таке диференціальна приватність, і які ваші погляди на неї?

Диференціальна приватність – це визначення або техніка, яка набула популярності щодо використання для досягнення технічної приватності. Технічні визначення приватності, загалом кажучи, включають два ключових аспекти; що захищається, і від кого. У технічній приватності гарантії приватності – це захисту, які досягаються за умови виконання серії припущень. Ці припущення можуть бути про потенційних противників, складність системи чи статистику. Це надзвичайно корисна техніка, яка має широкий спектр застосувань. Однак важливо пам’ятати, що диференціальна приватність не тотожна приватності загалом.

Приватність не обмежується однією дефініцією чи поняттям, і важливо бути обізнаним про поняття, що виходять за межі цього. Наприклад, контекстна цілісність – це концептуальне поняття приватності, яке враховує такі речі, як як різні програми або організації змінюють сприйняття приватності індивідуума щодо ситуації. Також існують юридичні поняття приватності, такі як ті, що охоплені канадським законом PIPEDA та європейським Загальним регламентом про захист даних (GDPR) та законом Каліфорнії про захист споживачів (CCPA). Все це означає, що ми не можемо розглядати технічні системи так, ніби вони існують у вакуумі, вільному від інших чинників приватності, навіть якщо використовується диференціальна приватність.

Інший тип машинного навчання, що підвищує приватність, – це федеративне навчання, можете визначити, що це таке, і які ваші погляди на нього?

Федеративне навчання – це спосіб виконання машинного навчання, коли модель повинна бути тренована на колекції наборів даних, розподілених по кількох власників або місцях. Воно саме по собі не є різновидом машинного навчання, що підвищує приватність. Тип машинного навчання, що підвищує приватність, повинен формально визначити, що захищається, від кого захищається, і умови, які повинні бути виконані для цих захисту. Наприклад, коли ми думаємо про просте обчислення з диференціальною приватністю, воно гарантує, що хтось, хто дивиться на результат, не зможе визначити, чи було включено певний запис даних.

Далі, диференціальна приватність не дає цієї гарантії, якщо, наприклад, існує кореляція серед даних. Федеративне навчання не має цієї функції; воно просто тренує модель на колекції даних без вимоги від власників цих даних безпосередньо надавати свої набори даних один одному або третій стороні. Хоча це звучить як функція приватності, потрібна формальна гарантія, що захищену інформацію неможливо вивести з проміжних даних і результатів, доступних недовіреним сторонам. Така формалізація особливо важлива у федеративному середовищі, де до недовірених сторін належать усі учасники, які надають дані для навчання спільної моделі.

Які деякі з поточних обмежень цих підходів?

Поточні обмеження можна найкраще описати як характер компромісу між приватністю та корисністю. Навіть якщо ви робите все інше, спілкуєтеся про наслідки приватності з тими, хто постраждав, оцінюєте систему для того, що ви намагаєтеся зробити, тощо, все це зводиться до досягнення ідеальної приватності, що означає, що ми не створюємо систему, досягнення ідеальної корисності зазвичай не має жодних засобів захисту приватності, тому питання полягає в тому, як ми визначаємо “ідеальний” компроміс. Як ми знаходимо правильну точку та будуємо до неї так, щоб все ще досягати бажаної функціональності, забезпечуючи необхідні засоби захисту приватності.

Ви зараз намагаєтеся розробити технології, що підвищують приватність користувачів, через паралельне вивчення технічних рішень для приватних обчислень, можете розповісти про деякі з цих рішень?

Тим, що я маю на увазі ці рішення, є те, що ми можемо, вільно кажучи, розробити будь-яку кількість технічних систем приватності. Однак, роблячи це, важливо визначити, чи гарантії приватності справді захищають тих, кого стосується система. Це може означати розробку системи після того, як ми дізналися, які засоби захисту цінує населення. Це може означати оновлення системи після того, як ми дізналися, як люди фактично використовують систему, враховуючи реальні загрози та ризики. Технічне рішення може бути правильною системою, яка задовольняє визначення, яке я згадав раніше. Рішення, що підвищує приватність користувачів, буде проектувати свою систему на основі даних від користувачів та інших осіб, яких стосується запланована сфера застосування.

Ви зараз шукаєте зацікавлених студентів магістерських і докторських програм, щоб вони почали роботу у вересні 2024 року, чому ви думаєте, що студенти повинні бути зацікавлені у приватності штучного інтелекту?

Я думаю, що студенти повинні бути зацікавлені, оскільки це щось, що тільки зростатиме у своєму поширенні у нашому суспільстві. Щоб мати деяке уявлення про те, як швидко ці системи розвиваються, достатньо поглянути на нещодавнє поширення ChatGPT через новинні статті, соціальні медіа та дискусії про її наслідки. Ми існуємо у суспільстві, де збір та використання даних так глибоко вплетені у наше повсякденне життя, що ми майже постійно надаємо інформацію про себе різним компаніям та організаціям. Ці компанії хочуть використовувати дані, іноді для покращення своїх послуг, іноді для прибутку. На цьому етапі здається нереалістичним думати, що ці корпоративні практики використання даних зміниться. Однак існування систем, що підвищують приватність, які захищають користувачів, одночасно дозволяючи певний аналіз, бажаний компаніями, може допомогти збалансувати співвідношення ризиків і вигод, яке стало такою неявною частиною нашого суспільства.

Дякую за велике інтерв’ю, читачам, які хочуть дізнатися більше, слід відвідати сторінку Бейлі Касмар на Github.