Патріція Тейн, генеральний директор Private AI – Серія інтерв’ю

Патріція Тейн – співзасновник і генеральний директор Private AI, кандидат наук з комп’ютерних наук в Університеті Торонто і постдокторант Інституту Вектора, де проводить дослідження з питань захисту приватності природної мови, з особливим акцентом на застосуванні криптографії. Вона також проводить дослідження з комп’ютерних методів для розшифрування втрачених мов.

Патріція – лауреат стипендії NSERC для аспірантів, стипендії RBC для аспірантів, стипендії імені Беатріс “Тріксі” Ворслі для аспірантів з комп’ютерних наук і стипендії уряду Онтаріо для аспірантів. У неї є вісім років досвіду роботи в сфері досліджень і розробки програмного забезпечення, включаючи роботу в лабораторії розвитку мови Макгілла, лабораторії комп’ютерної лінгвістики Університету Торонто, кафедрі лінгвістики Університету Торонто і Публічній службі охорони здоров’я Канади.

Що спочатку привернуло вашу увагу до комп’ютерних наук?

Спроможність розв’язувати проблеми і бути креативною одночасно. Це як ремесло. Ви бачите, як ваші ідеї продукту набувають життя, як і тесля будує меблі. Як я колись чула, програмування – це найвищий творчий інструмент. Те, що продукти, які ви створюєте, можуть масштабуватися і використовуватися людьми будь-де у світі, – це просто вишня на торті.

Чи можете ви розповісти про історію створення Private AI і як вона виникла з вашого спостереження про відсутність інструментів, які легко інтегруються для захисту приватності?

Через мову і письмо ми створюємо і передаємо деяку з нашої найбільш чутливої інформації компаніям, послуги яких ми використовуємо. Коли ми розглядали, які продукти NLP будувати, ми зрозуміли, що існує шар приватності, який ми мали б інтегрувати, але такого просто не існувало на ринку. Для використання рішень з приватністю компанії мали б передавати дані своїх користувачів третій стороні, використовувати низькоякісні відкриті рішення, які просто не могли забезпечити належний захист приватності користувачів, або будувати рішення самостійно з дуже обмеженим досвідом у сфері приватності. Тому ми вирішили зосередитися на створенні найкращих продуктів для розробників і команд штучного інтелекту, яким потрібно, щоб результати технологій, що підвищують приватність, легко працювали для їхніх потреб.

Чому захист приватності штучного інтелекту важливий?

Приблизно 80 відсотків інформації, яку ми створюємо, – це неструктурована інформація, і штучний інтелект – це єдиний спосіб дати їй сенс. Його можна використовувати як для добра, наприклад, для допомоги у виявленні падінь у літніх людей, так і для зла, наприклад, для профайлінгу і відстеження осіб з недопредставлених груп. Забезпечення того, щоб приватність була закладена в програмне забезпечення, яке ми створюємо, робить його значно складніше використовувати штучний інтелект у шкідливому напрямку.

Як приватність може бути конкурентною перевагою?

Є багато причин, але ось кілька з них:

1. Дедалі більше користувачів турбуються про приватність, і оскільки споживачі стають більш освіченими, ця проблема зростає: 70 відсотків споживачів турбуються про приватність своїх даних.
2. Це значно легше проводити бізнес з іншими компаніями, якщо у вас є належні протоколи захисту даних і приватності, а також технології.
3. Коли ви створюєте свої продукти таким чином, щоб вони забезпечували приватність, ви краще контролюєте точки уразливості у своїй службі, а завдяки мінімалізації даних ви позбуваєтеся даних, яких не потрібно, і які могли б викликати проблеми під час кібератаки.

Чи можете ви розповісти про важливість захисту приватності навчальних даних і чому вони вразливі до зворотного інженерного аналізу?

Це велике питання, і на нього потрібно відповідати значно більше освіти. Спрощено кажучи, моделі машинного навчання запам’ятовують інформацію. Чим більші моделі, тим більше вони запам’ятовують виняткові випадки. Це означає, що інформація, на якій ці моделі були навчені, може бути викинута під час виробництва. Про це було написано в кількох наукових роботах, зокрема в The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks і Extracting Training Data from Large Language Models.

Також було показано, що особисту інформацію можна витягнути з word embeddings, і для тих, хто сумнівається в тому, що це реальна проблема, цього року стався скандал, коли корейський чат-бот для знайомств писав особисті дані користувачів у розмовах з іншими користувачами.

Які ваші погляди на федеративне навчання і приватність користувачів?

Федеративне навчання – це великий крок вперед, коли дозволяє використання випадків. Однак все ще можливо витягнути інформацію про вхідні дані користувача з оновлень вагів, надісланих у хмару з пристрою окремого користувача, тому важливо поєднувати федеративне навчання з іншими технологіями, що підвищують приватність (диференціальна приватність і гомоморфне шифрування/безпека багатостороннього обчислення). Кожна технологія, що підвищує приватність, повинна бути вибрана відповідно до використання випадку – жодна з них не може бути використана як молоток для вирішення всіх проблем. Ми розглядаємо дерево рішень тут. Одним з великих вигод є те, що ви ніколи не надсилаєте свої сирі дані поза межами свого пристрою. Одним з великих недоліків є те, що якщо вам потрібно дані для налагодження системи або перевірки її навчання, це стає значно складніше отримати. Федеративне навчання – це великий початок з багатьма нерозв’язаними проблемами, над якими працюють дослідження та промисловість.

Як Private AI дозволяє розробникам інтегрувати аналіз приватності за допомогою кількох рядків коду, щоб забезпечити приватність?

Наша технологія працює як REST API, до якого наші користувачі надсилають POST-запити з текстом, який вони хочуть видалити,匿名изувати або псевдонімізувати/ознакувати реальними даними. Деякі з наших клієнтів надсилають нам транскрипти розмов, які потрібно видалити, щоб вони відповідали вимогам PCI, тоді як інші надсилають нам цілі чати, щоб потім використовувати цю інформацію для навчання чат-ботів, аналізаторів настрою або інших моделей NLP. Наші користувачі також можуть вибрати, які сутності їм потрібно зберігати або використовувати як метадані для відстеження місця зберігання особистих даних. Ми позбавляємо їх від болю, пов’язаної з необхідністю самостійно навчати точну систему для виявлення і заміни особистої інформації в дуже заплутаних даних.

Чому приватність пристроїв IoT є актуальною проблемою сьогодні, і які ваші погляди на її вирішення?

У кінцевому підсумку, найкращий спосіб вирішити проблему приватності залежить від конкретного використання випадку, і пристрої IoT не є винятком. Хоча деякі випадки використання можуть спиратися на розгортання на краю, висновок на краю та приватність, що зберігається при федеративному навчанні (наприклад, crowd sensing у розумних містах), інші випадки використання можуть потребувати агрегації даних і анонімізації (наприклад, інформація про споживання енергії). З іншого боку, пристрої IoT – це приклад того, як приватність і безпека повинні йти рука об руку. Ці пристрої особливо вразливі до кібератак, тому технології, що підвищують приватність, можуть зробити тільки так багато без виправлення основних уразливостей пристроїв. З іншого боку, без думки про те, як підвищити приватність користувачів, інформація, зібрана з наших домівок, може бути поділена, неконтрольована, з невідомими сторонами, що робить майже неможним гарантувати безпеку цієї інформації. У нас є два фронти для покращення тут, і проект законодавства, який зараз пишеться Європейською комісією щодо безпеки пристроїв IoT, може стати тим, що змусить виробників пристроїв серйозно займатися питаннями безпеки і приватності споживачів.

Чи є щось ще, що ви хотіли б поділитися про Private AI?

Ми – група експертів з питань приватності, природної мови, усної мови, обробки зображень, розгортання моделей машинного навчання в середовищах з обмеженими ресурсами, підтримувана M12, венчурним фондом Microsoft (MSFT ).

Ми дбаємо про те, щоб продукти, які ми створюємо, крім того, що вони дуже точні, були також обчислювально ефективними, так що ви не отримуєте величезний рахунок за хмарні послуги в кінці місяця. Також дані наших клієнтів ніколи не передаються нам – все обробляється у їхньому власному середовищі.

Дякуємо за велике інтерв’ю, щоб дізнатися більше, відвідайте Private AI.