Patricia Thaine, generální ředitelka Private AI – rozhovor

Patricia Thaine je spoluzakladatelka a generální ředitelka Private AI, kandidátka doktorského studia počítačových věd na University of Toronto a postgraduální přidružená pracovnice Vector Institute, která se zabývá výzkumem ochrany soukromí při zpracování přirozeného jazyka, se zaměřením na aplikovanou kryptografii. Také se zabývá výzkumem výpočetních metod pro rozluštění ztracených jazyků.

Patricia je držitelkou stipendia NSERC Postgraduate Scholarship, RBC Graduate Fellowship, Beatrice “Trixie” Worsley Graduate Scholarship v oboru počítačových věd a Ontario Graduate Scholarship. Má osm let zkušeností s výzkumem a vývojem softwaru, včetně zkušeností z McGill Language Development Lab, Computational Linguistics Lab na University of Toronto, Department of Linguistics na University of Toronto a Public Health Agency of Canada.

Co vás původně přitáhlo k počítačovým vědám?

Schopnost řešit problémy a být kreativní zároveň. Je to jako řemeslo. Můžete vidět, jak vaše produktové nápady ožívají, podobně jako když truhlář vyrábí nábytek. Jak jsem jednou slyšela někoho říkat: programování je ultimátní kreativní nástroj. Skutečnost, že produkty, které vytváříte, mohou být škálovatelné a používané lidmi po celém světě, je takovým bonusem.

Můžete diskutovat o vzniku Private AI a jak vznikla z vaší pozorování, že chybí nástroje, které jsou snadno integrovatelné pro ochranu soukromí?

Přes řeč a psaní vytváříme a přenášíme některé z našich nejcitlivějších informací na společnosti, jejichž služby využíváme. Když jsme zvažovali, které produkty NLP postavit, existovala vrstva ochrany soukromí, kterou bychom museli integrovat, která jednoduše neexistovala na trhu. Aby společnosti mohly využívat řešení ochrany soukromí, musely buď přenést data svých uživatelů do třetí strany, využívat nedostatečná open-source řešení, která prostě nestačí k řádné ochraně soukromí uživatelů, nebo postavit řešení interně s velmi málo odbornými znalostmi v oblasti ochrany soukromí. Rozhodli jsme se proto soustředit na vytvoření nejlepších produktů pro vývojáře a týmy AI, které potřebují mít výstupy technologií ochrany soukromí snadno integrovatelné pro jejich potřeby.

Proč je ochrana soukromí při umělém inteligentním zpracování důležitá?

Přibližně 80 procent informací, které vytváříme, je nestrukturovaných a umělá inteligence je jediný způsob, jak dát smysl všem těmto datům. Může být využita pro dobro, jako je pomoc při detekci pádů u seniorní populace, nebo pro zlo, jako je profilování a sledování jedinců z podreprezentovaných populací. Zajištění ochrany soukromí v softwaru, který vytváříme, činí mnohem obtížnějším využít umělou inteligenci způsobem, který je škodlivý.

Jak je ochrana soukromí konkurenční výhodou?

Existuje mnoho důvodů, ale zde jsou jen několik:

1. Více a více uživatelů se zajímá o ochranu soukromí a jak spotřebitelé získávají více vzdělání, tato obava roste: 70 procent spotřebitelů se zajímá o ochranu soukromí svých dat.
2. Je mnohem snazší dělat podnikání s jinými podniky, pokud máte řádné ochrany dat a technologie ochrany soukromí.
3. Když máte postavené produkty způsobem, který chrání soukromí, lépe sledujete, kde jsou body zranitelnosti ve vaší službě, a zejména prostřednictvím minimalizace dat se zbavujete dat, která nejsou potřebná a která by vás mohly dostat do potíží, když dojde k kybernetickému útoku.

Můžete diskutovat o důležitosti ochrany soukromí při školení a proč je náchylná k reverznímu inženýrství?

Toto je skvělá otázka a je zapotřebí mnohem více vzdělávání na toto téma. Zjednodušeně řečeno, modely strojového učení pamatují informace. Čím větší jsou modely, tím více si pamatují okrajové případy. To znamená, že informace, které tyto modely byly školeny, mohou být vyprodukovány v produkci. To bylo prokázáno v několika výzkumných článcích, včetně The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks a Extracting Training Data from Large Language Models.

Také bylo prokázáno, že osobní informace lze extrahovat z word embedding a pro ty, kteří mají pochybnosti o tom, zda je to skutečný problém, došlo letos k skandálu, kdy korejský láska bot psal uživatelské údaje v rozhovorech s jinými uživateli.

Jaké jsou vaše názory na federované učení a ochranu soukromí uživatelů?

Federované učení je skvělým krokem, když je to možné. Nicméně je stále možné extrahovat informace o vstupních datech uživatelů z aktualizací váhy odeslaných do cloudu z konkrétního zařízení uživatele, takže je důležité kombinovat federované učení s jinými technologiemi ochrany soukromí (diferenciální soukromí a homomorfní šifrování/zabezpečená vícestranná výpočet). Každá technologie ochrany soukromí musí být zvolena podle konkrétního případu použití – žádná z nich nemůže být použita jako kladivo, aby vyřešila všechny problémy. Projdeme si toto rozhodovací strom zde. Jednou z velkých výhod je, že nikdy neodesíláte svá raw data mimo své zařízení. Jednou z velkých nevýhod je, že pokud potřebujete data k debugování systému nebo k zobrazení, zda je správně trénován, stává se mnohem obtížnějším získat je. Federované učení je skvělým začátkem s mnoha nevyřešenými problémy, na kterých pracuje výzkum a průmysl.

Jak Private AI umožňuje vývojářům integrovat analýzu ochrany soukromí s několika řádky kódu, aby zajistili ochranu soukromí?

Naše technologie běží jako REST API, kterému naši uživatelé posílají POST požadavky s textem, který chtějí redigovat, deidentifikovat nebo pseudonymizovat/augmentovat realistickými daty. Některé z našich zákazníků posílají přepisy hovorů, které musí být redigovány, aby byly v souladu s PCI, zatímco jiní posílají celé rozhovory, aby mohli poté použít informace k trénování chatbotů, sentiment analyzátorů nebo jiných modelů NLP. Naši uživatelé mohou také zvolit, které entity potřebují zachovat nebo použít jako metadata pro sledování, kde jsou uložena osobní data. Odstraňujeme bolest, kterou musí mít uživatelé, když musí trénovat přesný systém pro detekci a nahrazení osobních informací v opravdu špinavých datech.

Proč je ochrana soukromí pro zařízení IoT aktuálním problémem a jaké jsou vaše názory na jeho řešení?

Konečným způsobem, jak vyřešit problém ochrany soukromí, je velmi závislý na konkrétním případě použití, a zařízení IoT nejsou výjimkou. Zatímco některé případy použití mohou spoléhat na edge deployment, edge inference a federované učení, které chrání soukromí (například crowd sensing ve smart cities), jiné případy použití mohou potřebovat spoléhat se na agregaci dat a anonymizaci (například informace o spotřebě energie). S tím said, zařízení IoT jsou příkladem toho, jak ochrana soukromí a bezpečnost musí jít ruku v ruce. Tato zařízení jsou nechvalně známá svou zranitelností vůči kybernetickým útokům, takže existuje pouze tolik, co mohou technologie ochrany soukromí udělat bez řešení základních zranitelností zařízení. Na druhé straně, bez přemýšlení o způsobech, jak zlepšit ochranu soukromí uživatelů, informace shromážděné z našich domovů mohou být sdíleny, nekontrolované, s neznámými stranami, což činí téměř nemožným zaručit bezpečnost informací. Máme dvě fronty, na kterých se musíme zlepšit, a návrh legislativy, který Evropská komise připravuje o zabezpečení zařízení IoT, by mohl být tím, co donutí výrobce zařízení brát vážně svou odpovědnost za bezpečnost a ochranu soukromí spotřebitelů.

Je něco jiného, co byste rádi sdíleli o Private AI?

Jsme skupina odborníků v oblasti ochrany soukromí, přirozeného jazyka, mluveného jazyka, zpracování obrazu, nasazení modelů strojového učení v prostředí s nízkými zdroji, podporovaní M12, venture fondem Microsoftu.

Zajišťujeme, aby produkty, které vytváříme, byly na vrcholu ochrany soukromí, a zároveň jsou výpočetně efektivní, takže nemáte obrovský účet za cloud na konci měsíce. Také se ujistíme, že data našich zákazníků se nikdy nepřenese k nám – vše se zpracovává v jejich vlastním prostředí.

Děkuji za skvělý rozhovor, více informací najdete na Private AI.