Kibernetinė sauga
Paaiškinamas AI gali lengviau perduoti konfidencialius duomenis
Singapūro nacionalinio universiteto mokslininkai padarė išvadą, kad kuo aiškiau AI tampa, tuo lengviau bus apeiti svarbias mašininio mokymosi sistemų privatumo funkcijas. Jie taip pat nustatė, kad net jei modelis nėra paaiškinamas, galima naudoti panašių modelių paaiškinimus, kad būtų galima „iškoduoti“ jautrius duomenis nepaaiškinamame modelyje.
Šios tyrimas, pavadintas Modelių inversijos atakų paaiškinimų išnaudojimaspabrėžia riziką, kylančią dėl „atsitiktinio“ neuroninių tinklų veikimo neskaidrumo taip, tarsi tai būtų suprojektuota saugos funkcija, ypač dėl naujų pasaulinių iniciatyvų, įskaitant Europos Sąjungos AI taisyklių projektas, Yra apibūdinantis paaiškinamas AI (XAI) kaip būtina sąlyga norint normalizuoti mašininį mokymąsi visuomenėje.
Tyrimo metu tikroji tapatybė sėkmingai atkuriama iš tariamai anoniminių duomenų, susijusių su veido išraiškomis, naudojant daugybę mašininio mokymosi sistemos paaiškinimų. Šaltinis: https://arxiv.org/pdf/2108.10800.pdf
Tyrėjai komentuoja:
„Paaiškinamas dirbtinis intelektas (XAI) suteikia daugiau informacijos, padedančios vartotojams suprasti modelio sprendimus, tačiau šios papildomos žinios kelia papildomą pavojų privatumo atakoms. Taigi paaiškinimas kenkia privatumui.
Privačių duomenų pakartotinis identifikavimas
Mašininio mokymosi duomenų rinkinių dalyviai galėjo sutikti, kad būtų įtraukti, darydami anonimiškumo prielaidą; Asmens identifikuojamos informacijos (PII), kuri patenka į AI sistemas per ad hoc duomenų rinkimą (pavyzdžiui, per socialinius tinklus), dalyvavimas gali būti techniškai teisėtas, tačiau suvaržo „sutikimo“ sąvoką.
Pastaraisiais metais atsirado keletas metodų, kurie, kaip paaiškėjo, gali panaikinti asmens duomenų anonimiškumą iš akivaizdžiai neskaidrių mašininio mokymosi duomenų srautų. Modelio ištraukimas naudoja API prieigą (ty „juodosios dėžės“ prieigą, be jokio specialaus šaltinio kodo ar duomenų), kad gautų AII net iš didelio masto MLaaS teikėjų, įskaitant „Amazon Web Services“., o narystės išvados puola (VRM), veikiantis pagal panašius apribojimus, potencialiai gali gauti konfidenciali medicininė informacija; Be to, gali atlikti priskyrimo išvados atakos (AIA). atkurti jautrius duomenis iš API išvesties.
Atskleidžiantys veidus
Naujajame dokumente tyrėjai sutelkė dėmesį į modelio inversijos ataką, skirtą tapatybei gauti iš veido emocijų duomenų pogrupio, kuris neturėtų atskleisti šios informacijos.
Sistemos tikslas buvo susieti gamtoje rastus vaizdus (atsitiktinai paskelbtus internete arba galimus duomenų pažeidimus) su jų įtraukimu į duomenų rinkinius, kuriais grindžiamas mašininio mokymosi algoritmas.
Tyrėjai parengė inversijos atakos modelį, galintį atkurti pridedamą vaizdą iš anoniminės API išvesties, be specialios prieigos prie pradinės architektūros. Ankstesnis darbas šioje srityje buvo sutelktas į sistemas, kuriose identifikavimas (apsaugojimas arba atskleidimas) buvo tiek tikslinės, tiek atakuojančios sistemos tikslas; šiuo atveju sistema buvo sukurta taip, kad išnaudotų vieno domeno išvestį ir pritaikytų ją kitam domenui.
A perkelta Konvoliucinis neuroninis tinklas (CNN) buvo naudojamas nuspėti „originalų“ šaltinio veidą, pagrįstą emocijų atpažinimo sistemos tikslo numatymo vektoriumi (ryškumo žemėlapiu), naudojant U-Net architektūra pagerinti veido rekonstrukcijos efektyvumą.
Pakartotinio atpažinimo sistemą maitina ir informuoja paaiškinamas AI (XAI), kur žinios apie neuronų aktyvavimą, tarp daugelio prisidedančių viešųjų XAI aspektų, yra panaudojamos siekiant atkurti vidines architektūros machinacijas tik iš jos išvesties, kad būtų galima iš naujo identifikuoti prisidedančius. duomenų rinkinio vaizdai.
Testavimas
Bandydami sistemą, mokslininkai ją pritaikė trimis duomenų rinkiniais: iCV-MEFED veido išraiškos; CelebAIr MNIST ranka rašyti skaitmenys. Siekiant pritaikyti tyrėjų naudojamą modelio dydį, trys duomenų rinkiniai buvo atitinkamai pakeisti iki 128 × 128, 265 × 256 ir 32 × 32 pikselių. 50% kiekvieno rinkinio buvo naudojami kaip mokymo duomenys, o kita pusė naudojama kaip atakos duomenų rinkinys antagonistų modeliams mokyti.
Kiekvienas duomenų rinkinys turėjo skirtingus tikslinius modelius, o kiekvienas atakos tinklas buvo pritaikytas prie paaiškinimų, kuriais grindžiamas procesas, apribojimų, o ne naudojant gilesnius neuroninius modelius, kurių sudėtingumas viršytų paaiškinimų apibendrinimą.
Įtraukti XAI paaiškinimų tipai, naudojami bandymams valdyti Gradiento paaiškinimas, Gradiento įvestis, Grad-CAM ir sluoksnių svarbos sklaida (LRP). Tyrėjai taip pat įvertino daugybę eksperimentų paaiškinimų.
Vaizdo atkūrimą palengvino XAI pažįstanti inversijos ataka trijuose duomenų rinkiniuose, kuriuose yra identiškos taikinio ir atakos užduotys.
Testo metrika buvo įvertinta pikselių panašumu Vidutinė kvadrato klaida (MSE); Vaizdo panašumas (SSIM), suvokimu pagrįstas panašumo indeksas; atakos tikslumas, nustatomas pagal tai, ar klasifikatorius gali sėkmingai pakartotinai pažymėti atkurtą vaizdą; ir atakos įterpimo panašumas, kuris palygina žinomų šaltinio duomenų funkcijų įterpimus su rekonstruotais duomenimis.
Visuose rinkiniuose buvo pasiektas pakartotinis identifikavimas, atsižvelgiant į užduotį ir duomenų rinkinius. Be to, mokslininkai išsiaiškino, kad sukūrus pakaitinio taikinio modelį (kurį jie, žinoma, visiškai kontroliavo), vis tiek buvo įmanoma pakartotinai identifikuoti duomenis iš išorinių, „uždarųjų“ modelių, remiantis žinomais XAI principais.
Tyrėjai išsiaiškino, kad tiksliausi rezultatai buvo gauti naudojant aktyvavimu pagrįstus (ryškumo žemėlapio) paaiškinimus, kurie nutekėjo daugiau PII nei jautrumu (gradientu) pagrįsti metodai.
Būsimame darbe komanda ketina įtraukti įvairių tipų XAI paaiškinimus į naujus išpuolius, pvz funkcijų vizualizacijos ir koncepcijos aktyvavimo vektoriai.
