Tekoälymallin unohtaminen

Erääntoisen tietojen poistaminen tekoälymallista on kuin yrittäisi poistaa toinen ruokalusikallinen sokeria kupista kahvia. Tiedot ovat jo tuolloin muodostuneet vahvasti kytköksiksi moniin muihin hermosolmukkeisiin mallissa. Jos tietopiste edustaa “määrittävää” tietoa, joka osallistui varhaisimpaan, korkean ulottuvuuden osaan koulutuksessa, sen poistaminen voi muuttaa radikaalisti mallin toimintaa tai edellyttää, että se on koulutettava uudelleen jonkin ajan ja rahan menetyksen kustannuksella.

Kuitenkin Euroopassa ainakin yleisen tietosuoja-asetuksen 17 artikla vaatii, että yritykset poistavat tällaiset käyttäjän tiedot pyynnöstä. Koska asetus laadittiin ymmärtäen, että tämä poistaminen ei olisi enempää kuin tietokannan “drop”-kysely, luonnos EU:n tekoälyasetuksesta kopioi käytännössä GDPR:n hengen lakeihin, jotka koskevat koulutettuja tekoälyjärjestelmiä eikä pelkästään taulukkomuotoista tietoa.

Lisää lainsäädäntöä valmistellaan ympäri maailmaa, joka antaa yksilöille oikeuden pyytää tietojensa poistamista tekoälyjärjestelmistä, kun taas Kalifornian kuluttajansuojalaki (CCPA) vuodelta 2018 antaa jo tämän oikeuden osavaltion asukkaille.

Miksi se on tärkeää

Kun tietojoukko on koulutettu toimivaan tekoälymalliin, tietojen ominaisuudet yleistyvät ja abstrahoiduvat, koska malli on suunniteltu johtamaan periaatteita ja laajoja suuntauksia tiedoista, lopulta tuottaen algoritmin, joka on hyödyllinen tietyn ja ei-yleistyneen tietojen analysoinnissa.

Kuitenkin tekniikat, kuten mallin kääntäminen, ovat paljastaneet mahdollisuuden tunnistaa mallin taustalla olevat tiedot, kun taas jäsenyyden inference -hyökkäykset pystyvät myös paljastamaan lähdetiedot, mukaan lukien arkaluontoiset tiedot, jotka saattavat olla olleet osana tietojoukkoa ainoastaan nimettöminä.

Kasvava kiinnostus tähän suuntautuu ei välttämättä tarvitse perustua kansalaisaktivismiin: tekoälysektorin kaupallistuessa seuraavien kymmenen vuoden aikana ja kansojen joutuessa painostuksen alle lopettamaan nykyinen laissez faire -kulttuuri näytön kaappaamiseen tietojen luomiseksi, on kasvava kaupallinen kannuste IP-turvayhtiöille (ja IP-rosvoille) purkaa ja tarkastella tietoja, jotka ovat vaikuttaneet omistajiensa ja korkean arvon luokittelu-, inference- ja generatiivisten tekoälykehysten kehittämiseen.

Indusoida Amnesia tekoälymalliin

Jäämme haasteen eteen saada sokeri pois kahvista. Tämä on ollut askarruttanut tutkijoita viime vuosina: vuonna 2021 EU-tukeman tutkimuksen Vertaileva tutkimus kasvojen tunnistuskirjastojen tietosuojariskeistä osoitti, että useat suositut kasvojen tunnistusalgoritmit pystyivät sallimaan sukupuoleen tai rotuun perustuvan syrjinnän tunnistamisessa; vuonna 2015 Columbian yliopiston tutkimus ehti “konemallin unohtamisen” menetelmän, joka perustui useiden summien päivittämiseen tiedoissa; ja vuonna 2019 Stanfordin tutkijat tarjosivat uudet poistomenetelmät K-keskiarvoisen ryhmittymisen toteutuksiin.

Nyt Kiinasta ja Yhdysvalloista kotoisin oleva tutkimuskonsortio on julkaissut uuden tutkimuksen, joka esittelee yhdenmukaisen mittarin arvioimaan tietojen poistamismenetelmien onnistumista, sekä uuden “unohdusmenetelmän” nimeltä Forsaken, jonka tutkijat väittävät pystyvän saavuttamaan yli 90 %:n unohtamisasteen, vain 5 %:n tarkkuuden menetyksellä mallin kokonaisuuden suorituskyvyssä.

Tutkimus on nimeltään Opettele unohtamaan: Konemallin unohtaminen hermosolmujen maskien kautta, ja siinä on mukana tutkijoita Kiinasta ja Berkeleyistä.

Hermosolmujen maskaus, Forsakenin periaate, käyttää maskigradienttigeneraattoria suodattimena tietyn tietojen poistamiseen mallista, päivittäen sitä tehokkaammin kuin pakottamalla sitä koulutettavaksi alusta tai aiemman tietojen poistamisen jälkeen (jatkuvasti päivittyvien, virtauspohjaisien mallien tapauksessa).

Maskigradienttigeneraattorin arkkitehtuuri. Lähde: https://arxiv.org/pdf/2003.10933.pdf

Biologiset alkuperät

Tutkijat toteavat, että tämä lähestymistapa sai vaikutteita biologisesta prosessista “aktiivisesta unohtamisesta”, jossa käyttäjä tekee voimakasta toimintaa poistamaan kaikki engramisolmut tietystä muistista dopamiinin manipuloinnin kautta.

Forsaken kutsuu jatkuvasti maskigradienttia, joka toistaa tämän toiminnan, varmistusmekanismeilla hidastamaan tai pysäyttämään tämän prosessin välttääkseen katastrofaalisen unohtamisen ei-kohteiden tietoja.

Järjestelmän edut ovat, että se on sovellettavissa moniin olemassa oleviin hermosolmukeverkkoihin, kun taas viimeaikaiset vastaavat työt ovat menestyneet pääasiassa tietokoneen näköverkoissa; ja se ei vaikuta mallin koulutusmenetelmiin, vaan toimii apuna ilman, että perusrakennetta on muutettava tai tietoja on uudelleen koulutettava.

Rajoittava vaikutus

Tietojen poistaminen voi vaikuttaa haitallisesti tekoälyalgoritmin toiminnallisuuteen. Välttääkseen tämän, tutkijat ovat hyödyntäneet normaaliregularisointia, joka on tavallinen ominaisuus normaaleissa hermosolmukeverkkokoulutuksissa, jota käytetään yleensä välttämään yliopettamista. Valittu toteutus on suunniteltu varmistamaan, että Forsaken ei epäonnistu koulutuksessa.

Järjestelmän toimivuuden määrittämiseksi tutkijat käyttivät ulkopuolisia (OOD) tietoja (ts. tietoja, jotka eivät ole osa varsinaista tietojoukkoa, jäljitellen “arkaluontoisia” tietoja varsinaisessa tietojoukossa) kalibroimaan, miten algoritmi tulisi käyttäytyä.

Testaaminen tietojoukoissa

Menetelmä testattiin kahdeksalla standarditietojoukolla ja saavutti yleensä lähellä tai korkeampia unohtamisasteita kuin täydellinen uudelleenkoulutus, vaikka vaikutus mallin tarkkuuteen oli hyvin vähäinen.

Näyttää siltä, että täydellinen uudelleenkoulutus muokatulla tietojoukolla ei voi tehdä huonommin kuin mikään muu menetelmä, koska kohdetiedot ovat täysin poissa. Kuitenkin malli on jo abstrahoinut poistettujen tietojen eri piirteitä “holografisesti”, samalla tavalla (vertauksena) kuin tippa mustetta määrittää lasin veden hyödyllisyyden.

Se vaikuttaa mahdottomalta, että täydellinen uudelleenkoulutus muokatulla tietojoukolla voisi tehdä huonommin kuin mikään muu menetelmä, koska kohdetiedot ovat täysin poissa. Kuitenkin malli on jo abstrahoinut poistettujen tietojen eri piirteitä “holografisesti”, samalla tavalla (vertauksena) kuin tippa mustetta määrittää lasin veden hyödyllisyyden. Vaikuttaa siltä, että täydellinen uudelleenkoulutus muokatulla tietojoukolla ei voi tehdä huonommin kuin mikään muu menetelmä, koska kohdetiedot ovat täysin poissa. Kuitenkin malli on jo abstrahoinut poistettujen tietojen eri piirteitä “holografisesti”, samalla tavalla (vertauksena) kuin tippa mustetta määrittää lasin veden hyödyllisyyden. Tämä vaikuttaa mahdottomalta, mutta mallin painot on jo vaikuttaneet poistettuihin tietoihin, ja ainoa tapa poistaa tämä vaikutus on kouluttaa malli alusta, eikä nopeampi lähestymistapa, jossa malli koulutetaan uudelleen muokatulla tietojoukolla.