Vahid Behzadan, Secure and Assured Intelligent Learning (SAIL) Lab -johtaja – Haastattelu

Vahid on apulaisprofessori tietojenkäsittelytieteessä ja data-tieteessä New Havenin yliopistossa. Hän on myös Secure and Assured Intelligent Learning (SAIL) Lab -tutkimuslaboratorion johtaja.

Hänen tutkimuskiinnostuksensa kohdistuu älykkäiden järjestelmien turvallisuuteen ja suojaamiseen, älykkään turvallisuuden psykologiseen mallinnukseen, monien agenttien järjestelmiin ja kyberTurvallisuuteen.

Millainen on ollut sinun polkusi turvallisuuden ja suojaamisen pariin älykkäissä järjestelmissä ja kyberTurvallisuudessa?

Minun tutkimuspolkuni on ollut kahden keskeisen kiinnostukseni ohjaama: selvittää, miten asiat rikkoutuvat, ja oppia ihmismielen toiminnasta. Olen ollut mukana kyberTurvallisuudessa jo teini-ikäisenä, ja rakentanut varhaisen tutkimusohjelmiani klassisten ongelmiin tässä alalla. Muutamia vuosia myöhemmin, löysin harvinaisen mahdollisuuden muuttaa tutkimusalaani. Tuolloin olin juuri tutustunut Szegedyn ja Goodfellowin varhaisiin töihin vastakkaisiin esimerkkeihin, ja löysin ajatuksen hyökätä koneoppimista erittäin mielenkiintoiseksi. Kun tarkastelin tätä ongelmaa tarkemmin, opin älykkään turvallisuuden ja suojaamisen yleisemmästä alasta, ja löysin sen kattavan monia minun keskeisiä kiinnostuksiani, kuten kyberTurvallisuus, kognitiiviset tieteet, taloustiede ja filosofia. Uskon myös, että tutkimus tässä alassa on ei vain mielenkiintoista, vaan myös välttämätöntä älykkään vallankumouksen pitkän aikavälin hyötyjen ja turvallisuuden varmistamiseksi.

Voitko kertoa yksityiskohtia Secure and Assured Intelligent Learning (SAIL) Lab -tutkimuslaboratoriosta, jonka tehtävänä on luoda perusta älykkäiden koneiden turvallisuudelle ja suojaamiselle?

SAIL-laboratoriossa minun opiskelijoideni ja minun työmme keskittyy ongelmien tutkimiseen, jotka sijaitsevat turvallisuuden, älykkään ja monimutkaisten järjestelmien leikkauspisteessä. Tutkimuksemme pääpaino on älykkäiden järjestelmien turvallisuuden ja suojaamisen tutkimisessa sekä teoreettisesta että soveltavasta näkökulmasta. Teoreettisella puolella tutkimme arvonsovittamisen ongelmaa monien agenttien asetuksissa ja kehitämme matemaattisia työkaluja arvioida ja optimoida älykkäiden agenttien tavoitteita vakauden ja robustien sovittamisten suhteen. Käytännöllisellä puolella joitakin projektejamme tutkitaan älykkäiden teknologioiden, kuten itseohjautuvien ajoneuvojen ja algoritmiisten kaupankäyntijärjestelmien, turvallisuusvammoja, ja pyritään kehittämään menetelmiä arvioida ja parantaa näiden teknologioiden kestävyyttä vastakkaisiin hyökkäyksiin.

Tutkimme myös koneoppimisen soveltamista kyberTurvallisuuteen, kuten automaattiseen penetraatiotestaukseen, varhaiseen tunkeutumisyritysten havaitsemiseen ja automaattiseen uhka-intelligenssin keräämiseen ja analyysiin avoimista tietolähteistä, kuten sosiaalisesta mediasta.

Johtitkö äskettäin pyrkinnön ehdottaa älykkään turvallisuuden ongelman mallintamista psykopatologisina häiriöinä.

Tämä projekti käsittelee älykkäiden agenttien ja järjestelmien nopeasti kasvavaa monimutkaisuutta: on jo hyvin vaikeaa diagnosoida, ennustaa ja hallita älykkäiden agenttien epäturvallisia käyttäytymisiä ei-triviaalisissa asetuksissa pelkästään tarkastelemalla heidän alhaisia määrityksiään. Tässä työssä korostamme korkeamman tason abstraktioiden tarvetta tutkia näitä ongelmia. Innoittuneina tieteellisistä lähestymistavoista ihmisten käyttäytymisen ongelmiin, ehdotamme psykopatologiaa hyödyllisenä abstraktiona älykkäiden ja yleisen älykkään turvallisuuden ongelman mallintamiseen ja analyysiin. Esimerkkinä tutkimme älykkään turvallisuuden ongelmaa palkkion hakkerointia koskien RL-agentissa, joka oppii pelaamaan klassista Snake-peliä. Osoitamme, että jos lisäämme “lääke”-siemenen ympäristöön, agentti oppii suboptimaalisen käyttäytymisen, jota voidaan kuvailla neurotieteellisillä riippuvuuden malleilla. Tämä työ ehdottaa myös ohjausmenetelmiä, jotka perustuvat psykiatrian hoidon lähestymistapoihin. Esimerkiksi ehdotamme keinotekoisesti luotujen palkkio-signaaleja lääkehoitoa vastaavina välineinä muuttaa agenttien haitallista käyttäytymistä.

Oletko huolissasi älykkään turvallisuuden kanssa itseohjautuvissa ajoneuvoissa?

Itseohjautuvat ajoneuvot ovat tulossa merkittäviksi esimerkeiksi älykkäiden järjestelmien käytöstä kyber-fyysisten järjestelmissä. Ottaen huomioon nykyisten koneoppimisen teknologioiden perustavanlaatuisen alttiuden virheille ja vastakkaisille hyökkäyksille, olen syvästi huolissani itseohjautuvien ajoneuvojen turvallisuudesta ja suojaamisesta. Lisäksi itseohjautuvan ajo-alan kärsii vakavasta turvallisuusstandardien ja arviointiprotokollien puutteesta. Olen kuitenkin toiveikas. Samoin kuin luonnollinen älykkyys, myös älykkyys on altis virheille. Kuitenkin itseohjautuvien autojen tavoite voidaan edelleen toteuttaa, jos virheiden ja vahinkojen määrä voidaan tehdä pienemmäksi kuin ihmiskuljettajien. Näemme kasvavaa pyrkimystä ratkaista nämä ongelmat sekä teollisuudessa että akatemiassa, sekä hallituksissa.

Onko sinulla huolia siitä, että terroristit ottavat haltuunsa älykkäitä tai yleisiä älykkäitä järjestelmiä?

On olemassa useita huolenaiheita älykkäiden teknologioiden väärinkäytöstä. Terroristien tapauksessa suurin huolenaihe on se, kuinka helposti he voivat kehittää ja toteuttaa itseohjautuvia hyökkäyksiä. Useat kollegani varoittavat aktiivisesti älykkäiden aseiden kehittämisen riskeistä (ks. https://autonomousweapons.org/). Yksi älykkäiden aseiden kehittämisen ongelma on sen perustan hallitsemattomuus: älykkyys on avoimen tutkimuksen eturintamassa, ja kuka tahansa, jolla on pääsy internetiin ja kuluttajaluokan laitteisiin, voi kehittää haitallisia älykkäitä järjestelmiä. Epäilen, että itseohjautuvien aseiden kehittymistä on väistämätöntä, ja uskon, että pian tulee olemaan tarve uusille teknologisille ratkaisuille torjua näitä aseita. Tämä voi johtaa kissa-hiiri -kiertoon, joka ruokkii älykkäiden aseiden evoluutiota, mikä voi aiheuttaa vakavia olemassaolo-uhkia pitkällä aikavälillä.

Miten voimme pitää älykkäät järjestelmät turvallisina näiltä vastakkaisilta agenteilta?

Ensimmäinen ja tärkein askel on koulutus: kaikki älykkäiden järjestelmien insinöörit ja käyttäjät tarvitsevat tietoa älykkäiden teknologioiden haavoittuvuuksista ja tulee ottaa huomioon relevantit riskit järjestelmien suunnittelussa ja toteutuksessa. Teknisten suositusten osalta on useita ehdotuksia ja ratkaisukäsitteitä, jotka voidaan soveltaa. Esimerkiksi älykkäiden agenttien koulutus vastakkaisissa asetuksissa voi parantaa heidän kestävyyttään ja robustisuuttaan väistämiseen ja politiikan manipulointiin (esim. ks. tutkimukseni “Whatever Does Not Kill Deep Reinforcement Learning, Makes it Stronger”). Toinen ratkaisu on ottaa suoraan huomioon älykkäiden hyökkäysten riski agentin arkkitehtuuriin (esim. Bayes-lähestymistapaa riskin mallintamiseen). On kuitenkin suuri aukko tässä alassa, ja se on yleisten mittareiden ja menetelmien tarve arvioida älykkäiden agenttien kestävyyttä vastakkaisiin hyökkäyksiin. Nykyiset ratkaisut ovat pääasiassa ad hoc, eivätkä tarjoa yleisiä kestävyyden mittareita kaikenlaisia hyökkäyksiä vastaan.

Onko sinulla jotain muuta, mitä haluaisit jakaa näistä aiheista?

Vuonna 2014 Scully julkaisi paperin NeurIPS-konferenssissa, jossa käsiteltiin mielenkiintoista aiheetta: “Machine Learning: The High-Interest Credit Card of Technical Debt”. Vaikka alalla on edistytty viime vuosina, tämä lause ei ole menettänyt merkitystään. Nykyinen älykkään ja koneoppimisen tila on aivan upea, mutta meillä on edelleen täytettävä useita suuria aukkoja sekä perustutkimuksessa että insinööritieteessä. Tämä on mielestäni tärkein pointti tästä keskustelusta. En tietysti tarkoita, että älykkäiden teknologioiden kaupallinen soveltaminen tulisi lopettaa, mutta ainoastaan haluan mahdollistaa insinöörikunnalle ottaa huomioon älykkäiden teknologioiden riskit ja rajoitukset päätöksissään.

Nautin todella siitä, että opin älykkäiden järjestelmien turvallisuuden ja suojaamisen haasteista. Tämä on jotain, mistä yksilöiden, yritysten ja hallitusten on oltava tietoisia. Lukijat, jotka haluavat oppia lisää, voivat vierailla Secure and Assured Intelligent Learning (SAIL) Lab -sivustolla.