Vahid Behzadan, johtaja Secured and Assured Intelligent Learning (SAIL) Lab – Haastattelu sarja

Vahid on apulaisprofessori tietojenkäsittelytieteessä ja data-tieteessä University of New Havenissa. Hän on myös johtaja Secure and Assured Intelligent Learning (SAIL) Labissa Secure and Assured Intelligent Learning (SAIL) Lab

Hänen tutkimuskiinnostuksensa käsittää älykkäiden järjestelmien turvallisuuden ja suojaamisen, älykkään turvallisuuden psykologisen mallinnuksen, monimutkaisten sopeutuvien järjestelmien turvallisuuden, peliteorian, monien agenttien järjestelmät ja kyberturvallisuuden.

Sinulla on laaja tausta kyberturvallisuudessa ja älykkään turvallisuuden ylläpitämisessä. Voitko kertoa, miten sinuun kiinnostus näihin aloihin heräsi?

Minun tutkimuspolkuni on ollut ohjattu kahdella ydinkomiteani: selvittää, miten asiat rikkoutuvat, ja oppia ihmismielen mekaniikasta. Olen ollut mukana kyberturvallisuudessa jo teini-ikästä lähtien, ja seurauksena olen rakentanut tutkimusohjelmaani klassisten ongelmiin tässä alueella. Muutama vuosi sitten, kun olin vielä jatko-opiskelijana, sain harvinaisen mahdollisuuden muuttaa tutkimusalaani. Silloin olin juuri tutustunut Szegedyn ja Goodfellowin varhaisiin töihin vastustuskykyisistä esimerkeistä, ja löysin ajatuksen hyökätä koneoppimiseen erittäin mielenkiintoiseksi. Kun tarkastelin tätä ongelmaa tarkemmin, opin yleisemmästä älykkään turvallisuuden ja turvallisuuden alasta, ja löysin, että se kattaa monia minun ydinkomiteani, kuten kyberturvallisuuden, kognitiiviset tieteet, taloustieteen ja filosofian. Uskon myös, että tutkimus tässä alueella ei ole vain mielenkiintoista, vaan myös elintärkeää älykkään vallankumouksen pitkän aikavälin hyötyjen ja turvallisuuden varmistamiseksi.

Olet SAIL-laboratorion johtaja, joka pyrkii luomaan konkreettiset perustukset älykkäiden koneiden turvallisuudelle ja suojaamiselle. Voitko kertoa yksityiskohtia SAILin työstä?

SAILissa minun opiskelijani ja minä työskentelemme ongelmien parissa, jotka sijaitsevat turvallisuuden, älykkään ja monimutkaisten järjestelmien leikkauspisteessä. Tutkimuksen pääpaino on älykkäiden järjestelmien turvallisuuden ja turvallisuuden tutkimisessa sekä teoreettisesta että soveltavasta näkökulmasta. Teoreettisella puolella tutkimme arvonsovittamisen ongelmaa monien agenttien asetuksissa ja kehitämme matemaattisia työkaluja arvioida ja optimoida älykkäiden agenttien tavoitteita suhteessa stabiiliuteen ja vankkaan sovittamiseen. Käytännön puolella joitakin projektejamme tutkitaan älykkäiden teknologioiden, kuten itseohjautuvien ajoneuvojen ja algoritmisesti ohjattujen kaupankäyntijärjestelmien, turvallisuusvaurioita, ja pyrkivät kehittämään menetelmiä arvioida ja parantaa näiden teknologioiden kestävyyttä vastustuskykyisille hyökkäyksille.

Työskentelemme myös koneoppimisen soveltamisesta kyberturvallisuudessa, kuten automaattisessa penetraatiotestauksessa, varhaisessa tunnistamisessa ja uhka-analytiikassa avoimista tietolähteistä, kuten sosiaalisesta mediasta.

Johtaminne yrittänyt esittää älykkään turvallisuuden ongelmien mallinnuksen psykopatologisina häiriöinä. Voitko selittää, mitä tämä on?

Tämä projekti käsittelee älykkäiden agenttien ja järjestelmien nopeasti kasvavaa monimutkaisuutta: on jo hyvin vaikeaa diagnosoida, ennustaa ja hallita älykkäiden agenttien turvattomia käyttäytymisiä ei-triviaalisissa asetuksissa pelkästään tarkastelemalla heidän matalan tason konfiguraatioitaan. Tässä työssä korostamme korkeamman tason abstraktioiden tarvetta tutkittaessa näitä ongelmia. Innoittuneina tieteellisistä lähestymistavoista ihmisten käyttäytymisen ongelmiin, ehdotamme psykopatologiaa hyödyllisenä korkean tason abstraktiona älykkäiden ja AGI:n haitallisten käyttäytymisen mallinnukseen ja analyysiin. Todisteena esitetään älykkään turvallisuuden ongelmaa palkkion hakkeroinnista RL-agentissa, joka oppii pelaamaan klassista Snake-peliä. Osoitamme, että jos lisäämme “lääke”-siemenen ympäristöön, agentti oppii alisuorittavan käyttäytymisen, jota voidaan kuvailla neurotieteellisillä riippuvuuden malleilla. Tämä työ ehdottaa myös ohjausmenetelmiä, jotka perustuvat psykiatrian hoitomenetelmiin. Esimerkiksi ehdotamme keinotekoisesti luotujen palkkioviestien käyttämistä lääkehoitona muuttaa agenttien haitallista käyttäytymistä.

Oletko huolissasi älykkään turvallisuuden kanssa, kun kyse on itseohjautuvista ajoneuvoista?

Itseohjautuvat ajoneuvot ovat tulossa merkittäviksi älykkään teknologian soveltamiseksi kyber-fyysisten järjestelmissä. Ottaen huomioon nykyisten koneoppimisen teknologioiden perustavanlaatuisen alttiuden virheille ja vastustuskykyisille hyökkäyksille, olen syvästi huolissani itseohjautuvien ajoneuvojen turvallisuudesta ja turvallisuudesta. Myös itseohjautuvan ajaminen kärsii vakavasta turvallisuusstandardien ja arviointiprotokollien puutteesta. Toisaalta, olen toiveikas. Samoin kuin luonnollinen äly, myös älykäs teknologia on altis virheille. Älykkään turvallisuuden tavoite voidaan kuitenkin toteuttaa, jos virheiden ja vaikutusten määrä voidaan tehdä pienemmäksi kuin ihmiskuljettajien. Näemme kasvavia ponnisteluja näiden ongelmien ratkaisemiseksi sekä teollisuudessa että akatemiassa ja hallituksissa.

Häirintä tiensiltä tarroilla tai muilla keinoilla voi sekoittaa itseohjautuvan ajoneuvon tietokoneen näkömoduulin. Kuinka suuri ongelma uskot tämän olevan?

Nämä tarra-arvet ja yleensä vastustuskykyiset esimerkit antavat syntyä perustaville haasteille koneoppimisen mallien luotettavuudelle. Kuten George E. P. Box on sanonut, “kaikki mallit ovat väärä, mutta jotkut ovat hyödyllisiä”. Vastustuskykyiset esimerkit hyödyntävät tämän “väärän” luonteen mallien abstraktiivisuudesta sekä rajoituksista, jotka johtuvat näiden mallien koulutuksesta. Viimeaikaiset pyrkimykset vastustuskykyisen koneoppimisen alalla ovat johtaneet merkittäviin edistysaskeliin syväoppimisen mallien kestävyyden lisäämisessä näille hyökkäyksille. Turvallisuuden kannalta on aina mahdollista hämätä koneoppimisen malleja. Kuitenkin käytännön tavoitteena on lisätä hyökkäysten kustannuksia niin, että ne tulevat taloudellisesti mahdottomiksi.

Miksi älykkään turvallisuuden ja turvallisuuden ominaisuuksien painopiste sekä syvän oppimisen että syvän vahvistusoppimisen kohdalla on niin tärkeää?

Vahvistusoppiminen on merkittävin menetelmä soveltaa koneoppimista ohjausongelmiin, jotka määrittelevät ympäristön manipuloinnin. Uskon, että järjestelmät, jotka perustuvat vahvistusoppimiseen, ovat merkittävästi suuremmassa vaarassa aiheuttaa suuria vahinkoja todellisessa maailmassa verrattuna muihin koneoppimisen menetelmiin, kuten luokitteluun. Tämä ongelma on vielä pahempi, kun otetaan huomioon syvän oppimisen integrointi vahvistusoppimiseen, mikä mahdollistaa vahvistusoppimisen soveltamisen hyvin monimutkaisiin asetuksiin. Myös uskon, että vahvistusoppimisen viitekehyksellä on läheinen suhde ihmisen älymukseen perustuvien päätöksentekomekanismien kanssa, ja sen turvallisuuden ja haavoittuvuuksien tutkiminen voi johtaa parempiin oivalluksiin päätöksenteon rajoista meidän mielissämme.

Uskotko, että olemme lähellä saavuttamasta tekoälyä (AGI)?

Tämä on erittäin vaikea kysymys vastata. Uskon, että meillä on jo olemassa joitakin arkkitehtuureja, jotka voivat helpottaa tekoälyn (AGI) syntymistä. Kuitenkin saattaa kestää vielä muutamia vuosia tai vuosikymmeniä parantaa näitä arkkitehtuureja ja tehostaa koulutuksen ja ylläpidon kustannus tehokkuutta. Tulevien vuosien aikana, meidän agenttimme tulevat kasvamaan älykkäämmiksi nopeasti kasvavan vauhdin mukaisesti. En usko, että tekoälyn (AGI) syntymä ilmoitetaan tieteellisesti validoidulla otsikolla, vaan asteittaisen edistymisen tuloksena. Myös uskon, että meillä ei vielä ole laajasti hyväksyttyä menetelmää testata ja havaita tekoälyn (AGI) olemassaolo, ja tämä voi viivästyttää meidän toteamaamme tekoälyn (AGI) ensimmäisiä ilmentymiä.

Miten me ylläpidämme turvallisuutta tekoälyjärjestelmässä, joka pystyy ajattelemaan itsenäisesti ja joka luultavasti on eksponentiaalisesti älykkäämpää kuin ihmiset?

Uskon, että yhdistynyt teoria älykkäästä käyttäytymisestä on taloustiede ja tutkimus siitä, miten agentit toimivat ja vuorovaikuttavat saavuttaakseen, mitä he haluavat. Ihmisten päätökset ja toimet määräytyvät heidän tavoitteidensa, heidän tiedonsa ja heidän käytettävissä olevien resurssien mukaan. Yhteiskunnat ja yhteistyö pyrkimykset syntyvät yksilöllisistä jäsenistä. Esimerkiksi rikoslaki, joka estää tiettyjä päätöksiä liittämällä korkean kustannuksen sellaisiin toimiin, jotka voivat vahingoittaa yhteiskuntaa. Samoin uskon, että kannustimien ja resurssien ohjaaminen voi mahdollistaa tasapainotilan syntymisen ihmisten ja tekoälyn (AGI) välille. Tällä hetkellä älykkään turvallisuuden yhteisö tutkii tätä väittämää arvonsovittamisen ongelmien ympärillä.

Yksi alue, jota seuraat tarkkaan, on terrorismintorjunta. Oletko huolissasi siitä, että terroristit ottavat haltuunsa tekoäly- tai AGI-järjestelmiä?

On monia huolenaiheita älykkään teknologian väärinkäytöstä. Terroristien toiminnan tapauksessa suurin huolenaihe on se, kuinka helposti terroristit voivat kehittää ja toteuttaa itseohjautuvia hyökkäyksiä. Moni kollegani varoittaa jatkuvasti älykkäiden aseiden kehittämisen riskeistä (ks. https://autonomousweapons.org/ ). Yksi älykkäiden aseiden kehittämisen ongelma on vaikeus hallita perusteknologiaa: älykäs teknologia on avoimen tutkimuksen eturintamassa, ja kuka tahansa, jolla on pääsy internetiin ja kuluttajaluokan laitteisiin, voi kehittää haitallisia älykkäitä järjestelmiä. Epäilen, että itseohjautuvien aseiden syntymä on väistämätön, ja uskon, että pian tulee olemaan tarve uusille teknologisille ratkaisuille torjua näitä aseita. Tämä voi johtaa kissa-hiiri -kiertoon, joka ruokkii älykkäiden aseiden kehittymistä, mikä voi aiheuttaa vakavia eksistentiaalisia riskejä pitkällä aikavälillä.

Miten voimme pitää älykkäät järjestelmät turvassa näiltä vastustuskykyisiltä agenteilta?

Ensimmäinen ja tärkein askel on koulutus: kaikki älykkään teknologian insinöörit ja käyttäjät tarvitsevat tietoa älykkään teknologian haavoittuvuuksista ja tulee ottaa huomioon relevantit riskit järjestelmien suunnittelussa ja toteutuksessa. Teknisten suositusten osalta on useita ehdotuksia ja ratkaisukonsepteja, jotka voidaan soveltaa. Esimerkiksi koneoppimisen agenttien koulutus vastustuskykyisissä asetuksissa voi parantaa heidän kestävyyttään ja luotettavuuttaan väistö- ja politiikkaa muokkaavien hyökkäysten suhteen (esim. ks. tutkimukseni “Whatever Does Not Kill Deep Reinforcement Learning, Makes it Stronger”). Toinen ratkaisu on ottaa suoraan huomioon vastustuskykyisten hyökkäysten riski agentin arkkitehtuuriin (esim. bayesiläiset lähestymistavat riskin mallintamiseen). On kuitenkin suuri aukko tässä alueessa, ja se on yleisten mittareiden ja menetelmien tarve arvioida älykkäiden agenttien kestävyyttä vastustuskykyisille hyökkäyksille. Nykyiset ratkaisut ovat pääosin ad hoc, eivätkä ne tarjoa yleisiä kestävyyden mittareita kaikenlaisia hyökkäyksiä vastaan.

Onko jotain muuta, mitä haluaisit jakaa näistä aiheista?

Vuonna 2014, Scully ja kollegat julkaisivat tutkimuksen NeurIPS-konferenssissa, jossa käsiteltiin mielenkiintoista aiheetta: “Machine Learning: The High-Interest Credit Card of Technical Debt”. Vaikka alalla on edistytty viime vuosina, tämä lause ei ole menettänyt merkitystään. Nykyinen älykkään teknologian tila on vaikuttava, mutta meillä on vielä täytettävä merkittävä määrä aukkoja sekä älykkään perustan että insinööritieteellisissä ulottuvuuksissa. Tämä on mielestäni tärkein oivallus tästä keskustelusta. En tarkoita sitä, että älykkään teknologian kaupallinen soveltaminen tulisi lopettaa, vaan ainoastaan haluan mahdollistaa insinööriyhteisön ottamaan riskit ja älykkään teknologian rajoitukset huomioon päätöksenteossa.

Olen todella nauttinut oppimisesta älykkäiden järjestelmien turvallisuuden ja turvallisuuden haasteista. Tämä on jotain, mistä yksilöiden, yritysten ja hallitusten on tietoisuutta herättävä. Lukijat, jotka haluavat oppia lisää, voivat vierailla Secure and Assured Intelligent Learning (SAIL) Lab -sivustolla.