Вахид Бехзадан, директор лабораторије за сигурно и осигурано интелигентно учење (САИЛ) – серија интервјуа

Вахид је доцент рачунарства и науке о подацима на Универзитету у Њу Хејвену. Такође је директор Лабораторија за сигурно и осигурано интелигентно учење (САИЛ).

Његова истраживачка интересовања обухватају безбедност и безбедност интелигентних система, психолошко моделирање безбедносних проблема вештачке интелигенције, безбедност сложених адаптивних система, теорију игара, системе са више агената и сајбер безбедност.

Имате велико искуство у сајбер безбедности и заштити вештачке интелигенције. Можете ли да поделите своје путовање како сте постали привлачни за оба поља?

Моја истраживачка путања је била подстакнута два моја кључна интересовања: сазнање како се ствари ломе и учење о механици људског ума. Активно сам укључен у сајбер-безбедност од својих раних тинејџерских година, и сходно томе изградио сам свој рани истраживачки план око класичних проблема овог домена. Неколико година након постдипломских студија, наишао сам на ретку прилику да променим област истраживања. У то време, управо сам наишао на ране радове Сегедија и Гудфелоа о нападима против супротстављених примера, и сматрао сам да је идеја о нападу машинског учења веома интригантна. Како сам дубље проучавао овај проблем, сазнао сам о општијем пољу безбедности и безбедности вештачке интелигенције и открио да обухвата многа моја кључна интересовања, као што су сајбер безбедност, когнитивне науке, економија и филозофија. Такође сам дошао до уверења да истраживања у овој области нису само фасцинантна, већ и од виталног значаја за обезбеђивање дугорочне користи и безбедности АИ револуције.

 

Ви сте директор Лабораторије за сигурно и осигурано интелигентно учење (САИЛ) која ради на постављању бетонских темеља за сигурност и сигурност интелигентних машина. Можете ли да уђете у неке детаље у вези са радом који је предузео САИЛ?

У САИЛ-у, моји студенти и ја радимо на проблемима који се налазе на пресеку безбедности, вештачке интелигенције и сложених система. Примарни фокус нашег истраживања је на истраживању безбедности и сигурности интелигентних система, како из теоријске тако и из примењене перспективе. Са теоријске стране, тренутно истражујемо проблем усклађивања вредности у подешавањима са више агената и развијамо математичке алате за процену и оптимизацију циљева АИ агената у погледу стабилности и робусног усклађивања. Са практичне стране, неки од наших пројеката истражују безбедносне пропусте најсавременијих АИ технологија, као што су аутономна возила и алгоритамско трговање, и имају за циљ да развију технике за процену и побољшање отпорности таквих технологија на непријатељске нападе.

Такође радимо на апликацијама машинског учења у сајбер безбедности, као што је аутоматско тестирање пенетрације, рано откривање покушаја упада и аутоматизовано прикупљање података о претњама и анализа из отворених извора података као што су друштвени медији.

 

Недавно сте покушали да предложите моделирање безбедносних проблема АИ као психопатолошких поремећаја. Можете ли објаснити шта је ово?

Овај пројекат се бави брзо растућом сложеношћу агената и система вештачке интелигенције: већ је веома тешко дијагностиковати, предвидети и контролисати несигурна понашања агената за учење са појачањем у нетривијалним окружењима једноставним посматрањем њихових конфигурација ниског нивоа. У овом раду наглашавамо потребу за апстракцијама вишег нивоа у истраживању таквих проблема. Инспирисани научним приступима проблемима у понашању код људи, предлажемо психопатологију као корисну апстракцију високог нивоа за моделирање и анализу насталих штетних понашања у АИ и АГИ. Као доказ концепта, проучавамо безбедносни проблем АИ хаковања награда код РЛ агента који учи да игра класичну игру Снаке. Показујемо да ако у околину додамо семе „дроге“, агент учи субоптимално понашање које се може описати путем неуронаучних модела зависности. Овај рад такође предлаже методологије контроле засноване на приступима лечења који се користе у психијатрији. На пример, предлажемо употребу вештачки генерисаних сигнала награде као аналога терапије лековима за модификовање штетног понашања агенаса.

 

Да ли сте забринути за безбедност вештачке интелигенције када су у питању аутономна возила?

Аутономна возила постају истакнути примери примене вештачке интелигенције у сајбер-физичким системима. С обзиром на основну подложност тренутних технологија машинског учења грешкама и непријатељским нападима, дубоко сам забринут за безбедност и сигурност чак и полуаутономних возила. Такође, област аутономне вожње пати од озбиљног недостатка безбедносних стандарда и протокола за евалуацију. Ипак, остајем у нади. Слично природној интелигенцији, АИ ће такође бити склона грешкама. Ипак, циљ самовозећих аутомобила и даље може бити задовољен ако стопе и утицај таквих грешака буду нижи од оних код људских возача. Сведоци смо растућих напора да се ова питања реше у индустрији и академским круговима, као иу владама.

 

Хаковање уличних знакова налепницама или коришћењем других средстава може збунити модул компјутерског вида аутономног возила. Шта верујете да је ово велики проблем?

Ове налепнице, као и примери супротстављања уопште, доводе до фундаменталних изазова у робусности модела машинског учења. Да цитирам Џорџа ЕП Бокса, „сви модели су погрешни, али неки су корисни“. Конкурентни примери искоришћавају ову „погрешност“ модела, што је последица њихове апстрактне природе, као и ограничења узоркованих података на којима су обучени. Недавни напори у домену супротстављеног машинског учења довели су до огромних корака ка повећању отпорности модела дубоког учења на такве нападе. Са безбедносне тачке гледишта, увек ће постојати начин да се заварају модели машинског учења. Међутим, практични циљ обезбеђивања модела машинског учења је повећање трошкова имплементације таквих напада до тачке економске неизводљивости.

 

Ваш фокус је на безбедносним и безбедносним карактеристикама и дубоког учења и учења са дубоким појачањем. Зашто је ово толико важно?

Учење уз појачање (РЛ) је истакнути метод примене машинског учења за контролу проблема, који по дефиницији укључују манипулацију околином. Због тога верујем да системи који су засновани на РЛ имају знатно већи ризик од изазивања великих штета у стварном свету у поређењу са другим методама машинског учења, као што је класификација. Овај проблем је додатно погоршан интеграцијом дубоког учења у РЛ, што омогућава усвајање РЛ-а у веома сложеним окружењима. Такође, сматрам да је РЛ оквир уско повезан са основним механизмима спознаје у људској интелигенцији, а проучавање његове безбедности и рањивости може довести до бољег увида у границе доношења одлука у нашим умовима.

 

Да ли верујете да смо близу постизања вештачке опште интелигенције (АГИ)?

Ово је познато питање на које је тешко одговорити. Верујем да тренутно имамо градивне блокове неких архитектура које могу олакшати настанак АГИ. Међутим, може бити потребно још неколико година или деценија да се побољшају ове архитектуре и побољша економска ефикасност обуке и одржавања ових архитектура. Током наредних година, наши агенти ће постати интелигентнији брзим растом. Не мислим да ће појава АГИ бити објављена у облику [научно валидног] наслова, већ као резултат постепеног напретка. Такође, мислим да још увек немамо широко прихваћену методологију за тестирање и откривање постојања АГИ, а то може одложити нашу реализацију првих инстанци АГИ.

 

Како одржавамо безбедност у систему АГИ који је способан да размишља самостално и који ће највероватније бити експоненцијално интелигентнији од људи?

Верујем да је јединствена теорија интелигентног понашања економија и студија о томе како агенти делују и комуницирају да би постигли оно што желе. Одлуке и акције људи одређују се њиховим циљевима, њиховим информацијама и расположивим ресурсима. Друштва и заједнички напори произлазе из његових користи за поједине чланове таквих група. Други пример је кривични закон, који одвраћа одређене одлуке придавањем високе цене радњама које могу нанети штету друштву. На исти начин, верујем да контрола подстицаја и ресурса може омогућити настанак стања равнотеже између људи и случајева АГИ. Тренутно, заједница безбедности АИ истражује ову тезу под окриљем проблема усклађивања вредности.

 

Једна од области коју помно пратите је противтероризам. Да ли сте забринути да терористи преузимају АИ или АГИ системе?

Постоје бројне забринутости у вези са злоупотребом АИ технологија. У случају терористичких операција, главна брига је лакоћа са којом терористи могу да развију и изврше аутономне нападе. Све већи број мојих колега активно упозорава на ризике развоја аутономног оружја (види https://autonomousweapons.org/ ). Један од главних проблема са оружјем које подржава вештачку интелигенцију је у тешкоћама контроле основне технологије: АИ је на челу истраживања отвореног кода, а свако ко има приступ интернету и хардверу за потрошаче може да развије штетне системе вештачке интелигенције. Сумњам да је појава аутономног оружја неизбежна и верујем да ће ускоро бити потребе за новим технолошким решењима за супротстављање таквом оружју. Ово може резултирати циклусом мачке и миша који подстиче еволуцију оружја са АИ, што може довести до озбиљних егзистенцијалних ризика на дужи рок.

 

Шта можемо да урадимо да заштитимо АИ системе од ових непријатељских агената?

Први и најважнији корак је образовање: Сви инжењери и практичари АИ треба да науче о рањивостима АИ технологија и да размотре релевантне ризике у дизајну и имплементацији својих система. Што се тиче више техничких препорука, постоје различити предлози и концепти решења који се могу применити. На пример, обука агената за машинско учење у супарничким окружењима може побољшати њихову отпорност и отпорност на нападе избегавања и манипулације политикама (нпр. погледајте мој рад под насловом „Шта год да не убија дубоко учење са појачањем, чини га јачим“). Друго решење је да се директно узме у обзир ризик од адверсарних напада у архитектури агента (нпр. Бајесовски приступи моделирању ризика). Међутим, постоји велики јаз у овој области, а то је потреба за универзалним метрикама и методологијама за процену робусности АИ агената против непријатељских напада. Тренутна решења су углавном ад хоц и не пружају опште мере отпорности на све врсте напада.

 

Постоји ли још нешто што бисте желели да поделите о било којој од ових тема?

У 2014. Сцулли ет ал. објавио рад на конференцији НеурИПС са веома поучном темом: „Машинско учење: Висококаматна кредитна картица техничког дуга“. Чак и са свим напретцима ове области у последњих неколико година, ова изјава тек треба да изгуби на важности. Тренутно стање АИ и машинског учења није ништа друго до задивљујуће, али тек треба да попунимо значајан број великих празнина како у основи тако и у инжењерским димензијама АИ. Ова чињеница је, по мом мишљењу, најважнији закључак нашег разговора. Наравно, не желим да обесхрабрујем комерцијално усвајање АИ технологија, већ само желим да омогућим инжењерској заједници да узме у обзир ризике и ограничења тренутних АИ технологија у својим одлукама.

Заиста сам уживао у учењу о безбедносним и безбедносним изазовима у вези са различитим типовима АИ система. Ово је заиста нешто чега појединци, корпорације и владе морају да постану свесни. Читаоци који желе да сазнају више треба да посете Лабораторија за сигурно и осигурано интелигентно учење (САИЛ)..