Vahid Behzadan, dyrektor laboratorium bezpiecznego i pewnego inteligentnego uczenia się (SAIL) – seria wywiadów

Vahid jest adiunktem informatyki i nauki o danych na Uniwersytecie w New Haven. Jest także dyrektorem ds Laboratorium bezpiecznego i pewnego inteligentnego uczenia się (SAIL).

Jego zainteresowania badawcze obejmują bezpieczeństwo inteligentnych systemów, psychologiczne modelowanie problemów bezpieczeństwa AI, bezpieczeństwo złożonych systemów adaptacyjnych, teorię gier, systemy wieloagentowe i cyberbezpieczeństwo.

Masz rozległą wiedzę z zakresu cyberbezpieczeństwa i zapewniania bezpieczeństwa sztucznej inteligencji. Czy możesz podzielić się swoją podróżą, w której zainteresowałeś się obydwoma dziedzinami?

Kierunek moich badań wynikał z dwóch moich głównych zainteresowań: odkrywania, jak rzeczy się psują oraz poznawania mechaniki ludzkiego umysłu. Od wczesnych lat nastoletnich aktywnie angażowałem się w cyberbezpieczeństwo i konsekwentnie budowałem swój wczesny program badawczy wokół klasycznych problemów tej dziedziny. Po kilku latach studiów podyplomowych natknąłem się na rzadką okazję, aby zmienić obszar swoich badań. W tym czasie właśnie natknąłem się na wczesne prace Szegedy’ego i Goodfellowa na temat kontradyktoryjnych ataków przykładowych i pomysł ataku na uczenie maszynowe wydał mi się bardzo intrygujący. Kiedy przyjrzałem się bliżej temu problemowi, poznałem bardziej ogólną dziedzinę bezpieczeństwa i ochrony sztucznej inteligencji i odkryłem, że obejmuje ona wiele moich podstawowych zainteresowań, takich jak cyberbezpieczeństwo, nauki kognitywne, ekonomia i filozofia. Doszedłem też do wniosku, że badania w tej dziedzinie są nie tylko fascynujące, ale także niezbędne dla zapewnienia długoterminowych korzyści i bezpieczeństwa rewolucji AI.

 

Jesteś dyrektorem laboratorium bezpiecznego i pewnego inteligentnego uczenia się (SAIL), które pracuje nad położeniem konkretnych fundamentów pod bezpieczeństwo inteligentnych maszyn. Czy mógłby Pan podać kilka szczegółów dotyczących prac podjętych przez SAIL?

W SAIL moi studenci i ja pracujemy nad problemami, które leżą na styku bezpieczeństwa, sztucznej inteligencji i złożonych systemów. Głównym celem naszych badań jest badanie bezpieczeństwa inteligentnych systemów, zarówno z perspektywy teoretycznej, jak i stosowanej. Od strony teoretycznej obecnie badamy problem dostosowania wartości w ustawieniach wieloagentowych i opracowujemy narzędzia matematyczne do oceny i optymalizacji celów agentów AI pod względem stabilności i solidnych dostosowań. Z praktycznego punktu widzenia niektóre z naszych projektów badają luki w zabezpieczeniach najnowocześniejszych technologii sztucznej inteligencji, takich jak pojazdy autonomiczne i handel algorytmiczny, a ich celem jest opracowanie technik oceny i poprawy odporności takich technologii na ataki kontradyktoryjne.

Pracujemy również nad zastosowaniami uczenia maszynowego w cyberbezpieczeństwie, takimi jak automatyczne testy penetracyjne, wczesne wykrywanie prób włamań oraz automatyczne gromadzenie i analiza zagrożeń z otwartych źródeł danych, takich jak media społecznościowe.

 

Niedawno podjąłeś próbę zaproponowania modelowanie problemów bezpieczeństwa AI jako zaburzeń psychopatologicznych. Czy mógłbyś wyjaśnić, co to jest?

Projekt ten dotyczy szybko rosnącej złożoności agentów i systemów sztucznej inteligencji: już teraz bardzo trudno jest diagnozować, przewidywać i kontrolować niebezpieczne zachowania agentów uczenia się przez wzmacnianie w nietrywialnych ustawieniach, po prostu patrząc na ich konfiguracje niskiego poziomu. W tej pracy podkreślamy potrzebę stosowania abstrakcji wyższego poziomu w badaniu takich problemów. Zainspirowani naukowym podejściem do problemów behawioralnych u ludzi, proponujemy psychopatologię jako użyteczną abstrakcję wysokiego poziomu do modelowania i analizowania pojawiających się szkodliwych zachowań w AI i AGI. Jako dowód koncepcji badamy problem bezpieczeństwa sztucznej inteligencji związany z hakowaniem nagród u agenta RL uczącego się grać w klasyczną grę Snake. Pokazujemy, że jeśli dodamy do środowiska ziarno „narkotyku”, agent nauczy się nieoptymalnego zachowania, które można opisać za pomocą neuronaukowych modeli uzależnienia. W pracy zaproponowano także metodyki kontroli oparte na metodach leczenia stosowanych w psychiatrii. Na przykład proponujemy wykorzystanie sztucznie generowanych sygnałów nagrody jako analogów terapii lekowej do modyfikowania szkodliwego zachowania agentów.

 

Czy masz wątpliwości co do bezpieczeństwa sztucznej inteligencji w pojazdach autonomicznych?

Pojazdy autonomiczne stają się czołowymi przykładami wdrażania sztucznej inteligencji w systemach cyberfizycznych. Biorąc pod uwagę zasadniczą podatność obecnych technologii uczenia maszynowego na błędy i ataki kontradyktoryjne, jestem głęboko zaniepokojony bezpieczeństwem i ochroną nawet pojazdów półautonomicznych. Ponadto dziedzina autonomicznej jazdy cierpi na poważny brak norm bezpieczeństwa i protokołów oceny. Pozostaję jednak pełen nadziei. Podobnie jak naturalna inteligencja, sztuczna inteligencja również będzie podatna na popełnianie błędów. Jednak cel, jakim są samochody autonomiczne, można nadal osiągnąć, jeśli wskaźniki i skutki takich błędów będą niższe niż w przypadku ludzkich kierowców. Jesteśmy świadkami rosnących wysiłków na rzecz rozwiązania tych problemów w przemyśle i środowisku akademickim, a także w rządach.

 

Hakowanie znaków drogowych za pomocą naklejek lub przy użyciu innych środków może zmylić komputerowy moduł wizyjny pojazdu autonomicznego. Jak duży jest to problem?

Te naklejki i ogólnie przykłady kontradyktoryjne stwarzają podstawowe wyzwania w zakresie niezawodności modeli uczenia maszynowego. Cytując George'a EP Boxa: „wszystkie modele są błędne, ale niektóre są przydatne”. Przykłady kontradyktoryjne wykorzystują tę „błędność” modeli, wynikającą z ich abstrakcyjnego charakteru, a także z ograniczeń próbkowanych danych, na podstawie których są one szkolone. Niedawne wysiłki w dziedzinie kontradyktoryjnego uczenia maszynowego zaowocowały ogromnymi postępami w kierunku zwiększenia odporności modeli głębokiego uczenia się na takie ataki. Z punktu widzenia bezpieczeństwa zawsze znajdzie się sposób na oszukanie modeli uczenia maszynowego. Jednak praktycznym celem zabezpieczania modeli uczenia maszynowego jest zwiększenie kosztów realizacji takich ataków do poziomu niewykonalnego z ekonomicznego punktu widzenia.

 

Skupiasz się na funkcjach bezpieczeństwa zarówno głębokiego uczenia się, jak i głębokiego uczenia się przez wzmacnianie. Dlaczego jest to takie ważne?

Uczenie się przez wzmacnianie (RL) to wiodąca metoda stosowania uczenia maszynowego do kontrolowania problemów, które z definicji obejmują manipulację otoczeniem. Dlatego uważam, że systemy oparte na RL charakteryzują się znacznie większym ryzykiem spowodowania poważnych szkód w świecie rzeczywistym w porównaniu z innymi metodami uczenia maszynowego, takimi jak klasyfikacja. Problem ten dodatkowo pogłębia się w przypadku integracji głębokiego uczenia się w RL, co umożliwia przyjęcie RL w bardzo złożonych środowiskach. Ponadto moim zdaniem model RL jest ściśle powiązany z podstawowymi mechanizmami poznania w ludzkiej inteligencji, a badanie jego bezpieczeństwa i słabych punktów może prowadzić do lepszego wglądu w ograniczenia procesu decyzyjnego w naszych umysłach.

 

Czy wierzysz, że jesteśmy blisko osiągnięcia sztucznej inteligencji ogólnej (AGI)?

To niezwykle trudne pytanie. Uważam, że obecnie dysponujemy elementami składowymi niektórych architektur, które mogą ułatwić pojawienie się AGI. Jednakże udoskonalenie tych architektur i zwiększenie opłacalności szkolenia i utrzymania tych architektur może zająć jeszcze kilka lat lub dziesięcioleci. W nadchodzących latach nasi agenci będą stawać się coraz bardziej inteligentni w szybkim tempie. Nie sądzę, że pojawienie się AGI zostanie ogłoszone w formie [naukowo uzasadnionego] nagłówka, ale w wyniku stopniowego postępu. Ponadto uważam, że nadal nie mamy powszechnie akceptowanej metodologii testowania i wykrywania istnienia AGI, co może opóźnić naszą identyfikację pierwszych przypadków AGI.

 

Jak zapewnić bezpieczeństwo w systemie AGI, który potrafi samodzielnie myśleć i najprawdopodobniej będzie wykładniczo inteligentniejszy od człowieka?

Wierzę, że ujednoliconą teorią inteligentnego zachowania w ramach Grantu jest ekonomia oraz badanie sposobu, w jaki agenci działają i wchodzą w interakcje, aby osiągnąć to, czego chcą. Decyzje i działania ludzi zależą od ich celów, posiadanych informacji i dostępnych zasobów. Społeczeństwa i wspólne wysiłki wynikają z korzyści, jakie płyną z tego dla indywidualnych członków takich grup. Innym przykładem jest kodeks karny, który powstrzymuje od podjęcia pewnych decyzji, powołując się na wysokie koszty działań mogących zaszkodzić społeczeństwu. W ten sam sposób uważam, że kontrolowanie bodźców i zasobów może umożliwić pojawienie się stanu równowagi między ludźmi a instancjami AGI. Obecnie społeczność zajmująca się bezpieczeństwem sztucznej inteligencji bada tę tezę w ramach problemów dostosowania wartości.

 

Jednym z obszarów, który uważnie śledzisz, jest przeciwdziałanie terroryzmowi. Czy masz obawy, że terroryści przejmą systemy AI lub AGI?

Istnieje wiele obaw związanych z niewłaściwym wykorzystaniem technologii sztucznej inteligencji. W przypadku operacji terrorystycznych głównym problemem jest łatwość, z jaką terroryści mogą rozwijać i przeprowadzać autonomiczne ataki. Coraz większa liczba moich kolegów aktywnie ostrzega przed zagrożeniami związanymi z rozwojem broni autonomicznej (patrz https://autonomousweapons.org/ ). Jednym z głównych problemów związanych z bronią obsługującą sztuczną inteligencję są trudności w kontrolowaniu leżącej u jej podstaw technologii: sztuczna inteligencja znajduje się w czołówce badań nad oprogramowaniem typu open source, a każdy, kto ma dostęp do Internetu i sprzętu klasy konsumenckiej, może opracować szkodliwe systemy sztucznej inteligencji. Podejrzewam, że pojawienie się broni autonomicznej jest nieuniknione i uważam, że wkrótce pojawi się zapotrzebowanie na nowe rozwiązania technologiczne w celu przeciwdziałania takiej broni. Może to skutkować cyklem kotka i myszki, który napędza ewolucję broni wykorzystującej sztuczną inteligencję, co w dłuższej perspektywie może skutkować poważnymi zagrożeniami egzystencjalnymi.

 

Co możemy zrobić, aby chronić systemy sztucznej inteligencji przed tymi wrogimi agentami?

Pierwszym i najważniejszym krokiem jest edukacja: wszyscy inżynierowie i praktycy sztucznej inteligencji muszą poznać słabe punkty technologii sztucznej inteligencji i wziąć pod uwagę odpowiednie ryzyko podczas projektowania i wdrażania swoich systemów. Jeśli chodzi o zalecenia bardziej techniczne, można zastosować różne propozycje i koncepcje rozwiązań. Na przykład szkolenie agentów uczenia maszynowego w warunkach kontradyktoryjnych może poprawić ich odporność i odporność na ataki polegające na unikaniu i manipulacji polityką (np. zobacz mój artykuł zatytułowany „Cokolwiek nie zabije uczenia się przez głębokie wzmacnianie, czyni je silniejszym„). Innym rozwiązaniem jest bezpośrednie uwzględnienie ryzyka ataków kontradyktoryjnych w architekturze agenta (np. podejście bayesowskie do modelowania ryzyka). Istnieje jednak poważna luka w tym obszarze, związana z potrzebą uniwersalnych wskaźników i metodologii oceny odporności agentów AI na ataki kontradyktoryjne. Obecne rozwiązania mają w większości charakter doraźny i nie zapewniają ogólnych mierników odporności na wszelkiego rodzaju ataki.

 

Czy jest coś jeszcze, czym chciałbyś się podzielić na którykolwiek z tych tematów?

W 2014 roku Scully i in. opublikował artykuł na konferencji NeurIPS na bardzo pouczający temat: „Uczenie maszynowe: wysokooprocentowana karta kredytowa długu technicznego„. Pomimo całego postępu w tej dziedzinie, jaki nastąpił w ciągu ostatnich kilku lat, stwierdzenie to nie straciło jeszcze na swojej aktualności. Obecny stan sztucznej inteligencji i uczenia maszynowego budzi podziw, ale nie udało nam się jeszcze wypełnić znacznej liczby głównych luk zarówno w zakresie podstaw, jak i inżynierii sztucznej inteligencji. Moim zdaniem ten fakt jest najważniejszym wnioskiem z naszej rozmowy. Oczywiście nie mam zamiaru zniechęcać do komercyjnego stosowania technologii AI, ale pragnę jedynie umożliwić społeczności inżynierskiej uwzględnienie w swoich decyzjach zagrożeń i ograniczeń związanych z obecnymi technologiami AI.

Bardzo podobało mi się poznawanie wyzwań związanych z bezpieczeństwem i ochroną różnych typów systemów sztucznej inteligencji. Jest to naprawdę coś, czego obywatele, korporacje i rządy muszą zdać sobie sprawę. Czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Laboratorium bezpiecznego i pewnego inteligentnego uczenia się (SAIL)..