Rob Feldman, Chief Legal Officer at EnterpriseDB – Interview Series

Rob Feldman, Chief Legal Officer, jest odpowiedzialny za światowe funkcje prawne i zgodności w EnterpriseDB. Doświadczony menedżer i prawnik, buduje wysoko wydajne zespoły prawne, aby wspierać rozwijające się firmy technologiczne w dynamicznych środowiskach biznesowych i regulacyjnych. Ostatnio kierował 45-osobowym zespołem prawnym w Citrix Systems, Inc. jako jego radca prawny, w tym podczas transakcji o wartości ponad 16 miliardów dolarów w 2022 roku. Wcześniej, przez ponad dekadę, pracował w prywatnej praktyce jako prawnik specjalizujący się w sprawach spornych związanych z technologią, ze szczególnym uwzględnieniem obrony przed oszustwami związanymi z papierami wartościowymi, sporami dotyczącymi własności intelektualnej oraz rządowymi i wewnętrznymi śledztwami. Rob Feldman jest również członkiem Rady Prawnej UN Global Compact, gdzie zapewnia strategiczne wsparcie w kwestiach globalnych środowisk regulacyjnych, aby pomóc firmom osiągnąć transformacyjny, długoterminowy wpływ.

EnterpriseDB jest firmą oprogramowania, która dostarcza rozwiązania bazodanowe klasy enterprise oparte na open-source PostgreSQL, pomagając organizacjom uruchamiać obciążenia krytyczne dla misji z większą wydajnością, bezpieczeństwem i niezawodnością. Założona w 2004 roku, EnterpriseDB oferuje platformy chmurowe i lokalne, wsparcie na całym świecie oraz narzędzia zgodne z Oracle, a także coraz bardziej koncentruje się na platformach danych hybrydowych i gotowych do sztucznej inteligencji (AI) za pośrednictwem swoich ofert Postgres AI.

Biorąc pod uwagę Pańskie długoletnie doświadczenie w kierownictwie prawnym oraz skupienie EnterpriseDB na rozwiązaniach Postgres i suwerennych platformach danych i AI, jak Pan widzi ewolucję odpowiedzialności dla firm, które wdrożenie agenci sztucznej inteligencji wewnątrz krytycznej infrastruktury danych?

Świat sztucznej inteligencji i danych nadal opiera się na tych samych podstawowych zasadach, które powinny regulować przedsiębiorstwa długo przed pojawieniem się systemów agenci: odpowiedzialność, powściągliwość i jasność odpowiedzialności.

W przeszłości te zasady były stosowane do ludzi i w dużej mierze nieaktywnych systemów, pulpitów, raportów i zautomatyzowanych narzędzi, które nie inicjowały działań samodzielnie. Agenci sztucznej inteligencji wprowadzają systemy, które zachowują się bardziej jak uczestnicy niż instrumenty. Mogą działać niezależnie, adaptować się w czasie i coraz częściej współdziałać z ludźmi i innymi agentami.

Jeśli organizacja nie ma silnych dyscyplin zarządzania i kontroli, będzie się trudziła w tym środowisku. Agenci sztucznej inteligencji nie tworzą nowych problemów odpowiedzialności, ale raczej ujawniają istniejące. Dla przedsiębiorstw z solidnymi fundamentami ta zmiana wzmocni praktyki, które już są stosowane, co określamy jako „cyfrowe powiązanie”. Dla innych jest to wyraźny sygnał, że praktyczne barierki muszą zostać ustanowione przed wdrożeniem agenci sztucznej inteligencji na dużą skalę.

Tylko około 13% przedsiębiorstw osiągnęło ten punkt skali agenci z powodzeniem. Wykonują one dwukrotnie więcej agenci niż wszystkie inne i uzyskują pięciokrotnie większy zwrot z inwestycji. Ale im więcej autonomii ma system sztucznej inteligencji, tym szybciej organizacje muszą zmierzyć się z odpowiedzialnością. Gdy agent sztucznej inteligencji obsługuje roszczenie, przenosi pieniądze lub nieprawidłowo obsługuje wrażliwe dane, odpowiedzialność spoczywa na przedsiębiorstwie, które zdefiniowało środowisko, ustaliło uprawnienia i zadecydowało o stopniu swobody, jaką miał ten system.

Dlatego firmy muszą wprowadzić jasny nadzór nad przypadkami użycia agenci sztucznej inteligencji i dlatego organizacje są zachęcane do skupienia się na swoich barierkach i programach zarządzania. Analogia do posiadania psa i cyfrowego powiązania jest przydatna. Psy mają pewien poziom autonomii, działają niezależnie, choć czasem w sposób nieprzewidywalny, jednak nie są osobami prawnymi. To połączenie, autonomia bez osobowości, jest podobne do tego, gdzie obecnie znajdują się systemy agenci sztucznej inteligencji, a właściciele muszą zrozumieć, że bez nadzoru i zarządzania będą ponosić odpowiedzialność za negatywne skutki.

Jak przedsiębiorstwa powinny odróżniać pomiędzy sztuczną inteligencją wspomagającą a sztuczną inteligencją agenci z prawnego i operacyjnego punktu widzenia przed wdrożeniem?

Na prostym poziomie różnica sprowadza się do uprawnienia. Sztuczna inteligencja wspomagająca wspiera podejmowanie decyzji przez ludzi, podczas gdy sztuczna inteligencja agenci inicjuje działania i wykonuje decyzje. Obie mogą wpływać na przepływ pracy i kształtować zachowania, na przykład w obsłudze klienta lub ustalaniu priorytetów operacyjnych, ale tylko systemy agenci działają na tej influencji niezależnie.

Jeśli system może wyzwalać przepływy pracy, zatwierdzać wyniki, modyfikować stany systemu lub podejmować działania bez zatwierdzenia w czasie rzeczywistym przez człowieka, powinien być traktowany jako agenci. Ta determinacja musi nastąpić przed wdrożeniem, ponieważ gdy uprawnienie jest przyznane agentowi, odpowiedzialność prawna i operacyjna przesuwa się wraz z nim. Organizacje muszą być świadome tej różnicy, aby nie odkryły zbyt późno, że nieumyślnie delegowały władzę decyzyjną i wraz z nią odpowiedzialność.

Czy ustanowione doktryny prawne, takie jak zaniedbana delegacja i respondeat superior, mogą być realistycznie stosowane do autonomicznych systemów sztucznej inteligencji, i gdzie te ramy zaczynają się łamać?

Stosują się one bardziej bezpośrednio, niż wielu zakłada. Te doktryny istnieją, aby rozwiązać sytuacje, w których władza jest delegowana, a powstaje szkoda, co jest jednym z potencjalnych wyzwań wprowadzanych przez sztuczną inteligencję agenci.

Problem nie leży w doktrynie prawnej, ale w tym, czy organizacje rozumieją odpowiedzialność, którą przyjmują przy wdrożeniu autonomicznej sztucznej inteligencji, oraz potrzebę zarządzania tymi systemami odpowiednio.

Gdy organizacje nie definiują zakresu, uprawnień i nadzoru, tworzą odpowiedzialność prawną. Problem rzadko polega na tym, że prawo nie może poradzić sobie z sztuczną inteligencją agenci, ale raczej na tym, że przedsiębiorstwa nie wyraźnie określiły, co ich systemy były uprawnione do robienia, ani jak mają być zarządzane.

Jakie praktyczne kroki powinni podjąć dyrektorzy ds. informacji i zespoły prawne, aby zdefiniować i zmniejszyć odpowiedzialność, gdy przepływy pracy sztucznej inteligencji nadal uczą się i adaptują w środowiskach produkcyjnych?

Pierwszym krokiem jest traktowanie suwerenności nad sztuczną inteligencją i danymi jako krytyczne dla misji. Organizacje nie mogą w sposób znaczący zarządzać odpowiedzialnością, jeśli ich systemy sztucznej inteligencji i dane są rozproszone w środowiskach, których nie mogą w pełni obserwować ani zarządzać. 13% przedsiębiorstw, które udaje się wdrożyć sztuczną inteligencję agenci na dużą skalę, zaczyna od tej podstawy.

W praktyce oznacza to ograniczanie dostępu do danych, wyraźne definiowanie, które działania agenci mogą wykonywać samodzielnie, oraz umieszczanie nadzoru ludzkiego wokół decyzji o wysokim wpływie. Wymaga to również rejestrowania i śledzenia, aby zachowanie mogło być przeglądane, gdy i jeśli będzie to konieczne. Organizacje, które przyjmą te środki wcześnie, zmniejszą zarówno ekspozycję prawną, jak i tarcie operacyjne w przyszłości.

Jak Pan radzi przedsiębiorstwom, aby „powiązać” lub zarządzać sztuczną inteligencją agenci za pomocą polityki, kontroli technicznych lub zabezpieczeń umownych, aby zmniejszyć ryzyko niezamierzonej szkody?

Punktem wyjścia jest suwerenność. Przedsiębiorstwa potrzebują środowisk, w których ich systemy sztucznej inteligencji, dane i kontekst wykonania są obserwowalne i egzekwowalne na dużą skalę. Zarządzanie nie może opierać się wyłącznie na polityce. Polityka ustala oczekiwania, ale kontrola techniczna określa, co systemy mogą rzeczywiście robić, niezależnie od tego, czy dane są w spoczynku, czy w ruchu, i jak modele są dopuszczone do działania.

Niektórzy agenci powinni działać w ogrodzonych środowiskach bez dostępu do produkcji. Inni mogą działać z ograniczonymi uprawnieniami i progami zatwierdzenia. W pełni autonomiczni agenci powinni być rzadcy i starannie nadzorowani. Umowy mogą pomóc w wyjaśnieniu odpowiedzialności, ale nie zastępują potrzeby wewnętrznej kontroli i odpowiedzialności.

Czy zmiana w kierunku środowisk sztucznej inteligencji kontrolowanych przez przedsiębiorstwa zmienia, kto ostatecznie ponosi ryzyko, gdy agent sztucznej inteligencji powoduje szkodę finansową lub operacyjną?

Nie zmienia tego, kto ponosi ryzyko. Uwieńczuje to odpowiedzialność i w wielu ways zmniejsza ryzyko. Gdy przedsiębiorstwa kontrolują dane, infrastrukturę i kontekst wykonania, usuwają zmienne wprowadzane, gdy dane i narzędzia są w rękach stron trzecich.

Kontrola nad danymi i narzędziami sztucznej inteligencji jest siłą. Suwerenność daje organizacjom widoczność i uprawnienia niezbędne do zarządzania ryzykiem w sposób odpowiedzialny. Bez tej kontroli przedsiębiorstwa zwiększają swój profil ryzyka.

Z Pańskiej perspektywy, jaka rola przejrzystości i audytowalności odgrywa w zmniejszaniu ekspozycji prawnej podczas uruchamiania autonomicznych aplikacji sztucznej inteligencji?

Są one podstawowe. Audytowalność zmienia autonomiczne systemy w systemy, które można bronić.

Gdy występują incydenty, regulatorzy i sądy zadają praktyczne pytania: co wiedział system, co było ono uprawnione do zrobienia i dlaczego działało? Przedsiębiorstwa, które mogą udowodnić nadzór i audytowalność, są w znacznie lepszej pozycji w porównaniu z tymi, którzy przychodzą z pustymi rękami.

Jak przedsiębiorstwa powinny przygotować się do różnych obowiązków prawnych na poziomie stanowym związanych z odpowiedzialnością za sztuczną inteligencję, podczas gdy federalne wytyczne sztucznej inteligencji nadal ewoluują?

Organizacje nie mogą czekać, aż regulatorzy wydadzą szczegółowe przepisy specyficzne dla sztucznej inteligencji. Istniejące prawo stanowe i federalne dają nam 95% klarowności, której potrzebujemy, aby używać sztucznej inteligencji w sposób odpowiedzialny i unikać znaczących zdarzeń związanych z odpowiedzialnością.

Ta klarowność obejmuje projektowanie systemów, które spełniają najbardziej wymagające standardy odpowiedzialności produktowej, co będzie koniecznie obejmować rzeczy takie jak odpowiedzialny rozwój możliwości sztucznej inteligencji, testowanie przed wydaniem, przejrzystość i ujawnianie ryzyka, audytowanie po wydaniu, nadzór ludzki oraz szkolenia dla użytkowników sztucznej inteligencji. Te podstawowe i znajome kroki mają większe znaczenie niż próby przewidywania konkretnych wyników regulacyjnych.

Jakie są najważniejsze pytania, które kupujący technologii powinni zadać dostawcom o autonomii, nadzorze i odpowiedzialności przed przyjęciem systemów sztucznej inteligencji agenci?

W przypadku sztucznej inteligencji agenci ostateczna odpowiedzialność spoczywa na stronie, która upoważnia do autonomii. Zatem cztery główne pytania, które należy odpowiedzieć, to:

1. Kto kontroluje system w produkcji?
2. Jak są testowane i egzekwowane uprawnienia?
3. Jak jest ograniczane uczenie?
4. Jaki dowód audytowy jest dostępny, jeśli coś pójdzie nie tak?

Jeśli dostawca nie może udzielić wyraźnych odpowiedzi, przedsiębiorstwa powinny postąpić z ostrożnością. Wróć do analogii z psem: hodowcy mają znaczenie, ale jeśli coś pójdzie nie tak, odpowiedzialność może spoczywać na właścicielu.

Dziękujemy za wspaniałe wywiady, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić EnterpriseDB.