Rob Feldman, Chief Legal Officer w EnterpriseDB – Wywiad z serii

Rob Feldman, Chief Legal Officer, jest odpowiedzialny za światowe funkcje prawne i zgodności w EnterpriseDB. Doświadczony menedżer i prawnik, buduje wysoko wydajne zespoły prawne, aby wspierać rozwijające się firmy technologiczne w dynamicznych środowiskach biznesowych i regulacyjnych. Ostatnio kierował 45-osobowym zespołem prawnym w Citrix Systems, Inc. jako jego radca prawny, w tym podczas transakcji o wartości ponad 16 miliardów dolarów w 2022 roku. Przed dołączeniem do Citrix spędził ponad dekadę w prywatnej praktyce jako prawnik specjalizujący się w sprawach dotyczących firm technologicznych, ze szczególnym uwzględnieniem obrony przed oszustwami związanymi z papierami wartościowymi, sporów dotyczących własności intelektualnej oraz dochodzeń rządowych i wewnętrznych. Rob jest również członkiem Rady Prawnej Global Compact, zapewniającej strategiczne wsparcie w zakresie globalnych środowisk regulacyjnych, aby pomóc firmom osiągnąć przekształcenia o długoterminowym wpływie.

EnterpriseDB to firma oprogramowania, która dostarcza rozwiązania bazodanowe klasy enterprise oparte na open-source PostgreSQL, pomagając organizacjom uruchamiać obciążenia o wysokiej wydajności, bezpieczeństwie i niezawodności. Założona w 2004 roku, EnterpriseDB oferuje platformy chmurowe i lokalne, wsparcie na całym świecie oraz narzędzia kompatybilne z Oracle (ORCL ), koncentrując się coraz bardziej na platformach danych i sztucznej inteligencji gotowych do Postgres AI.

Biorąc pod uwagę Pańskie długoletnie doświadczenie w kierowaniu zespołami prawnymi i skupienie EnterpriseDB na rozwiązaniach Postgres klasy enterprise oraz platformach danych i sztucznej inteligencji, jak Pan widzi ewolucję odpowiedzialności dla firm, które wdrożenie sztucznej inteligencji w ramach krytycznej infrastruktury danych?

Świat sztucznej inteligencji i danych nadal opiera się na tych samych podstawowych zasadach, które powinny obowiązywać w przedsiębiorstwach od dawna: odpowiedzialność, powściągliwość i wyraźna odpowiedzialność.

W przeszłości te zasady były stosowane do ludzi i w dużej mierze nieaktywnych systemów, pulpitów, raportów i zautomatyzowanych narzędzi, które nie inicjowały działań samodzielnie. Sztuczna inteligencja agencji wprowadza systemy, które zachowują się bardziej jak uczestnicy niż instrumenty. Mogą one działać niezależnie, dostosowywać się w czasie i coraz częściej oddziaływać zarówno z ludźmi, jak i innymi agentami.

Jeśli organizacja nie posiada silnych dyscyplin zarządzania i kontroli, będzie się trudziła w tym środowisku. Sztuczna inteligencja agencji nie tworzy nowych problemów odpowiedzialności, ale raczej ujawnia istniejące. Dla przedsiębiorstw z solidnymi fundamentami ten przełom wzmocni praktyki, które już stosują, co określamy mianem „cyfrowego powiązania”. Dla innych jest to wyraźny sygnał, że praktyczne bariery ochronne muszą zostać ustanowione przed wdrożeniem sztucznej inteligencji agencji na dużą skalę.

Tylko około 13% przedsiębiorstw osiągnęło ten punkt skali agencji z powodzeniem. Wykonują one dwukrotnie więcej działań agencji niż wszystkie inne i uzyskują pięciokrotnie większy zwrot z inwestycji. Im jednak bardziej autonomiczny jest system sztucznej inteligencji, tym szybciej organizacje muszą zmierzyć się z odpowiedzialnością. Kiedy agent sztucznej inteligencji przekierowuje roszczenie, przenosi pieniądze lub nieprawidłowo obsługuje wrażliwe dane, odpowiedzialność spoczywa na przedsiębiorstwie, które zdefiniowało środowisko, ustaliło uprawnienia i zadecydowało o stopniu swobody tego systemu.

To dlatego firmy muszą wprowadzić jasny nadzór nad przypadkami użycia sztucznej inteligencji agencji i dlatego organizacje są zachęcane do skupienia się na swoich barierach ochronnych i programach zarządzania. Przydatna jest analogia posiadania psa i cyfrowego powiązania. Psy mają pewien poziom autonomii, działają niezależnie, choć czasem w sposób nieprzewidywalny, jednak nie są osobami prawnymi. To połączenie, autonomia bez osobowości prawnej, jest podobne do tego, gdzie znajdują się obecnie systemy sztucznej inteligencji agencji, a właściciele muszą zrozumieć, że bez nadzoru i zarządzania będą ponosić odpowiedzialność za negatywne skutki.

Jak przedsiębiorstwa powinny odróżniać sztuczną inteligencję wspomagającą i agencję z punktu widzenia prawnego i operacyjnego przed wdrożeniem?

Na prostym poziomie różnica sprowadza się do uprawnienia. Sztuczna inteligencja wspomagająca wspiera podejmowanie decyzji przez ludzi, podczas gdy sztuczna inteligencja agencji inicjuje działania i wykonuje decyzje. Obie mogą wpływać na przepływ pracy i kształtować zachowania, na przykład w obsłudze klienta lub ustalaniu priorytetów operacyjnych, ale tylko systemy agencji działają na tej influencji niezależnie.

Jeśli system może wyzwalać przepływy pracy, zatwierdzać wyniki, modyfikować stany systemu lub podejmować działania bez zatwierdzenia przez człowieka w czasie rzeczywistym, powinien być traktowany jako agencja. Ta determinacja musi nastąpić przed wdrożeniem, ponieważ gdy uprawnienia są przyznawane agentowi, odpowiedzialność prawna i operacyjna przechodzi wraz z nim. Organizacje muszą być świadome tej różnicy, aby nie odkryły zbyt późno, że nieumyślnie delegowały władzę decyzyjną i wraz z nią odpowiedzialność.

Czy ustanowione doktryny prawne, takie jak zaniedbana delegacja i odpowiedzialność za podwładnych, mogą być realistycznie stosowane do autonomicznych systemów sztucznej inteligencji, i gdzie te ramy zaczynają się łamać?

Stosują się one bardziej bezpośrednio, niż wielu zakłada. Te doktryny istnieją, aby rozwiązać sytuacje, w których uprawnienia są delegowane, a powstaje szkoda, co jest jednym z potencjalnych wyzwań wprowadzanych przez sztuczną inteligencję agencji.

Problem nie leży w doktrynie prawnej, ale w tym, czy organizacje rozumieją odpowiedzialność, którą przyjmują podczas wdrożenia autonomicznej sztucznej inteligencji, oraz potrzebę zarządzania tymi systemami odpowiednio.

Gdy organizacje nie definiują zakresu, uprawnień i nadzoru, tworzą odpowiedzialność prawną. Problem rzadko polega na tym, że prawo nie może poradzić sobie ze sztuczną inteligencją agencji, ale raczej na tym, że przedsiębiorstwa nie określiły wyraźnie, co ich systemy były uprawnione do robienia ani jak mają być zarządzane.

Jakie praktyczne kroki powinni podjąć dyrektorzy ds. informacji i zespoły prawne, aby zdefiniować i złagodzić odpowiedzialność, gdy przepływy pracy sztucznej inteligencji nadal uczą się i dostosowują w środowiskach produkcyjnych?

Pierwszym krokiem jest traktowanie suwerennej kontroli nad sztuczną inteligencją i danymi jako misję krytyczną. Organizacje nie mogą w sposób znaczący zarządzać odpowiedzialnością, jeśli ich systemy sztucznej inteligencji i dane są rozproszone w środowiskach, których nie mogą w pełni obserwować ani zarządzać. 13% przedsiębiorstw, które udaje się wdrożyć sztuczną inteligencję agencji na dużą skalę, zaczyna od tej podstawy.

W praktyce oznacza to ograniczanie dostępu do danych, wyraźne określanie, które działania agenci mogą wykonywać samodzielnie, oraz umieszczanie nadzoru ludzkiego wokół decyzji o wysokim wpływie. Wymaga to również rejestrowania i śledzenia, aby zachowanie mogło być przeglądane, gdy i jeśli jest to potrzebne. Organizacje, które przyjmą te środki wcześnie, zmniejszą zarówno ekspozycję prawną, jak i tarcie operacyjne w długiej perspektywie.

Jak Pan radzi przedsiębiorstwom, aby powiązać lub zarządzać sztuczną inteligencją agencji za pomocą polityki, kontroli technicznych lub zabezpieczeń umownych, aby zmniejszyć ryzyko niezamierzonej szkody?

Punktem wyjścia jest suwerenność. Przedsiębiorstwa potrzebują środowisk, w których ich systemy sztucznej inteligencji, dane i kontekst wykonania są obserwowalne i egzekwowalne na dużą skalę. Zarządzanie nie może opierać się wyłącznie na polityce. Polityka ustala oczekiwania, ale kontrola techniczna określa, co systemy mogą rzeczywiście robić, niezależnie od tego, czy dane są w spoczynku, czy w ruchu, i jak modele są dopuszczone do działania.

Niektórzy agenci powinni znajdować się w ogrodzonych środowiskach z żadnym dostępem do produkcji. Inni mogą działać z ograniczonymi uprawnieniami i progami zatwierdzenia. W pełni autonomiczni agenci powinni być rzadcy i starannie nadzorowani. Umowy mogą pomóc w wyjaśnieniu odpowiedzialności, ale nie zastępują potrzeby wewnętrznej kontroli i odpowiedzialności.

Czy przesunięcie w kierunku środowisk sztucznej inteligencji kontrolowanych przez przedsiębiorstwa lub suwerennych zmienia, kto ostatecznie ponosi ryzyko, gdy agent sztucznej inteligencji powoduje szkodę finansową lub operacyjną?

Nie zmienia to, kto ponosi ryzyko. Ułatwia odpowiedzialność i w wielu przypadkach zmniejsza ryzyko. Gdy przedsiębiorstwa kontrolują dane, infrastrukturę i kontekst wykonania, usuwają zmienne wprowadzane, gdy dane i narzędzia są w rękach stron trzecich.

Kontrola nad danymi i narzędziami sztucznej inteligencji jest siłą. Suwerenność daje organizacjom widoczność i uprawnienia wymagane do zarządzania ryzykiem w sposób odpowiedzialny. Bez tej kontroli przedsiębiorstwa zwiększają swój profil ryzyka.

Z Pańskiej perspektywy, jaka rola przypada przejrzystości i audytowalności w zmniejszaniu ekspozycji prawnej podczas uruchamiania autonomicznych aplikacji sztucznej inteligencji?

Są one podstawowe. Audytowalność zamienia autonomiczne systemy w systemy, które można bronić.

Gdy dochodzi do incydentów, regulatorzy i sądy zadają praktyczne pytania: co wiedział system, co było ono uprawnione do zrobienia i dlaczego działało? Przedsiębiorstwa, które mogą udowodnić nadzór i audytowalność, są w znacznie lepszej sytuacji w porównaniu z tymi, które przychodzą z pustymi rękami.

Jak firmy powinny przygotować się do różnych obowiązków prawnych na poziomie stanowym związanych z odpowiedzialnością za sztuczną inteligencję, podczas gdy kontynuuje się rozwój wytycznych federalnych?

Organizacje nie mogą czekać, aż regulatorzy wydadzą zestaw szczegółowych zasad dotyczących sztucznej inteligencji. Istniejące prawo stanowe i federalne dają nam 95% klarowności, której potrzebujemy, aby używać sztucznej inteligencji w sposób odpowiedzialny i unikać znaczących zdarzeń związanych z odpowiedzialnością.

Ta klarowność obejmuje projektowanie systemów w celu spełnienia najbardziej wymagających standardów odpowiedzialności za produkty, co koniecznie obejmie rzeczy takie jak odpowiedzialny rozwój możliwości sztucznej inteligencji, testowanie przed wydaniem, przejrzystość i ujawnianie ryzyka, audyt po wydaniu, nadzór ludzki oraz szkolenia dla użytkowników możliwości sztucznej inteligencji. Te podstawowe i znane kroki mają większe znaczenie niż próby przewidzenia konkretnych wyników regulacyjnych.

Co są najważniejsze pytania, które kupujący technologie powinni zadać dostawcom dotyczące autonomii, nadzoru i odpowiedzialności przed przyjęciem systemów sztucznej inteligencji agencji?

Z sztuczną inteligencją agencji odpowiedzialność ostatecznie spoczywa na stronie, która upoważnia do autonomii. Zatem cztery główne pytania, które powinny być odpowiedzią, to:

1. Kto kontroluje system w produkcji?
2. Jak są testowane i egzekwowane uprawnienia?
3. Jak jest ograniczane uczenie?
4. Jaki dowód audytowy jest dostępny, jeśli coś pójdzie nie tak?

Jeśli dostawca nie może dostarczyć wyraźnych odpowiedzi, przedsiębiorstwa powinny postąpić z ostrożnością. Wracając do analogii psa: hodowcy mają znaczenie, ale jeśli coś pójdzie nie tak, odpowiedzialność może spoczywać na właścicielu.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić EnterpriseDB.