Juliette Powell i Art Kleiner, autorzy książki The AI Dilemma – seria wywiadów

Książka The AI Dilemma została napisana przez Juliette Powell i Art Kleiner.

Juliette Powell jest autorką, twórcą programów telewizyjnych z 9 000 programów na żywo, a także technologiem i socjologiem. Jest również komentatorem na Bloomberg TV / Business News Networks i prelegentem na konferencjach organizowanych przez The Economist i Międzynarodowy Fundusz Walutowy. Jej wykład TED ma 130 000 wyświetleń na YouTube. Juliette identyfikuje wzorce i praktyki udanych liderów biznesu, którzy polegają na etycznym AI i danych, aby wygrać. Jest wykładowcą na NYU’s ITP, gdzie prowadzi cztery kursy, w tym Design Skills for Responsible Media, kurs oparty na jej książce.

Art Kleiner jest pisarzem, redaktorem i futurologiem. Jego książki to The Age of Heretics, Who Really Matters, Privilege and Success oraz The Wise. Był redaktorem strategy+business, nagradzanego magazynu wydawanego przez PwC. Art jest również długoletnim członkiem wykładowcy na NYU-ITP i IMA, gdzie prowadzi kursy, w tym współprowadzenie Responsible Technology and the Future of Media.

“The AI Dilemma” to książka, która koncentruje się na niebezpieczeństwach technologii AI w niewłaściwych rękach, jednocześnie uznając korzyści, jakie AI oferuje społeczeństwu.

Problemy pojawiają się, ponieważ podstawowa technologia jest tak złożona, że staje się niemożliwe dla użytkownika końcowego, aby naprawdę zrozumieć wewnętrzne mechanizmy systemu zamkniętego.

Jednym z największych problemów podkreślonych w książce jest to, że definicja odpowiedzialnego AI jest zawsze zmieniająca się, ponieważ wartości społeczne często nie pozostają spójne w czasie.

Bardzo podobało mi się czytanie “The AI Dilemma”. To książka, która nie sensacyjnie przedstawia niebezpieczeństw AI ani nie zagłębia się głęboko w potencjalne pułapki Sztucznej Inteligencji Ogólnej (AGI). Zamiast tego czytelnicy dowiadują się o zaskakujących sposobach, w jakie nasze dane osobowe są wykorzystywane bez naszej wiedzy, a także o niektórych z obecnych ograniczeń AI i powodach do obaw.

Poniżej znajdują się pytania, które są zaprojektowane, aby pokazać naszym czytelnikom, czego mogą oczekiwać od tej przełomowej książki.

Czym było to, co początkowo zainspirowało was do napisania “The AI Dilemma”?

Juliette poszła na Columbia, aby studiować granice i możliwości regulacji AI. Słyszała bezpośrednio od przyjaciół pracujących nad projektami AI o napięciu tkwiącym w tych projektach. Doszła do wniosku, że istnieje dylemat AI, znacznie większy problem niż samoregulacja. Opracowała model Apex benchmark – model, który pokazuje, jak decyzje dotyczące AI skłaniają się ku niskiej odpowiedzialności z powodu interakcji między firmami i grupami wewnątrz firm. To doprowadziło do jej rozprawy doktorskiej.

Art pracował z Juliette nad kilkoma projektami pisarskimi. Przeczytał jej rozprawę doktorską i powiedział: “Masz tu książkę”. Juliette zaprosiła go do współautorstwa. Pracując nad nią razem, odkryli, że mają bardzo różne perspektywy, ale podzielali silne przekonanie, że ten złożony, wysokiego ryzyka fenomen AI wymagałby lepszego zrozumienia, aby ludzie, którzy z niego korzystają, mogli działać bardziej odpowiedzialnie i skutecznie.

Jednym z podstawowych problemów, które zostały podkreślone w The AI Dilemma, jest to, że obecnie nie jest możliwe zrozumienie, czy system AI jest odpowiedzialny, czy też utrwala nierówność społeczną, poprzez prostą analizę kodu źródłowego. Jak duży to problem?

Problem nie leży głównie w kodzie źródłowym. Jak zauważa Cathy O’Neil, w przypadku systemu zamkniętego nie chodzi tylko o kod. Chodzi o sociotechniczny system – ludzkie i technologiczne siły, które kształtują się nawzajem – który wymaga zbadania. Logika, która zbudowała i wydała system AI, obejmowała identyfikację celu, identyfikację danych, ustalenie priorytetów, tworzenie modeli, ustalenie wytycznych i barier dla uczenia maszynowego oraz decyzję o tym, kiedy i jak powinien interweniować człowiek. To jest część, która musi zostać udostępniona – przynajmniej obserwatorom i audytorom. Ryzyko nierówności społecznej i innych ryzyk jest znacznie większe, gdy te części procesu są ukryte. Nie można naprawdę przebudować logiki projektowej z kodu źródłowego.

Czy koncentrowanie się na Explainable AI (XAI) może rozwiązać ten problem?

Dla inżynierów explainable AI jest obecnie postrzegane jako grupa technologicznych ograniczeń i praktyk, mających na celu uczynienie modeli bardziej przejrzystymi dla ludzi pracujących nad nimi. Dla kogoś, kto jest niesłusznie oskarżony, explainability ma całkowicie inne znaczenie i pilność. Potrzebują explainability, aby móc bronić się. Wszyscy potrzebujemy explainability w sensie uczynienia decyzji biznesowych lub rządowych, leżących u podstaw modeli, jasnymi. Przynajmniej w Stanach Zjednoczonych zawsze będzie napięcie między explainability – prawem człowieka do wiedzy – a prawem organizacji do konkurowania i innowacji. Audytorzy i regulatorzy potrzebują innego poziomu explainability. W książce The AI Dilemma zagłębiamy się w to bardziej szczegółowo.

Proszę podzielić się swoimi poglądami na temat znaczenia odpowiedzialności podmiotów (firm AI) za kod, który wydają na świat.

Na przykład w przypadku wypadku samochodu bezzałogowego w Tempe, AZ, który zabił pieszego, operator został uznany za winnego. Osoba trafiła do więzienia. Ostatecznie jednak była to awaria organizacyjna.

Gdy most zawala się, inżynier mechaniczny jest odpowiedzialny. To dlatego, że inżynierowie mechaniczni są szkoleni, ciągle doszkoleni i odpowiedzialni przed swoim zawodem. Inżynierowie komputerowi nie są.

Czy podmioty, w tym firmy AI, powinny być szkolone i doszkolone, aby podejmować lepsze decyzje i ponosić większą odpowiedzialność?

Książka The AI Dilemma koncentruje się na tym, jak firmy takie jak Google (GOOGL ) i Meta mogą zbierać i monetyzować nasze dane osobowe. Proszę podzielić się przykładem znacznego nadużycia naszych danych, które powinno być na radarze każdego.

Z The AI Dilemma, strona 67 i dalsze:

Nowe przypadki systematycznego nadużycia danych osobowych nadal pojawiają się w publicznym przekazie, wiele z nich dotyczy ukrytego użycia rozpoznawania twarzy. W grudniu 2022 roku MIT Technology Review opublikował relacje z długotrwałej praktyki iRobot. Domowe roboty Roomba nagrywają obrazy i filmy w domach testerów, co oznacza nieuniknione zbieranie intymnych, osobistych i rodzinnych obrazów. Te obrazy są udostępniane, bez wiedzy testerów, grupom poza krajem. W co najmniej jednym przypadku obraz osoby na toalecie został opublikowany na Facebooku. Tymczasem w Iranie władze zaczęły używać danych z systemów rozpoznawania twarzy do śledzenia i aresztowania kobiet, które nie noszą hidżabu.16

Nie ma potrzeby dalszego omawiania tych historii. Jest ich tak wiele. Ważne jest jednak, aby zidentyfikować kumulatywny efekt życia w ten sposób. Tracimy poczucie kontroli nad naszym życiem, gdy czujemy, że nasze prywatne informacje mogą być użyte przeciwko nam w każdej chwili, bez ostrzeżenia.

Jedną z niebezpiecznych koncepcji, które zostały poruszone, jest to, że nasz cały świat jest zaprojektowany, aby być bezproblemowy, przy czym definicja “bezproblemowości” to “każdy punkt w podróży klienta z firmą, w którym napotka na przeszkodę, która spowalnia go lub powoduje niezadowolenie.” Jak nasze oczekiwanie bezproblemowego doświadczenia może prowadzić do niebezpiecznego AI?

W Nowej Zelandii bot Pak’n’Save do przygotowania posiłków sugerował przepis, który mógłby wytworzyć chlorowodór, gdyby go użyto.

Bezproblemowość tworzy iluzję kontroli. Szybciej i łatwiej jest słuchać aplikacji niż szukać przepisu babci. Ludzie podążają za najkrótszą drogą i nie zdają sobie sprawy, dokąd ją prowadzi.

Bezproblemowość jest kreatywna. Włączasz się. To prowadzi do rzeczywistej kontroli. Rzeczywista kontrola wymaga uwagi i pracy, a w przypadku AI – przeprowadzenia rozszerzonej analizy kosztów i korzyści.

Z iluzją kontroli wydaje się, że żyjemy w świecie, w którym systemy AI prowadzą ludzi, zamiast ludzie pozostawać w pełnej kontroli. Proszę podać przykłady, w których ludzie zbiorowo wierzą, że mają kontrolę, podczas gdy tak naprawdę nie mają.

W San Francisco, z robotaxi. Pomysł samochodów bezzałogowych wywołuje dwa sprzeczne emocje: ekscytację (“taksówki za znacznie niższą cenę!”) i strach (“czy mnie potrącą?”). W związku z tym wielu regulatorów sugeruje, aby samochody były testowane z ludźmi w środku, którzy mogą kontrolować systemy. Niestety, posiadanie ludzi na stanowisku gotowości, aby przejąć kontrolę nad systemami w czasie rzeczywistym, może nie być dobrym testem bezpieczeństwa publicznego. Nadmierna ufność jest częstą dynamiką w systemach AI. Im bardziej autonomiczny system, tym bardziej ludzie ufają mu i nie zwracają pełnej uwagi. Zanudzamy się, obserwując te technologie. Gdy wypadek jest naprawdę bliski, nie spodziewamy się go i często nie reagujemy na czas.

Wiele badań poszło w to, aby stworzyć tę książkę, czy coś zaskoczyło was?

Coś, co nas naprawdę zaskoczyło, to to, że ludzie na całym świecie nie mogli zgodzić się, kto powinien żyć, a kto umrzeć w symulacji samochodu bezzałogowego. Jeśli nie możemy się zgodzić co do tego, to trudno wyobrazić sobie, że moglibyśmy mieć zjednoczone globalne zarządzanie lub uniwersalne standardy dla systemów AI.

Obaj określacie siebie jako przedsiębiorców, jak to, czego nauczyliście się i co zgłosiliście, wpłynie na wasze przyszłe wysiłki?

Nasza praktyka doradcza AI jest ukierunkowana na pomoc organizacjom w odpowiedzialnym wzroście z technologią. Prawnicy, inżynierowie, socjolodzy i myśliciele biznesowi są wszystkimi stronami w przyszłości AI. W naszej pracy, łączymy wszystkie te perspektywy i praktykujemy kreatywną frakcję, aby znaleźć lepsze rozwiązania. Rozwinęliśmy ramy, takie jak rachunek zamierzonego ryzyka, aby pomóc w nawigacji tych problemów.

Dziękujemy za wspaniałe odpowiedzi, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić The AI Dilemma.