Automatyczna Samozadowolenie: Jak Przywrócić Ludzi do Pętli

W dramatycznym zwrocie wydarzeń, Robotaxi, samochody bez kierowcy, które zabierają pasażerów bez ludzkiego operatora, zostały niedawno wypuszczone w San Francisco. Po kontrowersyjnym 7-godzinnym publicznym przesłuchaniu, decyzja została podjęta przez Komisję ds. Użyteczności Publicznej Kalifornii. Pomimo protestów, jest poczucie nieuchronności w powietrzu. Kalifornia stopniowo luzowała ograniczenia od początku 2022 roku. Nowe przepisy pozwalają dwóm firmom z pozwoleniami – Alphabet’s Waymo i GM’s Cruise – na wysłanie tych taksówek w dowolne miejsce w 7-milowym mieście, z wyjątkiem autostrad, i na pobieranie opłat od pasażerów.

Pomysł samochodów bez kierowcy budzi dwa sprzeczne emocje: podniecenie („taksówki za dużo niższe koszty!”) i strach („czy uderzą mnie lub moje dzieci?”). Dlatego regulamin często wymaga, aby samochody były testowane z pasażerami, którzy mogą interweniować i kontrolować przed wypadkiem. Niestety, posiadanie ludzi na alert, gotowych do przejęcia kontroli w czasie rzeczywistym, może nie być najlepszym sposobem zapewnienia bezpieczeństwa.

W rzeczywistości, z 18 zgonów w USA związanych z wypadkami samochodów bez kierowcy (stan na luty tego roku), wszystkie miały jakiś rodzaj ludzkiej kontroli, albo w samochodzie, albo na odległość. To obejmuje jeden z najbardziej znanych, który wystąpił późno w nocy na szerokiej drodze podmiejskiej w Tempe, Arizona, w 2018 roku. Zautomatyzowany samochód testowy Uber zabił 49-letnią kobietę imieniem Elaine Herzberg, która biegła z rowerem, aby przejść przez drogę. Ludzki operator w fotelu pasażera spoglądał w dół, a samochód nie ostrzegał go aż do mniej niż sekundy przed uderzeniem. Złapał kierownicę za późno. Wypadek spowodował, że Uber wstrzymał testowanie samochodów bez kierowcy. Ostatecznie sprzedał dział zautomatyzowanych pojazdów, który był kluczową częścią jego strategii biznesowej.

Operator trafił do więzienia z powodu automatycznej samozadowolenie, zjawiska po raz pierwszy odkrytego w najwcześniejszych dniach szkolenia lotniczego. Nadufność jest częstym dynamizmem w systemach AI. Im bardziej autonomiczny system, tym bardziej ludzcy operatorzy ufają mu i nie zwracają pełnej uwagi. Zanudzamy się, obserwując te technologie. Kiedy wypadek jest naprawdę bliski, nie spodziewamy się go i nie reagujemy na czas.

Ludzie są naturalnie zdolni do tego, co ekspert od ryzyka, Ron Dembo, nazywa „myśleniem o ryzyku” – sposobem myślenia, którego nawet najbardziej zaawansowane systemy machine learning nie mogą jeszcze naśladować. To jest zdolność do rozpoznania, kiedy odpowiedź nie jest oczywista, że powinniśmy zwolnić lub zatrzymać. Myślenie o ryzyku jest kluczowe dla zautomatyzowanych systemów, a to tworzy dylemat. Ludzie chcą być w pętli, ale umieszczanie nas w kontroli, kiedy tak zależnie ufamy zautomatyzowanym systemom, może naprawdę sprawić, że rzeczy stają się gorsze.

Jak, zatem, mogą rozwijać zautomatyzowane systemy, aby rozwiązać ten dylemat, tak aby eksperymenty jak ten, który odbywa się w San Francisco, zakończyły się pozytywnie? Odpowiedź to dodatkowa staranność nie tylko przed momentem uderzenia, ale na wczesnych etapach projektowania i rozwoju. Wszystkie systemy AI obejmują ryzyko, kiedy są pozostawione bez nadzoru. Samochody bez kierowcy nie będą pozbawione ryzyka, nawet jeśli okażą się bezpieczniejsze, średnio, niż samochody prowadzone przez ludzi.

Wypadek Uber pokazuje, co się dzieje, kiedy nie myślimy o ryzyku z intencją. Aby to zrobić, potrzebujemy kreatywnego tarcia: wprowadzania wielu ludzkich perspektyw do gry znacznie wcześniej, zanim te systemy zostaną wydane. Innymi słowy, myślenie o implikacjach systemów AI, a nie tylko o aplikacjach, wymaga perspektywy społeczności, które będą bezpośrednio dotknięte technologią.

Waymo i Cruise oba broniły rekordów bezpieczeństwa swoich pojazdów, na podstawie prawdopodobieństwa statystycznego. Niemniej, ta decyzja zmienia San Francisco w żywy eksperyment. Kiedy wyniki będą policzone, będzie bardzo ważne, aby przechwycić odpowiednie dane, aby podzielić się sukcesami i niepowodzeniami, i pozwolić społecznościom dotkniętym, wraz z specjalistami, politykami i ludźmi biznesu, wziąć udział. Innymi słowy, trzymaj wszystkich ludzi w pętli. W przeciwnym razie ryzykujemy automatyczną samozadowolenie – gotowość do delegowania podejmowania decyzji systemom AI – w bardzo dużej skali.

Juliette Powell i Art Kleiner są współautorami nowej książki The AI Dilemma: 7 Principles for Responsible Technology.