Zautomatyzowana samozadowolenie: Jak przywrócić ludzi do pętli

W dramatycznym zwrocie wydarzeń, Robotaxi, samochody bezzałogowe, które zabierają pasażerów bez ludzkiego operatora, zostały niedawno wypuszczone w San Francisco. Po kontrowersyjnym 7-godzinnym publicznym przesłuchaniu, decyzja została podjęta przez Kalifornijską Komisję ds. Użyteczności Publicznej. Pomimo protestów, jest poczucie nieuchronności w powietrzu. Kalifornia stopniowo luzowała ograniczenia od początku 2022 roku. Nowe przepisy pozwalają dwóm firmom z pozwoleniami – Alphabet’s Waymo i GM’s Cruise – na wysłanie tych taksówek w dowolne miejsce w 7-milowym mieście, z wyjątkiem autostrad, i na pobieranie opłat od pasażerów.

Pomysł taksówek bezzałogowych wywołuje dwa sprzeczne emocje: podniecenie („taksówki za dużo niższe koszty!”) i strach („czy uderzą we mnie lub moje dzieci?”). Dlatego regulujący często wymagają, aby samochody były testowane z pasażerami, którzy mogą interweniować i kontrolować systemy przed wystąpieniem wypadku. Niestety, posiadanie ludzi na alert, gotowych do nadpisania systemów w czasie rzeczywistym, może nie być najlepszym sposobem na zapewnienie bezpieczeństwa.

W rzeczywistości, spośród 18 śmierci w Stanach Zjednoczonych związanych z wypadkami samochodów bezzałogowych (stan na luty tego roku), wszystkie miały jakiś rodzaj kontroli ludzkiej, albo w samochodzie, albo na odległość. Jedna z najbardziej znanych miała miejsce późno w nocy na szerokiej drodze podmiejskiej w Tempe, Arizona, w 2018 roku. Zautomatyzowany samochód testowy Uber zabił 49-letnią kobietę imieniem Elaine Herzberg, która biegła z rowerem, aby przejść przez drogę. Operator ludzki w fotelu pasażera spoglądał w dół, a samochód nie ostrzegał go aż do mniej niż sekundy przed uderzeniem. Chwycił kierownicę za późno. Wypadek spowodował, że Uber wstrzymał testowanie samochodów bezzałogowych. Ostatecznie sprzedał dział zautomatyzowanych pojazdów, który był kluczową częścią jego strategii biznesowej.

Operator trafił do więzienia z powodu zautomatyzowanej samozadowolenie, zjawiska po raz pierwszy odkrytego w najwcześniejszych dniach szkolenia lotniczego. Nadmierna ufność jest częstym dynamizmem w systemach AI. Im bardziej autonomiczny system, tym bardziej ludzcy operatorzy ufają mu i nie zwracają pełnej uwagi. Zanudzamy się, obserwując te technologie. Kiedy wypadek jest naprawdę bliski, nie spodziewamy się go i nie reagujemy na czas.

Ludzie są naturalnie zdolni do tego, co ekspert od ryzyka, Ron Dembo, nazywa „myśleniem o ryzyku” – sposobem myślenia, którego nawet najbardziej zaawansowane uczenie maszynowe nie może jeszcze naśladować. Jest to zdolność do rozpoznania, kiedy odpowiedź nie jest oczywista, że powinniśmy zwolnić lub zatrzymać się. Myślenie o ryzyku jest kluczowe dla zautomatyzowanych systemów, a to tworzy dylemat. Ludzie chcą być w pętli, ale umieszczanie nas pod kontrolą, kiedy tak zależnie ufamy zautomatyzowanym systemom, może tak naprawdę sprawić, że rzeczy staną się gorsze.

Jak zatem mogą twórcy zautomatyzowanych systemów rozwiązać ten dylemat, tak aby eksperymenty jak ten, który odbywa się w San Francisco, zakończyły się pozytywnie? Odpowiedź to dodatkowa staranność nie tylko przed momentem uderzenia, ale na wczesnych etapach projektowania i rozwoju. Wszystkie systemy AI obejmują ryzyko, gdy są pozostawione bez nadzoru. Samochody bezzałogowe nie będą pozbawione ryzyka, nawet jeśli okażą się bezpieczniejsze, średnio, niż samochody prowadzone przez ludzi.

Wypadek Ubera pokazuje, co się dzieje, gdy nie myślimy o ryzyku z intencją. Aby to zrobić, potrzebujemy kreatywnego tarcia: wprowadzenia wielu ludzkich perspektyw w grę na długo przed tym, jak te systemy są wydane. Innymi słowy, myślenie o implikacjach systemów AI, a nie tylko o ich zastosowaniach, wymaga perspektywy społeczności, które będą bezpośrednio dotknięte technologią.

Waymo i Cruise oba broniły rekordów bezpieczeństwa swoich pojazdów, powołując się na statystyczną prawdopodobieństwo. Niemniej, ta decyzja zmienia San Francisco w żywy eksperyment. Kiedy wyniki będą liczne, będzie bardzo ważne, aby przechwycić odpowiednie dane, aby podzielić się sukcesami i niepowodzeniami, i pozwolić dotkniętym społecznościom wziąć udział wraz ze specjalistami, politykami i ludźmi biznesu. Innymi słowy, trzymajmy wszystkich ludzi w pętli. W przeciwnym razie ryzykujemy zautomatyzowaną samozadowolenie – gotowość do delegowania podejmowania decyzji do systemów AI – w bardzo dużej skali.

Juliette Powell i Art Kleiner są współautorami nowej książki Dylemat AI: 7 zasad odpowiedzialnej technologii.