Automatiseringskumpanthet: Hvordan sette mennesker tilbake i løkken

I en dramatisk vending av hendelser, ble Robotaxi, selvkjørende kjøretøy som henter passasjerer uten noen menneskelig operatør, nylig sluppet løs i San Francisco. Etter en kontroversiell 7-timers offentlig høring, ble beslutningen drevet hjem av California Public Utilities kommisjonen. Til tross for protester, er det en følelse av uunngåelighet i luften. California har gradvis løsnet restriksjoner siden tidlig 2022. De nye reglene tillater de to selskapene med tillatelser – Alphabets Waymo og GMs Cruise – å sende disse drosjene hvor som helst innen den 7 kvadratmile store byen, unntatt motorveier, og å beregne avgifter til passasjerer.

Idéen om selvkjørende drosjer bringer opp to motsigelser: Begeistring (“drosjer til en mye lavere kost!”) og frykt (“vil de treffe meg eller mine barn?”). Derfor krever regulatorer ofte at bilene blir testet med passasjerer som kan gripe inn og kontrollere før en ulykke skjer. Uheldigvis kan det å ha mennesker på vakt, klare til å overstyre systemer i sanntid, ikke være den beste måten å sikre sikkerhet på.

I virkeligheten, av de 18 dødsfallene i USA forbundet med selvkjørende bilkrasj (pr februar i år), alle av dem hadde noen form for menneskelig kontroll, enten i bilen eller på avstand. Dette inkluderer en av de mest berømte, som skjedde sent om natten på en bred forstadsgate i Tempe, Arizona, i 2018. En automatisert Uber testkjøretøy drepte en 49-årig kvinne ved navn Elaine Herzberg, som løp med sykkel for å krysse gaten. Den menneskelige operatøren i passasjersetet var nedoverretta, og bilen advarte dem ikke før mindre enn ett sekund før sammenstøt. De grep rattet for sent. Ulykken førte til at Uber suspenderte testingen av selvkjørende biler. Til slutt solgte de den automatiserte kjøretøyavdelingen, som hadde vært en nøkkel del av forretningsstrategien.

Operatøren endte i fengsel på grunn av automatiseringskumpanthet, et fenomen som først ble oppdaget i de tidligste dagene av flytrening. Overmot følger ofte med AI-systemer. Jo mer autonomt systemet er, jo mer tenderer menneskelige operatører til å stole på det og ikke være fullstendig oppmerksomme. Vi blir kjedelige av å se over disse teknologiene. Når en ulykke faktisk er i ferd med å skje, forventer vi det ikke og reagerer ikke i tide.

Mennesker er naturlig dyktige i det risikeksperten Ron Dembo kaller “risiketenkning” – en måte å tenke som selv de mest avanserte maskinlæringsystemer ennå ikke kan etterligne. Dette er evnen til å gjenkjenne, når svaret ikke er åpenbart, at vi bør sakke ned eller stoppe. Risiketenkning er kritisk for automatiserte systemer, og det skaper en dilemma. Mennesker ønsker å være i løkken, men å sette oss i kontroll når vi er så avhengige av automatiserte systemer, kan faktisk gjøre ting verre.

Hvordan kan da utviklerne av automatiserte systemer løse denne dilemmaen, så eksperimenter som det som skjer i San Francisco ender positivt? Svaret er ekstra granskning ikke bare før øyeblikket før sammenstøt, men i de tidlige stadiene av design og utvikling. Alle AI-systemer innebærer risiko når de blir låst uten kontroll. Selvkjørende biler vil ikke være fri for risiko, selv om de viser seg å være tryggere, i gjennomsnitt, enn menneske-drevne biler.

Uber-ulykken viser hva som skjer når vi ikke risikotenker med intensjon. For å gjøre dette, trenger vi kreativ friksjon: å bringe multiple menneskelige perspektiver i spill lenge før disse systemene blir lansert. Med andre ord, å tenke gjennom implikasjonene av AI-systemer i stedet for bare applikasjonene, krever perspektivet til samfunnene som vil bli direkte berørt av teknologien.

Waymo og Cruise har begge forsvart sikkerhetsrekordene til sine kjøretøy, på grunnlag av statistisk sannsynlighet. Likevel gjør denne beslutningen San Francisco til et levende eksperiment. Når resultater blir talt, vil det være ekstremt viktig å fange riktig data, å dele suksesser og fiaskoer, og la de berørte samfunnene veie inn sammen med spesialistene, politikere og forretningsfolk. Med andre ord, holde alle mennesker i løkken. Ellers risikerer vi automatiseringskumpanthet – villigheten til å delegere beslutningstaking til AI-systemer – i en meget stor skala.

Juliette Powell og Art Kleiner er medforfattere av den nye boken The AI Dilemma: 7 Principles for Responsible Technology.