Automasjonskumplisens: Hvordan sette mennesker tilbake i løkken

I en dramatisk vending av hendelser, ble Robotaxis, selvkjørende kjøretøy som henter passasjerer uten menneskelig operatør, nylig lansert i San Francisco. Etter en kontroversiell 7-timers offentlig høring, ble avgjørelsen drevet hjem av California Public Utilities-kommisjonen. Til tross for protester, er det en følelse av uunngåelighet i luften. California har gradvis løsnet restriksjoner siden tidlig 2022. De nye reglene tillater de to selskapene med tillatelser – Alphabets Waymo og GMs Cruise – å sende disse drosjene hvor som helst innenfor den 7 kvadratmile store byen, unntatt motorveier, og å beregne avgifter til passasjerer.

Tanken på selvkjørende drosjer bringer vanligvis to motsigelserende følelser: Begeistring (“drosjer til en mye lavere kost!”) og frykt (“vil de treffe meg eller mine barn?”) Derfor krever regulatorer ofte at bilene blir testet med passasjerer som kan gripe inn og kontrollere systemene før en ulykke skjer. Uheldigvis kan å ha mennesker på vakt, klare til å overstyre systemene i sanntid, kanskje ikke være den beste måten å sikre sikkerhet på.

I virkeligheten, av de 18 dødsfallene i USA som er forbundet med selvkjørende bilulykker (pr. februar i år), alle av dem hadde en eller annen form for menneskelig kontroll, enten i bilen eller på avstand. Dette inkluderer en av de mest berømte, som skjedde sent på kvelden på en bred forstadsgate i Tempe, Arizona, i 2018. En automatisk Uber-testbil drepte en 49-årig kvinne ved navn Elaine Herzberg, som løp med sykkel for å krysse gaten. Den menneskelige operatøren i passasjersetet så ned, og bilen advarte dem ikke før mindre enn ett sekund før kollisjonen. De grep rattet for sent. Ulykken førte til at Uber suspenderte testingen av selvkjørende biler. Til slutt solgte de den automatiske kjøretøydelen, som hadde vært en viktig del av forretningsstrategien deres.

Operatøren endte i fengsel på grunn av automasjonskumplisens, et fenomen som først ble oppdaget i de tidligste dagene av flyverutdanning. Overmotning er en vanlig dynamikk med AI-systemer. Jo mer autonome systemene er, jo mer tenderer menneskelige operatører til å stole på dem og ikke være fullt oppmerksomme. Vi blir kjedelige av å overvåke disse teknologiene. Når en ulykke faktisk er i ferd med å skje, forventer vi det ikke og reagerer vi ikke i tide.

Mennesker er naturlig gode til hva risikoforskeren Ron Dembo kaller “risikotenkning” – en måte å tenke som selv de mest avanserte maskinlæringsalgoritmene ennå ikke kan etterligne. Dette er evnen til å gjenkjenne, når svaret ikke er åpenbart, at vi bør sakke ned eller stoppe. Risikotenkning er kritisk for automatiske systemer, og det skaper en dilemma. Mennesker ønsker å være i løkken, men å sette oss i kontroll når vi er så kompliserte på automatiske systemer, kan faktisk gjøre ting verre.

Hvordan kan da utviklerne av automatiske systemer løse denne dilemmaen, så eksperimenter som det som skjer i San Francisco ender positivt? Svaret er ekstra flid ikke bare før øyeblikket før kollisjonen, men i de tidlige fasene av design og utvikling. Alle AI-systemer innebærer risiko når de blir latt ukontrollert. Selvkjørende biler vil ikke være fri for risiko, selv om de viser seg å være tryggere i gjennomsnitt enn menneske-drevne biler.

Uber-ulykken viser hva som skjer når vi ikke tenker risikofylt med intensjon. For å gjøre dette, trenger vi kreativ friksjon: å bringe flere menneskelige perspektiver inn i spill før disse systemene blir lansert. Med andre ord, å tenke gjennom implikasjonene av AI-systemer i stedet for bare å tenke på anvendelsene, krever perspektivet til de samfunn som vil bli direkte berørt av teknologien.

Waymo og Cruise har begge forsvart sikkerhetsrekordene til sine kjøretøy, på grunn av statistisk sannsynlighet. Likevel gjør denne avgjørelsen San Francisco til et levende eksperiment. Når resultater blir talt, vil det være ekstremt viktig å fange riktige data, å dele suksesser og fiaskoer, og la de berørte samfunnene veie inn sammen med spesialistene, politikere og forretningsfolk. Med andre ord, holde alle mennesker i løkken. Ellers risikerer vi automasjonskumplisens – villigheten til å delegere beslutningstakelse til AI-systemene – i en meget stor skala.

Juliette Powell og Art Kleiner er medforfattere av den nye boken AI-dilemmaet: 7 prinsipper for ansvarlig teknologi.