Automatiseret Selvtilfredshed: Hvordan Man Sætter Mennesker Tilbage I Løkken

I en dramatisk vending af begivenhederne blev robotbiler, selvkørende køretøjer, der samler passagerer uden en menneskelig operatør, nylig sat i drift i San Francisco. Efter en omstridt 7-timers offentlig høring blev beslutningen truffet af Californiens offentlige utilities-kommission. Trods protester er der en følelse af uundgåelighed i luften. Californien har gradvist løsnet restriktionerne siden begyndelsen af 2022. De nye regler tillader de to selskaber med tilladelser – Alphabets Waymo og GM’s Cruise – at sende disse taxaer hvor som helst inden for byens 7 kvadratmile, bortset fra motorveje, og at opkræve takst til passagererne.

Idéen om selvkørende taxaer vækker to modsatrettede følelser: Begejstring (“taxaer til en langt lavere pris!”) og frygt (“vil de ramme mig eller mine børn?”). Derfor kræver regulatorerne ofte, at bilerne testes med passagerer, der kan gribe ind og styre kontrollerne, før en ulykke sker. Desværre kan det at have mennesker på vagt, klar til at overtage systemerne i realtid, måske ikke være den bedste måde at sikre sikkerheden på.

I virkeligheden var der 18 dødsfald i USA i forbindelse med selvkørende bilulykker (pr. februar i år), og alle havde en form for menneskelig kontrol, enten i bilen eller fjernstyring. Dette inkluderer en af de mest berømte, som skete sent om natten på en bred forstadsgade i Tempe, Arizona, i 2018. En automatiseret Uber-testbil dræbte en 49-årig kvinde ved navn Elaine Herzberg, der løb med sin cykel for at krydse vejen. Den menneskelige operatør i passagersædet så ned, og bilen advarede dem ikke før mindre end en sekund før sammenstødet. De greb rattet for sent. Ulykken fik Uber til at suspendere testen af selvkørende biler. Til sidst solgte de den automatiserede køretøjsafdeling, som havde været en nøglepart af deres forretningsstrategi.

Operatøren endte i fængsel på grund af automatiseret selvtilfredshed, et fænomen, der først blev opdaget i de tidligste dage af flyvertræning. Overmod er en hyppig dynamik med AI-systemer. Jo mere autonome systemet er, desto mere tillider menneskelige operatører det og betaler ikke fuld opmærksomhed. Vi bliver kede af at overvåge disse teknologier. Når en ulykke faktisk er på vej til at ske, forventer vi det ikke og reagerer ikke i tide.

Mennesker er naturligt gode til, hvad risikoforsker Ron Dembo kalder “risikotænkning” – en måde at tænke på, som selv de mest avancerede maskinelæringsalgoritmer endnu ikke kan efterligne. Dette er evnen til at erkende, når svaret ikke er åbenlyst, at vi skal sænke farten eller stoppe. Risikotænkning er afgørende for automatiserede systemer, og det skaber en dilemma. Mennesker vil være i løkken, men at sætte os i kontrol, når vi er så selvtilfredse med automatiserede systemer, kan faktisk gøre tingene værre.

Hvordan kan udviklerne af automatiserede systemer så løse dette dilemma, så eksperimenter som det, der finder sted i San Francisco, ender positivt? Svaret er ekstra omhyggelighed, ikke kun før sammenstødet, men i de tidlige design- og udviklingsfaser. Alle AI-systemer indebærer risici, når de er uden tilsyn. Selvkørende biler vil ikke være fri for risici, selv om de viser sig at være sikrere i gennemsnit end menneskestyret biler.

Uber-ulykken viser, hvad der sker, når vi ikke tænker på risici med vilje. For at gøre dette har vi brug for kreativ friktion: at bringe multiple menneskelige perspektiver i spil lang tid før disse systemer udgives. Med andre ord, at tænke på implikationerne af AI-systemer i stedet for kun på anvendelserne kræver perspektivet fra de samfund, der vil blive direkte berørt af teknologien.

Waymo og Cruise har begge forsvaret deres køretøjs sikkerhedsrekord på grund af statistisk sandsynlighed. Alligevel gør denne beslutning San Francisco til et levende eksperiment. Når resultaterne er samlet, vil det være ekstremt vigtigt at indsamle de rigtige data, at dele succeserne og fiaskoerne og lade de berørte samfund veje ind sammen med specialisterne, politikere og forretningsfolk. Med andre ord, holde alle mennesker i løkken. Ellers risikerer vi automatiseret selvtilfredshed – villigheden til at dele beslutningstagning til AI-systemer – i meget stor skala.

Juliette Powell og Art Kleiner er medforfattere til den nye bog AI-dilemmaet: 7 principper for ansvarlig teknologi.