Automatiseringskomplacens: Hvordan man sætter mennesker tilbage i kredsløbet

I en dramatisk vending af begivenheder blev Robotaxi, selvstyrende køretøjer, der henter passagerer uden en menneskelig operatør, nyligt sat i drift i San Francisco. Efter en kontroversiel 7-timers offentlig høring, blev beslutningen gennemført af Californiens offentlige utilities-kommission. Trods protester er der en følelse af uundgåelighed i luften. Californien har gradvist løsnet restriktionerne siden begyndelsen af 2022. De nye regler tillader de to selskaber med tilladelser – Alphabets Waymo og GM’s Cruise – at sende disse taxaer til enhver destination inden for den 7 kvadratmile store by, undtagen motorveje, og at opkræve taxa til passagererne.

Idéen om selvstyrende taxaer vækker to modsatrettede følelser: Begejstring (“taxaer til en langt lavere pris!”) og frygt (“vil de ramme mig eller mine børn?”). Derfor kræver reguleringsmyndighederne ofte, at bilerne testes med passagerer, der kan gribe ind og styre før en ulykke sker. Uheldigvis kan det at have mennesker på vagt, klar til at overtage systemerne i realtid, ikke være den bedste måde at sikre sikkerheden på.

I virkeligheden var der, af de 18 dødsfald i USA i forbindelse med selvstyrende bilulykker (pr. februar i år), alle sammen med en form for menneskelig kontrol, enten i bilen eller på afstand. Dette inkluderer en af de mest berømte, der skete sent om natten på en bred forstadsgade i Tempe, Arizona, i 2018. En automatiseret Uber-testkøretøj dræbte en 49-årig kvinde ved navn Elaine Herzberg, der løb med sin cykel for at krydse vejen. Den menneskelige operatør i passagersædet så ned, og bilen advarede dem ikke før mindre end en sekund før sammenstødet. De greb rattet for sent. Ulykken fik Uber til at suspendere testen af selvstyrende biler. Til sidst solgte de den automatiserede køretøjsafdeling, som havde været en central del af deres forretningsstrategi.

Operatøren endte i fængsel på grund af automatiseringskomplacens, et fænomen, der først blev opdaget i de tidligste dage af pilottræning. Overfortroen er en hyppig dynamik med AI-systemer. Jo mere autonome systemet er, jo mere tenderer menneskelige operatører til at stole på det og ikke være fuldt opmærksomme. Vi bliver kede af at overvåge disse teknologier. Når en ulykke faktisk er på vej til at ske, forventer vi det ikke og reagerer vi ikke i tide.

Mennesker er naturligt gode til, hvad risikoforskeren Ron Dembo kalder “risikotænkning” – en måde at tænke på, som selv de mest avancerede maskinlæringsalgoritmer endnu ikke kan efterligne. Dette er evnen til at erkende, når svaret ikke er åbenlyst, at vi skal sænke farten eller stoppe. Risikotænkning er afgørende for automatiserede systemer, og det skaber en dilemma. Mennesker vil være i kredsløbet, men at sætte os i kontrol, når vi er så afhængige af automatiserede systemer, kan faktisk gøre tingene værre.

Hvordan kan udviklerne af automatiserede systemer så løse denne dilemma, sådan at eksperimenter som det, der finder sted i San Francisco, ender positivt? Svaret er ekstra omhyggelighed, ikke kun før sammenstødet, men i de tidlige faser af design og udvikling. Alle AI-systemer indebærer risici, når de er uden tilsyn. Selvstyrende biler vil ikke være fri for risici, selv hvis de viser sig at være sikrere i gennemsnit end menneskestyret biler.

Uber-ulykken viser, hvad der sker, når vi ikke tænker risikovægtigt med intention. For at gøre dette har vi brug for kreativ friktion: at bringe multiple menneskelige perspektiver i spil lang tid før disse systemer frigøres. Med andre ord, at tænke igennem implikationerne af AI-systemer i stedet for kun anvendelserne kræver perspektivet fra de samfund, der vil være direkte berørt af teknologien.

Waymo og Cruise har begge forsvaret deres køretøjs sikkerhedsrekord på grund af statistisk sandsynlighed. Alligevel gør denne beslutning San Francisco til et levende eksperiment. Når resultaterne er samlet, vil det være ekstremt vigtigt at fange de rigtige data, at dele succeserne og fiaskoerne, og lade de berørte samfund deltage sammen med specialisterne, politikere og forretningsfolk. Med andre ord, holde alle mennesker i kredsløbet. Ellers risikerer vi automatiseringskomplacens – villigheden til at delegerer beslutningstagningen til AI-systemerne – i en meget stor skala.