Automatiserad eftergivenhet: Hur man återför människor i loopen

I en dramatisk vändning av händelserna har Robotaxi, självkörande fordon som hämtar passagerare utan mänsklig operatör, nyligen släppts i San Francisco. Efter en kontroversiell 7-timmars offentlig utfrågning drevs beslutet framåt av Kaliforniens allmänna utskott för offentliga nyttigheter. Trots protester finns en känsla av oundviklighet i luften. Kalifornien har gradvis löst upp restriktioner sedan beginningen av 2022. De nya reglerna tillåter de två företagen med tillstånd – Alphabets Waymo och GM:s Cruise – att skicka dessa taxi över hela den 7 kvadratmil stora staden, förutom motorvägar, och att ta betalt av passagerare.

Idén om självkörande taxi väcker ofta två motsatta känslor: Upphetsning (“taxi till mycket lägre kostnad!”) och rädsla (“kommer de att köra på mig eller mina barn?”) Därför kräver myndigheterna ofta att bilarna testas med passagerare som kan ingripa och hantera kontrollerna innan en olycka inträffar. Tyvärr kan det faktum att människor är på alerten, redo att åsidosätta systemen i realtid, inte vara det bästa sättet att säkerställa säkerheten.

I själva verket har alla 18 dödsfall i USA som är kopplade till självkörande bilkrascher (från och med februari i år) haft någon form av mänsklig kontroll, antingen i bilen eller på distans. Detta inkluderar en av de mest kända, som inträffade sent på kvällen på en bred förortsväg i Tempe, Arizona, 2018. En automatiserad Uber-testbil dödade en 49-årig kvinna som hette Elaine Herzberg, som sprang med sin cykel för att korsa vägen. Den mänskliga operatören i passagerarsätet tittade ner, och bilen varnade dem inte förrän mindre än en sekund före kollisionen. De grep ratten för sent. Olyckan ledde till att Uber pausade testningen av självkörande bilar. Till slut sålde de den automatiserade fordonenheten, som varit en viktig del av deras affärsstrategi.

Operatören hamnade i fängelse på grund av automatiserad eftergivenhet, ett fenomen som upptäcktes i de tidigaste dagarna av flygutbildning. Övermod är en vanlig dynamik med AI-system. Ju mer autonomt systemet är, desto mer tenderar mänskliga operatörer att lita på det och inte ge full uppmärksamhet. Vi blir uttråkade av att övervaka dessa teknologier. När en olycka faktiskt är på väg att hända, förväntar vi oss det inte och reagerar vi inte i tid.

Människor är naturligt bra på det som riskexperter kallar “risktänkande” – en tankeprocess som inte ens den mest avancerade maskinlärningen kan härma. Detta är förmågan att känna igen, när svaret inte är uppenbart, att vi bör sakta ner eller stoppa. Risktänkande är avgörande för automatiserade system, och det skapar en dilemma. Människor vill vara i loopen, men att sätta oss i kontroll när vi är så beroende av automatiserade system kan faktiskt göra saker och ting värre.

Hur kan då utvecklarna av automatiserade system lösa denna dilemma, så att experiment som det som pågår i San Francisco slutar positivt? Svaret är extra omsorg inte bara före ögonblicket av påverkan, utan redan i de tidiga stadierna av design och utveckling. Alla AI-system medför risker när de lämnas oövervakade. Självkörande bilar kommer inte att vara fria från risk, även om de visar sig vara säkrare i genomsnitt än bilar som körs av människor.

Uber-olyckan visar vad som händer när vi inte risktänker med avsikt. För att göra detta behöver vi kreativ friktion: att föra in flera mänskliga perspektiv i spelet långt innan dessa system släpps. Med andra ord, att tänka igenom konsekvenserna av AI-system snarare än bara tillämpningarna kräver perspektivet från de samhällen som kommer att påverkas direkt av teknologin.

Waymo och Cruise har båda försvarat säkerhetsrekorden för sina fordon, med hänvisning till statistisk sannolikhet. Trots detta förvandlar beslutet San Francisco till ett levande experiment. När resultaten sammanställs kommer det att vara extremt viktigt att fånga rätt data, att dela framgångar och misslyckanden, och låta de drabbade samhällena väga in tillsammans med specialister, politiker och affärsfolk. Med andra ord, håll alla människor i loopen. Annars riskerar vi automatiserad eftergivenhet – villigheten att delegera beslutsfattande till AI-system – i mycket stor skala.

Juliette Powell och Art Kleiner är medförfattare till den nya boken AI-dilemmat: 7 principer för ansvarsfull teknik.