Automatiseringsluiheid: Hoe mensen weer in de lus krijgen

In een dramatische wending van de gebeurtenissen werden onlangs in San Francisco robotaxis gelanceerd, zelfrijdende voertuigen die passagiers ophalen zonder menselijke bestuurder. Na een omstreden 7-uur durende openbare hoorzitting werd het besluit genomen door de California Public Utilities-commissie. Ondanks protesten is er een gevoel van onvermijdelijkheid in de lucht. California heeft de beperkingen sinds begin 2022 geleidelijk versoepeld. De nieuwe regels staan de twee bedrijven met vergunningen – Alphabet’s Waymo en GM’s Cruise – toe om deze taxis overal in de 7 vierkante mijl grote stad te sturen, behalve op snelwegen, en om tarieven in rekening te brengen bij passagiers.

Het idee van zelfrijdende taxis roept twee tegenstrijdige emoties op: opwinding (“taxis tegen een veel lagere kost!”) en angst (“zullen ze mij of mijn kinderen raken?”). Daarom eisen regelgevers vaak dat de auto’s getest worden met passagiers die kunnen ingrijpen en de controle overnemen voordat een ongeluk gebeurt. Helaas kan het hebben van mensen op de uitkijk, klaar om systemen in real-time te overrulen, niet de beste manier zijn om veiligheid te garanderen.

Feitelijk waren alle 18 doden in de VS die verband houden met zelfrijdende auto-ongelukken (tot februari van dit jaar) allemaal uitgerust met een vorm van menselijke controle, hetzij in de auto of op afstand. Dit omvat een van de meest bekende, die laat op de avond op een brede voorstedelijke weg in Tempe, Arizona, in 2018 plaatsvond. Een geautomatiseerd Uber-testvoertuig doodde een 49-jarige vrouw genaamd Elaine Herzberg, die met haar fiets de straat overstak. De menselijke bestuurder op de passagiersstoel keek omlaag, en de auto waarschuwde hen pas minder dan een seconde voor de impact. Ze grepen het stuur te laat. Het ongeluk zorgde ervoor dat Uber de testen van zelfrijdende auto’s staakte. Uiteindelijk verkocht het het geautomatiseerde voertuigendivisie, dat een belangrijk onderdeel van zijn bedrijfsstrategie was.

De bestuurder belandde in de gevangenis vanwege automatiseringsluiheid, een fenomeen dat voor het eerst werd ontdekt in de vroegste dagen van vlieglessen. Oververtrouwen is een veel voorkomende dynamiek met AI-systemen. Hoe autonoom het systeem, hoe meer menselijke bestuurders het vertrouwen en niet volledig opletten. We worden verveeld door het toezicht op deze technologieën. Wanneer een ongeluk daadwerkelijk op het punt staat te gebeuren, verwachten we het niet en reageren we niet op tijd.

Mensen zijn van nature goed in wat risico-expert Ron Dembo “risicodenken” noemt – een manier van denken die zelfs de meest geavanceerde machine learning nog niet kan nabootsen. Dit is de mogelijkheid om te herkennen, wanneer het antwoord niet duidelijk is, dat we moeten vertragen of stoppen. Risicodenken is cruciaal voor geautomatiseerde systemen, en dat creëert een dilemma. Mensen willen in de lus zitten, maar ons in controle plaatsen wanneer we zo afhankelijk zijn van geautomatiseerde systemen, kan het eigenlijk erger maken.

Hoe kunnen de ontwikkelaars van geautomatiseerde systemen dit dilemma oplossen, zodat experimenten als die in San Francisco positief eindigen? Het antwoord is extra oplettendheid, niet alleen op het moment van impact, maar ook in de vroege ontwerpfase. Alle AI-systemen houden risico’s in als ze ongecontroleerd worden gelaten. Zelfrijdende auto’s zullen nooit vrij zijn van risico, zelfs als ze gemiddeld genomen veiliger blijken te zijn dan auto’s met menselijke bestuurders.

Het Uber-ongeluk laat zien wat er gebeurt als we niet met opzet risicodenken. Om dit te doen, hebben we creatieve wrijving nodig: meerdere menselijke perspectieven in het spel brengen lang voordat deze systemen worden vrijgegeven. Met andere woorden, nadenken over de implicaties van AI-systemen in plaats van alleen over de toepassingen vereist het perspectief van de gemeenschappen die rechtstreeks door de technologie worden beïnvloed.

Waymo en Cruise hebben beiden de veiligheidsrecords van hun voertuigen verdedigd op basis van statistische waarschijnlijkheid. Niettemin maakt dit besluit van San Francisco een levend experiment. Wanneer de resultaten worden geteld, is het erg belangrijk om de juiste gegevens te verzamelen, om de successen en mislukkingen te delen en om de getroffen gemeenschappen te laten meewegen samen met de specialisten, politici en zakenlieden. Met andere woorden, houd alle mensen in de lus. Anders riskeren we automatiseringsluiheid – de bereidheid om besluitvorming over te dragen aan de AI-systemen – op een zeer grote schaal.

Juliette Powell en Art Kleiner zijn co-auteurs van het nieuwe boek De AI-dilemma: 7 principes voor verantwoorde technologie.