Complacenza dell’automazione: come riportare gli esseri umani nel ciclo

In una svolta drammatica degli eventi, i Robotaxi, veicoli a guida autonoma che raccolgono passeggeri senza un operatore umano, sono stati recentemente lanciati a San Francisco. Dopo un ascolto pubblico controverso di 7 ore, la decisione è stata presa dalla Commissione per le utilità pubbliche della California. Nonostante le proteste, c’è un senso di inevitabilità nell’aria. La California ha gradualmente allentato le restrizioni dal principio del 2022. Le nuove regole consentono alle due società con permessi – Waymo di Alphabet e Cruise di GM – di inviare questi taxi in qualsiasi parte della città di 7 miglia quadrate, ad eccezione delle autostrade, e di addebitare i passeggeri.

L’idea di taxi a guida autonoma tende a suscitare due emozioni contrastanti: eccitazione (“taksi a un costo molto inferiore!”) e paura (“mi colpiranno o colpiranno i miei bambini?”). Pertanto, i regolatori spesso richiedono che le auto vengano testate con passeggeri che possono intervenire e gestire i controlli prima che si verifichi un incidente. Purtroppo, avere esseri umani all’erta, pronti a sovrascrivere i sistemi in tempo reale, potrebbe non essere il modo migliore per garantire la sicurezza.

In realtà, dei 18 decessi negli Stati Uniti associati a incidenti di auto a guida autonoma (al febbraio di quest’anno), tutti avevano una forma di controllo umano, sia all’interno dell’auto che a distanza. Ciò include uno dei più famosi, che si è verificato tardi la notte su una strada suburbana ampia a Tempe, in Arizona, nel 2018. Un veicolo di prova automatizzato di Uber ha ucciso una donna di 49 anni di nome Elaine Herzberg, che stava correndo con la sua bicicletta per attraversare la strada. L’operatore umano nel sedile del passeggero stava guardando in basso, e l’auto non li ha avvertiti fino a meno di un secondo prima dell’impatto. Hanno afferrato il volante troppo tardi. L’incidente ha portato Uber a sospendere i test delle auto a guida autonoma. Alla fine, ha venduto la divisione veicoli automatizzati, che era una parte fondamentale della sua strategia aziendale.

L’operatore è finito in prigione a causa della complacenza dell’automazione, un fenomeno scoperto per la prima volta nei primi giorni dell’addestramento dei piloti. La fiducia eccessiva è una dinamica frequente con i sistemi di intelligenza artificiale. Più il sistema è autonomo, più gli operatori umani tendono a fidarsi e non prestare attenzione. Ci annoiamo a guardare queste tecnologie. Quando un incidente sta per accadere, non ci aspettiamo e non reagiamo in tempo.

Gli esseri umani sono naturalmente bravi in ciò che l’esperto di rischio Ron Dembo chiama “pensiero del rischio” – un modo di pensare che nemmeno le più sofisticate tecniche di apprendimento automatico possono ancora emulare. Questa è la capacità di riconoscere, quando la risposta non è ovvia, che dovremmo rallentare o fermarci. Il pensiero del rischio è fondamentale per i sistemi automatizzati, e ciò crea un dilemma. Gli esseri umani vogliono essere nel ciclo, ma metterci al controllo quando ci affidiamo così compiacentemente ai sistemi automatizzati, potrebbe in realtà peggiorare le cose.

Come possono allora i sviluppatori di sistemi automatizzati risolvere questo dilemma, in modo che esperimenti come quello in corso a San Francisco si concludano positivamente? La risposta è una diligenza extra non solo nel momento dell’impatto, ma nelle fasi iniziali di progettazione e sviluppo. Tutti i sistemi di intelligenza artificiale comportano rischi quando vengono lasciati incontrollati. Le auto a guida autonoma non saranno prive di rischi, anche se si riveleranno più sicure, in media, delle auto guidate dagli esseri umani.

L’incidente di Uber mostra cosa succede quando non pensiamo al rischio con intenzionalità. Per farlo, abbiamo bisogno di attrito creativo: portare molteplici prospettive umane in gioco molto prima che questi sistemi vengano rilasciati. In altre parole, pensare alle implicazioni dei sistemi di intelligenza artificiale piuttosto che solo alle applicazioni richiede la prospettiva delle comunità che saranno direttamente colpite dalla tecnologia.

Waymo e Cruise hanno entrambi difeso i record di sicurezza dei loro veicoli, sulla base della probabilità statistica. Tuttavia, questa decisione trasforma San Francisco in un esperimento vivente. Quando i risultati saranno conteggiati, sarà estremamente importante catturare i dati giusti, condividere i successi e gli insuccessi e far pesare le comunità interessate insieme agli specialisti, ai politici e agli uomini d’affari. In altre parole, tenere tutti gli esseri umani nel ciclo. Altrimenti, rischiamo la complacenza dell’automazione – la volontà di delegare la presa di decisioni ai sistemi di intelligenza artificiale – su larga scala.

Juliette Powell e Art Kleiner sono coautori del nuovo libro Il dilemma dell’intelligenza artificiale: 7 principi per la tecnologia responsabile.