Complaisance à l’automatisation : Comment remettre les humains dans la boucle

Dans un tournant dramatique des événements, des Robotaxis, des véhicules autonomes qui prennent des passagers sans opérateur humain, ont récemment été déployés à San Francisco. Après une audience publique de 7 heures controversée, la décision a été approuvée par la commission des services publics de Californie. Malgré les protestations, il y a un sentiment d’inévitable dans l’air. La Californie a progressivement assoupli les restrictions depuis début 2022. Les nouvelles règles permettent aux deux entreprises ayant des permis – Waymo d’Alphabet et Cruise de GM – d’envoyer ces taxis partout dans la ville de 7 miles carrés, sauf sur les autoroutes, et de facturer des frais aux passagers.

L’idée de taxis autonomes suscite deux émotions contradictoires : l’excitation (« des taxis à un coût beaucoup plus bas ! ») et la peur (« vont-ils me heurter ou mes enfants ? »). Ainsi, les régulateurs exigent souvent que les voitures soient testées avec des passagers qui peuvent intervenir et gérer les commandes avant qu’un accident se produise. Malheureusement, avoir des humains en alerte, prêts à outrepasser les systèmes en temps réel, peut ne pas être la meilleure façon de garantir la sécurité.

En fait, sur les 18 décès aux États-Unis associés à des accidents de voitures autonomes (à partir de février de cette année), tous avaient une forme de contrôle humain, soit dans la voiture, soit à distance. Cela inclut l’un des plus célèbres, qui s’est produit tard dans la nuit sur une route suburbaine large à Tempe, en Arizona, en 2018. Un véhicule de test automatisé Uber a tué une femme de 49 ans nommée Elaine Herzberg, qui courait avec son vélo pour traverser la route. L’opérateur humain sur le siège passager regardait vers le bas, et la voiture ne les a pas avertis jusqu’à moins d’une seconde avant l’impact. Ils ont saisi le volant trop tard. L’accident a conduit Uber à suspendre ses essais de voitures autonomes. Finalement, il a vendu la division de véhicules automatisés, qui faisait partie intégrante de sa stratégie commerciale.

L’opérateur a fini en prison en raison de la complaisance à l’automatisation, un phénomène découvert pour la première fois aux premiers jours de la formation de vol des pilotes. La confiance excessive est une dynamique fréquente avec les systèmes d’IA. Plus le système est autonome, plus les opérateurs humains ont tendance à lui faire confiance et à ne pas prêter attention. Nous nous ennuyons en surveillant ces technologies. Lorsqu’un accident est sur le point de se produire, nous ne nous y attendons pas et nous ne réagissons pas à temps.

Les humains sont naturellement doués pour ce que l’expert en risques, Ron Dembo, appelle la « pensée du risque » – une façon de penser que même les systèmes d’apprentissage automatique les plus sophistiqués ne peuvent pas encore imiter. C’est la capacité de reconnaître, lorsque la réponse n’est pas évidente, que nous devons ralentir ou arrêter. La pensée du risque est critique pour les systèmes automatisés, et cela crée un dilemme. Les humains veulent être dans la boucle, mais les mettre en contrôle lorsqu’ils s’appuient autant sur les systèmes automatisés peut en réalité aggraver les choses.

Comment, alors, les développeurs de systèmes automatisés peuvent-ils résoudre ce dilemme, afin que des expériences comme celle qui se déroule à San Francisco se terminent positivement ? La réponse est une diligence supplémentaire, non seulement au moment de l’impact, mais également aux premières étapes de la conception et du développement. Tous les systèmes d’IA impliquent des risques lorsqu’ils sont laissés sans surveillance. Les voitures autonomes ne seront pas exemptes de risques, même si elles s’avèrent être plus sûres, en moyenne, que les voitures conduites par des humains.

L’accident d’Uber montre ce qui se passe lorsque nous ne réfléchissons pas aux risques avec intentionnalité. Pour cela, nous avons besoin d’une friction créative : faire intervenir de multiples perspectives humaines bien avant que ces systèmes ne soient mis en service. En d’autres termes, réfléchir aux implications des systèmes d’IA plutôt qu’à leurs applications nécessite la perspective des communautés qui seront directement affectées par la technologie.

Waymo et Cruise ont tous deux défendu les dossiers de sécurité de leurs véhicules, sur la base de la probabilité statistique. Néanmoins, cette décision transforme San Francisco en une expérience vivante. Lorsque les résultats seront compilés, il sera extrêmement important de capturer les bonnes données, de partager les succès et les échecs, et de laisser les communautés affectées participer, ainsi que les spécialistes, les politiciens et les hommes d’affaires. En d’autres termes, garder tous les humains dans la boucle. Sinon, nous risquons la complaisance à l’automatisation – la volonté de déléguer la prise de décision aux systèmes d’IA – à une très grande échelle.

Juliette Powell et Art Kleiner sont co-auteurs du nouveau livre Le dilemme de l’IA : 7 principes pour une technologie responsable.