Complacencia en la automatización: Cómo poner a los humanos de vuelta en el bucle

En un giro dramático de los acontecimientos, los Robotaxis, vehículos autónomos que recogen pasajeros sin operador humano, fueron recientemente lanzados en San Francisco. Después de una audiencia pública controvertida de 7 horas, la decisión fue impulsada por la Comisión de Servicios Públicos de California. A pesar de las protestas, hay un sentido de inevitabilidad en el aire. California ha estado aflojando gradualmente las restricciones desde principios de 2022. Las nuevas reglas permiten que las dos empresas con permisos – Waymo de Alphabet y Cruise de GM – envíen estos taxis a cualquier lugar dentro de la ciudad de 7 millas cuadradas, excepto las autopistas, y cobren tarifas a los pasajeros.

La idea de taxis autónomos tiende a generar dos emociones contradictorias: emoción (“taxis a un costo mucho menor”) y miedo (“¿me golpearán a mí o a mis hijos!”). Por lo tanto, los reguladores a menudo requieren que los coches se prueben con pasajeros que puedan intervenir y controlar los controles antes de que ocurra un accidente. Desafortunadamente, tener a los humanos en alerta, listos para anular los sistemas en tiempo real, puede no ser la mejor manera de asegurar la seguridad.

De hecho, de las 18 muertes en los EE. UU. asociadas con accidentes de coches autónomos (hasta febrero de este año), todas ellas tenían algún tipo de control humano, ya sea en el coche o de forma remota. Esto incluye uno de los más famosos, que ocurrió tarde en la noche en una carretera suburbana ancha en Tempe, Arizona, en 2018. Un vehículo de prueba autónomo de Uber mató a una mujer de 49 años llamada Elaine Herzberg, que corría con su bicicleta para cruzar la carretera. El operador humano en el asiento del pasajero estaba mirando hacia abajo, y el coche no los alertó hasta menos de un segundo antes del impacto. Agarraron el volante demasiado tarde. El accidente hizo que Uber suspendiera las pruebas de coches autónomos. En última instancia, vendió la división de vehículos automatizados, que había sido una parte clave de su estrategia comercial.

El operador terminó en la cárcel debido a la complacencia en la automatización, un fenómeno que se descubrió por primera vez en los primeros días de la formación de vuelo de pilotos. La confianza excesiva es una dinámica frecuente con los sistemas de IA. Cuanto más autónomo sea el sistema, más tienden a confiar en él los operadores humanos y no prestar atención completa. Nos aburrimos viendo sobre estas tecnologías. Cuando un accidente está a punto de ocurrir, no lo esperamos y no reaccionamos a tiempo.

Los humanos son naturales en lo que el experto en riesgos Ron Dembo llama “pensamiento de riesgo” – una forma de pensar que incluso el aprendizaje automático más sofisticado no puede emular aún. Esta es la capacidad de reconocer, cuando la respuesta no es obvia, que debemos reducir la velocidad o detenernos. El pensamiento de riesgo es fundamental para los sistemas automatizados, y eso crea un dilema. Los humanos quieren estar en el bucle, pero ponerlos en control cuando confiamos tan complacentemente en los sistemas automatizados puede hacer que las cosas empeoren.

¿Cómo, entonces, pueden los desarrolladores de sistemas automatizados resolver este dilema, para que experimentos como el que se lleva a cabo en San Francisco terminen de manera positiva? La respuesta es la diligencia extra no solo antes del momento del impacto, sino en las etapas iniciales de diseño y desarrollo. Todos los sistemas de IA conllevan riesgos cuando se dejan sin control. Los coches autónomos no estarán libres de riesgo, incluso si resultan ser más seguros, en promedio, que los coches conducidos por humanos.

El accidente de Uber muestra lo que sucede cuando no pensamos en el riesgo con intencionalidad. Para hacer esto, necesitamos fricción creativa: llevar múltiples perspectivas humanas al juego mucho antes de que estos sistemas se lancen. En otras palabras, pensar en las implicaciones de los sistemas de IA en lugar de solo las aplicaciones requiere la perspectiva de las comunidades que se verán directamente afectadas por la tecnología.

Waymo y Cruise han defendido ambos los registros de seguridad de sus vehículos, en base a la probabilidad estadística. Sin embargo, esta decisión convierte a San Francisco en un experimento vivo. Cuando se cuenten los resultados, será extremadamente importante capturar los datos correctos, compartir los éxitos y los fracasos, y dejar que las comunidades afectadas participen junto con los especialistas, los políticos y los empresarios. En otras palabras, mantener a todos los humanos en el bucle. De lo contrario, corremos el riesgo de complacencia en la automatización – la voluntad de delegar la toma de decisiones a los sistemas de IA – a una escala muy grande.

Juliette Powell y Art Kleiner son coautores del nuevo libro El dilema de la IA: 7 principios para la tecnología responsable.