Tự động hóa Complacency: Làm thế nào để đưa con người trở lại vào vòng lặp

Trong một sự kiện đầy kịch tính, Robotaxis, xe tự lái không có người vận hành, đã được triển khai gần đây tại San Francisco. Sau một phiên điều trần công khai đầy tranh cãi trong 7 giờ, quyết định này đã được đưa ra bởi Ủy ban Tiện ích Công cộng California. Mặc dù có những phản đối, nhưng có một cảm giác về sự không thể tránh khỏi trong không khí. California đã dần nới lỏng các hạn chế từ đầu năm 2022. Các quy tắc mới cho phép hai công ty có giấy phép – Waymo của Alphabet và Cruise của GM – gửi những taxi này đến bất kỳ nơi nào trong thành phố 7 dặm vuông, ngoại trừ đường cao tốc, và thu phí từ hành khách.

Ý tưởng về taxi tự lái thường gây ra hai cảm xúc mâu thuẫn: Phấn khích (“taxi với chi phí thấp hơn!”) và sợ hãi (“liệu chúng có va vào tôi hoặc con tôi không?”) Do đó, các nhà quản lý thường yêu cầu các xe này phải được thử nghiệm với hành khách có thể can thiệp và kiểm soát hệ thống trước khi xảy ra tai nạn. Tuy nhiên, việc có con người luôn cảnh giác, sẵn sàng can thiệp vào hệ thống trong thời gian thực, có thể không phải là cách tốt nhất để đảm bảo an toàn.

Trên thực tế, trong số 18 trường hợp tử vong ở Mỹ liên quan đến tai nạn xe tự lái (tính đến tháng 2 năm nay), tất cả đều có một số hình thức kiểm soát con người, либо trong xe hoặc từ xa. Điều này bao gồm một trong những trường hợp nổi tiếng nhất, xảy ra vào đêm muộn trên một con đường ngoại ô rộng rãi ở Tempe, Arizona, vào năm 2018. Một xe thử nghiệm tự lái của Uber đã giết một phụ nữ 49 tuổi tên là Elaine Herzberg, người đang chạy với xe đạp để qua đường. Người vận hành con người trong ghế hành khách đang nhìn xuống, và xe không cảnh báo họ cho đến menos một giây trước khi va chạm. Họ nắm lấy bánh xe quá muộn. Tai nạn này khiến Uber phải tạm dừng thử nghiệm xe tự lái. Cuối cùng, họ đã bán bộ phận xe tự lái, từng là một phần quan trọng trong chiến lược kinh doanh của công ty.

Người vận hành đã kết thúc trong tù vì tự động hóa complacency, một hiện tượng được phát hiện lần đầu tiên trong những ngày đầu tiên của đào tạo bay. Tự tin quá mức là một động lực thường thấy với hệ thống AI. Hệ thống càng tự động, con người càng tin tưởng vào nó và không chú ý đầy đủ. Chúng ta trở nên chán khi theo dõi những công nghệ này. Khi một tai nạn thực sự xảy ra, chúng ta không dự kiến và không phản ứng kịp thời.

Con người là tự nhiên trong việc mà chuyên gia rủi ro Ron Dembo gọi là “risk thinking” – một cách suy nghĩ mà ngay cả những hệ thống học máy phức tạp nhất cũng không thể bắt chước. Đây là khả năng nhận ra, khi câu trả lời không rõ ràng, chúng ta nên chậm lại hoặc dừng lại. Risk thinking là rất quan trọng đối với hệ thống tự động, và điều đó tạo ra một tình huống khó xử. Con người muốn được tham gia vào vòng lặp, nhưng việc đặt chúng vào kiểm soát khi chúng ta dựa quá nhiều vào hệ thống tự động, có thể thực sự làm cho mọi thứ trở nên tồi tệ hơn.

Làm thế nào, thì, các nhà phát triển hệ thống tự động có thể giải quyết tình huống khó xử này, để các thí nghiệm như thí nghiệm đang diễn ra tại San Francisco kết thúc một cách tích cực? Câu trả lời là sự cẩn thận hơn không chỉ trước khi xảy ra va chạm, mà còn trong giai đoạn thiết kế và phát triển ban đầu. Tất cả các hệ thống AI đều liên quan đến rủi ro khi chúng không được kiểm soát. Xe tự lái sẽ không miễn nhiễm với rủi ro, ngay cả khi chúng trở nên an toàn hơn so với xe do con người lái.

Tai nạn của Uber cho thấy điều gì xảy ra khi chúng ta không suy nghĩ về rủi ro một cách có chủ đích. Để làm điều này, chúng ta cần có sự ma sát sáng tạo: đưa nhiều quan điểm con người vào chơi ngay từ đầu, trước khi những hệ thống này được phát hành. Nói cách khác, suy nghĩ về những tác động của hệ thống AI thay vì chỉ các ứng dụng đòi hỏi phải có quan điểm của các cộng đồng sẽ bị ảnh hưởng trực tiếp bởi công nghệ.

Waymo và Cruise đã bảo vệ hồ sơ an toàn của xe tự lái, dựa trên cơ sở xác suất thống kê. Tuy nhiên, quyết định này biến San Francisco thành một thí nghiệm sống. Khi kết quả được thống kê, điều quan trọng là phải thu thập đúng dữ liệu, chia sẻ thành công và thất bại, và để các cộng đồng bị ảnh hưởng cùng với các chuyên gia, chính trị gia và doanh nhân tham gia. Nói cách khác, hãy giữ tất cả con người trong vòng lặp. Nếu không, chúng ta sẽ gặp rủi ro tự động hóa complacency – sự sẵn sàng ủy quyền quyết định cho hệ thống AI – ở quy mô rất lớn.

Juliette Powell và Art Kleiner là đồng tác giả của cuốn sách mới The AI Dilemma: 7 Nguyên tắc cho Công nghệ Trách nhiệm.