自動化自滿：如何將人類放回迴圈

在一系列戲劇性的事件中，機器人出租車，即無人操作的自駕車，最近在舊金山登場。經過一場充滿爭議的7小時公開聽證會後，該決定由加利福尼亞公共事業委員會做出。儘管有人抗議，但空氣中有一種不可避免的感覺。加利福尼亞州自2022年初以來一直在放寬限制。新規則允許獲得許可的兩家公司——Alphabet的Waymo和GM的Cruise——將這些出租車送到城市內任何7平方英里的地方，除了高速公路，並向乘客收取車費。

自駕出租車的想法往往引起兩種相互矛盾的情緒：興奮（“出租車的成本大大降低！”）和恐懼（“它們會撞到我或我的孩子嗎？”）因此，監管機構通常要求汽車在發生事故之前進行測試，並且乘客可以介入和控制系統。然而，讓人類保持警惕，隨時準備覆蓋系統，可能不是確保安全的最佳方式。

事實上，截至今年2月，美國有18起與自駕車事故相關的死亡事件，所有這些事故都有一種形式的人類控制，無論是在車內還是遠程控制。其中包括2018年在亞利桑那州坦佩的一條寬闊的郊區道路上發生的最著名的事故。一輛自動駕駛的Uber測試車輛撞死了一名49歲的女性伊萊恩·赫茨伯格，她當時正在用腳踏車橫越道路。乘客座位上的人類操作員正在看下方，車輛在撞擊前不到一秒鐘才提醒他們。他們抓住方向盤已經太晚了。這起事故導致Uber暫停了自駕車的測試，最終出售了自動駕駛車輛部門，這曾是其商業戰略的關鍵部分。

操作員最終因為自動化自滿而入獄，這是一種現象，最初是在早期的飛行員培訓中發現的。過度自信是一種頻繁出現的動態，與AI系統相關。系統越是自治，人類操作員就越容易信任它，沒有充分的注意力。當我們監視這些技術時，我們會感到無聊。當事故即將發生時，我們不會預料到，也不會及時反應。

人類天生擅長風險專家羅恩·德博（Ron Dembo）所謂的“風險思考”（risk thinking）——一種即使是最先進的機器學習也無法模仿的思考方式。這是指在答案不明顯的情況下，我們應該減慢或停止的能力。風險思考對於自動化系統至關重要，這就產生了一個困境。人類希望自己處於迴圈中，但當我們如此自滿地依賴自動化系統時，把我們放在控制位置上，可能會使事情變得更糟。

那麼，自動化系統的開發者如何解決這個困境，以便像在舊金山進行的實驗一樣，以積極的方式結束？答案是，在設計和開發的早期階段進行額外的勤勉，而不僅僅是在撞擊的那一刻。所有AI系統都涉及風險，當它們被遺棄時。自駕車不會免於風險，即使它們最終被證明比人類駕駛的車輛更安全。

Uber事故表明，當我們不帶有意圖地進行風險思考時會發生什麼。為此，我們需要創造性的摩擦：在這些系統被釋放之前，將多個人類觀點融入其中。換句話說，思考AI系統的影響而不僅僅是應用需要受到直接影響的社區的觀點。

Waymo和Cruise都為其車輛的安全記錄辯護，理由是統計概率。無論如何，這一決定使舊金山成為了一個活的實驗。當結果被統計時，捕捉正確的數據、分享成功和失敗，並讓受影響的社區與專家、政治家和商人一起參與，將會非常重要。換句話說，讓所有人類都保持在迴圈中。否則，我們將冒著自動化自滿的風險——將決策委託給AI系統——在很大程度上。

朱麗葉·鮑威爾（Juliette Powell）和阿特·克萊納（Art Kleiner）是新書AI困境：7個負責任技術原則的共同作者。