自動化の自信過剰：人間をループに戻す方法

事件が急展開する中、ロボタクシーという、人間の運転手がいないで乗客を乗せた自動運転車がサンフランシスコで登場した。 7時間に及ぶ公開ヒアリングの後、カリフォルニア州公益委員会の決定が下された。抗議の中にも、避けられないものがある。カリフォルニア州は、2022年初頭から規制を緩和してきた。新しい規則では、許可を得た2社、AlphabetのWaymoとGMのCruiseは、これらのタクシーを7平方マイルの都市内の高速道路を除くどこにでも送り、乗客に料金を請求することができる。

自動運転タクシーのアイデアは、2つの相反する感情を引き起こす：興奮（「タクシーが大幅に安くなる！」）と恐怖（「私や私の子供たちに当たってしまう？」）。したがって、規制当局は、事故が発生する前に、介入して制御を管理できる乗客と一緒に車をテストすることを要求することが多い。不幸にも、人間が警戒していて、リアルタイムでシステムをオーバーライドできるようにすることは、安全性を確保するための最良の方法ではないかもしれない。

実際、米国で自動運転車の事故による死亡者18名（今年2月現在）の中で、全員が、車内または遠隔で人間の制御をしていた。 最も有名なものは、2018年にアリゾナ州テンペで、広い郊外の道路で夜遅くに発生した。自動運転のUberテスト車が、自転車を押して道路を渡ろうとしていた49歳の女性、エレイン・ハーツバーグを殺害した。車内にいた人間の運転手は、下を見ていた、車は衝突の1秒前まで警報を鳴らさなかった。運転手は遅すぎてハンドルを握った。事故の結果、Uberは自動運転車のテストを中止し、最終的に自動運転車部門を売却した。自動運転車部門は、Uberのビジネス戦略の重要な部分であった。

運転手は、自動化の自信過剰のために刑務所に入れられた。自動化の自信過剰は、最も初期のパイロットフライトトレーニングの時代に発見された現象である。AIシステムでは、過信は頻繁に発生する。システムがより自律的になるほど、人間の運転手はそれを信頼して十分に注意を払わない。私たちは、これらの技術を監視するのが面倒くさくなる。事故が発生しようとしている時に、私たちは予想しておらず、時間内に反応できない。

人間は、リスクの専門家であるロン・デンボーが「リスク思考」と呼ぶ、機械学習でまだ真似できない思考方法を自然に持っている。 これは、答えが明らかでない時に、減速または停止するべきことを認識する能力である。 リスク思考は、自動化システムにとって非常に重要であり、これによりジレンマが生じる。人間はループに含まれることを望むが、自動化システムに過度に頼る私たちを制御下に置くことは、実際には状況を悪化させる可能性がある。

自動化システムの開発者は、このジレンマを解決し、サンフランシスコで行われている実験が好結果で終わるようにするにはどうすればよいのか。答えは、衝突の瞬間だけでなく、設計および開発の初期段階で、特別な注意を払うことである。すべてのAIシステムには、チェックされていない場合にリスクが伴う。自動運転車は、平均して人間が運転する車よりも安全であるとしても、リスクが完全にないわけではない。

Uberの事故は、意図的にリスク思考をしないと何が起こるかを示している。そうするには、クリエイティブなフリクションが必要である。つまり、コミュニティの視点を、システムがリリースされる前に早期に取り入れる必要がある。WaymoとCruiseは、統計的確率に基づいて、自社の車両の安全性を擁護してきた。にもかかわらず、この決定はサンフランシスコを実験の場に変える。結果が集計されるとき、正しいデータを収集し、成功と失敗を共有し、影響を受けるコミュニティが専門家、政治家、ビジネスマンとともに発言することが非常に重要である。つまり、すべての人間をループに含めるのである。そうでない場合、自動化の自信過剰、つまりAIシステムに意思決定を委ねることへの意欲を、非常に大きなスケールで危険にさらすことになる。

ジュリエット・パウエルとアート・クライナーは、新書「AIのジレンマ：責任あるテクノロジーの7つの原則」の共著者である。