自動化の自満 – 人間をループに戻す方法

劇的な展開となり、ロボタクシー、つまり人間のオペレーターなしで乗客を乗せた自動運転車が、最近サンフランシスコで登場しました。論争の的となった7時間にわたる公開ヒアリングの後、カリフォルニア州公益委員会の決定によって、この計画は実現しました。抗議活動にもかかわらず、空気には必然性の感覚が漂っています。カリフォルニア州は、2022年初頭から規制を徐々に緩和してきました。この新しい規制では、許可を得た2社、アルファベットのウェイモーとGMのクルーズは、これらのタクシーを7平方マイルの市内どこにでも送り、高速道路を除いて乗客に料金を請求することができます。

自動運転タクシーのアイデアは、2つの相反する感情を引き起こします。興奮（「大幅に低コストのタクシー！」）と恐怖（「私や私の子供たちを事故で傷つけるのではないか？」）です。したがって、規制当局は、事故が発生する前に、介入して制御することができる乗客と一緒に車をテストすることを要求することがよくあります。ただし、システムをオーバーライドするために常に警戒して人間を配置することは、安全性を確保するための最良の方法ではないかもしれません。

実際、米国で自動運転車の事故による死亡者18名（今年2月現在）の中で、すべてが何らかの形で人間の制御を伴っていたことが分かっています。 最も有名な事故の1つは、2018年にアリゾナ州テンペの広い郊外の道路で夜遅くに発生しました。自動運転のウーバー試験車が、道路を渡ろうとして自転車を押していた49歳の女性エレイン・ハーツバーグを死亡させました。乗客席にいた人間のオペレーターは、下を見ていたため、車は彼らに衝突の1秒前に警告を発するのみでした。彼らはハンドルを握るのが遅れました。この事故により、ウーバーは自動運転車のテストを中止し、最終的に自動車部門を売却しました。自動車部門は、ウーバーの事業戦略の重要な部分でした。

オペレーターは、自動化の自満のため、刑務所に入れられました。自動化の自満とは、初期のパイロットフライトトレーニングで発見された現象です。AIシステムでは、過信が頻繁に発生します。システムがより自律的になるほど、人間のオペレーターはそれを信頼し、十分な注意を払わない傾向があります。私たちは、これらのテクノロジーを監視するのが面倒で、事故が発生する直前に、予想せず、反応が遅れます。

人間は、リスクの専門家であるロン・デンボーが「リスク思考」と呼ぶ能力を持っています。これは、最も高度な機械学習でもまだ真似することができない能力です。 これは、答えが明らかでない場合に、減速または停止する必要があることを認識する能力です。 リスク思考は、自動化システムにとって非常に重要であり、これによりジレンマが生じます。人間はループに含まれることを望みますが、自動化システムに過度に頼る場合、人間を制御に置くことは、実際には状況を悪化させる可能性があります。

自動化システムの開発者は、このジレンマを解決するために、サンフランシスコでの実験が好結果で終わるようにするにはどうすればよいのでしょうか。答えは、影響の瞬間だけでなく、設計と開発の初期段階で、特別な注意を払うことです。すべてのAIシステムには、チェックされていない場合にリスクがあります。自動運転車は、平均して人間が運転する車よりも安全であっても、リスクが完全にないわけではありません。

ウーバーの事故は、意図的にリスク思考をしないと何が起こるかを示しています。そうするには、創造的な摩擦が必要です。つまり、これらのシステムがリリースされる前に、影響を受ける可能性のあるコミュニティの複数の人間の視点を取り入れる必要があります。別の言い方をすると、AIシステムの影響ではなく、適用について考えることが必要です。

ウェイモーとクルーズは、統計的確率に基づいて、自社の車の安全性を擁護してきました。ただし、この決定により、サンフランシスコは実験の場となりました。結果が集計されると、正しいデータを収集し、成功と失敗を共有し、影響を受けるコミュニティが専門家、政治家、ビジネスマンとともに意見を述べることが非常に重要になります。つまり、すべての人間をループに含める必要があります。そうでない場合、自動化の自満 – AIシステムに意思決定を委ねる意欲 – が大規模に発生するリスクがあります。

ジュリエット・パウエルとアート・クライナーは、新書『AIのジレンマ：責任あるテクノロジーの7つの原則』の共著者です。