Автоматизированная самодовольство: Как вернуть людей в процесс

В драматическом повороте событий роботакси, самоходные транспортные средства, которые подбирают пассажиров без человеческого оператора, были недавно выпущены в Сан-Франциско. После спорного 7-часового публичного слушания, решение было принято Калифорнийской комиссией по коммунальным услугам. Несмотря на протесты, есть чувство неизбежности в воздухе. Калифорния постепенно смягчала ограничения с начала 2022 года. Новые правила разрешают двум компаниям с разрешениями – Waymo от Alphabet и Cruise от GM – отправлять эти такси куда угодно в 7-мильном городе, кроме шоссе, и взимать плату с пассажиров.

Идея самоходных такси вызывает два противоречивых эмоции: Волнение («такси по гораздо более низкой цене!») и страх («будут ли они ударить меня или моих детей?»). Таким образом, регулирующие органы часто требуют, чтобы машины были протестированы с пассажирами, которые могут вмешаться и управлять контролями до того, как произойдет авария. К сожалению, наличие людей настороже, готовых переопределить системы в реальном времени, может не быть лучшим способом обеспечить безопасность.

Фактически, из 18 смертей в США, связанных с авариями самоходных машин (на февраль этого года), все они имели некоторую форму человеческого контроля, либо в машине, либо удаленно. Это включает одну из самых известных, которая произошла поздно ночью на широкой пригородной дороге в Темпе, Аризона, в 2018 году. Автоматический тестовый автомобиль Uber убил 49-летнюю женщину по имени Элейн Херцберг, которая бежала с велосипедом, чтобы пересечь дорогу. Человеческий оператор на пассажирском сиденье смотрел вниз, и машина не предупредила его до менее чем секунды до удара. Они схватили руль слишком поздно. Авария заставила Uber приостановить тестирование самоходных машин. В конечном итоге, он продал дивизион автоматических транспортных средств, который был ключевой частью его бизнес-стратегии.

Оператор оказался в тюрьме из-за автоматизированной самодовольства, явления, впервые открытого в ранние дни обучения пилотов. Чрезмерная уверенность является частой динамикой с системами ИИ. Чем более автономна система, тем больше человеческие операторы склонны ей доверять и не обращать полного внимания. Мы скучаем, наблюдая за этими технологиями. Когда авария действительно собирается произойти, мы не ожидаем этого и не реагируем вовремя.

Люди естественно склонны к тому, что эксперт по риску Рон Дембо называет «риском мышлением» – способом мышления, который даже самые сложные системы машинного обучения еще не могут эмулировать. Это способность распознавать, когда ответ не очевиден, что нам следует замедлить или остановиться. Риск мышление имеет решающее значение для автоматизированных систем, и это создает дилемму. Люди хотят быть в процессе, но помещение нас под контроль, когда мы так самодовольно полагаемся на автоматизированные системы, может фактически сделать все хуже.

Как, тогда, могут разработчики автоматизированных систем решить эту дилемму, чтобы эксперименты, такие как тот, который проходит в Сан-Франциско, завершились положительно? Ответ – дополнительная бдительность не только в момент удара, но и на ранних стадиях проектирования и разработки. Все системы ИИ предполагают риски, когда они остаются без контроля. Самоходные машины не будут свободны от риска, даже если они окажутся безопаснее, в среднем, чем машины с человеческим водителем.

Авария Uber показывает, что происходит, когда мы не думаем о рисках с намерением. Чтобы сделать это, нам нужна творческая трение: привлечение множества человеческих перспектив в игру задолго до того, как эти системы будут выпущены. Другими словами, размышление об последствиях систем ИИ, а не только об их применении, требует перспективы сообществ, которые будут напрямую затронуты технологией.

Waymo и Cruise обе защищали показатели безопасности своих транспортных средств, ссылаясь на статистическую вероятность. Тем не менее, это решение превращает Сан-Франциско в живой эксперимент. Когда результаты будут подведены, будет крайне важно захватить правильные данные, поделиться успехами и неудачами, и позволить затронутым сообществам высказаться вместе со специалистами, политиками и бизнесменами. Другими словами, сохранить всех людей в процессе. В противном случае, мы рискуем автоматизированной самодовольством – готовностью делегировать принятие решений системам ИИ – в очень большом масштабе.

Джульетта Пауэлл и Арт Клейнер являются соавторами новой книги Дилемма ИИ: 7 принципов ответственной технологии.