Автоматизированная самодовольство: Как вернуть людей в цикл

В драматическом повороте событий роботакси, самоходные транспортные средства, которые подбирают пассажиров без человеческого оператора, были недавно выпущены в Сан-Франциско. После спорного 7-часового публичного слушания решение было принято Калифорнийской комиссией по коммунальным услугам. Несмотря на протесты, есть чувство неизбежности в воздухе. Калифорния постепенно смягчала ограничения с раннего 2022 года. Новые правила позволяют двум компаниям с разрешениями – Alphabet’s Waymo и GM’s Cruise – отправлять эти такси куда угодно в 7-мильном городе, кроме шоссе, и взимать плату с пассажиров.

Идея самоходных такси вызывает два противоречивых эмоции: Волнение («такси по гораздо более низкой цене!») и страх («будут ли они ударить меня или моих детей?»). Таким образом, регулирующие органы часто требуют, чтобы машины были протестированы с пассажирами, которые могут вмешаться и управлять контролями до того, как произойдет авария. К сожалению, наличие людей настороже, готовых переопределить системы в режиме реального времени, может не быть лучшим способом обеспечить безопасность.

Фактически, из 18 смертей в США, связанных с авариями самоходных машин (на февраль этого года), все они имели некоторую форму человеческого контроля, либо в машине, либо удаленно. Это включает одну из самых известных, которая произошла поздно ночью на широкой пригородной дороге в Темпе, Аризона, в 2018 году. Автоматический тестовый автомобиль Uber убил 49-летнюю женщину по имени Элейн Херцберг, которая бежала с велосипедом, чтобы пересечь дорогу. Человеческий оператор на пассажирском сиденье смотрел вниз, и машина не предупредила их до менее чем секунды до удара. Они схватили руль слишком поздно. Авария заставила Uber приостановить тестирование самоходных машин. В конечном итоге они продали подразделение автоматических транспортных средств, которое было ключевой частью их бизнес-стратегии.

Оператор оказался в тюрьме из-за автоматизированной самодовольства, явления, впервые открытого в ранние дни пилотной подготовки. Чрезмерная уверенность является частым динамиком с системами ИИ. Чем более автономна система, тем больше человеческие операторы склонны ей доверять и не обращать полного внимания. Мы скучаем, наблюдая за этими технологиями. Когда авария действительно вот-вот произойдет, мы не ожидаем ее и не реагируем вовремя.

Люди естественно склонны к тому, что риск-эксперт Рон Дембо называет «риск-творчеством» – способом мышления, который даже самые сложные системы машинного обучения еще не могут эмулировать. Это способность распознавать, когда ответ не очевиден, что мы должны замедлиться или остановиться. Риск-творчество имеет решающее значение для автоматизированных систем, и это создает дилемму. Люди хотят быть в цикле, но помещение нас под контроль, когда мы так самодовольно полагаемся на автоматизированные системы, может фактически сделать все хуже.

Как, тогда, могут разработчики автоматизированных систем решить эту дилемму, чтобы эксперименты, такие как тот, который проходит в Сан-Франциско, закончились положительно? Ответ – дополнительная бдительность не только в момент удара, но и на ранних стадиях проектирования и разработки. Все системы ИИ предполагают риски, когда они остаются без контроля. Самоходные машины не будут свободны от риска, даже если они окажутся более безопасными в среднем, чем машины с человеческими водителями.

Авария Uber показывает, что происходит, когда мы не думаем о рисках с намерением. Чтобы сделать это, нам нужна творческая трение: введение множества человеческих перспектив в игру задолго до того, как эти системы будут выпущены. Другими словами, размышление об последствиях систем ИИ, а не только об их применении, требует перспективы сообществ, которые будут напрямую затронуты технологией.

Waymo и Cruise оба защищали рекорд безопасности своих транспортных средств на основании статистической вероятности. Тем не менее, это решение превращает Сан-Франциско в живой эксперимент. Когда результаты будут подсчитаны, будет крайне важно захватить правильные данные, поделиться успехами и неудачами, и позволить затронутым сообществам высказаться вместе со специалистами, политиками и бизнесменами. Другими словами, сохранить всех людей в цикле. В противном случае мы рискуем автоматизированной самодовольством – готовностью делегировать принятие решений системам ИИ – в очень большом масштабе.

Джульетта Пауэлл и Арт Клейнер являются соавторами новой книги Дилемма ИИ: 7 принципов для ответственной технологии.