Лидеры мнений

Автоматизированная самодовольство: Как вернуть людей в цикл

Juliette Powell Art Kleiner
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыОператоры-люди, наблюдающие за автономными системами, становятся самоуспокоенными и не…
Показать больше
  • Операторы-люди, наблюдающие за автономными системами, становятся самоуспокоенными и не реагируют, когда опасность внезапно появляется.
  • Самоуспокоенность в отношении автоматизации означает, что люди настолько глубоко доверяют машинам, что перестают следить за дорогой.
  • Разработчики должны привлекать затронутые сообщества на раннем этапе, чтобы мышление, основанное на оценке рисков, формировало эти системы ещё до их выпуска.

В драматическом повороте событий роботакси, самоходные транспортные средства, которые подбирают пассажиров без человеческого оператора, были недавно выпущены в Сан-Франциско. После спорного 7-часового публичного слушания решение было принято Калифорнийской комиссией по коммунальным услугам. Несмотря на протесты, есть чувство неизбежности в воздухе. Калифорния постепенно смягчала ограничения с раннего 2022 года. Новые правила позволяют двум компаниям с разрешениями – Alphabet’s (GOOG ) Waymo и GM’s Cruise – отправлять эти такси куда угодно в 7-мильном городе, кроме шоссе, и взимать плату с пассажиров.

Идея самоходных такси вызывает два противоречивых эмоции: Волнение («такси по гораздо более низкой цене!») и страх («будут ли они ударить меня или моих детей?»). Таким образом, регулирующие органы часто требуют, чтобы машины были протестированы с пассажирами, которые могут вмешаться и управлять контролями до того, как произойдет авария. К сожалению, наличие людей настороже, готовых переопределить системы в режиме реального времени, может не быть лучшим способом обеспечить безопасность.

Фактически, из 18 смертей в США, связанных с авариями самоходных машин (на февраль этого года), все они имели некоторую форму человеческого контроля, либо в машине, либо удаленно. Это включает одну из самых известных, которая произошла поздно ночью на широкой пригородной дороге в Темпе, Аризона, в 2018 году. Автоматический тестовый автомобиль Uber убил 49-летнюю женщину по имени Элейн Херцберг, которая бежала с велосипедом, чтобы пересечь дорогу. Человеческий оператор на пассажирском сиденье смотрел вниз, и машина не предупредила их до менее чем секунды до удара. Они схватили руль слишком поздно. Авария заставила Uber приостановить тестирование самоходных машин. В конечном итоге они продали подразделение автоматических транспортных средств, которое было ключевой частью их бизнес-стратегии.

Оператор оказался в тюрьме из-за автоматизированной самодовольства, явления, впервые открытого в ранние дни пилотной подготовки. Чрезмерная уверенность является частым динамиком с системами ИИ. Чем более автономна система, тем больше человеческие операторы склонны ей доверять и не обращать полного внимания. Мы скучаем, наблюдая за этими технологиями. Когда авария действительно вот-вот произойдет, мы не ожидаем ее и не реагируем вовремя.

Люди естественно склонны к тому, что риск-эксперт Рон Дембо называет «риск-творчеством» – способом мышления, который даже самые сложные системы машинного обучения еще не могут эмулировать. Это способность распознавать, когда ответ не очевиден, что мы должны замедлиться или остановиться. Риск-творчество имеет решающее значение для автоматизированных систем, и это создает дилемму. Люди хотят быть в цикле, но помещение нас под контроль, когда мы так самодовольно полагаемся на автоматизированные системы, может фактически сделать все хуже.

Как, тогда, могут разработчики автоматизированных систем решить эту дилемму, чтобы эксперименты, такие как тот, который проходит в Сан-Франциско, закончились положительно? Ответ – дополнительная бдительность не только в момент удара, но и на ранних стадиях проектирования и разработки. Все системы ИИ предполагают риски, когда они остаются без контроля. Самоходные машины не будут свободны от риска, даже если они окажутся более безопасными в среднем, чем машины с человеческими водителями.

Авария Uber показывает, что происходит, когда мы не думаем о рисках с намерением. Чтобы сделать это, нам нужна творческая трение: введение множества человеческих перспектив в игру задолго до того, как эти системы будут выпущены. Другими словами, размышление об последствиях систем ИИ, а не только об их применении, требует перспективы сообществ, которые будут напрямую затронуты технологией.

Waymo и Cruise оба защищали рекорд безопасности своих транспортных средств на основании статистической вероятности. Тем не менее, это решение превращает Сан-Франциско в живой эксперимент. Когда результаты будут подсчитаны, будет крайне важно захватить правильные данные, поделиться успехами и неудачами, и позволить затронутым сообществам высказаться вместе со специалистами, политиками и бизнесменами. Другими словами, сохранить всех людей в цикле. В противном случае мы рискуем автоматизированной самодовольством – готовностью делегировать принятие решений системам ИИ – в очень большом масштабе.

Джульетта Пауэлл и Арт Клейнер являются соавторами новой книги Дилемма ИИ: 7 принципов для ответственной технологии.

Juliette Powell

Juliette Powell является автором, создателем телевизионных программ с опытом работы над 9 000 прямых эфиров, и технологом и социологом. Она также является комментатором на Bloomberg TV/ Business News Networks и выступает на конференциях, организованных The Economist и Международной финансовой корпорацией. Ее TED-доклад имеет 130 000 просмотров на YouTube.

Арт Кляйнер — писатель, редактор и футуролог. Среди его книг — The Age of Heretics, Who Really Matters, Privilege and Success и The Wise. Он был редактором отмеченного наградами журнала strategy+business, издаваемого PwC.