Автоматизаційна самозадоволеність: Як повернути людей у цикл

У драматичному повороті подій роботаксі, самохідні транспортні засоби, які підбирають пасажирів без людського оператора, були недавно випущені в Сан-Франциско. Після спірного 7-годинного публічного слухання, рішення було затверджено Комісією з комунальних послуг Каліфорнії. Незважаючи на протести, є відчуття невідворотності в повітрі. Каліфорнія поступово послабляла обмеження з початку 2022 року. Нові правила дозволяють двом компаніям з дозволами – Waymo компанії Alphabet та Cruise компанії GM – направляти ці таксі в будь-яке місце міста площею 7 квадратних миль, крім шосе, та стягувати плату з пасажирів.

Ідея самохідних таксі викликає два конфліктуючі емоції: збудження («таксі за значно нижчою ціною!») та страх («чи вони не вдарять мене чи моїх дітей?»). Тому регулювальники часто вимагають, щоб автомобілі проходили випробування з пасажирами, які можуть втрутитися та керувати системами до того, як трапиться аварія. Нажаль, наявність людей у стані підвищеної готовності, готових перевести системи у ручний режим в режимі реального часу, може не бути найкращим способом забезпечення безпеки.

Насправді, з 18 смертельних випадків у США, пов’язаних з аваріями самохідних автомобілів (станом на лютий цього року), всі вони мали певну форму людського контролю, або в автомобілі, або дистанційно. До цього належить одна з найвідоміших, яка сталася пізно вночі на широкій приміській дорозі в Темпе, Аризона, у 2018 році. Автоматичний тестовий автомобіль Uber вбив 49-річну жінку на ім’я Елейн Герцберг, яка бігла з велосипедом, щоб перейти дорогу. Людський оператор на пасажирському сидінні дивився вниз, а автомобіль не попередив його до моменту зіткнення. Вони встигли вчасно схопити кермо. Аварія призвела до того, що Uber призупинила випробування самохідних автомобілів. Урешті-решт, вона продала підрозділ автоматизованих транспортних засобів, який був ключовою частиною її бізнес-стратегії.

Оператор опинився у в’язниці через автоматизовану самозадоволеність, явище, вперше відкрите в перші дні навчання пілотів. Надмірна впевненість є частим динамічним процесом з системами штучного інтелекту. Чим автономнішою є система, тим більше люди довіряють їй і не приділяють повну увагу. Ми нудимося, спостерігаючи за цими технологіями. Коли аварія дійсно трапляється, ми не очікуємо цього і не реагуємо вчасно.

Люди природно володіють тим, що експерт з ризику Рон Дембо називає «думкою про ризик» – способом мислення, який навіть найсофістикованіші системи машинного навчання ще не можуть наслідувати. Це здатність визнавати, коли відповідь не очевидна, що нам слід сповільнитися або зупинитися. Думка про ризик є критичною для автоматизованих систем, і це створює дилему. Люди хочуть бути у циклі, але розміщення нас під контролем, коли ми так самозадоволено довіряємо автоматизованим системам, може насправді зробити речі гіршими.

Як, тоді, можуть розробники автоматизованих систем вирішити цю дилему, щоб експерименти, такі як той, який відбувається у Сан-Франциско, закінчилися позитивно? Відповідь полягає в додатковій ретельності не лише перед моментом зіткнення, а й на ранніх стадіях проектування та розробки. Всі системи штучного інтелекту передбачають ризики, коли вони залишаються без контролю. Самохідні автомобілі не будуть вільні від ризику, навіть якщо вони виявляться безпечнішими в середньому, ніж автомобілі з людським водієм.

Аварія Uber показує, що відбувається, коли ми не думаємо про ризик з наміром. Для цього нам потрібна творча тертя: введення декількох людських перспектив у гру значно раніше, ніж ці системи будуть випущені. Інакше кажучи, думка про наслідки систем штучного інтелекту, а не лише про застосування, вимагає перспективи спільнот, які будуть безпосередньо вплинуті цією технологією.

Waymo та Cruise обидва захищали безпекові показники своїх транспортних засобів на підставі статистичної ймовірності. Тим не менше, це рішення перетворює Сан-Франциско на живий експеримент. Коли результати будуть підраховані, це буде дуже важливо захопити правильні дані, поділитися успіхами та невдачами та дозволити постраждалим спільнотам взяти участь разом із спеціалістами, політиками та бізнесменами. Інакше кажучи, тримати всіх людей у циклі. В іншому випадку ми ризикуємо автоматизованою самозадоволеністю – готовністю делегувати прийняття рішень системам штучного інтелекту – у дуже великому масштабі.

Джульєтта Пауелл та Арт Клейнер є співавторами нової книги Ділема штучного інтелекту: 7 принципів для відповідальної технології.