Автоматична самозадоволеність: Як повернути людей у цикл

У драматичному повороті подій роботаксі, самохідні транспортні засоби, які підбирають пасажирів без людського оператора, були недавно випущені в Сан-Франциско. Після спірного 7-годинного публічного слухання рішення було прийнято Каліфорнійською комісією з комунальних послуг. Незважаючи на протести, є відчуття невідворотності в повітрі. Каліфорнія поступово послаблювала обмеження з початку 2022 року. Нові правила дозволяють двом компаніям з дозволами – Alphabet’s Waymo і GM’s Cruise – відправляти ці таксі будь-де в межах 7-мильного міста, крім шосе, і стягувати плату з пасажирів.

Ідея самохідних таксі викликає дві суперечливі емоції: збудження («таксі за значно нижчою ціною!») і страх («чи вони вдарять мене або моїх дітей?»). Таким чином, регулятори часто вимагають, щоб машини проходили тестування з пасажирами, які можуть втрутитися та керувати системами до того, як трапиться аварія. Нажаль, наявність людей у стані підвищеної готовності, готових перевести системи в ручний режим в режимі реального часу, може не бути найкращим способом забезпечення безпеки.

Фактично, з 18 смертей у США, пов’язаних з аваріями самохідних автомобілів (станом на лютий цього року), всі вони мали певну форму людського контролю, або в машині, або дистанційно. Це включає одну з найвідоміших, яка сталася пізно вночі на широкій приміській дорозі в Темпе, Аризона, у 2018 році. Автоматичний тестовий автомобіль Uber вбив 49-річну жінку на ім’я Елейн Герцберг, яка бігла з велосипедом, щоб перейти дорогу. Людський оператор на пасажирському сидінні дивився вниз, і машина не попередила їх до menos ніж секунди до зіткнення. Вони встигли вхопити кермо занадто пізно. Аварія змусила Uber призупинити тестування самохідних автомобілів. У кінцевому підсумку вони продали підрозділ автоматизованих транспортних засобів, який був ключовою частиною їхньої бізнес-стратегії.

Оператор опинився у в’язниці через автоматичну самозадоволеність, явище, яке було вперше виявлено в перші дні навчання пілотів. Надмірна впевненість є частим динамічним процесом з системами штучного інтелекту. Чим більше автономна система, тим більше людські оператори довіряють їй і не приділяють повної уваги. Ми набридаємо від спостереження за цими технологіями. Коли аварія дійсно трапляється, ми не очікуємо цього і не реагуємо вчасно.

Люди природно володіють тим, що експерт з ризику Рон Дембо називає «думкою про ризик» – способом мислення, який навіть найскладніші системи машинного навчання ще не можуть повністю наслідувати. Це здатність визнавати, коли відповідь не очевидна, що нам слід повільно рухатися або зупинитися. Думка про ризик є критично важливою для автоматизованих систем, і це створює дилему. Люди хочуть бути у циклі, але розміщення нас під контролем, коли ми так самозадоволено довіряємо автоматизованим системам, може фактично зробити речі гіршими.

Як, тоді, розробники автоматизованих систем можуть вирішити цю дилему, щоб експерименти, такі як той, який відбувається в Сан-Франциско, закінчилися позитивно? Відповідь полягає в додатковій ретельності не лише перед моментом зіткнення, а й на ранніх стадіях проектування та розробки. Всі системи штучного інтелекту включають ризики, коли вони залишаються без нагляду. Самохідні автомобілі не будуть вільні від ризику, навіть якщо вони виявляться безпечнішими в середньому, ніж автомобілі з людським водієм.

Аварія Uber показує, що відбувається, коли ми не думаємо про ризик з наміром. Для цього нам потрібна творча тертя: введення декількох людських перспектив у гру значно раніше, ніж ці системи будуть випущені. Інакше кажучи, думка про наслідки систем штучного інтелекту, а не лише про їх застосування, вимагає перспективи спільнот, які будуть безпосередньо вплинуті цією технологією.

Waymo і Cruise обидва захищали безпекові показники своїх транспортних засобів на підставі статистичної ймовірності. Тим не менш, це рішення перетворює Сан-Франциско на живий експеримент. Коли результати будуть підраховані, буде дуже важливо зібрати правильні дані, поділитися успіхами та невдачами та дозволити постраждалим спільнотам висловити свою думку разом зі спеціалістами, політиками та бізнесменами. Інакше кажучи, тримати всіх людей у циклі. В іншому випадку ми ризикуємо автоматичною самозадоволеністю – готовністю делегувати прийняття рішень системам штучного інтелекту – у дуже великому масштабі.

Джульєтта Пауелл і Арт Клейнер є співавторами нової книги Дилема штучного інтелекту: 7 принципів для відповідальної технології.